(57)【要約】      （修正有）【課題】利用者から対話時に得た情報のみに応じて対話装置の振る舞いを制御した場合と比べて、より利用者の感情に沿った振る舞いを対話装置にさせることのできる対話制御システムを提供する【解決手段】対話型ロボット２０と、予め登録されていた利用者６０の性格情報を取得する取得手段と、利用者の生体情報を検出する検出手段７０と、取得された利用者の性格情報と検出手段により検出された利用者の生体情報とから、利用者の現在の精神状態を推定する推定手段と、推定された利用者の精神状態に応じて、対話型ロボットの性格を変更する変更手段と、対話型ロボットを、変更後の性格で利用者と対話させる制御を行う対話制御手段とを備える。【選択図】図１
2018068548.tif 000002
【特許請求の範囲】
【請求項１】
対話装置と、
予め登録された利用者の性格情報を取得する取得手段と、
利用者の生体情報を検出する検出手段と、
取得された利用者の性格情報と検出された利用者の生体情報とから、利用者の精神状態を推定する推定手段と、
推定された利用者の精神状態に応じて、前記対話装置の性格を変更する変更手段と、
前記対話装置を、変更後の性格で利用者と対話させる制御を行う制御手段と、
を備えた対話制御システム。
【請求項２】
前記推定手段は、検出された利用者の生体情報から求められる、利用者の性格情報からの変位に基づいて利用者の精神状態を推定する、請求項１記載の対話制御システム。
【請求項３】
前記対話制御システムは、利用者の生体情報と、利用者の性格情報を入力して利用者の精神状態を出力する機械学習モデルを備えており、
前記推定手段は、利用者の現在の生体情報と性格情報とを、前記機械学習モデルに入力することにより、出力として利用者の現在の精神状態を推定する、請求項１記載の対話制御システム。
【請求項４】
前記検出手段は、生体センサを含み、利用者の皮膚電位、心拍数、末梢血管の容積脈波のいずれか少なくとも一つを検出する、請求項１から３のいずれかに記載の対話制御システム。
【請求項５】
前記検出手段は、カメラを含み、利用者の顔の表情、顔の部位の位置情報、瞬き回数、体温、身体動作、姿勢のいずれか少なくとも一つを検出する、請求項１から４のいずれかに記載の対話制御システム。
【請求項６】
前記取得手段は、利用者の性格情報を、アンケート、又は性格診断テストの結果から取得する、請求項１から５のいずれかに記載の対話制御システム。
【請求項７】
前記取得手段は、利用者の性格情報として、外交性−内向性尺度、神経症的尺度、および精神病傾向尺度を取得する、請求項１から６のいずれかに記載の対話制御システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対話制御システムに関する。
【背景技術】
【０００２】
特許文献１には、利用者との対話時における利用者の表情から得た感情、音声から得た感情、口調、およびテキストの情報を組み合わせることにより利用者の性格を分類し、分類に応じて応答を変化させる対話エージェントが開示されている。
【０００３】
特許文献２には、被験者の表情を認識して感情を推定する手段、前記被験者の生体情報を検出して感情を推定する手段、および、前記被験者の音声から感情を推定する手段、のうち少なくとも２種類の手段で感情を推定した感情推定結果を取得する感情推定装置、感情推定方法およびプログラムが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−０７１９３６号公報
【特許文献２】特開２０１２−５９１０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、利用者から対話時に得た情報のみに応じて対話装置の振る舞いを制御した場合と比べて、より利用者の感情に沿った振る舞いを対話装置にさせることのできる対話制御システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
請求項１に係る本発明は、
対話装置と、
予め登録された利用者の性格情報を取得する取得手段と、
利用者の生体情報を検出する検出手段と、
取得された利用者の性格情報と検出された利用者の生体情報とから、利用者の精神状態を推定する推定手段と、
推定された利用者の精神状態に応じて、前記対話装置の性格を変更する変更手段と、
前記対話装置を、変更後の性格で利用者と対話させる制御を行う制御手段と、
を備えた対話制御システムである。
【０００７】
請求項２に係る本発明は、請求項１記載の対話制御システムに係り、前記推定手段は、検出された利用者の生体情報から求められる、利用者の性格情報からの変位に基づいて利用者の精神状態を推定する。
【０００８】
請求項３に係る本発明は、請求項１記載の対話制御システムに係り、前記対話制御システムは、利用者の生体情報と、利用者の性格情報を入力して利用者の精神状態を出力する機械学習モデルを備えており、
前記推定手段は、利用者の現在の生体情報と性格情報とを、前記機械学習モデルに入力することにより、出力として利用者の現在の精神状態を推定する。
【０００９】
請求項４に係る本発明は、請求項１から３のいずれかに記載の対話制御システムに係り、前記検出手段は、生体センサを含み、利用者の皮膚電位、心拍数、末梢血管の容積脈波のいずれか少なくとも一つを検出する。
【００１０】
請求項５に係る本発明は、請求項１から４のいずれかに記載の対話制御システムに係り、前記検出手段は、カメラを含み、利用者の顔の表情、顔の部位の位置情報、瞬き回数、体温、身体動作、姿勢のいずれか少なくとも一つを検出する。
【００１１】
請求項６に係る本発明は、請求項１から５のいずれかに記載の対話制御システムに係り、前記取得手段は、利用者の性格情報を、アンケート、又は性格診断テストの結果から取得する。
【００１２】
請求項７に係る本発明は、請求項１から６のいずれかに記載の対話制御システムに係り、前記取得手段は、利用者の性格情報として、外交性−内向性尺度、神経症的尺度、および精神病傾向尺度を取得する。
【発明の効果】
【００１３】
請求項１に係る本発明によれば、利用者から対話時に得た情報のみに応じて対話装置の振る舞いを制御した場合と比較して、より利用者の感情に沿った振る舞いを対話装置にさせることのできる対話制御システムを提供できる。
【００１４】
請求項２に係る本発明によれば、利用者の性格情報からの変位を考慮しない対話制御システムと比較した場合に、利用者の現在の精神状態をより正確に推定することができる。
【００１５】
請求項３に係る本発明によれば、機械学習を用いない対話制御システムと比較した場合に、対話装置に、利用者の現在の精神状態をより正確に反映した性格を取らせることができる。
【００１６】
請求項４に係る本発明によれば、生体センサを用いない対話制御システムと比較した場合に、対話装置に、利用者の現在の精神状態をより正確に反映した性格を取らせることができる。
【００１７】
請求項５に係る本発明によれば、カメラを用いない対話制御システムと比較した場合に、対話装置に、利用者の現在の精神状態をより正確に反映した性格を取らせることができる。
【００１８】
請求項６に係る本発明によれば、アンケートを用いない対話制御システムと比較した場合に、対話装置に、利用者の平常時の性格と現在の精神状態をより正確に反映した性格を取らせることができる。
【００１９】
請求項７に係る本発明によれば、外交性−内向性尺度、神経症的尺度、および精神病傾向尺度のいずれも用いない対話制御システムと比較した場合に、対話装置に、利用者の平常時の性格と現在の精神状態をより正確に反映した性格を取らせることができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の一実施形態の対話制御システム１０の一例を示す説明図である。
【図２】実施形態における対話型ロボット２０のハードウェア構成図である。
【図３】実施形態における対話型ロボット２０の機能ブロック図である。
【図４】実施形態における制御サーバ４０のハードウェア構成図である。
【図５】実施形態における制御サーバ４０の機能ブロック図である。
【図６】実施形態の利用者性格データベース４１７の一例を示す図である。
【図７】本実施形態の対話制御システム１０における対話制御処理の流れの一例を示すフローチャートである。
【図８】生体センサ７０から取得した生体データに基づいて推定される利用者６０の精神状態を表した概念図である。
【図９】利用者６０の平常時の性格、つまり精神的傾向に対して生体センサ７０から得られる生体データに基づく精神状態を考慮することによって現時点の精神状態を推定する方法を示した概念図である。
【図１０】本実施形態の制御サーバ４０における対話制御処理の流れの他の例を示すフローチャートである。
【発明を実施するための形態】
【００２１】
本発明の一実施形態の対話制御システム１０を、図１を参照して説明する。本実施形態の対話制御システム１０は、オフィスビルのフロア等の比較的大きな所定の領域（以下、ワークプレイスという）１００に配置される対話型ロボット２０と、制御サーバ４０と、を備えて構成され、制御サーバ４０は、対話型ロボット２０にネットワーク３０、およびワークプレイス１０の壁面等に設置されたアクセスポイント５０を介して無線により接続される。さらに、ワークプレイス１０には、利用者６０が存在しており、利用者６０の手首或いは腕には生体センサ７０が取り付けられ、生体センサ７０と制御サーバ４０はアクセスポイント５０を介して無線により接続されている。
【００２２】
生体センサ７０は、利用者６０の現在の感情の身体的徴候、例えば生体情報を検出する。生体情報は、例えば、利用者６０の皮膚電位、心拍数、末梢血管の容積脈波に関するデータを少なくともいずれか一つを含む。皮膚電位に関する情報には、現在の皮膚電位の値だけでなく、平常時に対する皮膚電位の変位、分散、また単位時間当たりの皮膚電位の変動率も含まれる。同様に、心拍数に関する情報には、現在の心拍数だけでなく、平常時に対する心拍数の変位、また単位時間当たりの心拍数の変動率が含まれる。また、末梢血管の容積脈波に関するデータには、現在の血管の収縮拡張のデータが含まれる。
【００２３】
まず、図２、３を参照して、本実施形態の対話型ロボット２０について説明する。図２は、対話型ロボット２０のハードウェア構成図である。図２に示すように、対話型ロボット２０は、制御用マイクロプロセッサ２０１、メモリ２０２、ハードディスク・ドライブ（ＨＤＤ）やソリッド・ステート・ドライブ（ＳＳＤ）等の記憶装置２０３、通信インタフェース２０４、カメラ２０５、マイクロフォン２０６、スピーカ２０７、モータ２０８、現在位置検出装置２０９を備えて構成され、それぞれ制御バス２１０に接続されている。
【００２４】
制御用マイクロプロセッサ２０１は、記憶装置２０３に記憶された制御プログラムに基づいて対話型ロボット２０の各部の動作を制御統括する。メモリ２０２には、対話型ロボット２０が利用者と行った対話時の対話の音声、対話内容、カメラ２０５により撮影された利用者６０の顔写真、表情、挙動、身体の状態の画像等が一時的に記憶される。記憶装置２０３には対話型ロボット２０の各部を制御するための制御プログラムが記憶される。通信インタフェース２０４は、対話型ロボット２０がアクセスポイント５０を介して制御サーバ４０と通信を行うための通信制御を行う。
【００２５】
カメラ２０５は、利用者の顔画像、表情、挙動、身体の状態の変化等を撮影し、メモリ２０２に記憶する。マイクロフォン２０６は、利用者と対話を行った際に、利用者の音声を検出し、メモリ２０２に記憶、つまり録音する。メモリ２０２には、音声を直接録音するのではなく、音声内容を解釈した後の対話内容、および音の高さや言葉の速さを記憶させてもよい。スピーカ２０７は、対話型ロボット２０の後述する対話制御部が生成した音声を出力する。モータ２０８は、後述する移動制御部において生成された移動制御情報に基づいて対話型ロボット２０を所定の位置に移動させる。現在位置検出装置２０９は、加速度センサ、ＧＰＳ信号受信装置、或いは位置情報信号受信装置等を含んで構成されており、対話型ロボット２０の現在位置を特定して、メモリ２０２に一時的に記憶させる。
【００２６】
図３は、対話型ロボット２０の機能ブロック図である。対話型ロボット２０は、記憶装置２０３に記憶されている制御プログラムを制御用マイクロプロセッサ２１１において実行することにより、図３に示されるように、センサ情報送信部２１１、ロボット性格情報受信部２１２、対話制御部２１３、移動制御部２１４、ロボット性格情報データベース２１５として機能する。
【００２７】
センサ情報送信部２１１は、対話型ロボット２０のカメラ２０５によって撮影された利用者６０の顔写真、およびカメラ２０５とマイクロフォン２０６によって検出された利用者６０の外面情報を制御サーバ４０に送信する。外面情報には、カメラ２０５によって撮影された利用者６０の表情、挙動についてのデータ、マイクロフォン２０６によって検出された利用者６０の音声の高さ、言葉の速さについてのデータが含まれる。なお、外面情報の一部、例えば、利用者６０の口角や眉の角度、瞬き回数、カメラで撮影された利用者６０のＲＧＢ画像を解析して得られる体温の情報、音声の高さといった情報は生体情報として扱うこともできるが、外面情報、生体情報のいずれであってもセンサ情報送信部２１１によって制御サーバ４０へ送信する。
【００２８】
ロボット性格情報受信部２１２は、後述する制御サーバ４０のロボット性格情報送信部から送信されてきた、対話型ロボット２０がとるべき性格についての情報を受信し、メモリ２０２に一時的に記憶する。
【００２９】
対話制御部２１３は、対話型ロボット２０が利用者６０と行う対話を制御する。具体的には、対話制御部２１３は、後述するロボット性格情報データベース２１５を参照し、ロボット性格情報受信部２１２が受信したロボットがとるべき性格に応じた対話方法および対話内容で、応答メッセージを生成してスピーカ２０７に出力したり、モータ２０８の駆動を制御して対話型ロボット２０の姿勢や挙動を変化させたりする。
【００３０】
移動制御部２１４は、対話型ロボット２０の移動を制御する。移動制御部２１４は、制御サーバ４０から移動指示があった場合に、現在位置から目的位地まで移動する移動制御情報を生成し、現在位置検出装置２０９によって検出される現在位置の情報を参照しつつモータ２０８の動作を制御し、対話型ロボット２０を移動させる。
【００３１】
ロボット性格情報データベース２１５は、対話型ロボット２０の対話方法や応答内容を、対話型ロボット２０がとる性格毎に蓄積したものである。
【００３２】
次に、図４、５を参照して、本実施形態の制御サーバ４０について説明する。図４は、制御サーバ４０のハードウェア構成図である。図４に示すように、制御サーバ４０は、ＣＰＵ４０１、メモリ４０２、記憶装置４０３、通信インタフェース４０４、ユーザインタフェース４０５を備えて構成され、それぞれ制御バス４０６に接続されている。
【００３３】
ＣＰＵ４０１は、記憶装置４０３に記憶された制御プログラムに基づいて制御サーバ４０各部の動作を制御統括する。メモリ４０２には、対話型ロボット２０から送信されてきた対話型ロボット２０の位置情報や利用者６０の顔写真、外面情報、或いは生体情報、利用者６０に取り付けられた生体センサ７０から送信されてきた利用者６０の生体情報が記憶される。
【００３４】
記憶装置４０３は、ハードディスク・ドライブ（ＨＤＤ）やソリッド・ステート・ドライブ（ＳＳＤ）等であり、制御サーバ４０を制御するための制御プログラムが記憶されている。さらに、記憶装置４０３には、後述するが、利用者性格データベースや制御サーバ４０が利用者６０の現在の精神状態を推定する際に使用する機械学習モデルが記憶されている。
【００３５】
通信インタフェース４０４は、制御サーバ４０がアクセスポイント５０を介して対話型ロボット２０、および利用者６０に取り付けられた生体センサ７０と各種データの送受信を行うための通信制御を行う。ユーザインタフェース４０５は、液晶ディスプレイ等の表示装置、キーボードやマウス等の入力装置によって構成されており、記憶装置４０３に記憶されている制御プログラムを管理者が調整したりするためのものである。
【００３６】
図５は、制御サーバ４０の機能ブロック図を示す。制御サーバ４０は、記憶装置４０３に記憶されている制御プログラムをＣＰＵ４０１において実行することにより、図５に示されるように、利用者特定部４１１、利用者性格取得部４１２、センサ情報取得部４１３、精神状態推定部４１４、ロボット性格決定部４１５、ロボット性格情報送信部４１６、利用者性格データベース４１７、学習モデル記憶部４１８として機能する。
【００３７】
利用者特定部４１１は、対話型ロボット２０のセンサ情報送信部２１１から送信されてきた利用者６０の顔写真に基づいて対話型ロボット２０の対話相手である利用者６０が誰であるかを特定する。なお、利用者６０の特定は、顔写真を使用する方法以外にも、音声データを解析する声紋認証を使用する方法を採用してもよい。
【００３８】
利用者性格取得部４１２は、利用者特定部４１１によって特定された利用者６０の平常時の精神的傾向を表す平常時の性格情報を利用者性格データベース４１５から取得する。これら利用者の平常時の性格情報は、それぞれの利用者に対して事前に行った性格診断テスト、或いはアンケートの結果を利用者性格取得部４１２が解析することによって利用者性格データベース４１７に記憶するようにしてもよい。或いは、利用者性格取得部４１２は、対話型ロボット２０を介して利用者６０に対して性格診断テストを予め行い、その結果を解析することによって、利用者６０の平常時の性格情報を生成し、利用者性格データベース４１７に記憶するようにしてもよい。
【００３９】
センサ情報取得部４１３は、対話型ロボット２０のセンサ情報送信部２１１から送信されてきた利用者６０の外面情報および生体情報、生体センサ７０から送信されてきた生体情報を受信し、メモリ４０２に記憶する。
【００４０】
精神状態推定部４１４は、利用者性格取得部４１２によって取得された利用者６０の平常時の性格情報と、センサ情報取得部４１３によって取得された利用者６０の外面情報と生体情報とを後述する学習モデル記憶部４１８に記憶された機械学習モデルに入力し、出力として利用者６０の精神状態を得ることにより現在の精神状態を推定する。
【００４１】
ロボット性格決定部４１５は、精神状態推定部４１４において推定された利用者６０の現在の精神状態に応じて、対話型ロボット２０がとるべき性格を決定する。これは利用者６０の現在の各種精神状態と対話型ロボット２０がとるべき性格とを関連付けて記憶した対応テーブル（図示せず）を予め生成しておき、ロボット性格決定部４１５はこの対応テーブルを参照することにより対話型ロボット２０がとるべき性格を決定する。例えば、利用者６０の現在の精神状態が「内向的かつ安定している」であれば、対話型ロボット２０が取るべき性格は「内向的かつ安定している」とする。この対応テーブルは、管理者が手動で作成してもよいし、機械学習によって生成してもよい。機械学習によって対応テーブルを生成する場合は、様々な性格（精神状態）の利用者６０と、様々な性格を発現させた対話型ロボット２０を対話させ、利用者６０に装着された生体センサ７０や対話型ロボット２０のカメラ２０５で検出した生体情報を解析し、それぞれの性格の利用者６０にとって最も心地よく感じたと推定される対話型ロボット２０の性格を対応テーブルに登録する。
【００４２】
ロボット性格情報送信部４１６は、ロボット性格決定部４１５によって決定された対話型ロボット２０がとるべき性格を対話型ロボット２０に送信する。
【００４３】
利用者性格データベース４１７は、利用者毎の平常時の精神的傾向を表す平常時の性格情報を蓄積したものである。例えば、利用者の平常時の性格情報を、外交的尺度、神経症的尺度、精神病的尺度で表し、数値で利用者毎に記憶している。なお、利用者の平常時の性格情報は、上述の要素で表される尺度に限定されず、他の尺度、例えば、精神的安定尺度、社会的適応尺度、衝動的尺度といった尺度で表してもよい。
【００４４】
学習モデル記憶部４１８は、機械学習モデルを格納している。機械学習モデルは、利用者の平常時の精神的傾向を表す平常時の性格情報と、利用者の現在の生体情報を入力した場合に、利用者の現在の精神状態を出力する。
【００４５】
図６は、利用者性格データベース４１７の一例を示す図である。図６を参照すると、「Ａさん」〜「Ｃさん」それぞれの「外交的尺度」、「神経症的尺度」、「精神病的尺度」が数値化されて登録されている。これらの数値は、対話型ロボット２０と対話する可能性のある利用者６０に対してアンケートを行い、その結果を管理者が制御サーバ４０に手動で入力することにより登録されたものである。或いは、制御サーバ４０の利用者性格取得部４１２が対話型ロボット２０に対して性格診断テストを行うように指示し、その結果に基づいて利用者６０の平常時の精神的傾向を表す平常時の性格情報を数値化するようにしてもよい。その場合、対話型ロボット２０の対話制御部２１３は、制御サーバ４０からの性格診断テストを実施するようにという指示に基づいて利用者３０と対話を行いつつ性格診断テストを実施するとともに利用者３０の回答を制御サーバ４０に送信する。そして、制御サーバ４０の利用者性格取得部４１２は性格診断テストの回答に基づいてそれぞれの利用者６０の平常時の性格情報を数値化し、利用者性格データベース４１７に登録する。
【００４６】
次に、図７を参照して、対話制御システム１０における対話制御処理の流れを説明する。図７は、本実施形態の制御サーバ４０における対話制御処理の流れの一例を示すフローチャートである。なお、対話型ロボット２０と対話する利用者６０が誰であるかを特定する処理は、利用者特定部４１１により既に実施されているものとする。ステップＳ７０１において、制御サーバ４０のセンサ情報取得部４１３は、生体センサ７０から利用者６０の皮膚電位に関するデータＥ（ｔ）を取得し、メモリ４０２に記憶する。続くステップＳ７０２において、精神状態推定部４１４は、皮膚電位に関するデータＥ（ｔ）に基づいて現時点における興奮度Ａ（ｔ）を算出し、ステップＳ７０５に進む。
【００４７】
ステップＳ７０１と並行して実施されるステップＳ７０３において、制御サーバ４０のセンサ情報取得部４１３は、生体センサ７０から利用者６０の心拍数のデータＨ（ｔ）と末梢血管の容積脈波に関するデータＢ（ｔ）を取得し、メモリ４０２に記憶する。続くステップＳ７０４において、精神状態推定部４１４は、心拍数のデータＨ（ｔ）、末梢血管の容積脈波のデータＢ（ｔ）に基づいて現時点における感情度Ｖ（ｔ）を算出し、ステップＳ７０５に進む。
【００４８】
ステップＳ７０５において、制御サーバ４０の精神状態推定部４１４は、利用者６０の現時点における精神状態を推定する。具体的には、利用者性格取得部４１２が利用者性格データベース４１７を参照することにより利用者６０の平常時の精神的傾向を表す平常時の性格情報を取得する。さらに、精神状態推定部４１４は、ステップＳ７０２、Ｓ７０４においてそれぞれ算出された興奮度Ａ（ｔ）、感情度Ｖ（ｔ）に基づいて、利用者６０の現時点の精神状態が、平常時の性格情報Ｐ0からどれだけ変位したかを算出する。より具体的には、以下の式にて、精神状態ｆ（ｔ）を算出する。
f(t) = P0 × g(A(t), V(t))
【００４９】
図８は、生体センサ７０から取得した生体データに基づいて推定される利用者６０の精神状態を表した概念図である。図９は、利用者６０の平常時の性格情報に対して生体センサ７０から得られる生体データに基づく精神状態を考慮することによって現時点の精神状態を推定する方法を示した概念図である。図８では、横軸に感情度Ｖ（ｔ）をとり、縦軸に興奮度Ａ（ｔ）をとっている。したがって、ステップＳ７０２、Ｓ７０４において算出された感情度Ｖ（ｔ）、興奮度Ａ（ｔ）を図８上にプロットすることにより現時点の精神状態８１０をある程度推定することが可能である。しかしながら、本実施形態においては、生体センサ７０から取得した生体データと、当該利用者６０の平常時の性格情報のデータとに基づいて現時点の精神状態を推定している。
【００５０】
図９では、横軸を内向的−外交的尺度、縦軸を安定−不安定尺度で表している。例えば、図６に利用者性格データベース４１７から取得した利用者６０の外交的尺度をそのまま横軸にプロットし、神経症的尺度を縦軸（安定−不安定尺度）でプロットすることにより、平常時の性格（平常時の精神的傾向）９１０（Ｐ0）を推定することができる。さらに、この平常時の性格から生体センサ７０から取得したデータに基づいて算出された感情度Ｖ（ｔ）、興奮度Ａ（ｔ）の分だけそれぞれ横軸、縦軸方向に変位した領域を現在の精神状態９２０として推定している。なお、図８の感情度と図９の内向的−外交的尺度とは必ずしも一対一で対応しているわけではなく、同様に図８の興奮度と図９の安定−不安定尺度も一対一で対応しているわけではないが、ここでは説明を簡単にするために、略同一の尺度として説明している。
【００５１】
図７のステップＳ７０６において、制御サーバ４０のロボット性格決定部４１５は、上記ステップＳ７０５において推定された利用者６０の現時点の精神状態が、予め定められた何れかの精神状態に該当するかを判定する。利用者６０の精神状態が第１の精神状態（例えば、内向的かつ安定している）であると判定された場合、ステップＳ７０７の処理に進み、ロボット性格決定部４１５は、対話型ロボット２０が取るべき性格を、上述の対応テーブルを参照し、性格Ａ（例えば、利用者６０と同じ、内向的かつ安定している）とすることを決定してロボット性格情報を生成し、生成されたロボット性格情報はロボット性格情報送信部４１６により対話型ロボット２０に送信され、処理が終了される。なお、ロボット性格決定部４１５は、上述した対応テーブルを参照することにより対話型ロボット２０がとるべき性格を決定する。さらに、対話型ロボット２０のロボット性格情報受信部２１２は、制御サーバ４０から送信されてきたロボット性格情報を受信し、対話制御部２１３は、受信したロボット性格情報に基づいてロボット性格情報データベース２１５を参照しつつ、決定されたロボットの性格で利用者６０と対話を行う。
【００５２】
上記ステップＳ７０６において、利用者６０の精神状態が第２〜４の精神状態であるとそれぞれ判定された場合、それら判定された精神状態に応じてそれぞれステップＳ７０８〜Ｓ７１０の処理に進み、ロボット性格決定部４１５は、上述の対応テーブルを参照し、対話型ロボット２０が取るべき性格をＢ〜Ｄとすることを決定するとともにそれぞれの性格に対応したロボット性格情報を生成し、ロボット性格情報送信部４１６がロボット性格情報を対話型ロボット２０に送信し、処理を終了する。
【００５３】
上記ステップＳ７０６において、利用者６０の精神状態が、予め定められた何れの精神状態にも該当しないと判定された場合は、処理を終了する。
【００５４】
次に、図１０を参照して、対話制御システム１０における対話制御処理の他の方法について説明する。図１０は、本実施形態の制御サーバ４０における対話制御処理の流れの他の例を示すフローチャートである。なお、対話型ロボット２０と対話する利用者６０が誰であるかを特定する処理は、利用者特定部４１１により既に実施されているものとする。ステップＳ１００１において、制御サーバ４０のセンサ情報取得部４１３は、生体センサ７０から利用者６０の皮膚電位に関するデータＥ（ｔ）を取得し、メモリ４０２に記憶し、ステップＳ１００４に進む。ステップＳ１００１と並行して実行されるステップＳ１００２において、制御サーバ４０のセンサ情報取得部４１３は、生体センサ７０から利用者６０の心拍数のデータＨ（ｔ）と末梢血管の容積脈波に関するデータＢ（ｔ）を取得し、メモリ４０２に記憶し、ステップＳ１００４に進む。
【００５５】
ステップＳ１００１、Ｓ１００２と並行して行われるステップＳ１００３において、利用者性格取得部４１２は、利用者性格データベース４１７を参照することにより、利用者６０の平常時の精神的傾向を表す平常時の性格情報Ｐ0（外交的尺度ｅ、神経症的尺度ｓ、精神病的尺度ｐ）を取得し、ステップＳ１００４に進む。
【００５６】
ステップＳ１００４において、精神状態推定部４１４は、上記ステップＳ１００１〜Ｓ１００３において取得された皮膚電位に関するデータＥ（ｔ）、心拍数のデータＨ（ｔ）、末梢血管の容積脈波に関するデータＢ（ｔ）、利用者６０の平常時の性格情報（ｅ、ｓ、ｐ）を学習モデル記憶部４１８に記憶されている機械学習モデルに入力し、出力として利用者６０の現在の精神状態ｆ（ｔ）を得ることにより、現在の精神状態を推定する。
【００５７】
ステップＳ１００５において、制御サーバ４０のロボット性格決定部４１５は、上記ステップＳ１００５において推定された利用者６０の現時点の精神状態が、予め定められた何れかの精神状態に該当するかを判定する。利用者６０の精神状態が第１の精神状態（例えば、内向的かつ安定している）であると判定された場合、ステップＳ１００６の処理に進み、ロボット性格決定部４１５は、対話型ロボット２０が取るべき性格を、上述の対応テーブルを参照し、性格Ａ（例えば、利用者６０と同じ、内向的かつ安定している）とすることを決定してロボット性格情報を生成し、生成されたロボット性格情報はロボット性格情報送信部４１６により対話型ロボット２０に送信され、処理が終了される。なお、対話型ロボット２０のロボット性格情報受信部２１２は、制御サーバ４０から送信されてきたロボット性格情報を受信し、対話制御部２１３は、受信したロボット性格情報に基づいてロボット性格情報データベース２１５を参照しつつ、決定されたロボットの性格で利用者６０と対話を行う。
【００５８】
上記ステップＳ１００５において、利用者６０の精神状態が第２〜４の精神状態であるとそれぞれ判定された場合、それら判定された精神状態に応じてそれぞれステップＳ１００７〜Ｓ１００９の処理に進み、ロボット性格決定部４１５は、上述の対応テーブルを参照し、対話型ロボット２０が取るべき性格をＢ〜Ｄとすることを決定するとともにそれぞれの性格に対応したロボット性格情報を生成し、ロボット性格情報送信部４１６がロボット性格情報を対話型ロボット２０に送信し、処理を終了する。
【００５９】
上記ステップＳ７０６において、利用者６０の精神状態が、予め定められた何れの精神状態にも該当しないと判定された場合は、処理を終了する。
【００６０】
なお、上記図７の説明においては、生体センサ７０によって測定されるデータに基づいて利用者６０の興奮度Ａ（ｔ）、感情度Ｖ（ｔ）を算出した場合を説明し、また、図１０の説明においては、生体センサ７０から取得したデータを機械学習モデルに入力する場合を説明したが、本発明は上記の例に限定されるものではなく、他のセンサによって利用者６０の外面情報、或いは生体情報を検出するようにしてもよい。例えば、対話型ロボット２０のカメラ２０５によって利用者６０の表情、瞬き回数、体温を検出し、マイクロフォン２０６によって利用者６０の音声の高さを検出し、これらに基づいて利用者６０の興奮度Ａ（ｔ）を算出し、また、カメラ２０５によって検出される利用者６０の表情、体の動き、姿勢、マイクロフォン２０６によって検出される利用者６０の音声の高さに基づいて利用者６０の感情度Ｖ（ｔ）を算出するようにしてもよい。
【００６１】
また、上記図１０の説明においては、利用者６０の平常時の精神的傾向を表す平常時の性格情報と、生体センサ７０から取得した利用者６０の現在の感情の身体的徴候を機械学習モデルに入力することによって利用者６０の現在の精神状態を推定する場合を説明したが、本発明は上記の例に限定されるものではなく、他のセンサの出力を機械学習モデルに入力するようにしてもよい。例えば、対話型ロボット２０のカメラ２０５によって検出される利用者６０の表情（口角や眉の角度）、瞬き回数、体温、体の動き、姿勢に関するデータ、およびマイクロフォン２０６によって検出される利用者６０の音声の高さのデータを生体情報として機械学習モデルに入力することにより利用者の現在の精神状態を出力として得ることにより、利用者６０の現在の精神状態を推定するようにしてもよい。
【００６２】
なお上記の実施形態においては、対話装置として対話型ロボット２０を使用した場合について説明した。しかしながら、本発明においては、対話装置は、対話型ロボット２０だけではなく、対話機能を備えた装置であればよく、例えば、対話機能を備える携帯端末装置であってもよい。
【符号の説明】
【００６３】
１０    対話制御システム
２０    対話型ロボット
３０    ネットワーク
４０    制御サーバ
５０    アクセスポイント
６０    利用者
７０    生体センサ
１００    ワークプレイス
２０１    制御用マイクロプロセッサ
２０２    メモリ
２０３    記憶装置
２０４    通信インタフェース
２０５    カメラ
２０６    マイクロフォン
２０７    スピーカ
２０８    モータ
２０９    現在位置検出装置
２１０    制御バス
２１１    センサ情報送信部
２１２    ロボット性格情報受信部
２１３    対話制御部
２１４    移動制御部
２１５    ロボット性格情報データベース
４０１    ＣＰＵ
４０２    メモリ
４０３    記憶装置
４０４    通信インタフェース
４０５    ユーザインタフェース
４０６    制御バス
４１１    利用者特定部
４１２    利用者性格取得部
４１３    センサ情報取得部
４１４    精神状態推定部
４１５    ロボット性格決定部
４１６    ロボット性格情報送信部
４１７    利用者性格データベース
４１８    学習モデル記憶部
【図１】
2018068548.tif 000003
【図２】
2018068548.tif 000004
【図３】
2018068548.tif 000005
【図４】
2018068548.tif 000006
【図５】
2018068548.tif 000007
【図６】
2018068548.tif 000008
【図７】
2018068548.tif 000009
【図８】
2018068548.tif 000010
【図９】
2018068548.tif 000011
【図１０】
2018068548.tif 000012