(57)【要約】      （修正有）【課題】従来の肉体面の異常を検出するだけでなく、細かな感情の変化や複数感情の同時生起などの状況を表すことができる生理情報異常検出装置を提供し、精神面のケアの効果も期待できる介護支援システムを提供する。【解決手段】本対話装置は、ユーザから得られた顔画像、発話音声、生理情報、言語情報からそれぞれ複数の感情を抽出し、抽出した感情や生理情報に異常が見つかれば、それをユーザ、サーバ、健康管理機関に通知する機能と、算出した心理状態があまり心理的に良くないものであれば、それを和らげるような反応を返す機能を併せ持つことにより、対面的自然言語対話コミュニケーションおよび心身両面での異常情報検出機能を実現する。【選択図】図１
2005237668.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータネットワークにおける感情を考慮した対話装置において、カメラ、マイク、キーボード、生理情報測定器、タッチパネルを通じてユーザの顔画像、発話音声、生理情報、テキスト情報を取得する手段と、それらの情報から感情を測定し、感情の要素を求める手段と、その解析結果の値を装置に保存する手段と、その値をサーバに送信する手段と、サーバ側でユーザの顔画像、発話音声、生理情報、テキスト情報から求めた生起感情の度合（感情値）と、経時変化に応じたユーザの感情値をもとに、コンピュータによる対話者の発話内容を生成する手段と、サーバ側でユーザの顔画像、発話音声、生理情報、テキスト情報から求めた感情値をもとに対話者の顔画像を生成する手段を持つ、コンピュータネットワークにおける感情を考慮した対話装置。
【請求項２】
カメラ、マイク、生理情報測定器を通じてユーザから取得した生理情報から、生命に危険が及ぶ異常を検知した場合、ユーザの健康を日常的に管理している地域・職域・学校健康管理ネットワークに通知する手段を有する請求項１記載のコンピュータネットワークにおける感情を考慮した対話装置。
【請求項３】
カメラ、マイク、キーボード、生理情報測定器、タッチパネルを通じて取得した顔画像、発話音声、生理情報、テキスト情報に基づいてそれぞれの感情解析要素を抽出する手段と、次に抽出した各感情解析要素からユーザの複合的な感情を表す値を算出する感情解析手段。
【請求項４】
サーバ側で、対話内容に応じてユーザへの返答発話およびあらかじめ設定されたコンピュータによる対話者の顔画像を生成、表出し、さらにその履歴を保存する手段を有する請求項１記載のコンピュータネットワークにおける感情を考慮した対話装置。
【請求項５】
請求項１記載の対話装置において、カメラ、マイク、生理情報測定器を通じて取得した生理情報について、システムに保存している平常値や請求項３記載の生起感情の状態をもとにして、異常の有無を判定する手段と、カメラ、マイク、キーボード、生理情報測定器、タッチパネルを通じて取得した顔画像、発話音声、生理情報、テキスト情報をもとに請求項３記載の感情解析手段によって得られたユーザの感情値の推移からユーザの情緒不安定状態を判定する手段と、判定した結果をユーザの健康を日常的に管理している地域・職域・学校健康管理ネットワークへ通知する、請求項１記載のコンピュータネットワークにおける感情を考慮した対話装置。
【請求項６】
医療診断支援や健康支援を目的とした地域職域あるいは学校ネットワークや医療機関における医療診断、健康サポート、コンサルティングシステム上で、対話者の感情として算出された文章、音声、顔画像を表示することで、対話者の感情を表現可能なグラフィカルユーザインタフェースを備えた対話装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、インターネットに接続されたコンピュータにおける人間との対話的コミュニケーションを通じて、ユーザの生理状態及び心理状態の異常を検出し、健康管理機関への通知を行うとともに、対話的コミュニケーションによってそれらの状態を緩和することを目的とした感情を考慮した対話装置に関するものである。
【背景技術】
【０００２】
従来の異常検出装置としては、被験者の生理情報を監視し、異常となった場合に自動的に最寄りの機関に連絡を行う装置が知られている（例えば、特許文献１参照。）。この従来の異常検出装置は、ブレスレット状の外囲器に内蔵された脈拍センサと血圧センサから脈拍情報、血圧情報を監視し、登録した平常時情報から大きく異なる値を検出した場合に、緊急医療機関に連絡を行うものである（図３７参照。）。
【０００３】
しかし生理情報は、怒りや悲しみなどといった被験者の感情状態によって大きく影響されるため、これらの手法のように単純に平常値からの差分を条件とした場合、誤報が数多く起こるという問題点がある。
【０００４】
また、このような被験者の身体的な側面からの危機管理だけでは、被験者の心理的な側面での異常や要支援状態を見逃す恐れがある。特に、少子高齢化社会に伴う介護者の人手不足からの機械による介護支援を想定した場合、機械だからといって心理的な異常を放置していては、重大な問題を引き起こす可能性がある。
【０００５】
機械経由で心身両面からのケアを目指す装置として、図３８のような被介護者側とヘルパー側にカメラ、測定器、マイク、スピーカを設置し、ヘルパーが不在のときには代理のエージェントが応対するようなシステムがある（特許文献２参照。）。しかしこの装置も人間の負担は減らないため、心的介護の肩代わりを果たすまでには至らない。
【０００６】
感情を考慮した対話装置としては、各ユーザの個人情報やその時々の状況、対話の内容に応じて感情を判定し応答を行う対話装置が知られている（例えば、特許文献３参照。）。この従来の対話装置は、入力された音声、顔画像、言語情報などから感情を判定し、言語情報を解析して得られた意味構造やユーザの個人情報に基づいて、予め格納されている応答パターンを選択し、出力文を生成するものである（図３９参照。）。
【０００７】
しかしこの手法では、判定する感情は一種類であり、また、ユーザに対する反応も条件反射的なシンプルなものである。
【０００８】
そこで我々は、判別される感情が少ないという問題点に対して、非特許文献１において、情緒計算手法という手法を提案している。この手法では、ユーザが発した言語情報の内容に対して、ユーザの嗜好情報に基づいて快／不快を計算し、さらに状況や他者からの視点などを考慮して、２０種類の情緒を生起することができる。その際、複数の情緒を同時に生起することができる。
【０００９】
また、感情の認識に言語情報、表情、生理情報など複数の種類の情報を用いる場合、これらの情報から解析される感情に食い違いが起こる事があるため、より正確に感情を認識するには、それぞれの情報から感情を解析し、そこから複合的な感情を計算する必要がある。
【００１０】
【特許文献１】特開２００２−３４９４０号（第５頁、第１図）
【特許文献２】特開２００１−２０４７７４号（第５頁、第２図）
【特許文献３】特開２０００−２０７２１４号
【非特許文献１】目良和也、“Emotion Oriented Intelligent Interface”、東京都立科学技術大学博士（学術）学位論文、２００３年
【発明の開示】
【発明が解決しようとする課題】
【００１１】
本発明は、ユーザから得られた顔画像、発話音声、生理情報、言語情報からそれぞれ複数の感情を抽出し、抽出した感情や生理情報に異常が見つかれば、それをユーザ、サーバ、健康管理機関に通知することを目的とする。さらに、算出した心理状態があまり心理的に良くないものであれば、それを和らげるような反応を返すことを目的とする。
【課題を解決するための手段】
【００１２】
コンピュータネットワークにおける感情を考慮した対話装置において、カメラ、マイク、キーボード、生理情報測定器、タッチパネルなどを通じてユーザの顔画像、発話音声、生理情報、テキスト情報を取得する手段と、それらの情報から感情を測定、解析する手段と、その解析結果の値を装置に保存する手段と、その値をサーバに送信する手段と、サーバ側でユーザの生起感情の度合（感情値）とその経時変化に応じた発話内容を生成する手段と、その値をもとに対話者の顔画像を生成する手段とを有する。
【００１３】
請求項１記載の対話装置において、ユーザから取得した生理情報および感情情報の異常を検知した場合、医療機関もしくは緊急管理用外部機関に通知する手段を有する。
【００１４】
請求項１記載の対話装置において、まず、取得した顔画像、発話音声、生理情報、テキスト情報に基づいてそれぞれの感情解析要素を抽出する手段と、次に抽出した各感情解析要素からユーザの複合的な感情を表す値を算出する感情解析手段を有する。
【００１５】
請求項１記載の対話装置において、サーバ側で、対話内容に応じてユーザへの返答発話および対話者の顔画像を生成、表出し、さらにその履歴を保存する手段を有する。
【００１６】
請求項１記載の対話装置において、請求項４記載の返答発話および顔画像生成手段によって生成された返答発話および顔画像を、ユーザ側の端末に表示する手段を有する。
【００１７】
請求項１記載の対話装置において、取得した生理情報について、システムに保存している平常値や請求項２記載の生起感情の状態をもとにして、異常の有無を判定する手段と、判定した結果を日常的にサポートできる機関へ通知する手段を有する。
【００１８】
請求項１記載の対話装置において、請求項３記載の感情解析手段によって得られたユーザの感情値の推移からユーザの情緒不安定状態を判定する手段と、判定した結果を日常的にサポートできる機関へ通知する手段を有する。
【００１９】
医療診断支援や健康支援などの地域職域あるいは学校ネットワークや医療機関における医療診断、健康サポート、コンサルティングシステム上で、対話者の感情として算出された文章、音声、顔画像を表示することで、対話者の感情を表現可能なグラフィカルユーザインタフェースを有する。
【発明の効果】
【００２０】
上述のように本発明の情緒解析手段では、ユーザの顔画像、発話音声、生理情報、言語情報それぞれ
から感情値を算出し、それらを統合した値を個人感情値として扱うため、従来の手法では実現できなかったマルチモーダルな感情生起や、複数の感情の共起や葛藤を表すことができる。
【００２１】
生理情報異常検出手段では、平常値や生起感情を考慮して異常検出を行うため、検知器の位置や接触の度合といった外部要因や、怒りや失望などの感情による一時的な数値の変動の影響を除外することができる。
【００２２】
顔表情生成手段では、カメラから入力した顔画像やユーザが用意した顔画像を容易に学習させることができるため、実画像に対して表情を付与することが容易に行える。また、２０種類の情緒のうち複数が同時に生起していても、それぞれの強度に応じた表情を表出することが可能となる。
【００２３】
感情情報異常検出手段では、サーバにて個人感情値の推移を監視することで、身体面だけではなく、精神面でのケアや異変の通知なども可能となる。
【００２４】
さらに、現在の感情状態があまり良くないものである場合、反応生成手段にてその状態を軽減するような反応をユーザに返すことが可能となる。
【００２５】
また、本発明に基づく感情指向型知的対話装置を用いて、介護施設や自宅での介護などにおけるコミュニケーションの不足を補うこともできる。
【発明を実施するための最良の形態】
【００２６】
以下、図面を参照して本発明の実施例を説明する。本発明のインタフェース装置の基本的な実施形態を図２に示す。まず、コンピュータに接続されたカメラを通じてユーザの顔画像がクライアントマシンに入力される。同様に、コンピュータに接続されたマイクを通じてユーザの発話音声、キーボードやタッチパネルなどを通じてテキスト情報、生理情報計測機器を通じて生理情報がクライアントマシンに入力される。発話音声はコンピュータの中で解析され、抑揚や強勢などの非言語情報と発話内容を文字列で表現したテキスト情報が抽出される。カメラから取得した顔画像は、ユーザの顔を学習したニューラルネットワークに入力され、各生起感情とその強度（感情値）が算出される。発話音声から取得した非言語情報も、感情値抽出用ニューラルネットワークに入力され、感情値が算出される。発話音声やキーボードなどを通じて取得したテキスト情報は、構文解析の後、情緒計算手法（Emotion Generating Calculations: EGC）を適用することで、感情値を算出する。計測機器から取得したユーザの生理情報は、ユーザパソコンに蓄積している平常値と比較したのち、感情値抽出用ニューラルネットワークに入力され、感情値が算出される。平常値と比較した際、なんらかの異常が発見されれば、外部の医療診断支援システムに通知される。上記各手法によって得られた感情値は、それぞれの特性を考慮して、一つの感情値（個人感情値）に合成される。個人感情値は、サーバに送られると共に、ユーザの感情生起履歴としてユーザパソコンに蓄積される。サーバに蓄積された感情生起履歴と個人感情値を比較して、サポートすべき状況であると認識されれば、緊急管理システムに通知される。
【００２７】
サーバに送られた個人感情値もユーザパソコンと同様に感情生起履歴として蓄積される。そして現在感情と過去の感情の推移をもとに、ユーザを不快にしないような反応として、顔画像と返答文を生成する。生成した顔画像と返答文は、コメントすべき医療情報が医療診断支援システムから送られてきた場合は、そのコメントを優先して出力する。顔画像もそのコメントに応じたものにする。生成された返答発話と顔画像は、ユーザパソコンに送られ、スピーカ、ディスプレイ等を通じてユーザに提示される。
顔表情画像は、ディスプレイを通じてユーザに提示される。
【００２８】
インタフェースシステムに用いられるコンピュータ装置の基本的なハードウェア構成は、図３に示したものである。ＣＰＵ、ＲＡＭ、ＲＯＭ、システム制御手段などを有し、音声を入力するためのマイク、ユーザの顔画像を入力するカメラ、テキスト情報を入力するためのキーボードおよびタッチパネル、生理情報を取得するための計測機器、プログラムやデータを記憶しておく記憶手段、顔画像やデータなどの出力表示をするためのディスプレイ、エージェントからの返答発話を音声で出力するためのスピーカより構成される。
【００２９】
本発明の生理情報異常検出手段では、まず、生理情報測定器から血圧、筋電位、皮膚導電率、呼吸、心拍数などの生理情報を入力する。次に、カメラから入力したユーザの顔画像、マイクから入力した音声情報、キーボードやタッチパネルなどを用いて入力したテキスト情報から、ユーザの現在の感情を抽出する。そして、入力された生理情報を、平常状態の値や現在の感情の影響を考慮して、異常の有無を調べる。異常が発見されれば、外部の地域・職域・学校健康管理ネットワークにアラームとして通知される（図４参照。）。
【００３０】
入力された生理情報は、その強度や変化をより細かく捉えられるように、以下の値へと変換される（非特許文献２参照。）。本手段では、各生理情報についてμX、σX、δX、δ'X、γX、γ'Xの６種類、計３０種類を用いる（数式１参照。）。
【００３１】
【数１】
2005237668.tif 000003
【００３２】
本手法ではこれらの値を平常値と比較する。比較の対象となる平常値として、一般人における平常値、ユーザの健康状態を考慮した平常値、その日の調査開始からの平均値の３種類を用いる。これは、もともと持病を持つユーザにおいて最初から一般の平常値を外れている場合や、生理情報測定器の検知器の測定位置や接触度合の違いなどの外的要因からの影響を除外するためである。
【００３３】
一方、現在のユーザの感情を求めるために入力されたユーザの顔画像に対して、まずAffine変換によって傾きを補正し（図５参照）、次にその顔画像に対して２次元離散コサイン変換を行う（図６参照。）。このようにして得られた低周波成分をもとに感情の抽出を行う。
【００３４】
発話音声には、その発話内容と音声波形の２種類の情報が含まれる。
【００３５】
音声波形からは、強弱や速度の度合をもとに、感情の抽出を行う。その際、生理情報の処理に用いた
μX、σX、δX、δ'X、γX、γ'Xの６つの要因を入力音声の波形から算出し、これらの値を利用する。
【００３６】
音声認識手段およびテキスト情報解析手段では、まず、コンピュータに接続したマイクからユーザの発話音声を入力し、コンピュータ上のソフトウェアを通じて文字列に変換する。次に、得られた発話文字列に対して、形態素解析、構文解析などを行い、意味構造を抽出する。次に、その意味構造を深層格フレームに変換する（図７参照。）。なお、構文解析によって得られる意味構造は表層格フレーム表現であるため、それを以下の処理で用いる深層格フレーム表現に変換する必要がある。変換のための対応表は図８のようになっている。
【００３７】
テキスト情報からの情緒計算手段では、まず、発話内容に対して感じる快／不快を、情緒生起者の嗜好情報に応じて計算する。次に、発話内容の表す状況や、他者に対する好き嫌い、他者が発話内容に対して生起する快／不快などの状況をもとに、算出していた快／不快を、より詳細な２０種類の情緒へと分類する。
【００３８】
まず発話内容が表す事象がユーザにとって快なものか不快なものかを判別する。判別には事象中の格要素に対してエージェントがあらかじめ持っているユーザの好感度を用いる。例えば「私が太郎に勝つ」という事象では、“私”、“太郎”、“勝つ”の三つの語の好感度をもとに計算を行う。そしてこれらの語の好感度をベクトルとして三次元空間（感情空間）の直交軸に配置し、それらの合成ベクトルを計算する（図９参照。）。そして、合成ベクトルの存在する象限により、図１０のように快／不快を判別する。快／不快の強度は、ベクトルの長さから算出する。
【００３９】
各述語タイプにおける主要要素は、述語の分類に沿って、図１１のように定義されている。
【００４０】
算出された快／不快は、他者の視点、将来予測、承認/非難などの条件を参照することで、喜び、苦しみ、嬉しい、ほくそ笑む、憤慨、気の毒、望み、恐れ、満足、安堵、恐れていた通り、失望、誇り、賞賛、羞恥、叱責、感謝、怒り、自己満足、自責の念の２０種類の感情に分類される。各情緒の分類条件は図１２のようになっている。
【００４１】
「他者の運命」に属する情緒は、ある事象が生起したとき、それを他者がどう感じるかによって生じる。これには嬉しい、ほくそ笑む、憤慨、気の毒がある。他者にとって望ましい事象について、自分が喜ぶ場合と不快になる場合の両方がある。本研究では、望ましい事象が起こった他者のことを、自分が好きならば喜び、嫌いなら不快と判断する。つまり、好きな人に良いことがあれば嬉しく、嫌いな人に良いことがあれば不快であると考える。これに基づき、他者にとっての事象の望ましさと自分にとっての他者の好感度を用いて、他者の運命に関する情緒を図１３のように求める。表中のAは自分以外のある他者を表している。図１３に基づいて作成した処理手順を図１４に示す。
【００４２】
「将来的」に属する情緒は、未来に起こると予想した事象が自分自身にとってどういうものかを考慮することにより生じる。これには望み、恐れがある。起こると推測している事象が望ましいものであれば望み、望ましくなければ恐れを算出する。予測した事象は、予測事象リストに蓄えられ、確認の情緒の評価に利用される。図１５に処理手順を示す。
【００４３】
「確認」に属する情緒は、予測していた事象が生起した/しなかった時に、その事象の自分自身にとっての望ましさによって生じる。これには満足、安堵、恐れていた通り、失望がある。現在認識した事象が以前に予測したものである、つまり将来的の処理で蓄積した予測事象リストに存在するか、 “予測通りであったことを暗示する副詞”が含まれていれば、その事象の望ましさによって満足、恐れていた通りを算出する。また、現在認識した事象によって予測した事象が生起しなかったことが判明すれば、予測事象の望ましさにより安堵、失望を算出する。この関係を図１６に、処理手順を図１７に示す。
【００４４】
「幸福」に属する情緒は、ある事象が自分にとって望ましいか否かによって生じる。これには喜び、苦しみがある。ある事象に対して快反応を生起すれば喜び、不快反応を生起すれば苦しみを生起する。ここでまず喜びを生起する事象に注目する。図１２によると、この“ある事象”には、自分自身が望ましいと思う事象だけでなく、他者の運命、将来、確認の情緒群に含まれる以下の情緒も該当する。
・ 自分自身にとって望ましい事象
・ 好きな他者にとって望ましい事象（嬉しい）
・ 嫌いな他者にとって望ましくない事象（ほくそえむ）
・ 将来の望ましい事象（望み）
・ 確認された望ましい事象（満足）
・ 確認されなかった望ましくない事象（安堵）
このうち、「自分自身にとって望ましい」の判断は従来の情緒計算手法の出力をそのまま適用すればよい。それ以外は他の手法で生起した情緒から判断できる。なお、ここで述べた条件は快の場合についてであり、不快の場合はこの逆となる。もしある事象が喜びの条件と苦しみの条件の両方を満たした場合にはその強度によって葛藤が生じると思われる。しかし本研究では葛藤について考えず、そのまま喜びと苦しみの両方に分類する。処理手順を図１８に示す。
【００４５】
「帰属」に属する情緒は、ある事象が生起した時、その行為者に対して生じる。これには誇り、賞賛、羞恥、叱責がある。ある望ましい事象に対して、その事象を行ったのが自分であれば誇り、他者であれば賞賛を算出する。また、望ましくない事象に対して、その事象を行ったのが自分であれば羞恥、他者であれば叱責を算出する。この関係を図１９に、処理手順を図２０に示す。
【００４６】
「幸福/帰属」に属する情緒は、幸福に関する情緒と帰属に関する情緒が同時に生起した場合にそれらの複合情緒として生じる。これには感謝、怒り、自己満足、自責の念がある。図２１に示した通り、幸福、帰属それぞれの情緒の組み合わせによってさらに複合情緒が算出される。なお図２１で(C)となっているところは、2つの情緒が複合せず、葛藤を起こすと考えられるが、葛藤については考慮せず、同じ強度の相対する情緒として扱う。処理手順を図２２に示す。
【００４７】
このように本手法では、ある情緒生起が他の情緒生起の引き金となり、連鎖的に情緒を生起している。情緒生気の依存関係は図２３のようになっている。まず自分にとっての事象の望ましさを計算する。それがもし未来の様相を持っているなら将来的に関する情緒が算出される。将来的で算出された事象は、それが実際に起こったかどうかによってさらに確認の情緒が算出される。一方、他者にとっての事象の望ましさから他者の運命の情緒が算出される。これら将来的、確認、他者の運命と自分にとっての事象の望ましさから幸福の情緒が算出される。もし対象となる事象の述語がV(S,O,*)タイプの事象ならば、主体にとっての行為者の好感度に基づいて帰属の情緒が算出される。幸福と帰属の両方の情緒が算出されている場合は、幸福/帰属の情緒が算出される。
【００４８】
本手法を適用した結果および処理の流れの例を図２４に示す。この例では、“迷惑な隣人のことが嫌い”、“家主のことは好きでも嫌いでもない”という好感度情報を持っていた場合に、「ゆうべ家主が迷惑な隣人を叱った」ことに対しての情緒を計算する。まず、述語“叱る”の事象タイプが動詞ＶＩであるため、主体、客体、述語の３要素の好感度からベクトルを合成する。その結果、合成ベクトルは領域ＶＩに存在するため、この事象は「快」とみなされる。さらに、同一事象について家主と隣人の視点からも快不快を計算すると、隣人はこの事象に対して「不快」を感じていることが分かる。ここで、“嫌いな人間が不快を感じている”ことから、“ほくそ笑む”が生起する。さらに、この“ほくそ笑む”から“喜び”が生起する。また、自分が快に思うことを他者（大家）が行ったことから、大家に対する“賞賛”と“感謝”が生起する。
【００４９】
顔画像、音声情報、テキスト情報から得られた感情抽出のための要素は、ニューラルネットワーク（図２５参照）に入力され、中間層の状態に基づいて２０種類の感情が抽出される。
【００５０】
ニューラルネットでは、入力層に入力された情報が中間層を経由して出力層に伝播されていく。しかし正しい学習が行われていなければ、出力されるべき情報と実際に出力される情報は異なる。そこでこの誤差を減らすように学習させることで、ニューラルネットワーク自身を学習させていく手法として、BP学習手法（誤差逆伝播法）というものがある。BP学習では、入力層に情報を入力して出力層に情報を出力する前向き演算だけでなく、出力層に出力されるべき情報を入力し入力層に対応する情報が出力される後ろ向き演算も行う。その結果、前向き演算と後ろ向き演算によってネットワークの重みに誤差が生じる。この誤差が最少になるようにネットワークの重みを変更していく手法が、BP学習手法である。
【００５１】
一般的にニューラルネットワークの学習にはBP学習が用いられるが、我々は第３層と第５層において、数式２のようなsigmoid関数の代わりに、数式３のようなbias関数を使用している。
【００５２】
【数２】
2005237668.tif 000004
【００５３】
【数３】
2005237668.tif 000005
ω21は第１層と第２層の間の重みを表している。第２層に対するoutput activationは数式４のようになる。なお、x1は第一層のoutput activationである。
【００５４】
【数４】
2005237668.tif 000006
第３層では、数式５のoutput activationを用いている。
【００５５】
【数５】
2005237668.tif 000007
同様に、第４層、第５層のoutput activationは、それぞれ数式６、数式７のようになる。
【００５６】
【数６】
2005237668.tif 000008
【００５７】
【数７】
2005237668.tif 000009
【００５８】
本提案手法で用いるニューラルネットワークは第１層に顔画像、音声情報、テキスト情報から得られた感情抽出のための要素の値をそれぞれ入力し、第３層に感情が出力として現れる。そのため、第１層及び第５層のニューロン数は３０５（２５５＋３０＋２０）個、第３層のニューロン数は２０個となる。
【００５９】
本手法では、事前に各データとそれに対応する感情の関係をニューラルネットワークに学習させておく。そして、第１層に顔画像、音声情報、テキスト情報から得られた感情抽出のための要素の値をそれぞれ入力し、第３層から各感情とその強度を抽出する。
【００６０】
生理情報からの異常検出手段では、このようにして得られた感情値及び生理情報の平常値と、現在獲得した生理情報を比較することで、異常状態を検出する。
【００６１】
生理情報からの異常検出手段では、血圧、心拍数、呼吸から取得した各数値が、平常値からある閾値以上のずれを生じた場合、何らかの異常があるとして地域・職域・学校健康管理ネットワークに通知する。
【００６２】
異常を知らせるアラーム情報は連続値で表され、その度合に応じて、“要経過観察”、“要警告”、“要通知”といった意味合いを持つ。
【００６３】
次に、精神的な面における異常を検出する手段では、まず、生理情報測定器から入力した生理情報、カメラから入力したユーザの顔画像、マイクから入力した音声情報、キーボードやタッチパネルなどを用いて入力したテキスト情報から、ユーザの現在の感情を抽出する。そして、得られた感情に対して、生起感情の履歴やユーザの健康状態や精神状態を考慮して、異常の有無を調べる。異常が発見されれば、外部の地域・職域・学校健康管理ネットワークにアラームとして通知される（図２６参照。）。
【００６４】
生理状態における異常を検出する手段では感情抽出に生理情報を用いていなかったが、この感情情報異常検出手段では、抽出感情の精度を上げるため、生理情報も感情抽出に用いる。そのため、感情抽出に用いるニューラルネットワークの第１層および第５層のニューロン数は、３３５個に増加させる。
【００６５】
生起した感情は、ユーザパソコンとサーバの両方で管理、蓄積される。その際、最新の感情以外を破棄するのではなく、過去の感情生起も履歴として残すようにする。
【００６６】
感情情報からの異常検出手段では、抽出した感情値に対して、生起感情の履歴やユーザの健康状態や精神状態と比較して、異常や要支援状態でないかどうかを判別する。何らかの異常があった場合、地域・職域・学校健康管理ネットワークに通知する。
【００６７】
ここで、異常や要支援状態と見なす感情状態としては、図２７に示すように、“長期間ネガティブな感情を持ちつづけている”、“興奮性の感情を強く生起した”、“全体的な感情生起が減少している”などがある。これらの感情生起自体には問題はないが、このような感情が身体に悪影響を及ぼしたり、健康状態の悪化を示唆したりしている恐れのあるものがアラームの対象となっている。
【００６８】
異常を知らせるアラーム情報は連続値で表され、その度合に応じて、“要経過観察”、“要警告”、“要通知”といった意味合いを持つ。
【００６９】
アラームの値は、該当条件と該当度合をもとにファジィ推論を用いて算出される。
【００７０】
ファジィ推論は、命題論理に基づく推論過程に「あいまいさ」を導入したものである。本来命題論理では、命題は真か偽の二値によってあらわされる。しかしこのファジィ推論では、命題は真偽だけでなく、その度合も表すことができる。例えば、“興奮性の感情を強く生起すれば、血圧が上がる”という推論規則は、数式８のように表現される。
【００７１】
【数８】
2005237668.tif 000010
【００７２】
数式８中の“生起感情が興奮性である”や“生起感情が強い”といった命題は真偽の二値で表せるものではないため、ファジィ集合を用いてその度合を決める。この度合は、命題ごとに用意したメンバーシップ関数によって求められる。今回の例のように前件部に２つ以上の条件がある場合、低いほうの度合を前件部全体の度合（グレード値）とする。そして、得られた前件部のグレード値を数式８全体のメンバーシップ関数に適用することで、後件部のグレード値を求める（図２８参照。）。
【００７３】
さらに、図２７に示すように、複数の推論規則によって後件部の値（本手法ではアラーム値）が得られる場合、これらの値を合成する必要がある。このような状況で後件部のグレード値を算出するための手法として、Min-Max法というものがある。Min-Max法では、後件部のファジィ集合を前件部のグレード値で切り取って台形型のファジィ集合を作り、この集合の和の重心を後件部のグレード値とする（図２９参照。）。
【００７４】
該当条件は重要度によってそれぞれ異なるメンバーシップ関数を持っている。例えば“興奮性の感情を強く生起した”という条件の場合、該当の度合が余程大きく無い限りさほど問題ではない（図３０参照）が、“全体的な感情生起が減少している”という条件の場合、該当の度合が大きくなくても注意が必要である（図３１参照。）。
【００７５】
反応生成手段では、算出したユーザの感情値と医療診断支援システムから受信したカウンセリングコメントをもとにユーザに対する対話者の反応を計算する。その際、基本的にはユーザへの同調を表すため、ユーザの情緒に沿った表情を表出させるが、暗い話題が続いていれば元気付けるために笑顔を返す、鬱状態のユーザには無理に元気付けない、医療診断支援システムから受信したカウンセリングコメントなどシステムから自発的に何か話すときにはその発話内容に付随した感情に沿って表情画像を生成する。
【００７６】
本手法では、６種類の感情（喜び、悲しみ、怒り、嫌悪、恐れ、驚き）それぞれにおける表情画像の特徴を、ニューラルネットワークに学習させる。このニューラルネットワークは第３層が２つのニューロンから構成されているため、各表情における顔画像の特徴が、二次元平面に展開される（図３２参照。）。そして、その二次元平面の一箇所を入力として第三層に与えると、第五層で学習させた顔画像をもとにした表情画像が出力される（図３３参照）。
【００７７】
情緒計算手段にて算出した２０種類の感情を一つの表情画像として表出するためには、まずこれら２０種類の感情を表情用の６種類の感情に変換し、さらに、これらを合成した感情が上記の二次元平面のどこに該当するのかを計算する必要がある。まず、２０種類の感情を６種類に再分類する規則は、各感情の特徴を考慮して、図３４のようになっている。
【００７８】
６種類に分類された感情は、感情平面上の該当感情部分に各感情の強度を足した値を重みとして加え、それらの重心を個人感情値を合成した表情とする（図３５参照。）。
【００７９】
返答発話生成手段では、これまでの個人感情値の推移とユーザとの対話履歴に基づいてあいづちを生成する。あいづちは、基本的に現時点での感情値に対応した表に基づいて生成される（図３６参照。）。また、うまく音声を認識出来なかった場合には聞き返し、同じ話題が長く続き過ぎれば新しい話題の提示、サーバからカウンセリング結果が届いたなら結果の出力なども行う。
【００８０】
反応出力手段では、サーバにて生成された顔画像および返答発話といった反応は、再びユーザパソコンに送られ、ユーザパソコンのディスプレイや音声合成装置およびスピーカを通じて出力される。
【００８１】
地域・職域・学校健康管理ネットワークでは、ユーザパソコン及びサーバからアラームを受け取り、その深刻度に応じて、医療機関に通知、ユーザへのメッセージ送信、引き続き注意して監視、という対応を行う。
【産業上の利用可能性】
【００８２】
本発明の手法を従来の生起情報管理システムに導入する事により、感情による影響を考慮することが可能となり、過剰検出を増やすことなく異常検出の精度を上げる事ができる。また、本発明の手法により、身体面だけでなく精神面での異常も発見できるため、２４時間の対応が不可能な状況において、有効な介護支援システムとなり得る。さらに、感情的な反応を返す擬人的なエージェントとのやりとりは、高齢者介護などの状況において不十分となりがちな、精神面でのケアの効果も期待できる。
【図面の簡単な説明】
【００８３】
【図１】本発明の一実施例の処理手順
【図２】同実施例の構成図
【図３】同実施例のハードウェア構成図
【図４】生理情報危険検出手段の処理手順
【図５】Affine変換
【図６】２次元離散コサイン変換
【図７】同実施例における音声認識および入力文解析手順
【図８】表層格フレーム表現と深層格フレーム表現の対応表
【図９】感情空間上の合成ベクトル
【図１０】感情空間上の象限と快不快の対応
【図１１】各述語タイプにおける主要要素
【図１２】出力する感情とその生起条件
【図１３】“他者の運命”に関する情緒の生起状況
【図１４】“他者の運命”に関する情緒の判別手順
【図１５】“将来的”に関する情緒の判別手順
【図１６】“確認”に関する情緒の生起状況
【図１７】“確認”に関する情緒の判別手順
【図１８】“幸福”に関する情緒の判別手順
【図１９】“帰属”に関する情緒の生起状況
【図２０】“帰属”に関する情緒の判別手順
【図２１】“幸福／帰属”に関する情緒の生起状況
【図２２】“幸福／帰属”に関する情緒の判別手順
【図２３】生起情緒の依存関係
【図２４】情緒生起処理の実施例
【図２５】ニューラルネットワーク
【図２６】感情情報異常検出手段の処理手順
【図２７】要注意感情状態
【図２８】ファジィ推論
【図２９】Min-Max法
【図３０】“興奮性の感情を強く生起した”のメンバーシップ関数
【図３１】“全体的な感情生起が減少している”のメンバーシップ関数
【図３２】第３層に構築された感情平面
【図３３】感情平面から再現した顔表情画像
【図３４】感情の再分類規則
【図３５】全生起感情の合成
【図３６】返答発話データベース
【図３７】従来の生理情報異常検出装置
【図３８】従来の介護コミュニケーション支援システム
【図３９】従来の感情を考慮した対話装置
【符号の説明】
【００８４】
Er 右目の中心点
El 左目の中心点
M 口の中心点
c1〜c4, d 画像切り取り用変数
D01 ユーザ
D02 発話入力用マイク
D03 入力音声
D04 音声認識結果
D05 形態素解析結果
D06 構文解析結果
D07 構文解析結果を表層格フレーム表現で表したもの
D08 深層格フレーム表現
F01 必須格要素１の好感度
F02 必須格要素２の好感度
F03 必須格要素３の好感度
F04 合成ベクトル
T01 情緒計算手法によって得られた快／不快
T02 「将来」に関する情緒生起処理
T03 「確認」に関する情緒生起処理
T04 「他者の運命」に関する情緒生起処理
T05 「幸福」に関する情緒生起処理
T06 「帰属」に関する情緒生起処理
T07 「幸福／帰属」に関する情緒生起処理
V01 怒りの表情を出力する領域
V02 嫌悪の表情を出力する領域
V03 恐れの表情を出力する領域
V04 悲しみの表情を出力する領域
V05 幸福の表情を出力する領域
V06 驚きの表情を出力する領域
V07 ニュートラルの表情を出力する領域
V08 ニューラルネットワーク第三層１つめのニューロンの活性度
V09 ニューラルネットワーク第三層２つめのニューロンの活性度
S01 １つめの感情の重心
S02 ２つめの感情の重心
S03 ３つめの感情の重心
S04 ４つめの感情の重心
S05 ５つめの感情の重心
S06 ６つめの感情の重心
S07 １つめの感情の強度
S08 ２つめの感情の強度
S09 ３つめの感情の強度
S10 ４つめの感情の強度
S11 ５つめの感情の強度
S12 ６つめの感情の強度
S13 全感情の合成地点
S14 合成感情の強度
【図１】
2005237668.tif 000011
【図２】
2005237668.tif 000012
【図３】
2005237668.tif 000013
【図４】
2005237668.tif 000014
【図５】
2005237668.tif 000015
【図７】
2005237668.tif 000016
【図８】
2005237668.tif 000017
【図１０】
2005237668.tif 000018
【図１１】
2005237668.tif 000019
【図１２】
2005237668.tif 000020
【図１３】
2005237668.tif 000021
【図１４】
2005237668.tif 000022
【図１５】
2005237668.tif 000023
【図１６】
2005237668.tif 000024
【図１７】
2005237668.tif 000025
【図１８】
2005237668.tif 000026
【図１９】
2005237668.tif 000027
【図２０】
2005237668.tif 000028
【図２１】
2005237668.tif 000029
【図２２】
2005237668.tif 000030
【図２３】
2005237668.tif 000031
【図２４】
2005237668.tif 000032
【図２５】
2005237668.tif 000033
【図２６】
2005237668.tif 000034
【図２７】
2005237668.tif 000035
【図２８】
2005237668.tif 000036
【図２９】
2005237668.tif 000037
【図３０】
2005237668.tif 000038
【図３１】
2005237668.tif 000039
【図３２】
2005237668.tif 000040
【図３４】
2005237668.tif 000041
【図３５】
2005237668.tif 000042
【図３６】
2005237668.tif 000043
【図３７】
2005237668.tif 000044
【図３８】
2005237668.tif 000045
【図３９】
2005237668.tif 000046
【図６】
2005237668.tif 000047
【図９】
2005237668.tif 000048
【図３３】
2005237668.tif 000049