(57)【特許請求の範囲】
【請求項１】
ユーザの発する音声に関する情報と、ユーザを撮影した映像に関する情報と、ユーザ操作によって生成される文字情報とのうち少なくともいずれか一つを入力情報として入力する入力手段と、
前記入力情報の特徴を抽出する特徴抽出手段と、
前記入力情報のうち、言語情報が含まれている入力情報を解析し、意味構造を抽出する入力文解析手段と、
一般的な知識・常識に関するデータを格納している知識情報記憶手段と、
分散環境にある所望の最新情報を提供する情報サーバを選択・接続して所望の情報を取得する情報検索・通信手段と、
ユーザの個人情報を格納している個人情報格納手段と、
人間に任意の感情を起こさせる事柄と、その事柄によって人間に起きることが推論される感情とを関連付ける推論規則を格納している感情推論規則格納手段と、
複数の応答パターンを保持する応答パターン格納手段と、
前記入力文解析手段により解析された入力情報の意味構造が、明示的に情報を要求している内容であった場合、
その要求された情報と、前記ユーザの個人情報と、前記一般的な知識・常識に関するデータとに基づいて、前記情報検索・通信手段を介して前記情報サーバから前記要求に対する返信情報を取得し、
この取得された返信情報によって起きると予想される前記ユーザの感情を、前記返信情報と前記ユーザの個人情報と、前記感情推論規則とに基づいて推定し、
この推定された感情に合致する応答パターンを、前記複数の応答パターンのうちから選択し、この選択された応答パターンを用いて、前記ユーザへの応答文の意味構造を作成する対話処理手段と、
前記対話処理手段により作成された意味構造に基づいて前記応答文を生成する応答文生成手段と、
前記複数の応答パターンに対応した複数の応答特徴を格納している応答特徴格納手段と、
前記対話処理手段により選択された応答パターンに対応した応答特徴を前記応答特徴格納手段から取得し、この取得された応答特徴と前記応答文とに基づいて、応答内容を生成する応答生成手段と、
前記応答生成手段で生成した応答内容を出力する出力手段と
を有することを特徴とする対話装置。
【請求項２】
ユーザの発する音声に関する情報と、ユーザを撮影した映像に関する情報と、ユーザ操作によって生成される文字情報とのうち少なくともいずれか一つを入力情報として入力する入力手段と、
前記入力情報の特徴を抽出する特徴抽出手段と、
前記特徴抽出手段により抽出された特徴と、予め格納されている感情判定用データとから前記ユーザの感情を判定する感情判定手段と、
前記入力情報のうち、言語情報が含まれている入力情報を解析し、意味構造を抽出する入力文解析手段と、
一般的な知識・常識に関するデータを格納している知識情報記憶手段と、
分散環境にある所望の最新情報を提供する情報サーバを選択・接続して所望の情報を取得する情報検索・通信手段と、
ユーザの嗜好に関する情報を含む個人情報を格納している個人情報格納手段と、
人間に任意の感情を起こさせる事柄と、その事柄によって人間に起きることが推論される感情とを関連付ける推論規則を格納している感情推論規則格納手段と、
複数の応答パターンを保持する応答パターン格納手段と、
前記入力文解析手段により解析された入力情報の意味構造が、明示的に情報を要求していない内容であった場合、
前記ユーザの個人情報のうちの少なくとも前記嗜好に関する情報と、前記一般的な知識・常識に関するデータ及び前記情報検索・通信手段を介して前記情報サーバから取得した返信情報のうちの少なくとも一方の情報とに基づいて、前記感情判定手段で判定された感情をユーザが起こした原因を特定するとともに、この特定された原因に基づいて、次にユーザに起こさせるべき感情を推定し、この推定された感情に合致する応答パターンを、前記複数の応答パターンのうちから選択し、この選択された応答パターンを用いて、前記ユーザへの応答文の意味構造を作成する対話処理手段と、
前記対話処理手段により作成された意味構造に基づいて前記応答文を生成する応答文生成手段と、
前記複数の応答パターンに対応した複数の応答特徴を格納している応答特徴格納手段と、
前記対話処理手段により選択された応答パターンに対応した応答特徴を前記応答特徴格納手段から取得し、この取得された応答特徴と前記応答文とに基づいて、応答内容を生成する応答生成手段と、
前記応答生成手段で生成した応答内容を出力する出力手段と
を有することを特徴とする対話装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は対話装置に係り、特にユーザとコンピュータが音声あるいは表情等を通じて対話する対話装置に関する。
【０００２】
【従来の技術】
従来より、ユーザの感情に応じてコンピュータ側の応答を制御する対話装置が知られている（特開平８−３３９４４６号公報）。この従来の対話装置は、ユーザの行動或いは動作に応じる複数の入力手段と、入力手段から入力された入力信号の特徴を抽出する特徴抽出手段と、特徴抽出手段により抽出された複数の信号特徴から前記ユーザの感情を判定する感情判定手段と、感情判定手段により判定された感情に基づき、コンピュータの応答内容を生成する応答生成手段とから構成されている。
【０００３】
この従来の対話装置によれば、ユーザの感情に応じてコンピュータ側から応答するように制御することができるので、より親しみの持てる対話装置を提供できる。
【０００４】
【発明が解決しようとする課題】
しかるに、上記の従来の対話装置では、予め格納された特徴データによるユーザの感情判定のみに基づいてコンピュータが応答生成するに止まり、対話の内容を反映した応答特徴とならない。また、感情の原因や、適切な応答の仕方は、ユーザにより、また、その時々の状況により一定ではないが、上記の従来の対話装置では表面的な入力信号の特徴で判定した感情によってのみ応答を決定するため、これらの状況に対応して適切な応答をするには至っていない。
【０００５】
本発明は以上の点に鑑みなされたもので、ユーザの感情を判定しこれによって応答生成するのみでなく、各ユーザの個人情報やその時々の状況、対話の内容に応じて適切な応答を行い得る対話装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明は上記の目的を達成するため、ユーザの発する音声に関する情報と、ユーザを撮影した映像に関する情報と、ユーザ操作によって生成される文字情報とのうち少なくともいずれか一つを入力情報として入力する入力手段と、入力情報の特徴を抽出する特徴抽出手段と、入力情報のうち、言語情報が含まれている入力情報を解析し、意味構造を抽出する入力文解析手段と、一般的な知識・常識に関するデータを格納している知識情報記憶手段と、分散環境にある所望の最新情報を提供する情報サーバを選択・接続して所望の情報を取得する情報検索・通信手段と、ユーザの個人情報を格納している個人情報格納手段と、人間に任意の感情を起こさせる事柄と、その事柄によって人間に起きることが推論される感情とを関連付ける推論規則を格納している感情推論規則格納手段と、複数の応答パターンを保持する応答パターン格納手段と、入力文解析手段により解析された入力情報の意味構造が、明示的に情報を要求している内容であった場合、その要求された情報と、ユーザの個人情報と、一般的な知識・常識に関するデータとに基づいて、情報検索・通信手段を介して情報サーバから要求に対する返信情報を取得し、この取得された返信情報によって起きると予想されるユーザの感情を、返信情報とユーザの個人情報と、感情推論規則とに基づいて推定し、この推定された感情に合致する応答パターンを、複数の応答パターンのうちから選択し、この選択された応答パターンを用いて、ユーザへの応答文の意味構造を作成する対話処理手段と、対話処理手段により作成された意味構造に基づいて応答文を生成する応答文生成手段と、複数の応答パターンに対応した複数の応答特徴を格納している応答特徴格納手段と、対話処理手段により選択された応答パターンに対応した応答特徴を応答特徴格納手段から取得し、この取得された応答特徴と応答文とに基づいて、応答内容を生成する応答生成手段と、応答生成手段で生成した応答内容を出力する出力手段とを有することを特徴とする。
【０００７】
また、上記の目的を達成するため、本発明は、ユーザの発する音声に関する情報と、ユーザを撮影した映像に関する情報と、ユーザ操作によって生成される文字情報とのうち少なくともいずれか一つを入力情報として入力する入力手段と、入力情報の特徴を抽出する特徴抽出手段と、特徴抽出手段により抽出された特徴と、予め格納されている感情判定用データとからユーザの感情を判定する感情判定手段と、入力情報のうち、言語情報が含まれている入力情報を解析し、意味構造を抽出する入力文解析手段と、一般的な知識・常識に関するデータを格納している知識情報記憶手段と、分散環境にある所望の最新情報を提供する情報サーバを選択・接続して所望の情報を取得する情報検索・通信手段と、ユーザの嗜好に関する情報を含む個人情報を格納している個人情報格納手段と、人間に任意の感情を起こさせる事柄と、その事柄によって人間に起きることが推論される感情とを関連付ける推論規則を格納している感情推論規則格納手段と、複数の応答パターンを保持する応答パターン格納手段と、入力文解析手段により解析された入力情報の意味構造が、明示的に情報を要求していない内容であった場合、ユーザの個人情報のうちの少なくとも嗜好に関する情報と、一般的な知識・常識に関するデータ及び情報検索・通信手段を介して情報サーバから取得した返信情報のうちの少なくとも一方の情報とに基づいて、感情判定手段で判定された感情をユーザが起こした原因を特定するとともに、この特定された原因に基づいて、次にユーザに起こさせるべき感情を推定し、この推定された感情に合致する応答パターンを、複数の応答パターンのうちから選択し、この選択された応答パターンを用いて、ユーザへの応答文の意味構造を作成する対話処理手段と、対話処理手段により作成された意味構造に基づいて応答文を生成する応答文生成手段と、複数の応答パターンに対応した複数の応答特徴を格納している応答特徴格納手段と、対話処理手段により選択された応答パターンに対応した応答特徴を応答特徴格納手段から取得し、この取得された応答特徴と応答文とに基づいて、応答内容を生成する応答生成手段と、応答生成手段で生成した応答内容を出力する出力手段とを有することを特徴とする。
【０００８】
【発明の実施の形態】
次に本発明の実施の形態について、図面と共に説明する。図１は本発明になる対話装置の一実施の形態のブロック図を示す。同図に示すように、この実施の形態は、音声、顔画像等ユーザからの複数の入力に対応する入力手段１と、各入力手段１の入力信号から特徴抽出する特徴抽出手段２と、各入力信号の感情に対応する特徴を格納する感情特徴格納手段３と、感情特徴格納手段３の格納データを元にユーザの入力から得られる信号の特徴からユーザの感情を判定する感情判定手段４と、感情に応じた応答を作成するための出力データを格納する応答特徴格納手段５と、応答内容を生成する応答生成手段６と、生成されたデータを出力する出力手段７は従来の対話装置と同様の構成とされている。
【０００９】
本実施の形態ではこれら従来装置の構成に加え、入力手段１から入力された言葉情報を解析し意味構造を抽出する入力文解析手段８と、ユーザの個人情報を格納する個人情報格納手段９と、話題に関連する情報を検索・取得するための情報サーバ１０及び情報検索・通信手段１１並びに知識ベース１２からなる情報取得手段１３と、客観的事柄とユーザの感情を関連付ける推論規則を格納する感情推論規則格納手段１４と、コンピュータの応答パターンのインデックスを保持する応答パターン格納手段１５と、対話の履歴を格納する対話履歴格納手段１６と、入力の意味構造とユーザの感情と情報取得手段１３から取得した関連情報と個人情報と感情推論規則を参照して適切な応答パターンを選択し、応答文の意味構造を作成する対話処理手段１７と、意味構造から出力の言葉を生成する出力文生成手段１８からなる構成を追加したものである。
【００１０】
個人情報格納手段９には個人プロファイル９ａが格納されている。別の実施の形態で示すようにスケジュール情報９ｂを格納することもできる。本実施の形態で示す対話装置の用途としては、スケジュール管理、情報検索・収集等、秘書的役割を果たすものや各種情報適用装置が挙げられるが、これら以外の用途に用いることもできる。
【００１１】
入力手段１は、音声、顔画像、手話等、ユーザからの複数の入力に対応した、複数の入力手段を備えることができる。特徴抽出手段２は、各入力手段１の入力信号から特徴を抽出する。この特徴としては、顔画像の表情に関連する特徴、声のピッチ等が挙げられる。感情特徴格納手段３には、感情を判定するためのデータとして各入力信号の感情に対応する特徴を格納する。感情判定手段４は感情特徴格納手段３のデータを基にユーザの入力から得られる入力信号の特徴からユーザの感情を判定する。
【００１２】
入力文解析手段８は、ユーザの入力の内、音声による発話、キーボードやペンによる文字入力、手話入力等、言葉として入力される情報を解析し、入力意味構造を作成する。会話中省略されている部分は対話履歴格納手段１６を参照し文脈から補って作成する。
【００１３】
個人情報格納手段９には、対話の過程で得られる個人情報をユーザ毎に蓄積する。個人プロファイル９ａには、ユーザのプロファイルを蓄積する。氏名・住所・年令・性別・家族構成・所属・身分等の他、趣味・嗜好に関する情報も対話を通じ蓄積される。
【００１４】
感情推論規則格納手段１４には、感情に関する因果関係の推論規則が格納されている。推論規則は、例えば図２に示すように、好きな物・人が利益を得る（成功する）という条件で推論される感情「喜び」（パターン１）、好きな物・人が損失を被る（失敗する）という条件で推論される感情「落胆」（パターン２）、嫌いな物・人が利益を得る（成功する）という条件で推論される感情「怒り」（パターン３）、嫌いな物・人が損失を被る（失敗する）という条件で推論される感情「満足」（パターン４）がある。感情の振幅や嗜好の程度は個人差があるが、これらは個人プロファイル９ａ中の情報を用いる。ある事象が条件に当てはまる程度は知識ベース１２中の情報を参照して評価する。
【００１５】
知識ベース１２は一般的な知識・常識に関するデータベースである。情報サーバ１０は分散環境にあり情報を提供するサーバである。目的により複数の情報サーバ１０を利用することが考えられる。この情報サーバ１０としては、特定分野のデータベースや音楽・映像等のマルチメディア情報、ニュース・天気予報等の最新情報供給が挙げられる。情報検索・通信手段１１は、対話処理手段１７からの検索依頼を受けて情報サーバ１０を選択・接続して情報を検索・取得する。
【００１６】
応答パターン格納手段１５ではコンピュータの応答パターンを格納する。応答パターンは、応答内容、言葉遣い、各種応答特徴のインデックスを選択できる。対話履歴格納手段１６では、ユーザとコンピュータの対話の履歴を蓄積する手段であり、これはユーザの話し言葉の中で省略が用いられた場合でも、対話の履歴を参照して意味を補い適切な入力意味構造を作成するために必要である。また、対話履歴格納手段１６は、対話の流れを踏まえて次の応答を作成するために対話処理手段１７によって参照される。
【００１７】
対話処理手段１７は、入力意味構造及び感情判定を基に応答出力の意味構造、応答パターンを決定し、応答のために必要な情報を取り出す。入力意味構造が明示的に情報を要求していれば、知識ベース１２、情報サーバ１０、個人情報格納手段９を参照し、情報を取得する。取得した情報を感情推論規則に当てはめ、個人プロファイル９ａ中の個人の嗜好と合わせてこの情報によるユーザの感情を推定する。この予想されるユーザの感情、及び、現在のユーザの感情を基に適切な応答パターンを選択し、出力意味構造を作成する。
【００１８】
入力意味構造が明示的な情報要求でない場合、入力意味構造がユーザの個人情報を示していれば、対話処理手段１７は個人情報格納手段９にその個人情報を格納する。入力意味構造と感情判定を基に個人プロファイル９ａと感情推論規則を用い、必要に応じて知識ベース１２又は情報サーバ１０から関連する情報を取得してユーザの感情の原因を推定する。対話処理手段１７は、個人プロファイル９ａ中の個人の嗜好と感情推論規則から、これらの取得した情報によるユーザの感情を推定し、出力する情報及び応答パターンを選択し、出力意味構造を作成する。
【００１９】
出力文生成手段１８は、対話処理手段１７から得た出力意味構造を基に、応答文を生成する。応答文は、テキスト、音声、手話等の内、ユーザの希望する方法で表現される。応答特徴格納手段５には、応答パターンに応じた応答の特徴データが格納されている。応答の特徴は応答画面のキャラクターの表情や身振り、応答音声のトーン等が挙げられる。応答生成手段６は、指定された応答パターンに基づき応答特徴格納手段５より応答特徴のデータを取り出し応答出力を生成する。出力手段７はモニタ画面・スピーカ等に応答を出力する。
【００２０】
次に、本発明の実施の形態による応答生成の簡単な例をプロ野球情報を話題とする場合を挙げて説明する。実際の感情分類や推論規則はより細分化されており複雑となるが、説明のため、簡単な例を挙げる。感情推論規則格納手段１４には図２に示した推論規則が格納されている。ユーザＡの個人プロファイル９ａには図３のようにユーザの嗜好（この例では好きなプロ野球の球団名と好きな選手名）が格納されているとする。
【００２１】
知識ベース１２には野球に関する一般的知識、半ば固定的な知識が格納される。情報サーバ１０にはその日の試合結果、ハイライトシーン等最新の情報が随時更新されている。選手登録や試合日程等の情報は必要に応じて情報サーバ１０より取り出し知識ベース１２を更新する。
【００２２】
ユーザＡが対話装置に対し「今日の試合結果は？」と尋ねた場合、コンピュータは情報サーバ１０より試合結果を取得する。「横浜５−１巨人」という結果が得られた場合、「ユーザの好きなチームが敗れた」事を判断し、図２に示した推論パターン２に合致するので、対話処理手段１７はユーザは落胆すると予想し（ユーザの感情を推定し）、予想した感情に応じて出力する情報及び応答パターンを選択し、出力意味構造を作成し、指定された応答パターンに基づき応答特徴格納手段５より応答特徴のデータを取り出し応答生成手段６により応答出力を生成させ、出力手段７によりモニタ画面・スピーカ等に応答を出力する。応答パターンとしては「残念ながら負けてしまいました。」と残念そうに答える、というパターンが選択される。
【００２３】
一方、ユーザＡが「あー、また負けた」といった場合、音声・表情等からユーザの感情は落胆していると判定されたとする。この場合、情報サーバ１０から試合結果を取得し、個人プロファイル９ａを参照すると、ユーザの落胆の原因は「好きなチームが敗れた」ということで推論パターン２に合致する。コンピュータの対話処理手段１７は応答パターンとしてユーザが喜びそうな即ち推論パターン１に合致する情報を探し、応答生成手段６により応答を作成させる。この場合、「でも、松井は本塁打トップです。」等と努めて明るく答えるパターンが選択される。
【００２４】
このように、この実施の形態によれば、各ユーザの個人情報を蓄積し、蓄積された情報と知識ベース１２、情報サーバ１０からの情報から、感情推論規則を用いて、各ユーザの嗜好やその時々の状況、話題に応じて感情の原因を推し量り、コンピュータの応答に対するユーザの感情を予測して、適切な応答を作成することができる。
【００２５】
次に、本発明の他の実施の形態について説明する。この他の実施の形態では、個人情報格納手段９に個人プロファイル９ａに加え、スケジュール情報９ｂを格納するようにしたものである。スケジュール情報９ｂにはユーザのスケジュールを蓄積する。ユーザとの対話において入力意味構造がユーザのスケジュールを示していれば、スケジュール情報９ｂに情報を格納する。入力意味構造と感情判定を基に個人プロファイル９ａと感情推論規則を用い、必要に応じて知識ベース１２又は情報サーバ１０から関連する情報を取り出して、ユーザの感情の原因を推定する際に、スケジュール情報９ｂからユーザのスケジュールもまた参照し、感情の原因を推定する。この場合は、各ユーザの嗜好やその時々の状況、話題だけでなく、スケジュールにも応じて感情の原因を推し量り、コンピュータの応答に対するユーザの感情を予測して、適切な応答を作成することができる。
【００２６】
【発明の効果】
以上説明したように、本発明によれば、ユーザの感情を入力手段からの入力情報に基づいて判定すると共に、各ユーザの個人情報を蓄積し、蓄積された情報と情報取得手段からの情報とから、感情推論規則を用いて、各ユーザの嗜好やその時々の状況、話題に応じて感情の原因を推し量り、応答に対するユーザの感情を予測して、適切な応答を作成して出力するようにしたため、ユーザの感情だけでなく、その感情の原因である各ユーザの嗜好やその時々の状況、話題に応じてユーザ毎に適応した最適な対話ができ、従来に比べて親しみ易い対話を行うことができる。
【図面の簡単な説明】
【図１】  本発明の一実施の形態のブロック図である。
【図２】  推論規則の例を示す図である。
【図３】  個人プロファイルの例を示す図である。
【符号の説明】
１  入力手段
２  特徴抽出手段
３  感情特徴格納手段
４  感情判定手段
５  応答特徴格納手段
６  応答生成手段
７  出力手段
８  入力文解析手段
９  個人情報格納手段
９ａ  個人プロファイル
９ｂ  スケジュール情報
１０  情報サーバ
１１  情報検索・通信手段
１２  知識ベース
１３  情報取得手段
１４  感情推論規則格納手段
１５  応答パターン格納手段
１６  対話履歴格納手段
１７  対話処理手段
１８  出力文生成手段
【図１】
0004465730.tif 000002
【図２】
0004465730.tif 000003
【図３】
0004465730.tif 000004