(57)【要約】【課題】会話エンジンだけではカバーできなかった発話とその発話に対する返答を自動的に収集すること。【解決手段】第１のエージェント端末で集音された第１のユーザの発話を、ネットワークを介して受信する第１のユーザ発話受信手段と、受信した第１のユーザの発話を、第１のエージェント端末以外の少なくとも一つ以上の第２のエージェント端末に送信する第１のユーザ発話送信手段と、第１のユーザの発話に対する返答として、第２のエージェント端末で集音された第２のユーザの返答を、ネットワークを介して受信する第２のユーザ発話受信手段と、第１のユーザの発話と第２のユーザの返答とを関連付けて会話データベースに登録する登録手段と、会話データベースに登録されている第１のユーザの発話と第２のユーザの返答との組み合わせの一覧を出力する出力手段とを有する会話収集装置である。【選択図】図１
2019074865.tif 000002
【特許請求の範囲】
【請求項１】
ネットワークを介して、複数のエージェント端末と接続され、各複数のエージェント端末から会話の収集を行う会話収集装置であって、
第１のエージェント端末で集音された第１のユーザの発話を、ネットワークを介して受信する第１のユーザ発話受信手段と、
受信した前記第１のユーザの発話を、前記第１のエージェント端末以外の少なくとも一つ以上の第２のエージェント端末に送信する第１のユーザ発話送信手段と、
前記第１のユーザの発話に対する返答として、前記第２のエージェント端末で集音された前記第２のユーザの返答を、ネットワークを介して受信する第２のユーザ発話受信手段と、
前記第１のユーザの発話と前記第２のユーザの返答とを関連付けて会話データベースに登録する登録手段と、
前記会話データベースに登録されている前記第１のユーザの発話と前記第２のユーザの返答との組み合わせの一覧を出力する出力手段と
を有する会話収集装置。
【請求項２】
第１のユーザの発話に対して返答を生成する会話エンジンを有し、
前記第１のユーザ発話送信手段は、前記会話エンジンにより、前記第１のユーザの発話に対する返答が生成できない場合、前記第１のユーザの発話を、前記第１のエージェント端末以外の少なくとも一つ以上の第２のエージェント端末に送信する
請求項１に記載の会話収集装置。
【請求項３】
前記第１のエージェント端末及び／又は前記第２のエージェント端末から得られたユーザ情報に基づいて、前記第１のユーザ及び／又は前記第２のユーザの属性を取得するユーザ属性取得手段を有し、
前記登録手段は、取得した第１のユーザ及び／又は前記第２のユーザの属性を、前記第１のユーザの発話及び／又は前記第２のユーザの返答と関連付けて、前記会話データベースに登録する
請求項１又は請求項２に記載の会話収集装置。
【請求項４】
前記第２のユーザの返答に対する前記第１のユーザのリアクションの関する情報を取得する取得手段を有し、
前記登録手段は、取得した第１のユーザのリアクションの情報を、前記第１のユーザの発話及び／又は前記第２のユーザの返答と関連付けて、前記会話データベースに登録する
請求項１から請求項３のいずれかに記載の会話収集装置。
【請求項５】
会話収集システムであって、
第１のエージェント端末と、第２のエージェント端末と、会話収集装置とを有し、
前記第１のエージェント端末は、
第１のユーザの発話を集音するマイクと、
前記マイクで集音された第１のユーザの発話を、ネットワークを介して前記会話収集装置に送信する発話送信手段と、
前記会話収集装置から送信される前記第１のユーザの発話に対する返答を、エージェント端末の返答として編集して、編集音声信号を出力する音声出力手段と
を有し、
第２のエージェント端末は、
前記会話収集装置から送信される前記第１のユーザの発話を受信する受信手段と、
前記受信した第１のユーザの発話を、エージェント端末の発話として編集して、編集音声信号を出力する音声出力手段と
第２のユーザの発話を集音するマイクと、
前記第１のユーザの発話に対する返答として、前記マイクで集音された前記第２のユーザの返答を、ネットワークを介して前記会話収集装置に送信する返答送信手段と
を有し、
前記会話収集装置は、
第１のエージェント端末で集音された前記第１のユーザの発話を、ネットワークを介して受信する第１のユーザ発話受信手段と、
受信した前記第１のユーザの発話を、前記第１のエージェント端末以外の少なくとも一つ以上の前記第２のエージェント端末に送信する第１のユーザ発話送信手段と、
前記第１のユーザの発話に対する返答として、前記第２のエージェント端末で集音された前記第２のユーザの返答を、ネットワークを介して受信する第２のユーザ発話受信手段と、
前記第１のユーザの発話と前記第２のユーザの返答とを関連付けて会話データベースに登録する登録手段と、
前記会話データベースに登録されている前記第１のユーザの発話と前記第２のユーザの返答との組み合わせの一覧を出力する出力手段と
を有する会話収集システム。
【請求項６】
前記会話収集装置は、
第１のユーザの発話に対して返答を生成する会話エンジンを有し、
前記第１のユーザ発話送信手段は、前記会話エンジンにより、前記第１のユーザの発話に対する返答が生成できない場合、前記第１のユーザの発話を、前記第１のエージェント端末以外の少なくとも一つ以上の第２のエージェント端末に送信する
請求項４に記載の会話収集システム。
【請求項７】
ネットワークを介して、複数のエージェント端末が接続され、各複数のエージェント端末から会話の収集を行う会話収集方法であって、
第１のエージェント端末で集音された第１のユーザの発話を、ネットワークを介して受信し、
受信した前記第１のユーザの発話を、前記第１のエージェント端末以外の少なくとも一つ以上の第２のエージェント端末に送信し、
前記第１のユーザの発話に対する返答として、前記第２のエージェント端末で集音された前記第２のユーザの返答を、ネットワークを介して受信し、
前記第１のユーザの発話と前記第２のユーザの返答とを関連付けて会話データベースに登録し、
前記会話データベースに登録されている前記第１のユーザの発話と前記第２のユーザの返答との組み合わせの一覧を出力する
会話収集方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は会話収集装置、会話収集システム及び会話収集方法に関し、特に、会話エンジンに必要なユーザ間の会話を収集する技術に関する。
【背景技術】
【０００２】
近年、人と、人の代わりとなるロボットのようなエージェント端末との対話を成立させるコミュニケーションシステムが提案されている。
【０００３】
その一つは、タスク指向型とよばれるもので、特定のタスクをエージェント端末に行わせるための対話システムである。例えば、ユーザが「今日の天気を教えて」といった発話（命令）に対して、エージェント端末は今日の天気予報を音声で伝える。これらの発話（命令）と返答（回答）の組合せは、予め一意に辞書に登録されている。
【０００４】
もう一つは、会話型と呼ばれるもので、エージェント端末に特有のタスクをさせるというより、ユーザがエージェント端末との会話を楽しむためのシステムである（非特許文献１）。これはchatbot（人工無能）対話システムを応用している。このchatbot対話システムは、ユーザと日常会話を行なうためのシステムであり、大きく分けて、辞書型（シナリオ型）、ログ型、マルコフ文生成型（テキスト生成型）等がある。その基本は所定の対話パターンをデータベース化しておき、対話時の入力内容に応じて相応しい返答内容を検索し、それをシステム側から出力する点にある。例えば、対話システムに対してユーザが「何が好きですか？」とキーボードやマイク等を通じて入力すると、システム側は「何−が−好き−です−か？」といった単語列に最も合致する返答データを検索する。データベースには予め入力例とそれに対応する返答文とが大量に格納されている。対話システムは検索結果によって選ばれた返答文を取り出し、それをスピーカやモニターを介してユーザに対して出力する。データベース中の返答内容の格納方法を工夫することで、ユーザの入力の一部を返答文に挿入することもできる。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、現在の所、辞書型（シナリオ型）、ログ型、マルコフ文生成型（テキスト生成型）等のいずれの方法も完全とはいえず、人間とエージェント端末との会話が成立しない場合が多々ある。これは、会話エンジンが参照するデータベースの情報量が少ないためであり、所定の対話パターンをどのようにして多量に収集するのかが課題となっている。
【０００６】
そこで、本発明は、会話エンジンだけではカバーできなかった発話とその発話に対する返答を自動的に収集することができる会話収集装置、会話収集システム及び会話収集方法を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の一態様は、ネットワークを介して、複数のエージェント端末と接続され、各複数のエージェント端末から会話の収集を行う会話収集装置であって、第１のエージェント端末で集音された第１のユーザの発話を、ネットワークを介して受信する第１のユーザ発話受信手段と、受信した前記第１のユーザの発話を、前記第１のエージェント端末以外の少なくとも一つ以上の第２のエージェント端末に送信する第１のユーザ発話送信手段と、前記第１のユーザの発話に対する返答として、前記第２のエージェント端末で集音された前記第２のユーザの返答を、ネットワークを介して受信する第２のユーザ発話受信手段と、前記第１のユーザの発話と前記第２のユーザの返答とを関連付けて会話データベースに登録する登録手段と、前記会話データベースに登録されている前記第１のユーザの発話と前記第２のユーザの返答との組み合わせの一覧を出力する出力手段とを有する会話収集装置である。
【０００８】
本発明の一態様は、会話収集システムであって、第１のエージェント端末と、第２のエージェント端末と、会話収集装置とを有し、前記第１のエージェント端末は、第１のユーザの発話を集音するマイクと、前記マイクで集音された第１のユーザの発話を、ネットワークを介して前記会話収集装置に送信する発話送信手段と、前記会話収集装置から送信される前記第１のユーザの発話に対する返答を、エージェント端末の返答として編集して、編集音声信号を出力する音声出力手段とを有し、第２のエージェント端末は、前記会話収集装置から送信される前記第１のユーザの発話を受信する受信手段と、前記受信した第１のユーザの発話を、エージェント端末の発話として編集して、編集音声信号を出力する音声出力手段と、第２のユーザの発話を集音するマイクと、前記第１のユーザの発話に対する返答として、前記マイクで集音された前記第２のユーザの返答を、ネットワークを介して前記会話収集装置に送信する返答送信手段とを有し、前記会話収集装置は、第１のエージェント端末で集音された前記第１のユーザの発話を、ネットワークを介して受信する第１のユーザ発話受信手段と、受信した前記第１のユーザの発話を、前記第１のエージェント端末以外の少なくとも一つ以上の前記第２のエージェント端末に送信する第１のユーザ発話送信手段と、前記第１のユーザの発話に対する返答として、前記第２のエージェント端末で集音された前記第２のユーザの返答を、ネットワークを介して受信する第２のユーザ発話受信手段と、前記第１のユーザの発話と前記第２のユーザの返答とを関連付けて会話データベースに登録する登録手段と、前記会話データベースに登録されている前記第１のユーザの発話と前記第２のユーザの返答との組み合わせの一覧を出力する出力手段とを有する会話収集システムである。
【０００９】
本発明の一態様は、ネットワークを介して、複数のエージェント端末が接続され、各複数のエージェント端末から会話の収集を行う会話収集方法であって、第１のエージェント端末で集音された第１のユーザの発話を、ネットワークを介して受信し、受信した前記第１のユーザの発話を、前記第１のエージェント端末以外の少なくとも一つ以上の第２のエージェント端末に送信し、前記第１のユーザの発話に対する返答として、前記第２のエージェント端末で集音された前記第２のユーザの返答を、ネットワークを介して受信し、前記第１のユーザの発話と前記第２のユーザの返答とを関連付けて会話データベースに登録し、前記会話データベースに登録されている前記第１のユーザの発話と前記第２のユーザの返答との組み合わせの一覧を出力する会話収集方法である。
【発明の効果】
【００１０】
本発明は、会話エンジンだけではカバーできなかった発話とその発話に対する返答を自動的に収集することができ、その会話の一覧を出力することができる。
【図面の簡単な説明】
【００１１】
【図１】図１は本発明の実施の形態に係るコミュニケーション情報収集システムを模式的に示した図である。
【図２】図２はユーザとエージェント端末１との間で行われる会話の動作を説明するための図である。
【図３】図３は発話に対する返答である発話を、会話エンジンにより検索又は生成することができない場合の動作を説明するための図である。
【図４】図４は会話蓄積リスト５の一例を示す図である。
【図５】図５は本発明の具体的な実施の形態のブロック図である。
【図６】図６はロボット１０の構成を示すブロック図である。
【図７】図７は実施の形態における会話収集装置３０のブロック図である。
【図８】図８は接続管理データベース３７の一例を示す図である。
【図９】図９は接続管理データベース３７の一例を示す図である。
【図１０】図１０はコンピュータ５０のブロック図である。
【図１１】図１０は会話蓄積リストの一例を示す図である。
【発明を実施するための形態】
【００１２】
本発明の実施の形態を説明する。
【００１３】
図１は、本発明の実施の形態に係るコミュニケーション情報収集システムを模式的に示した図である。
【００１４】
図１中、１は第１のユーザ側に設置されるエージェント端末であり、２は第２のユーザ側に設置されるエージェント端末であり、３はネットワークを介してエージェント端末１とエージェント端末２とに接続される会話収集装置であり、４は会話が蓄積される会話情報蓄積データベースである。
【００１５】
エージェント端末１，２は、アシスタントデバイスとも呼ばれ、第１のユーザの質問又は要求等に対する回答やコンテンツの提供を行うものである。アシスタントデバイスの種類としては、ロボット、”Amazon Echo”や、”Google Home”等のアシスタントスピーカ、スマートフォン等がある。
【００１６】
会話収集装置３は、各エージェント端末１，２とのデータの送受信を行うための接続管理機能と、ユーザとエージェント端末１，２との会話を行うための会話エンジンの機能とを備える。
【００１７】
会話情報蓄積データベース４は、後述するように、ユーザのある発話に対して会話エンジンにより返答を見つけることができなかった場合に、ユーザの発話と他のエージェント端末から取得した返答とが関連付けられて蓄積されるデータベースである。
【００１８】
まず、ユーザとエージェント端末と間で通常行われる会話エンジンを用いた会話を説明する。図２は、ユーザとエージェント端末１との間で行われる会話の動作を説明するための図である。
【００１９】
第１のユーザが発話Ｘを行うと、エージェント端末１は発話Ｘを集音し、その発話Ｘの音声信号を会話収集装置３に送信する。発話Ｘの音声信号を受信した会話収集装置３は、発話Ｘに対する返答Ｙを、会話エンジンにより検索又は生成し、返答Ｙをエージェント端末１に送信する。返答Ｙを受信したエージェント端末１は、第１のユーザの発話Ｘに対する返答として、返答Ｙを音声出力する。これにより、第１のユーザとエージェント端末１との間で会話が成立する。
【００２０】
次に、発話に対する返答である発話を、会話エンジンにより検索又は生成することができない場合について説明する。図３は、発話に対する返答である発話を、会話エンジンにより検索又は生成することができない場合の動作を説明するための図である。
【００２１】
第１のユーザが発話Ｍを行うと、エージェント端末１は発話Ｍを集音し、その発話Ｍの音声信号を会話収集装置３に送信する。発話Ｍの音声信号を受信した会話収集装置３は、会話エンジンにより、発話Ｍに対する返答を検索又は生成することを試みる。しかし、その発話を検索又は生成することができない場合、会話収集装置３は、接続可能又は接続中のエージェント端末（図３ではエージェント端末２）に、発話Ｍを送信する。
【００２２】
発話Ｍを受信したエージェント端末２は、エージェント端末２の発話として、発話Ｍを出力する。エージェント端末２の発話Ｍを聞いた第２のユーザは、発話Ｍの返答として返答Ｎを発話する。第２のユーザが返答Ｎを行うと、エージェント端末２は返答Ｎを集音し、その返答Ｎの音声信号を会話収集装置３に送信する。
【００２３】
返答Ｎの音声信号を受信した会話収集装置３は、返答Ｎをエージェント端末１に送信する。返答Ｎを受信したエージェント端末１は、エージェント端末１の発話として、返答Ｎを出力する。これにより、第１のユーザとエージェント端末１との間で会話が成立する。
【００２４】
ここで、発話Ｍに対する返答である返答Ｎを検索又は生成することができなかった会話収集装置３は、発話Ｍと返答Ｎとを関連付けて、会話情報蓄積データベース４に蓄積していく。会話情報蓄積データベース４に蓄積された発話Ｍと返答Ｎとの組み合わせは、会話蓄積リスト５として出力される。
【００２５】
また、会話収集装置３は、各エージェント端末１，２とのデータの送受信を行うための接続管理のため、各エージェント端末１，２に対応付けられた第１及び第２のユーザのユーザ属性（例えば、第１及び第２のユーザの性別、年齢等）を予め保持している場合は、そのユーザ属性を第１のユーザの発話Ｍと第２のユーザの返答Ｎとを関連付けて蓄積しても良い。
【００２６】
更に、ユーザ属性は、予め保持している場合に限らず、第１の第２のユーザの発話を取得するタイミンクで、エージェント端末１，２が有するマイクやカメラなどでユーザ情報（ユーザの音声、画像）を取得し、ユーザ情報（ユーザの音声、画像）を解析することにより得られたユーザ属性（例えば、第１の第２のユーザの性別、年齢、感情等）でも良い。
【００２７】
図４は、会話蓄積リスト５の一例を示す図である。図４の例では、発話及びその発話をしたユーザのユーザ属性と、返答及びその返答をしたユーザのユーザ属性とが関連付けられたレコードの一覧のリストである。
【００２８】
このような構成にすることにより、現状の会話エンジンだけではカバーできなかった発話とその発話に対する返答を、ユーザに出力することができると共に、その発話と返答との組み合わせを、自動的に収集することができる。そして、その発話と返答との組み合わせの一覧を出力することができる。
【００２９】
次に、具体的な実施の形態を説明する。
【００３０】
以下の具体的な実施の形態では、エージェント端末１，２がロボット１０、２０の例を説明する。
【００３１】
図５は、具体的な実施の形態のブロック図である。
【００３２】
図５中、１０は第１のユーザ側に設置されるロボットであり、２０は第２のユーザ側に設置されるロボットであり、３０はネットワークを介してロボット１０とロボット２０とに接続される会話収集装置であり、４０は会話が蓄積される会話情報蓄積データベースである。
【００３３】
図６はロボットの構成を示すブロック図である。尚、ロボット１０とロボット２０とは、同様のものなので、ロボット１０を例にしてロボットの構成を説明する。
【００３４】
図６に示す如く、ロボット１０は、マイク１１と、カメラ１２と、音声編集部１３と、スピーカ１４と、制御部１５と、通信部１６とを有する。
【００３５】
マイク１１は、第１のユーザの音声を集音するマイクである。
【００３６】
カメラ１２は、第１のユーザの画像を撮影するカメラである。
【００３７】
音声編集部１３は、ネットワークを通じて会話収集装置３から送られてくる音声信号を、ロボット１０の発話として編集して、編集音声信号を生成するものである。ここで、音声信号の編集には二つあり、ひとつは会話収集装置３０の会話エンジンにより出力されたテキストデータを、ロボット１０の音声（音色や声色）に編集（変換）する場合である。他のひとつは、ユーザの音声信号を、ロボット１０の音声（音色や声色）に編集（変換）するものである。例えば、男性又は女性のユーザの音声を、ロボット特有の中性の音声に編集（変換）したり、ユーザのカスタマイズによるロボットの音声に編集（変換）したりするものである。
【００３８】
スピーカ１４は、音声編集部１３により編集（変換）された編集音声信号を出力する少なくとも一以上のスピーカである。
【００３９】
通信部１６は、会話収集装置３との通信を確立し、情報の送受信を行う。
【００４０】
制御部１５は、マイク１１、カメラ１２と、音声編集部１３と、スピーカ１４と、通信部１６とを制御する。
【００４１】
次に、会話収集装置３０について説明する。
【００４２】
図７は実施の形態における会話収集装置３０のブロック図である。
【００４３】
本実施の形態では、会話収集装置３０は、会話エンジンを持つ会話サーバ３１と、会話エンジンに用いられるシナリオデータベース管理するデータベース管理サーバ４１とが存在する。
【００４４】
会話サーバ３１は、ロボット間接続管理部３２と、音声認識部３３と、会話エンジン３４と、画像解析部３５と、会話登録部３６とを備える。そして、会話サーバ３１は、接続管理データベース３７、シナリオデータベース３８、会話情報蓄積データベース４０とが接続されている。
【００４５】
図８は、接続管理データベース３７の一例を示す図である。接続管理データベース３７は、図８に示す如く、ロボット識別情報（ＩＤ）と、接続状況（接続中又は切断中）と、接続先のロボット識別情報（ＩＤ）とが関連付けられて記憶される。ここで、ロボット識別情報（ＩＤ）は、会話サーバ３１と接続され、会話エンジン又は他のロボットを用いてユーザの発話に対する返答の発話を返すべきロボットの識別情報である。接続状況は、会話サーバ３１と現在接続状態にあるかを示す情報である。接続先のロボット識別情報（ＩＤ）とは、会話エンジンを用いてユーザの発話に対する返答の発話を生成することができない場合、ユーザの発話を発言させるロボットの識別情報である。
【００４６】
ロボット間接続管理部３２は、接続管理データベース３７を用いて、ロボット間、本例では、ロボット１０とロボット２０との接続を管理する。具体的には、ユーザの発話に対する返答の要求がロボットからあった場合、そのロボットと接続を確立し、接続管理データベース３７の接続状況を接続中にする。
【００４７】
また、会話エンジン３４を用いてユーザの発話に対する返答の発話を生成することができない場合、現在接続されていない（切断中）のロボット中から、ユーザの発話を発言させるロボットを検索する。このとき、図９に示すように、接続管理データベース３５にユーザ属性情報を記憶させておけば、そのユーザ属性に基づいて、ユーザの発話を発言させるロボットを検索するようにしても良い。ここで、ユーザ属性情報とは、ロボットを所有するユーザの年齢、性別、住所、趣味等である。
【００４８】
音声認識部３３は、ロボット１０、２０から送信されてきた音声信号を、従来からある音声認識の技術を用いてテキスト化する。
【００４９】
会話エンジン３４は、例えば、ログ型の会話エンジンである。会話エンジン３４は、音声認識部３３から渡されるテキストデータを分析し、その内容に応じてシナリオデータベース３８を検索し、返答に適した発話（コンテンツ）を選択する。そして、選択した返答を、ロボット間接続管理部３２を介して、発話したユーザのロボットに送信する。一方、会話エンジン３４は、音声認識部３３から渡されるテキストデータを分析してその内容に応じてシナリオデータベース３８を検索した結果、ユーザの発話に対して適切な返答が無い場合、その結果及びユーザの発話を会話情報登録部３６に送信する。
【００５０】
画像解析部３５は、ロボット１０、２０が取得した、ユーザの発話時又は返答時の画像を解析し、そのユーザのユーザ属性や、リアクションの情報を取得する。
【００５１】
会話情報登録部３６は、会話エンジン３４の結果を受けて、音声認識部３３から渡されるテキストデータに対応する音声信号を、ロボット間接続管理部３２に送信する。また、会話情報登録部３６は、ロボット間接続管理部３２を介して他のロボットから送信される返答をテキスト化し、テキスト化された返答と、ユーザの発話（テキスト）とを関連付けて会話情報蓄積データベース４０に登録する。
【００５２】
次に、データベース管理サーバ４１について説明する。
【００５３】
データベース管理サーバ４１は、会話情報出力部４２と、会話情報選択部４３とを備える。
【００５４】
会話情報出力部４２は、会話情報蓄積データベース４０に蓄積されている会話情報リストを出力する。出力方法は、ディスプレイに出力しても良いし、帳票の形式で紙に出力しても良い。
【００５５】
会話情報選択部４３は、会話情報出力部４２により出力された会話情報リストから適切な発話と返答との組み合わせを選択するものである。選択方法は、ディスプレイに表示された会話情報リストを、人間が確認し、適切な発話と返答との組み合わせと判断した場合は、その組み合わせを選択する。例えば、その組み合わせのレコードの選択ボックスにチェックを付けるような方法である。そして、選択された発話と返答との組み合わせは、シナリオデータベース３８に登録される。
【００５６】
会話サーバ３１及びデータベース管理サーバ４１は、図１０に示す如く、プロセッサ５１、メモリ（ＲＯＭやＲＡＭ）５２、記憶装置（ハードディスク、半導体ディスクなど）５３、入力装置（キーボード、マウス、タッチパネルなど）５４、表示装置５５、通信装置５６などのハードウェア資源を有する汎用のコンピュータ５０により構成することができる。
【００５７】
コンピュータ５０は、記憶装置５３に格納されたプログラムがメモリ５２にロードされ、プロセッサ５１により実行されることにより、各ロボット間接続管理部３２、音声認識部３３、会話エンジン３４、画像解析部３５及び会話登録部３６の処理や、会話情報出力部４２及び会話情報選択部４３の処理が実現されるものである。
【００５８】
尚、接続管理データベース３７、シナリオデータベース３８及び会話情報蓄積データベース４０は、会話収集装置３０が備えていても良いが、会話収集装置３０と物理的に外部に設けられ、ＬＡＮを介して会話収集装置３０と接続されていても良い。また、接続管理データベース３７と、シナリオデータベース３８と、会話情報蓄積データベース４０との一部又は全部は、一体に構成されていても良い。
【００５９】
次に、上述した構成における動作を説明する。
【００６０】
まず、第１のユーザが発話Ｘを行うと、ロボット１０は発話Ｘを集音し、その発話Ｘの音声信号を会話サーバ３１に送信する。会話サーバ３１は、発話Ｘの音声信号を受信する。音声認識部３３は、ロボット１０は発話Ｘを、音声認識の技術を用いてテキスト化する。そして、会話エンジン３４は、テキスト化された発話Ｘにより、発話Ｘに対する返答Ｙを検索又は生成する。
【００６１】
このとき、会話エンジン３４により、発話Ｘに対する返答Ｙが検索又は生成することができる場合は、その返答Ｙをロボット１０に送信する。返答Ｙを受信したロボット１０は、第１のユーザの発話Ｘに対する返答として、返答Ｙを音声出力する。これにより、第１のユーザとロボット１０との間で会話が成立する。
【００６２】
一方、会話エンジン３４により、発話Ｘに対する返答Ｙが検索又は生成することができない場合、会話情報登録部３６は、ロボット間接続管理部３２に他のロボットとの接続の要求を出力する。
【００６３】
ロボット間接続管理部３２は、接続管理データベース３７を用いて、接続中ではないロボット２０を検索し、そのロボット２０に、テキスト化された発話Ｘを送信する。このとき、発話Ｘを送信したロボット１０に対応するユーザ属性を参照し、類似するユーザ属性を持つロボット２０に、テキスト化された発話Ｘを送信することが好ましい。また、接続管理データベース３７のロボット２０を接続中に更新する（例えば、図９のロボットＡ，Ｂ）。
【００６４】
ロボット間接続管理部３２に指示した会話情報登録部３６は、会話情報蓄積データベース４０に、発話Ｘと発話Ｘを発したユーザのユーザ属性を登録する。
【００６５】
テキスト化された発話Ｘを受信したロボット２０は、音声編集部１３により、テキスト化された発話Ｘを編集し、ロボット２０の発話としてスピーカ１４から出力する。
【００６６】
ロボット２０の発話Ｘを聞いた第２のユーザは、発話Ｘの返答として返答Ｙを発話する。第２のユーザが返答Ｙを行うと、ロボット２０は返答Ｙをマイク１１で集音し、その返答Ｙの音声信号を会話サーバ３１に送信する。このとき、ロボット２０のカメラ１２は、発話Ｘを聞いた時の第２のユーザのリアクションを撮影し、会話サーバ３１に送信しても良い。
【００６７】
返答Ｙの音声信号を受信した会話サーバ３１は、返答Ｙをロボット１０に送信する。
【００６８】
返答Ｙを受信したロボット１０は、音声編集部１３によりロボット１０の発話に編集し、返答Ｙをスピーカ１４から出力する。これにより、第１のユーザとロボット１０との間で会話が成立する。このとき、ロボット１０のカメラ１２は、返答Ｙを聞いた時の第１のユーザのリアクションを撮影し、会話サーバ３１に送信する。
【００６９】
会話サーバ３１は、返答Ｙを発話Ｘと関連付けて、会話情報蓄積データベース４０に蓄積していく。この時、会話サーバ３１は、ロボット１０から送信された第１のユーザの画像を画像解析部３５により解析し、そのリアクション（例えば、良い反応、普通、悪い反応）を判定する。そして、そのリアクションとロボット２０のユーザのユーザ属性とを、発話Ｘ及び返答Ｙと関連付けて会話情報蓄積データベース４０に蓄積する。尚、ロボット２０で、発話Ｘを聞いた時の第２のユーザのリアクションを撮影している場合、ロボット２０から送信された第２のユーザの画像を画像解析部３５により解析し、そのリアクション（例えば、良い反応、普通、悪い反応）を判定し、その結果を、更に発話Ｘ及び返答Ｙと関連付けて会話情報蓄積データベース４０に蓄積しても良い。
【００７０】
次に、データベース管理サーバ４１の動作を説明する。
【００７１】
会話情報出力部４２は、会話情報蓄積データベース４０に蓄積された発話と返答との組み合わせを、会話蓄積リストとして出力する。図１１は、会話蓄積リストの一例を示す図である。図１１の例では、発話及びその発話をしたユーザのユーザ属性と、返答及びその返答をしたユーザのユーザ属性と、リアクションとが関連付けられたレコードの一覧のリストである。
【００７２】
会話エンジン３４の管理者は、出力された会話蓄積リストを参照し、シナリオデータベース３８に新たに登録する発話と及びその返答を選択する。例えば、図１１の例では、リアクションが良かった発話Ｍ及び返答Ｎと、発話Ｘ及び返答Ｙとである。管理者は、発話Ｍ及び返答Ｎと、発話Ｘ及び返答Ｙとの選択ボックスにチェックを入れて選択する。選択された発話Ｍ及び返答Ｎと、発話Ｘ及び返答Ｙとは、会話情報選択部４３により、シナリオデータベース３８に新たに登録される。
【００７３】
このような構成によれば、ユーザとロボットとの間で、会話エンジンが機能しなくても、自然な会話を継続できるばかりでなく、発話と返答との適切なシナリオを、シナリオデータベースに追加していくことができる。
【００７４】
尚、上述した例では、ユーザ属性を、接続管理データベース３７に予め登録する例を説明したが、これに限られず、例えば、ロボット等に装着されているカメラ等からユーザ情報を取得し、そのユーザ情報に基づいてユーザ属性を取得するようにしても良い。
【００７５】
以上好ましい実施の形態をあげて本発明を説明したが、全ての実施の形態の構成を備える必要はなく、適時組合せて実施することができるばかりでなく、本発明は必ずしも上記実施の形態に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。
【符号の説明】
【００７６】
１      エージェント端末
２      エージェント端末
３      会話収集装置
４      会話情報蓄積データベース
１０    ロボット
１１    マイク
１２    カメラ
１３    音声編集部
１４    スピーカ
１５    制御部
１６    通信部
２０    ロボット
３０    会話収集装置
３１    会話サーバ
３２    ロボット間接続管理部
３３    音声認識部
３４    会話エンジン
３５    画像解析部
３６    会話登録部
３７    接続管理データベース
３８    シナリオデータベース
４０    会話情報蓄積データベース
４１    データベース管理サーバ
４２    会話情報出力部
４３    会話情報選択部
５０    コンピュータ
５１    プロセッサ
５２    メモリ
５３    記憶装置
５４    入力装置
５５    表示装置
５６    通信装置
【図１】
2019074865.tif 000003
【図２】
2019074865.tif 000004
【図３】
2019074865.tif 000005
【図４】
2019074865.tif 000006
【図５】
2019074865.tif 000007
【図６】
2019074865.tif 000008
【図７】
2019074865.tif 000009
【図８】
2019074865.tif 000010
【図９】
2019074865.tif 000011
【図１０】
2019074865.tif 000012
【図１１】
2019074865.tif 000013