(57)【特許請求の範囲】
【請求項１】
ユーザと対面するロボットと、対話支援情報を管理するデータベースサーバと、オペレータによって操作される端末装置とを備え、前記ロボットおよび前記端末装置を介して前記オペレータが前記ユーザと対話する対話支援システムであって、
前記ロボットは、前記ユーザを識別する識別手段、および前記ユーザと前記オペレータとの間の対話処理を実行する第１対話処理手段を備え、
前記データベースサーバは、前記識別手段の識別結果に適合する対話支援情報を抽出する抽出手段を備え、そして
前記端末装置は、前記抽出手段によって抽出された対話支援情報を前記オペレータに提示する提示手段、および前記ユーザと前記オペレータとの間の対話処理を実行する第２対話処理手段を備える、対話支援システム。
【請求項２】
前記第１対話処理手段は、前記オペレータからの指示を音声およびジャスチャの少なくとも一方によって前記ユーザに伝えるとともに、前記ユーザからの情報を音声およびジェスチャの少なくとも一方によって前記オペレータに伝える、請求項１記載の対話支援システム。
【請求項３】
前記第２対話処理手段は、前記ロボットを介して伝えられる前記ユーザからの対話情報と前記データベースサーバからの対話支援情報とを前記オペレータに伝えるとともに、前記対話情報および前記対話支援情報に基づいて前記オペレータが前記ロボットを介して前記ユーザに伝える情報を入力する、請求項１または２記載の対話支援システム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、対話支援システムに関し、たとえばロボットを介して人と人とが対話する際の対話を支援する、対話支援システムに関する。
【背景技術】
【０００２】
従来のこの種のシステムの一例が、特許文献１に開示されている。この従来技術によれば、利用者が相手と対話する際に、制御部が相手のプロフィールをデータベースから取得し、その取得されたプロフィールは、表示部に表示される。これによって、対話の活発化が図られる。
【特許文献１】特開２００３−１５７２２４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、従来技術では、利用者が操作する情報機器としてパソコン，携帯端末，インターネットテレビが想定されている。パソコンや携帯端末では、対面する対象が無機的であることから、たとえば子供が対話を進めるにあたって抵抗感を覚え、対話の活発化が阻害される可能性がある。また、インターネットテレビでは、相手の顔が表示されることから、相手の顔の印象や表情の変化に敏感に反応する利用者にとっては、対話の活発化が阻害される可能性がある。
【０００４】
それゆえに、この発明の主たる目的は、このような阻害感を排除して対話の活発化を図ることができる、新規な対話支援システムを提供することである。
【課題を解決するための手段】
【０００５】
請求項１の発明に従う対話支援システム(10)は、ユーザ(CS)と対面するロボット(12)と、対話支援情報を管理するデータベースサーバ(16)と、オペレータ(OP)によって操作される端末装置(18)とを備え、ロボットおよび端末装置を介してオペレータがユーザと対話するシステムである。ロボットは、ユーザを識別する識別手段(12b)、およびユーザとオペレータとの間の対話処理を実行する第１対話処理手段(S9)を備え、データベースサーバは識別手段の識別結果に適合する対話支援情報を抽出する抽出手段(S23, S25)を備え、そして端末装置は、抽出手段によって抽出された対話支援情報をオペレータに提示する提示手段(S47)、およびユーザとオペレータとの間の対話処理を実行する第２対話処理手段(S55)を備える。
【０００６】
ロボットはユーザと対面し、データベースサーバは対話支援情報を管理し、そして端末装置はオペレータによって操作される。ロボットに関しては、識別手段がユーザを識別し、第１対話処理手段がユーザとオペレータとの間の対話処理を実行する。データベースサーバに関しては、抽出手段が識別手段の識別結果に適合する対話支援情報を抽出する。端末装置に関しては、提示手段が抽出手段によって抽出された対話支援情報をオペレータに提示し、第２対話処理手段がユーザとオペレータとの間の対話処理を実行する。
【０００７】
つまり、オペレータは端末装置を操作する一方、ユーザはロボットと対面する。また、オペレータとユーザとの間で対話を行うにあたって、対話支援情報が端末装置を通してオペレータに提示される。オペレータが対話支援情報を参照して発したメッセージは、ロボットを通してユーザに伝えられる。また、ユーザがロボットに向けて発したメッセージは、端末装置を通してオペレータに伝えられる。このように、オペレータは対話支援情報を参照し、ユーザはロボットと向き合うため、オペレータ主導の活発な対話が実現される。
【０００８】
請求項２の発明に従う対話支援システムは、請求項１に従属し、第１対話処理手段は、オペレータからの指示を音声およびジャスチャの少なくとも一方によってユーザに伝えるとともに、ユーザからの情報を音声およびジェスチャの少なくとも一方によってオペレータに伝える。
【０００９】
請求項３の発明に従う対話支援システムは、請求項１または２に従属し、第２対話処理手段は、ロボットを介して伝えられるユーザからの対話情報とデータベースサーバからの対話支援情報とをオペレータに伝えるとともに、対話情報および対話支援情報に基づいてオペレータがロボットを介してユーザに伝える情報を入力する。
【発明の効果】
【００１０】
この発明によれば、オペレータは対話支援情報を参照し、ユーザはロボットと向き合うため、オペレータ主導による活発な対話が実現される。
【００１１】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【発明を実施するための最良の形態】
【００１２】
図１を参照して、この実施例の対話支援システム１０は、タグＴＧが埋め込まれた会員カードＣＤを所持するユーザＣＳと対面するコミュニケーションロボット（以下、単に「ロボット」という）１２と、ユーザＣＳを含む複数のユーザの個人情報と追加情報とを管理するデータベースサーバ１６と、オペレータＯＰによって操作される端末装置１８とを備える。ロボット１２，データベースサーバ１６および端末装置１８のいずれも、公衆インターネット網１４に接続される。ユーザＣＳおよびオペレータＯＰの対話は、このような対話支援システム１０を利用することで実現される。
【００１３】
ロボット１２は人間型であり、頭部に眼カメラ１２ａおよびスピーカ１２ｃを有し、胸部および腹部にマイク１２ｄおよびタグリーダ１２ｂをそれぞれ有する。ユーザＣＳの姿は眼カメラ１２ａによって捉えられ、ユーザＣＳの発話音声はマイク１２ｄによって捉えられる。また、オペレータＯＰの発話音声はスピーカ１２ｃから出力され、タグＴＧの情報はタグリーダ１２ｂによって読み取られる。端末装置１８は、オペレータＯＰの発話音声を取り込むマイク１８ａと、ユーザＣＳの発話音声を出力するスピーカ１８ｂと、ユーザＣＳの姿を映し出すモニタ１８ｃを備える。
【００１４】
図２を参照して、ロボット１２は、全体の制御のためのＣＰＵ１２ｊを含む。このＣＰＵ１２ｊには、バス１２ｎを介して、センサ入出力ボード１２ｅ，音声入出力ボード１２ｆ，メモリ１２ｇ，モータ制御ボード１２ｈおよび無線ＬＡＮボード１２ｋが接続される。
【００１５】
センサ入出力ボード１２ｅは、たとえばＤＳＰ(Digital Signal Processor)で構成され、眼カメラ１２ａから出力された画像データとタグリーダ１２ｂによって読み取られたタグ情報とを、ＣＰＵ１２ｊに入力する。
【００１６】
スピーカ１２ｃには、音声入出力ボード１２ｆを介して、ＣＰＵ１２ｊから音声データが与えられ、その音声データに対応する音声が出力される。マイク１２ｃから入力されたユーザＣＳの音声に対応する音声データは、音声入出力ボード１２ｆを介して、ＣＰＵ１２ｊに取り込まれる。
【００１７】
メモリ１２ｇは、図示しないが、ＲＯＭ，ＨＤＤやＲＡＭを含み、ＲＯＭやＨＤＤにはこのロボット１２を全体的に制御するためのプログラム等の各種データが予め書き込まれている。ＲＡＭは、一時記憶メモリとして用いられるとともに、ワーキングメモリとして利用される。
【００１８】
モータ制御ボード１２ｈもＤＳＰで構成され、ＣＰＵ１２ｊからの制御データに従ってロボット１２の動作を行わしめる。各種モータ（右腕モータ系，左腕モータ系，頭部モータ系，腰モータ系，車輪モータ系，右眼球モータ系，および左眼球モータ系）を駆動する。
【００１９】
無線ＬＡＮボード１２ｋは、Ｉ／Ｆ１２ｍを介して公衆インターネット網１４（図１参照）と接続される。スピーカ１２ｃから出力すべき音声メッセージおよびマイク１２ｄから取り込まれた音声メッセージの各々に対応する音声データやカメラ１２ａからのユーザＣＳの映像信号、タグリーダ１２ｂからのタグ情報などは、このＩ／Ｆ１２ｍを介して送受信される。
【００２０】
データベースサーバ１６は、図３に示すように、データベース１６ａ，ＣＰＵ１６ｂ，メモリ１６ｃおよびＩ／Ｆ１６ｄによって構成される。データベース１６ａは、上述した個人情報および追加情報を記憶する。ＣＰＵ１６ｂは、メモリ１６ｃに記憶されたプログラムを実行する。Ｉ／Ｆ１６ｄは、公衆インターネット網１４に接続される。
【００２１】
通信端末１８は、図４に示すように、マイク１８ａ，スピーカ１８ｂ，モニタ１８ｃ，キーボード１８ｄ，メモリ１８ｅ，ＣＰＵ１８ｆおよびＩ／Ｆ１８ｇによって構成される。マイク１８ａはオペレータＯＰの音声に対応する音声データを生成し、スピーカ１８ｂはＩ／Ｆ１８ｇから与えられた音声データに対応する音声を出力する。キーボード１８ｄは、オペレータＯＰによって操作され、ＣＰＵ１８ｆは、メモリ１８ｅに記憶されたプログラムを実行する。Ｉ／Ｆ１６ｄは、公衆インターネット網１４に接続される。
【００２２】
ロボット１２，データベースサーバ１６および端末装置１８の間の情報のやり取りは、図５に示す要領で実行される。ユーザＣＳがロボット１２の前に来ると、タグＴＧの情報がロボット１２のタグリーダ１２ｂによって読み取られる。読み取られたタグ情報つまり人物識別情報は、Ｉ／Ｆ１２ｍおよび公衆インターネット網１４を経て端末装置１８に送信される。
【００２３】
端末装置１８は、受信したタグ情報によって識別された人物の照会をデータベースサーバ１６に要求する。この照会要求には、受信したタグ情報が含まれる。
【００２４】
データベースサーバ１６は、送信された照会要求をＩ／Ｆ１６ｄを通して取り込み、取り込まれた照会要求に付加されたタグ情報に適合する個人情報および追加情報をデータベース１６ａから抽出する。抽出された個人情報および追加情報を含む対話支援情報は、Ｉ／Ｆ１６ｄおよび公衆インターネット網１４を介して端末装置１８に送信される。
【００２５】
端末装置１８は、送信された対話支援情報をＩ／Ｆ１８ｇを通して取り込み、取り込まれた対話支援情報をモニタ１８ｃに表示する。オペレータＯＰは、こうして提示された対話支援情報を参照して、ユーザＣＳと対話を進めるための話題を決める。オペレータＯＰがキーボード１８ｄ上で対話開始操作を行うと、マイク１８ａ，スピーカ１８ｂおよびモニタ１８ｃがオンされるとともに、対話開始命令がＩ／Ｆ１８ｇおよび公衆インターネット網１４を介してロボット１２およびデータベースサーバ１６に送信される。
【００２６】
ロボット１２は、送信された対話開始命令をＩ／Ｆ１２ｍから取り込んだとき、スピーカ１２ｃ，マイク１２ｄおよび眼カメラ１２ａをオンする。オペレータＯＰとユーザＣＳとの間の対話処理は、端末装置１８側のマイク１８ａ，スピーカ１８ｂおよびモニタ１８ｃとロボット１２側のスピーカ１２ｃ，マイク１２ｄおよび眼カメラ１２ａがオンされた後に開始される。
【００２７】
オペレータＯＰとユーザＣＳとの間で行われた対話の内容を示す音声データ、およびユーザＣＳの姿（特に顔）を示す画像データは、データベースサーバ１６にも与えられる。データベースサーバ１６のＣＰＵ１６ｂは、端末装置１８から受信した対話開始命令に応答して、かかる音声データおよび画像データをユーザＣＳに関連付けてデータベース１６ａに蓄積する記録処理を開始する。
【００２８】
オペレータＯＰがキーボード１８ｄ上で対話終了操作を行うと、マイク１８ａ，スピーカ１８ｂおよびモニタ１８ｃがオフされるとともに、対話終了命令がＩ／Ｆ１８ｇおよび公衆インターネット網１４を介してロボット１２およびデータベースサーバ１６に送信される。ロボット１２は、送信された対話終了命令をＩ／Ｆ１２ｍから取り込んだとき、スピーカ１２ｃ，マイク１２ｄおよび眼カメラ１２ａをオフする。これによって、対話処理が終了される。データベースサーバ１６は、端末装置１８からの対話終了命令に応答して上述の記録処理を終了する。
【００２９】
このように、オペレータＯＰは端末装置１８を操作する一方、ユーザＣＳはロボット１２と対面する。また、オペレータＯＰとユーザＣＳとの間で対話を行うにあたって、ユーザＣＳに関係する対話支援情報が、端末装置１８を通してオペレータＯＰに提示される。オペレータＯＰが対話支援情報を参照して発したメッセージは、ロボット１２を通してユーザＣＳに伝えられる。また、ユーザＣＳがロボット１２に向けて発したメッセージは、端末装置１８を通してオペレータＯＰに伝えられる。オペレータＯＰは対話支援情報を参照し、ユーザＣＳはロボット１２と向き合うため、オペレータＯＰ主導の活発な対話が実現される。また、オペレータＯＰとユーザＣＳとの対話内容およびユーザＣＳの顔画像は、データベースサーバ１６のデータベース１６ａに蓄積される。これによって、ユーザＣＳがロボット１２を訪れる毎にユーザＣＳの個人情報が充実する。
【００３０】
ロボット１２のＣＰＵ１２ｊは、メモリ１２ｇに記憶された制御プログラムに従って図６に示す処理を実行する。
【００３１】
まずユーザＣＳが所持するタグＴＧの情報がタグリーダ１２ｂによって読み取られたか否かをステップＳ１で判別する。ここでＹＥＳであれば、読み取られたタグ情報をステップＳ３でデータベースサーバ１６に送信する。ステップＳ５では対話開始命令が与えられたか否かを判別し、ＹＥＳであればステップＳ７でマイク１２ｄ，スピーカ１２ｃおよび眼カメラ１２ａをオンし、ステップＳ９で対話処理を実行する。ステップＳ１１では対話終了命令が与えられたか否かを判別し、ＮＯであればステップＳ９の対話処理を繰り返す一方、ＹＥＳであればステップＳ１３でマイク１２ｄ，スピーカ１２ｃおよび眼カメラ１２ａをオフし、ステップＳ１に戻る。
【００３２】
データベースサーバ１６のＣＰＵ１６ｂは、メモリ１６ｄに記憶された制御プログラムに従って図７に示す処理を実行する。
【００３３】
まず、端末装置１８から照会要求を受信したか否かをステップＳ２１で判別する。ここでＹＥＳであれば、ステップＳ２３でユーザＣＳの個人情報をデータベース１６ａから抽出し、ステップＳ２５で抽出された個人情報に基づいて追加情報をデータベース１６ａから抽出する。ステップＳ２７では、抽出された個人情報および追加情報を含む対話支援情報を端末装置１８に送信する。
【００３４】
ステップＳ２９では端末装置１８から対話開始命令を受信したか否かを判別し、ＹＥＳであればステップＳ３１で記録処理を開始する。端末装置１８から対話終了命令を受信すると、ステップＳ３５でＹＥＳと判断し、ステップＳ３５で記録処理を終了してからステップＳ２１に戻る。
【００３５】
端末装置１８のＣＰＵ１８ｆは、メモリ１８ｅに記憶された制御プログラムに従って図８および図９に示す処理を実行する。
【００３６】
まず、タグ情報をロボット１２から受信したか否かをステップＳ４１で判別し、ＹＥＳであれば、受信したタグ情報を含む照会要求をデータベースサーバ１６に送信する。データベースサーバ１６から対話支援情報を受信するとステップＳ４５でＹＥＳと判断し、受信した対話支援情報をステップＳ４７でモニタ１８ｃに表示する。オペレータによって対話開始操作が行われると、ステップＳ４９でＹＥＳと判別し、ステップＳ５１で対話開始命令をロボット１２およびデータベースサーバ１６に送信する。さらに、ステップＳ５３でマイク１８ａ，スピーカ１８ｂおよびモニタ１８ｃをオンし、ステップＳ５５で対話処理を実行する。ステップＳ５７ではオペレータＯＰによって対話終了操作が行われたか否かを判別し、ＮＯであればステップＳ５５に戻る一方、ＹＥＳであれば対話終了命令をロボット１２およびデータベースサーバ１６に送信する。その後、ステップＳ６１でマイク１８ａ，スピーカ１８ｂおよびモニタ１８ｃをオフし、ステップＳ４１に戻る。
【００３７】
次に、本発明の対話支援システムの実際の使用例について説明する。
【００３８】
対話支援システム１０を百貨店に配置する場合（ロボット１２は紳士服売り場に配置）、ユーザＣＳの個人情報としては、住所，氏名，年齢，性別，既婚／未婚の別，前回の来店日時，この売り場での購買履歴，直前５回の来店時の映像などが考えられる。また、追加情報としては、挨拶（住所が遠方の人に対して「遠くからありがとうございます」、一週間以内に来た人に対して「度々ありがとうございます」）や、履歴，年齢，性別から判断したお勧め商品（ネクタイやスーツ）、購買履歴から判断した商品の色などが考えられる。
【００３９】
ユーザＣＳが他県から初めて訪れた３０代の男性である場合、オペレータＯＰは、「遠くからありがとうございます」の挨拶に続き、紳士服売り場で取り扱う商品の説明、およびこの男性の身形から判断したデザインの商品の提案などを行うことができる。
【００４０】
対話支援システム１０を遊園地に配置する場合、個人情報としては、住所，氏名，年齢，性別，既婚／未婚の別，前回の来園日時などが考えられる。また、追加情報としては、お勧めアトラクション（前回から新しく加わったアトラクション，前回満員で乗れなかったアトラクション，今日まだ体験してないアトラクションで空いているもの，混んでいるが年齢，性別から推測されるお勧めのアトラクション）や、聞かれる可能性のある質問の例（帰りの最終電車の時刻，新しいアドラクションのリスト，サーカスの公演予定）が考えられる。
【００４１】
ユーザＣＳの訪問回数が３回目で、２回目の訪問時にはなかったアトラクションが新設されている場合、オペレータＯＰは、「たびたびのご来場ありがとうございます」に続き、新設されたアトラクションの紹介を行うことができる。
【００４２】
対話支援システム１０を保育園や小学校に配置する場合、個人情報としては、氏名，年齢，誕生日，性別，呼び名（かっちゃん），好きな色，一緒に遊んでいる子供の名前リスト，遅刻と病欠の頻度，保健室に行く頻度，保護者からの注意事項（風邪気味，そばアレルギー），好きなこと（絵を描く），苦手なこと（野菜を食べる）などが考えられる。追加情報としては、好きなことを伸ばすための質問例・指導要領（「何かいい絵がかけた？
」、「今度はどんな絵を描くのかな？」や、苦手を克服するための質問例・指導要領（「野菜畑に連れて行く」、「トマトを食べさせる」）が考えられる。
【００４３】
ユーザＣＳが１月ぶりにロボット１２を訪れた子供で、手にくるまのおもちゃを手に持っている場合、オペレータＯＰは「ひさしぶり、元気にしてかたな？」の挨拶に始まり、「自動車が好きなの？」などの対話を行うことができる。
【００４４】
なお、この実施例では、ロボット１２，データベースサーバ１６および端末装置１８を１台ずつ準備されるが、データベースサーバ１６を１台準備する一方、ロボット１２および端末装置１８はＮ台（Ｎ：２以上の整数）ずつ準備してもよい。また、この実施例では、タグ情報に基づいてユーザＣＳを識別するようにしているが、ユーザＣＳの顔や声によってユーザＣＳを識別するようにしてもよい。
【００４５】
さらに、この実施例では、音声による対話を説明しているが、これに加えて、オペレータＯＰの操作によってロボット１２に身振り，手振りを行わせるようにしてもよい。たとえば、ユーザＣＳが幼稚園児である場合、ユーザＣＳを手で抱き締めるような振る舞いが考えられる。
【図面の簡単な説明】
【００４６】
【図１】この発明の一実施例の構成を示すブロック図である。
【図２】図１実施例に適用されるロボットの内部構成の一例を示すブロック図である。
【図３】図１実施例に適用されるデータベースサーバの内部構成の一例を示すブロック図である。
【図４】図１実施例に適用される端末装置の内部構成の一例を示すブロック図である。
【図５】図１実施例の動作の一部を示す図解図である。
【図６】図２実施例に適用されるロボットのＣＰＵの動作の一部を示すフロー図である。
【図７】図３実施例に適用されるデータベースサーバのＣＰＵの動作の一部を示すフロー図である。
【図８】図４実施例に適用される端末装置のＣＰＵの動作の一部を示すフロー図である。
【図９】図４実施例に適用される端末装置のＣＰＵの動作の他の一部を示すフロー図である。
【符号の説明】
【００４７】
１０  …対話支援システム
１２  …ロボット
１６  …データベースサーバ
１８  …端末装置
【図１】
0004798577.tif 000002
【図２】
0004798577.tif 000003
【図３】
0004798577.tif 000004
【図４】
0004798577.tif 000005
【図５】
0004798577.tif 000006
【図６】
0004798577.tif 000007
【図７】
0004798577.tif 000008
【図８】
0004798577.tif 000009
【図９】
0004798577.tif 000010