(57)【要約】【課題】  対話しているユーザが変わった場合においても、対話しているユーザに共通し、かつ関心度の高い情報を提供することができる情報提供システム及び情報提供方法を提供する。【解決手段】  実施形態の情報提供システム１は、ユーザ検出処理部４２と、関係検出処理部４３と、情報出力処理部４４と、を有する。前記ユーザ検出処理部４２は、対話に参加しているユーザＵを検出する。前記関係検出処理部４３は、前記ユーザＵ間の関係を検出し、前記ユーザＵ間の関係に応じた対話者関係情報を出力する。前記情報出力処理部４４は、前記ユーザＵに、前記対話者関係情報に応じた提供情報を出力する。【選択図】図１
2018124645.tif 000002
【特許請求の範囲】
【請求項１】
対話に参加しているユーザを検出するユーザ検出処理部と、
前記ユーザ間の関係を検出し、前記ユーザ間の関係に応じた対話者関係情報を出力する関係検出処理部と、
前記ユーザに、前記対話者関係情報に応じた提供情報を出力する情報出力処理部と、
を有する、情報提供システム。
【請求項２】
語句収集処理部と語句記憶部を有し、
前記語句収集処理部は、前記ユーザの対話情報を検出し、対話情報から語句を抽出して収集し、前記対話者関係情報と前記語句を前記語句記憶部に出力し、
前記語句記憶部は、前記対話者関係情報と対応付けて前記語句を記憶する、
請求項１に記載の情報提供システム。
【請求項３】
ＳＮＳ情報収集処理部を有し、
前記ＳＮＳ情報収集処理部は、ＳＮＳを利用している前記ユーザのＳＮＳから記事情報を収集し、記事情報から前記語句を抽出し、ＳＮＳのグループを示すグループ識別情報と対応付けて前記語句を前記語句記憶部に記憶する、
請求項２に記載の情報提供システム。
【請求項４】
前記ユーザ検出処理部は、検出した前記ユーザが、前記ユーザ間の関係を検出できない新規ユーザを含むとき、前記ユーザ間の関係を検出するためのユーザ情報を問い合わせるメッセージを出力し、前記ユーザ情報を取得し、
前記関係検出処理部は、前記ユーザ情報に基づいて、前記ユーザ間の関係を検出する、請求項１に記載の情報提供システム。
【請求項５】
ユーザ情報記憶部を有し、
前記ユーザ情報記憶部は、前記ユーザが属するグループを識別するための前記ユーザに対応付けられたグループ識別情報を有し、
前記関係検出処理部は、前記ユーザに共通した前記グループ識別情報によって前記ユーザ間の関係を検出する、
請求項１に記載の情報提供システム。
【請求項６】
優先度記憶部を有し、
前記優先度記憶部は、前記グループ識別情報の優先度情報を有し、
前記関係検出処理部は、前記優先度情報に基づいて、前記ユーザ間の関係を検出する、
請求項５に記載の情報提供システム。
【請求項７】
前記グループ識別情報は、ユーザ間の関係の強さを示す所定のクラスのいずれかに属し、
前記優先度記憶部は、前記クラスの優先度情報を有し、
前記関係検出処理部は、前記クラスの優先度情報に基づいて、前記ユーザ間の関係を検出する、
請求項６に記載の情報提供システム。
【請求項８】
前記情報出力処理部は、クラウドサービス処理部を有し、前記クラウドサービス処理部は、インターネット検索、又は、インターネット予約等のクラウドサービスを実行し、実行結果に応じた前記提供情報を出力する、請求項１に記載の情報提供システム。
【請求項９】
前記情報出力処理部は、前記語句記憶部から前記対話者関係情報に対応付けられた前記語句を取得し、前記提供情報を生成する、請求項２に記載の情報提供システム。
【請求項１０】
前記情報出力処理部は、評価処理部を有し、前記提供情報の評価処理を実行して前記語句の評価値を算出し、ユーザ識別情報、前記対話者関係情報及び前記語句と対応付け前記語句記憶部に記憶する、請求項２に記載の情報提供システム。
【請求項１１】
前記情報出力処理部は、前記対話者関係情報と同じグループ識別情報を有し、かつ対話に参加していない前記ユーザに関する前記提供情報を出力できるように、前記評価値を修正する、請求項１０に記載の情報提供システム。
【請求項１２】
カメラと、スピーカと、マイクロホンとを有し、
前記ユーザ検出処理部は、前記カメラによって取得された画像情報に基づいて、前記ユーザを検出し、
前記語句収集処理部は、前記マイクロホンによって取得された音声情報に基づいて、前記ユーザの対話情報を検出し、
前記情報出力処理部は、前記提供情報を前記スピーカから出力する、
請求項２に記載の情報提供システム。
【請求項１３】
互いにネットワークによって接続された端末装置及びセンター装置を有し、
前記端末装置は、前記カメラと、前記スピーカと、前記マイクロホンとを有し、
前記センター装置は、前記ユーザ検出処理部と、前記語句収集処理部と、前記情報出力処理部とを有する、
請求項１２に記載の情報提供システム。
【請求項１４】
前記提供情報は、前記ユーザに共通した話題情報である、請求項１に記載の情報提供システム。
【請求項１５】
対話に参加しているユーザを検出し、
前記ユーザ間の関係を検出し、前記ユーザ間の関係に応じた対話者関係情報を出力し、
前記ユーザに、前記対話者関係情報に応じた提供情報を出力する、
情報提供方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、情報提供システム及び情報提供方法に関する。
【背景技術】
【０００２】
従来、対話型の通信において、ユーザ間の対話を記録し、対話が停滞状態になったとき、記録した対話に基づいて話題を生成し、通信端末を介してユーザに話題を提供する対話型通信システムがある。
【０００３】
対話型通信システムでは、記録した対話に基づいて話題を生成するため、新規ユーザの追加、又は、ユーザの入れ替わり等によって対話しているユーザが変わると、対話しているユーザに共通し、かつ関心度の高い話題を提供できないことがある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１６−６６０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
実施形態の情報提供システム及び情報提供方法は、対話しているユーザが変わった場合においても、対話しているユーザに共通し、かつ関心度の高い情報を提供することができる情報提供システム及び情報提供方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
実施形態の情報提供システムは、ユーザ検出処理部と、関係検出処理部と、情報出力処理部と、を有する。前記ユーザ検出処理部は、対話に参加しているユーザを検出する。前記関係検出処理部は、前記ユーザ間の関係を検出し、前記ユーザ間の関係に応じた対話者関係情報を出力する。前記情報出力処理部は、前記ユーザに、前記対話者関係情報に応じた提供情報を出力する。
【図面の簡単な説明】
【０００７】
【図１】実施形態に関わる、情報提供システムの構成例を説明する図である。
【図２】実施形態に関わる、情報提供システムの端末装置の構成例を示すブロック図である。
【図３】実施形態に関わる、情報提供システムのセンター装置の構成例を示すブロック図である。
【図４】実施形態に関わる、情報提供システムのユーザ情報記憶部の例を示す表である。
【図５】実施形態に関わる、情報提供システムの優先度記憶部の例を示す表である。
【図６】実施形態に関わる、情報提供システムの語句記憶部の例を示す表である。
【図７】実施形態に関わる、情報提供システムのアドレス記憶部の例を示す表である。
【図８】実施形態に関わる、情報提供システムの情報提供処理の流れを示すフローチャートである。
【図９】実施形態に関わる、情報提供システムのユーザ検出処理の流れを示すフローチャートである。
【図１０】実施形態に関わる、情報提供システムの関係検出処理の流れを示すフローチャートである。
【図１１】実施形態に関わる、情報提供システムの情報出力処理の流れを示すフローチャートである。
【図１２】実施形態に関わる、情報提供システムの提供情報生成処理の流れを示すフローチャートである。
【図１３】実施形態に関わる、情報提供システムのクラウドサービス処理の流れを示すフローチャートである。
【図１４】実施形態に関わる、情報提供システムの構成例を説明する図である。
【図１５】実施形態に関わる、情報提供システムの評価処理の流れを示すフローチャートである。
【図１６】実施形態に関わる、情報提供システムの語句収集処理の流れを示すフローチャートである。
【図１７】実施形態に関わる、情報提供システムのＳＮＳ情報収集処理の流れを示すフローチャートである。
【発明を実施するための形態】
【０００８】
（実施形態）
（構成）
以下、図面を参照して実施形態を説明する。
【０００９】
図１は、実施形態に関わる、情報提供システム１の構成例を説明する図である。
【００１０】
情報提供システム１は、端末装置２及びセンター装置３を有する。端末装置２は、インターネット、有線ＬＡＮ、無線ＬＡＮ等のネットワークを介し、センター装置３と接続される。センター装置３は、ネットワークを介し、検索サービス、ＳＮＳ（ソーシャルネットワーキングサービス）又はクラウドサービス処理等を提供する外部サーバ４と接続される。なお、外部サーバ４は、１つのサーバによって構成しても構わないし、複数のサーバ群によって構成しても構わない。
【００１１】
情報提供システム１は、端末装置２を介し、図１に例示されるユーザＵ１、Ｕ２、Ｕ３、Ｕ４、Ｕ５、Ｕ６、Ｕ７に話題等の情報を提供する。以下、ユーザＵ１、Ｕ２、Ｕ３、Ｕ４、Ｕ５、Ｕ６、Ｕ７の全て、又は、一部を示すとき、ユーザＵという。なお、実施形態のユーザＵは、例示であり、これに限定されない。
【００１２】
図２は、実施形態に関わる、情報提供システム１の端末装置２の構成例を示すブロック図である。
【００１３】
端末装置２は、例えば、ユーザＵと対話可能なロボットである。端末装置２は、人感センサ１１と、カメラ１２と、マイクロホン１３と、スピーカ１４と、通信部１５と、制御部１６と、を有する。人感センサ１１、カメラ１２、マイクロホン１３、スピーカ１４及び通信部１５の各々は、制御部１６と接続される。
【００１４】
人感センサ１１は、例えば、赤外線、可視光、超音波等によってユーザＵを検知することができるように構成される。ユーザＵを検知すると、人感センサ１１は、ユーザＵの検知情報を制御部１６に出力する。
【００１５】
カメラ１２は、ＣＭＯＳ等の光電変換素子を有し、被写体を撮像できるように構成される。被写体を撮像すると、カメラ１２は、被写体の画像情報を制御部１６に出力する。
【００１６】
マイクロホン１３は、ユーザＵの音声を集音することができるように構成される。外部から音声が入力されると、マイクロホン１３は、音声情報を制御部１６に出力する。
【００１７】
スピーカ１４は、外部に音声を出力できるように構成される。制御部１６から音声情報が入力されると、スピーカ１４は、外部に音声を出力する。
【００１８】
通信部１５は、ネットワークを介し、センター装置３と通信を行うことができるように構成される。通信部１５は、ネットワークを介し、制御部１６から入力された情報をセンター装置３に送信し、また、センター装置３から受信した情報を制御部１６に出力する。
【００１９】
制御部１６は、ＣＰＵ１６ａと、ＲＡＭ及びＲＯＭを含むメモリ１６ｂとを有し、端末装置２内の各部の制御を行うことができるように構成される。制御部１６の機能は、ＣＰＵ１６ａがメモリ１６ｂ内に記憶された各種プログラムを読み出して実行することによって実現される。
【００２０】
例えば、制御部１６は、人感センサ１１、カメラ１２、マイクロホン１３及びスピーカ１４の制御を行い、通信部１５を介し、ユーザＵの検知情報、被写体の画像情報及び音声情報をセンター装置３に出力し、また、センター装置３から入力された音声情報に基づいて、スピーカ１４によって外部に音声を出力する。
【００２１】
なお、端末装置２は、人や動物を模し、図示しない頭や胴を有し、図示しない歩行機構によって歩行可能に構成しても構わない。
【００２２】
図３は、実施形態に関わる、情報提供システム１のセンター装置３の構成例を示すブロック図である。
【００２３】
センター装置３は、後述する情報提供処理を実行することができるように構成される。センター装置３は、例えば、ネットワークに接続されたサーバである。センター装置３は、通信部２１と、制御部３１と、情報提供処理部４１、画像音声処理部５１、記憶部６１とを有する。
【００２４】
通信部２１は、端末装置２の通信部１５と通信を行うことができるように構成される。通信部２１は、ネットワークを介し、制御部３１から入力された情報を端末装置２に送信し、また、端末装置２から受信した情報を制御部３１に出力する。
【００２５】
制御部３１は、センター装置３内の各部の制御を行う。
【００２６】
情報提供処理部４１は、ユーザＵに対して情報提供処理を行う処理部である。情報提供処理部４１は、ユーザ検出処理部４２と、関係検出処理部４３と、情報出力処理部４４と、語句収集処理部４５と、ＳＮＳ情報収集処理部４６とを有する。
【００２７】
ユーザ検出処理部４２は、カメラ１２によって取得された画像情報に基づいて、対話に参加しているユーザＵを検出する処理部である。
【００２８】
関係検出処理部４３は、対話に参加しているユーザＵ間の関係を検出し、ユーザＵ間の関係に応じた対話者関係情報を出力する処理部である。ユーザＵ間の関係とは、例えば、血縁、親密度などによる、社会集団を構成するための人間関係を示す。
【００２９】
情報出力処理部４４は、対話に参加しているユーザＵに、対話者関係情報に応じた提供情報を出力する処理部である。より具体的には、情報出力処理部４４は、提供情報生成処理部４４ａの処理によって生成された、対話者関係情報に応じた提供情報を出力する。また、情報出力処理部４４は、クラウドサービス処理部４４ｂの処理によってインターネット検索、又は、インターネット予約等のクラウドサービス処理を実行し、実行結果に応じて生成された提供情報を出力する。また、情報出力処理部４４は、評価処理部４４ｃの処理によってユーザＵに出力した提供情報の評価処理も実行する。情報出力処理部４４は、提供情報をスピーカ１４から出力する処理を行う。
【００３０】
語句収集処理部４５は、マイクロホン１３によって取得された音声情報に基づいて、対話に参加しているユーザＵの対話情報を収集し、対話情報から語句を抽出し、対話者関係情報に対応付けて語句を語句記憶部６６に記憶させる処理部である。
【００３１】
ＳＮＳ情報収集処理部４６は、ＳＮＳを利用しているユーザＵのＳＮＳから記事情報を収集し、記事情報から語句を抽出し、ＳＮＳを示すグループ識別情報に対応付けて語句を語句記憶部６６に記憶させる処理部である。
【００３２】
画像音声処理部５１は、画像情報及び音声情報に対して各種処理を行う処理部である。画像音声処理部５１は、画像処理部５２と、音声処理部５３とを有する。
【００３３】
画像処理部５２は、顔等の画像情報からユーザＵを検出する処理部である。画像処理部５２は、カメラ１２から入力された画像情報と、後述するユーザ画像記憶部６２に記録されているユーザ識別情報に対応付けられたユーザＵの画像情報とのマッチング処理を行い、カメラ１２によって撮像されたユーザＵのユーザ識別情報を特定する。
【００３４】
画像処理部５２は、所定の画像認識処理により、画像情報に含まれる対象物又は背景の画像を認識し、対象物又は背景を示す文字列も出力する。
【００３５】
画像処理部５２は、所定の画像認識処理により、画像情報に含まれる顔の表情からユーザＵの関心度を示す特徴量も算出する。
【００３６】
音声処理部５３は、音声情報を文字列に変換し、また、文字列を音声情報に変換する処理部である。
【００３７】
音声処理部５３は、音声情報からユーザＵが誰であるかも特定する。音声処理部５３は、マイクロホン１３から入力された音声情報と、後述するユーザ音声記憶部６３に記憶されているユーザ識別情報に対応付けられたユーザＵの音声情報とのマッチング処理を行い、ユーザ識別情報を特定する。
【００３８】
音声処理部５３は、入力された音声情報の音声周波数、発話速度、音量に基づいて、所定の演算処理により、ユーザＵの関心度を示す特徴量も算出する。
【００３９】
なお、画像音声処理部５１の機能は、情報提供システム１に接続した外部サーバ４によって実現されても構わない。
【００４０】
図４から図７は、データ記憶部６１に含まれる各記憶部の構成を例示する表である。図４がユーザ情報記憶部６４を示し、図５が優先度記憶部６５を示し、図６が語句記憶部６６を示し、図７がアドレス記憶部６７を示す。なお、図４から図７に示す各記憶部の構成は、例示であり、これに限定されない。
【００４１】
データ記憶部６１は、情報提供処理部４１及び画像音声処理部５１によって使用されるデータを記憶する。データ記憶部６１は、例えば、データベースによって構成される。データ記憶部６１は、ユーザ画像記憶部６２と、ユーザ音声記憶部６３と、ユーザ情報記憶部６４と、優先度記憶部６５と、語句記憶部６６と、アドレス記憶部６７とを有する。
【００４２】
ユーザ画像記憶部６２は、ユーザＵを識別するための画像情報を記憶する。図示は省略するが、具体的には、画像情報は、ユーザＵの識別情報であるユーザ識別情報と、ユーザ識別情報に対応付けられたユーザＵの画像情報である。
【００４３】
ユーザ音声記憶部６３は、ユーザＵを識別するための音声情報を記憶する。図示は省略するが。具体的には、音声情報は、ユーザ識別情報と、ユーザ識別情報に対応付けられたユーザＵの音声情報である。
【００４４】
ユーザ情報記憶部６４は、ユーザ識別情報とユーザ識別情報に対応付けられたグループ識別情報を有する。ユーザ情報記憶部６４は、ユーザ識別情報とグループ識別情報の他、ユーザ名、趣味等の属性情報を有しても構わない。
【００４５】
ユーザ識別情報は、ユーザＵを一意に識別する。
【００４６】
グループ識別情報は、ユーザＵが属するグループを識別する情報であり、ユーザＵが複数のグループに属するとき、１つのユーザ識別情報に対して複数のグループ識別情報を設定可能である。
【００４７】
グループ識別情報は、例えば、家族クラス、学校クラス、地域クラス及びＳＮＳクラス等、所定のクラスのいずれかに属する。なお、クラスは、家族クラス、学校クラス、地域クラス及びＳＮＳクラスに限定されず、他のクラスを含んでも構わないし、これらの一部のクラスであっても構わない。
【００４８】
図１及び図４は、ユーザＵ１、Ｕ２、Ｕ３、Ｕ７とユーザＵ４、Ｕ５の各々が家族クラス内の互いに異なるグループに属し、ユーザＵ１〜Ｕ６が学校クラスのグループに属し、ユーザＵ１〜Ｕ６とＵ７の各々が地域クラス内の互いに異なるグループに属し、ユーザＵ５、Ｕ６がＳＮＳクラスのグループに属する例である。なお、ユーザＵ１、Ｕ２がユーザＵ３の保護者であり、ユーザＵ４がユーザＵ５の保護者であるが、保護者も含めてユーザＵ１〜Ｕ６を学校クラスのグループとしている。
【００４９】
より具体的には、家族クラスでは、ユーザＵ１、Ｕ２、Ｕ３、Ｕ７のグループ識別情報がＦ１であり、ユーザＵ４、Ｕ５のグループ識別情報がＦ２である。また、学校クラスでは、ユーザＵ１〜Ｕ６のグループ識別情報がＧ１である。また、地域クラスでは、ユーザＵ１〜Ｕ６のグループ識別情報がＬ１であり、ユーザＵ７のグループ識別情報がＬ２である。また、ＳＮＳクラスでは、ユーザＵ５、Ｕ６のグループ識別情報がＷ１である。
【００５０】
なお、図１及び図４の例では、グループ識別情報の左側一字は、クラスを識別する。より具体的には、「Ｆ」が家族クラスを示し、「Ｇ」が学校クラスを示し、「Ｌ」が地域クラスを示し、「Ｗ」がＳＮＳクラスを示す。また、グループ識別情報の右側一字は、各クラス内のグループを識別する。
【００５１】
優先度記憶部６５は、クラスの優先度を記憶する。クラスの優先度は、グループ内のユーザＵ間の関係の強さに応じて設定される。上述の通り、ユーザＵ間の関係とは、社会集団を構成するための人間関係を示すものであり、ここでは、ユーザ識別情報に対応付けて記憶するグループ識別情報をユーザＵ間の関係を示す情報として利用している。すなわち、所定のクラスは、ユーザＵ間の関係の強さを示す。図５の例では、ユーザＵ間の関係の強い「家族クラス」の優先度が高く設定され、続いて、「学校クラス」「ＳＮＳクラス」「地域クラス」の順に、優先度が低く設定される。
【００５２】
語句記憶部６６は、対話者関係情報と対応付けて語句情報を記憶する。より具体的には、語句記憶部６６は、ユーザ識別情報と対話者関係情報に対応付け、語句、評価値及び最終更新日を記憶する。
【００５３】
例えば、語句記憶部６６には、ユーザ識別情報「Ｕ１」、グループ識別情報「Ｆ１」、語句「釣り」、評価値「５０」、最終更新日「ＹＹＹＹＭＭＤＤ」（ＹＹＹＹＭＭＤＤは、日付情報を示す）であるレコードが記憶される。
【００５４】
アドレス記憶部６７は、ユーザＵが利用しているＳＮＳのアドレス情報を記憶する。例えば、図７の例では、ユーザＵ４のＳＮＳサービスのアドレス情報がＸＸＸＸＸであり、ユーザＵ５のＳＮＳサービスのアドレス情報がＹＹＹＹＹである。
【００５５】
（動作）
続いて、情報提供システム１の動作について説明をする。
【００５６】
図８は、実施形態に関わる、情報提供システム１の情報提供処理の流れを示すフローチャートである。
【００５７】
端末装置２において、人感センサ１１が、ユーザＵを検知すると、制御部１６は、通信部１５を介し、センター装置３にユーザＵの検知情報を出力する。センター装置３において、通信部２１を介して検知情報が入力されると、制御部３１による制御のもと、情報提供処理部４１によって情報提供処理を開始する。
【００５８】
情報提供処理部４１のユーザ検出処理部４２が対話に参加しているユーザＵを検出すると（Ｓ１）、情報提供処理部４１は、関係検出処理部４３によってユーザＵ間の関係を検出し、ユーザＵ間の関係に応じた対話者関係情報を出力し（Ｓ２）、情報出力処理部４４によってユーザＵに対話者関係情報に応じた提供情報を出力する（Ｓ３）。また、Ｓ３の処理と並列し、情報提供処理部４１は、語句収集処理部４５によってユーザＵの対話情報を収集し、対話情報から語句を抽出し、対話者関係情報に対応付けて語句を記憶する（Ｓ４）。また、Ｓ１からＳ４の処理と並列し、情報提供処理部４１は、ＳＮＳ情報収集処理部４６によってＳＮＳを利用しているユーザＵのＳＮＳから記事情報を収集し、記事情報から語句を抽出し、ＳＮＳのグループを示すグループ識別情報に対応付けて語句を記憶する（Ｓ５）。
【００５９】
次に、ユーザ検出処理について、具体的に説明をする。
【００６０】
図９は、実施形態に関わる、情報提供システム１のユーザ検出処理の流れを示すフローチャートである。
【００６１】
端末装置２は、対話に参加しているユーザＵの画像情報を取得する（Ｓ１１）。端末装置２において、カメラ１２が、ユーザＵを撮像すると、制御部１６は、通信部１５を介し、センター装置３にユーザＵの画像情報を出力する。
【００６２】
画像処理部５２は、画像情報に基づいてユーザ識別情報を特定する（Ｓ１２）。通信部２１を介して画像情報が入力されると、制御部３１の制御のもと、画像処理部５２は、ユーザ画像記憶部６２を参照してマッチング処理を行う。マッチング処理によってユーザ識別情報が特定された場合には、画像処理部５２は、ユーザ識別情報を制御部３１を介してユーザ検出処理部４２に出力する。一方、新規ユーザである場合等、ユーザ識別情報の特定がされなかった場合には、画像処理部５２は、ユーザ識別情報が特定されなかったことを示す情報を制御部３１を介してユーザ検出処理部４２に出力する。
【００６３】
ユーザ検出処理部４２は、ユーザ識別情報が特定されたか否かを判定する（Ｓ１３）。Ｓ１２の処理によって画像処理部５２からユーザ識別情報が入力された場合には、処理はＳ１６に進む。一方、ユーザ識別情報が特定されなかった場合には、処理はＳ１４に進む。
【００６４】
ユーザ検出処理部４２は、制御部３１の制御のもと、音声処理部５３によってユーザＵにメッセージを出力してユーザ情報を収集する（Ｓ１４）。音声処理部５３は、ユーザＵにユーザ情報を問い合わせるためのメッセージを出力する。音声処理部５３は、例えば、「こんにちは、お名前は？」「家族のお名前は？」「学校のお友達の名前は？」「住んでいる場所はどこ？」「ＳＮＳのお友達の名前は？」等の所定の文字列を音声情報に変換し、制御部３１と通信部２１を介し、変換された音声情報を端末装置２に出力する。端末装置２は、通信部１５を介して入力された音声情報をスピーカ１４によって外部に出力する。ユーザＵが返答をすると、マイクロホン１３、制御部１６及び通信部１５を介し、ユーザＵの音声情報がセンター装置３に入力される。通信部２１を介して音声情報が入力されると、制御部３１の制御のもと、音声処理部５３は、音声情報を文字列に変換する。
【００６５】
ユーザ検出処理部４２は、ユーザ情報記憶部６４にユーザ情報を記憶する（Ｓ１５）。ユーザ検出処理部４２は、新規にユーザ識別情報を採番し、ユーザＵの返答内容に基づいて、ユーザ識別情報及びユーザ名等のユーザ情報をユーザ情報記憶部６４に記憶する。ユーザ検出処理部４２は、ユーザＵの返答内容に応じ、所定のグループ決定処理によってグループ識別情報も決定する。
【００６６】
例えば、メッセージ「家族のお名前は？」に対して、ユーザＵが「Ａ」と返答した場合、所定のグループ決定処理は、ユーザ情報記憶部６４から、ユーザ名「Ａ」に対応付けられた家族クラスのグループ識別情報を抽出し、グループ識別情報をＦ１であると決定する。また、メッセージ「学校のお友達の名前は？」に対して、ユーザＵが「Ｃ」と返答した場合、所定のグループ決定処理は、ユーザ情報記憶部６４から、ユーザ名「Ｃ」に対応付けられた学校クラスのグループ識別情報を抽出し、グループ識別情報をＧ１であると決定する。また、メッセージ「住んでいる場所はどこ？」に対して、ユーザＵがＬ１に対応する地域を返答した場合、所定のグループ決定処理は、グループ識別情報をＬ１であると決定する。また、メッセージ「ＳＮＳのお友達の名前は？」に対して、ユーザＵが「Ｅ」と返答した場合、所定のグループ決定処理は、ユーザ情報記憶部６４から、ユーザ名「Ｅ」に対応付けられたＳＮＳクラスのグループ識別情報を抽出し、グループ識別情報をＷ１であると決定する。
【００６７】
ユーザ検出処理部４２は、全てのユーザＵに対して処理が終了したか否かを判定する（Ｓ１６）。全てのユーザＵの処理が終了していない場合（Ｓ１６：Ｎｏ）、処理はＳ１２に戻る。一方、全てのユーザＵの処理が終了した場合（Ｓ１６：Ｙｅｓ）、処理はＳ１７に進む。Ｓ１２からＳ１６の処理は、画像情報に含まれる全てのユーザＵのユーザ識別情報を特定するまで繰り返す。
【００６８】
ユーザ検出処理部４２は、ユーザ識別情報を関係検出処理部４３に出力する（Ｓ１７）。
【００６９】
すなわち、ユーザ検出処理部４２は、検出したユーザＵが、ユーザＵ間の関係を検出できない新規ユーザを含む場合、ユーザＵ間の関係を検出するためのユーザ情報を問い合わせるメッセージを出力し、ユーザ情報を取得する。
【００７０】
次に、関係検出処理について具体的に説明する。
【００７１】
図１０は、実施形態に関わる、情報提供システム１の関係検出処理の流れを示すフローチャートである。
【００７２】
制御部３１の制御のもと関係検出処理部４３は、対話に参加しているユーザＵに共通したグループ識別情報を抽出する（Ｓ２１）。関係検出処理部４３は、Ｓ１７において入力されたユーザ識別情報に基づいて、ユーザ情報記憶部６４から対話に参加している全てのユーザＵのグループ識別情報を取得する。続いて、関係検出処理部４３は、全てのユーザＵに共通したグループ識別情報のみを抽出する。例えば、ユーザＵ１、Ｕ２、Ｕ３が対話に参加している場合は、Ｆ１、Ｇ１、Ｌ１がユーザＵ１、Ｕ２、Ｕ３に共通したグループ識別情報として抽出される。
【００７３】
次に関係検出処理部４３は、対話者関係情報を決定する（Ｓ２２）。関係検出処理部４３は、優先度記憶部６５から優先度情報を取得し、最も優先度の高いクラスに属するグループ識別情報によって対話者関係情報を決定する。例えば、ユーザＵ１、Ｕ２、Ｕ３では、最も優先度の高いクラスが家族クラスであり、ユーザＵ１、Ｕ２、Ｕ３が家族関係であることが検出され、対話者関係情報は、Ｆ１に決定される。
【００７４】
関係検出処理部４３は、対話者関係情報を情報出力処理部４４と語句収集処理部４５に出力する（Ｓ２３）。
【００７５】
すなわち、関係検出処理部４３は、ユーザ情報に基づいて、ユーザＵ間の関係を検出する。より具体的には、関係検出処理部４３は、ユーザＵに共通したグループ識別情報によってユーザＵ間の関係を検出する。また、関係検出処理部４３は、クラスの優先度情報に基づいて、ユーザＵ間の関係を検出する。
【００７６】
次にユーザＵへの情報提供の処理について説明する。
【００７７】
図１１は、実施形態に関わる、情報提供システム１の情報出力処理の流れを示すフローチャートである。
【００７８】
端末装置２は、音声情報を取得する（Ｓ３１）。端末装置２は、マイクロホン１３によってユーザＵの音声情報を取得し、通信部１５を介してセンター装置３に出力する。
【００７９】
制御部３１の制御のもと、音声処理部５３は、音声情報を文字列に変換する（Ｓ３２）。
【００８０】
情報出力処理部４４は、入力された音声情報に基づき、ユーザＵによってクラウドサービス処理の開始指示がされているか否かを判定する（Ｓ３３）。情報出力処理部４４は、Ｓ３２によって変換された文字列を取得し、例えば、天気予報の検索指示、又は、病院の予約指示等、クラウドサービス処理の開始指示がユーザＵによってされているか否かを判定する。開始指示がされていない場合（Ｓ３４：Ｎｏ）、処理はＳ３４ａに進む。一方、開始指示がされている場合（Ｓ３４：Ｙｅｓ）、処理はＳ３４ｂに進む。
【００８１】
Ｓ３４ａでは、後述する提供情報生成処理により、ユーザＵに提供する提供情報の生成が行われる。Ｓ３４ａの処理が終了すると、処理はＳ３５に進む。
【００８２】
Ｓ３４ｂでは、後述するクラウドサービス処理が行われる。Ｓ３４ｂの処理が終了すると、処理はＳ３５に進む。
【００８３】
情報出力処理部４４は、提供情報を出力可能なタイミングか否かを判定する（Ｓ３５）。端末装置２から入力されたユーザＵの検知情報、画像情報、音声情報に基づいて、ユーザＵ間の対話が停滞状態にある、又は、ユーザＵが情報提供システム１の発話を待っている状態にある等、提供情報を出力可能なタイミングか否かを判定する。提供情報を出力可能なタイミングではないと判定した場合、処理はＳ３１に戻る。一方、提供情報を出力可能なタイミングであると判定した場合、処理はＳ３６に進む。
【００８４】
音声処理部５３は、情報出力処理部４４の処理によりユーザＵに対して出力する提供情報を、音声情報に変換する（Ｓ３６）。
【００８５】
音声処理部５３は、変換された音声情報を、制御部３１及び通信部２１を介して端末装置２に出力する（Ｓ３７）。
【００８６】
最後に、評価処理部４４ｃは、後述する評価処理によって提供した情報の評価を行う（Ｓ３８）。
【００８７】
次に前述のＳ３４ａのユーザＵに提供する情報の生成処理について説明する。
【００８８】
図１２は、実施形態に関わる、情報提供システム１の提供情報生成処理の流れを示すフローチャートである。
【００８９】
提供情報生成処理部４４ａは、語句記憶部６６から対話者関係情報に対応付けられた語句情報を取得する（Ａ１１）。
【００９０】
提供情報生成処理部４４ａは、評価値に所定の重み付け係数を乗算し、修正評価値を算出する（Ａ１２）。所定の重み付け係数は、経験的又は実験的に、ユーザＵにとって関心度の高い情報が提供できるように、調整し、設定される。
【００９１】
例えば、重み付け係数は、対話者関係情報と同じクループ識別情報を有し、かつ対話に参加していないユーザＵに関する提供情報を出力できるように、対話に参加していないユーザ識別情報の修正評価値が高くなるように設定されても構わない。
【００９２】
別の例では、重み付け係数は、ユーザＵの記憶に新しい情報を提供できるように、最終更新日の新しい語句の修正評価値が高くなるように設定されても構わない。
【００９３】
提供情報生成処理部４４ａは、修正評価値の高い語句を抽出する（Ａ１３）。
【００９４】
続いて、提供情報生成処理部４４ａは、抽出された語句に基づく情報をインターネットで検索する（Ａ１４）。なお、検索する語句は、１つに限定されず、修正評価値が上位にある複数の語句を含んでも構わないし、ユーザ情報記憶部６４に記憶された、地域、趣味等のユーザ情報を含んでも構わない。
【００９５】
提供情報生成処理部４４ａは、検索結果に基づく所定の言い換え処理によって提供情報を生成する（Ａ１５）。
【００９６】
例えば、ユーザＵ３、Ｕ５、Ｕ６が対話をし、対話者関係情報がＧ１であるとき、制御部３１は、「運動会」「徒競走」に関する語句情報を語句記憶部６６から取得する（Ａ１１）。所定の重み付け係数が１であり、所定の重み付け係数によって重み付けされないときの修正評価値の高い語句は、「運動会」「徒競走」である（Ａ１２）。「運動会」「徒競走」をインターネットの検索サービスによって検索すると、「徒競走で速く走る方法」等の情報が得られる（Ａ１４）。所定の言い換え処理により、例えば、「徒競走で速く走る方法知ってる？」という提供情報が生成される（Ａ１５）。
【００９７】
次に前述のＳ３４ｂのクラウドサービス処理について説明する。
【００９８】
図１３は、実施形態に関わる、情報提供システム１のクラウドサービス処理の流れを示すフローチャートである。図１４は、実施形態に関わる、情報提供システム１の構成例を説明する図である。
【００９９】
クラウドサービス処理部４４ｂは、ユーザＵの指示に基づく所定のクラウドサービス処理を実行する（Ａ２１）。
【０１００】
続いて、クラウドサービス処理部４４ｂは、クラウドサービス処理の実行結果により、提供情報を生成する（Ａ２２）。
【０１０１】
クラウドサービス処理部４４ｂは、生成した提供情報から語句を抽出し、対話者関係情報と語句情報を語句記憶部６６に記憶する（Ａ２３）。
【０１０２】
例えば、ユーザＵ７による病院の予約指示がある場合は、クラウドサービス処理部４４ｂは、外部サーバ４にアクセスし、病院の予約処理を行う（Ａ２１）。続いて、クラウドサービス処理部４４ｂは、予約処理の結果に基づいて、「Ｗ病院をＸ月Ｙ日Ｚ時に予約したよ」等の提供情報を生成する。続いて、クラウドサービス処理部４４ｂは、対話者関係情報と語句「病院」「予約」に関する語句情報を語句記憶部６６に記憶する（Ａ２３）。
【０１０３】
語句情報が語句記憶部６６に記憶されることにより、クラウドサービス処理の結果に関する情報もユーザＵに提供される。例えば、図１４に示すように、別居しているユーザＵ７が端末装置２ｂによって病院の予約処理を行うと、端末装置２ａは、ユーザＵ１、Ｕ２、Ｕ３に対し、例えば、「Ｌ２の地域に、評判のよい病院があるみたい」という話題を提供し、それとなく、ユーザＵ７の体調が優れないことを知らせる。
【０１０４】
次に、前述のＳ３８の評価処理について説明する。
【０１０５】
図１５は、実施形態に関わる、情報提供システム１の評価処理の流れを示すフローチャートである。
【０１０６】
評価処理部４４ｃは、通信部２１と制御部３１を介して端末装置２からユーザＵの音声情報を取得する（Ａ３１）。
【０１０７】
評価処理部４４ｃは、通信部２１と制御部３１を介して端末装置２からユーザＵの画像情報を取得する（Ａ３２）。
【０１０８】
評価処理部４４ｃは、ユーザＵの音声情報と画像情報に基づいて、評価値を算出する（Ａ３３）。評価処理部４４ｃは、端末装置２から取得したユーザＵの画像情報から、画像処理部５２でユーザＵの関心度を示す特徴量を算出する。また、評価処理部４４ｃは、端末装置２から取得したユーザＵの音声情報から、音声処理部５３でユーザＵの関心度を示す特徴量を算出する。続いて、評価処理部４４ｃは、画像処理部５２と音声処理部５３の各々から入力された特徴量に基づいて、所定の演算により、語句の評価値を算出する。
【０１０９】
評価処理部４４ｃは、評価値を語句記憶部６６に記憶する（Ａ３４）。評価処理部４４ｃは、ユーザ識別情報、対話者関係情報及び語句に対応付けて語句の評価値を語句記憶部６６に記憶する。
【０１１０】
次にユーザＵの対話情報からの語句を抽出する処理について説明する。
【０１１１】
図１６は、実施形態に関わる、情報提供システム１の語句収集処理の流れを示すフローチャートである。
【０１１２】
Ｓ４１とＳ４２は、前述のＳ３１とＳ３２と同じため、説明を省略する。
【０１１３】
語句収集処理部４５は、音声処理部５３で処理（Ｓ４１、４２）されたユーザＵからの音声情報の文字列から語句を抽出する（Ｓ４３）。語句収集処理部４５は、所定の抽出処理により、文字列によって構成される文を複数の語句に分割し、語句を抽出する。
【０１１４】
語句収集処理部４５は、Ｓ４３で抽出された語句情報を語句記憶部６６に記憶する（Ｓ４４）。語句収集処理部４５は、ユーザ識別情報と対話者関係情報に対応付け、語句情報を語句記憶部６６に記憶する。評価値には、所定値がセットされる。
【０１１５】
次に、ユーザＵに関連する情報を外部のＳＮＳサーバから取得する処理について説明する。
【０１１６】
図１７は、実施形態に関わる、情報提供システム１のＳＮＳ情報収集処理の流れを示すフローチャートである。
【０１１７】
ＳＮＳ情報収集処理部４６は、ＳＮＳを利用しているユーザＵのユーザ識別情報をユーザ情報記憶部６４から取得する（Ｓ５１）。
【０１１８】
続いて、ＳＮＳ情報収集処理部４６は、ユーザ識別情報に対応付けられたアドレス情報をアドレス記憶部６７から取得する（Ｓ５２）。
【０１１９】
制御部３１の制御のもとＳＮＳ情報収集処理部４６は、ＳＮＳサイト（外部サーバ４）にアクセスをし、記事情報を取得する（Ｓ５３）。ＳＮＳ情報収集処理部４６は、アドレス情報に基づいてＳＮＳサイトにアクセスを行い、文字列又は画像情報によって構成される記事情報を取得する。
【０１２０】
ＳＮＳ情報収集処理部４６は、Ｓ５３で取得した記事情報から語句を抽出する（Ｓ５４）。ＳＮＳ情報収集処理部４６は、所定の抽出処理により、文字列によって構成される文を複数の語句に分割し、語句を抽出する。また、ＳＮＳ情報収集処理部４６は、所定の画像認識処理により、画像情報から対象物又は背景を示す語句を抽出する。
【０１２１】
ＳＮＳ情報収集処理部４６は、Ｓ５４で抽出した語句情報を語句記憶部６６に記憶する（Ｓ５５）。ＳＮＳ情報収集処理部４６は、対話者関係情報に、ユーザＵが属するＳＮＳクラスのグループ識別情報をセットし、評価値に所定値をセットし、ユーザ識別情報と対話者関係情報に対応付け、語句情報を語句記憶部６６に記憶する。
【０１２２】
例えば、図４では、ＳＮＳ情報収集処理部４６は、ユーザ識別情報であるＵ５を取得し（Ｓ５１）、アドレス記憶部６７からアドレス情報であるＸＸＸＸＸを取得し（Ｓ５２）、ＳＮＳサイトにアクセスをし、ＳＮＳに掲載された海の画像情報から所定の画像認識処理によって語句「海」を抽出する（Ｓ５４）。続いて、図６に示すように、ＳＮＳ情報収集処理部４６は、ユーザ識別情報「Ｕ５」、グループ識別情報「Ｗ１」、語句「海」、評価値「２０」（所定値）である語句情報を語句記憶部６６に記憶する。
【０１２３】
例えば、ユーザＵ５、Ｕ６が対話をし、関係検出処理部４３が対話者関係情報をＷ１に決定すると、情報提供システム１は、語句「海」に基づいて、「きれいな海知ってる？」等の話題をユーザＵ５、Ｕ６に提供する。
【０１２４】
これにより、例えば、情報提供システム１は、家族の対話にも話題を提供する。ユーザＵ１、Ｕ２、Ｕ３が「釣りに行きたい」「今週末の天気はどうだろう」等の対話をすると、情報提供システム１が、端末装置２ａ（図１４）を介し、「キスが岬で釣れ始めたみたい」等の話題を提供する。また、情報提供システム１は、端末装置２ｂを介し、ユーザＵ７にも「キスの天ぷら去年の今頃作っていたね」等の話題を提供する。端末装置２ｂを介してユーザＵ７の「キスの天ぷら食べたいね」等の対話を検出すると、情報提供システム１は、端末装置２ａを介し、ユーザＵ１、Ｕ２、Ｕ３に「おばあちゃん（ユーザＵ７）がキスの天ぷらを食べたいみたい」等の話題を提供する。さらに、情報提供システム１は、クラウドサービス処理によって天気予報を検索し、端末装置２ａを介し、ユーザＵ１、Ｕ２、Ｕ３に「今週末は天気がよさそうだよ」等の情報を提供する。
【０１２５】
また、ユーザＵ１、Ｕ２、Ｕ３が家族内の対話をしているとき、ユーザＵ３の学校の友人であるユーザＵ６が対話に加わると、情報提供システム１は、関係検出処理部４３によって対話者関係情報をＧ１に決定し、「運動会楽しかった？」等の学校に関係した話題を提供する。
【０１２６】
すなわち、対話に参加しているユーザＵが変わると、ユーザ検出処理部４２によってユーザＵが検出され、関係検出処理部４３によってユーザＵ間の関係に応じた対話者関係情報が出力され、対話者関係情報に応じた提供情報がユーザＵに提供される。
【０１２７】
上述の実施形態によれば、情報提供システム１及び情報提供方法は、対話しているユーザＵが変わった場合においても、対話しているユーザＵに共通し、かつ関心度の高い情報を提供することができる。
【０１２８】
なお、実施形態では、端末装置２がロボットである例を説明したが、これに限定されない。端末装置２は、携帯電話等の携帯情報端末であっても構わないし、パソコン等の情報処理装置であっても構わない。
【０１２９】
なお、実施形態では、人感センサ１１によってユーザＵを検知するが、人感センサ１１に代えて、カメラ１２又はマイクロホン１３によってユーザＵを検知しても構わない。
【０１３０】
なお、実施形態では、関係検出処理部４３がユーザＵのグループ識別情報に基づいて、ユーザＵ間の関係を検出するが、これに限定されない。例えば、関係検出処理部４３は、ユーザ情報記憶部６４に記憶される図示しない属性情報によってユーザＵ間の関係を検出しても構わない。
【０１３１】
なお、実施形態におけるＳ１１及びＳ１２では、画像処理部５２の処理によってユーザ識別情報を特定するが、ユーザ識別情報の特定は、Ｓ１１とＳ１２の処理に加え、マイクロホン１３によってユーザＵの音声を集音し、音声処理部５３の処理によって行われても構わない。
【０１３２】
なお、実施形態では、優先度記憶部６５がクラスの優先度情報を有し、関係検出処理部４３がクラスの優先度情報に基づいて、ユーザＵ間の関係を検出するが、優先度記憶部６５がグループ識別情報の優先度を有し、関係検出処理部４３が、グループ識別情報の優先度情報に基づいてユーザＵ間の関係を検出しても構わない。
【０１３３】
以上、本実施形態の情報提供システム１のセンター装置３の各機能は、プログラムとして構成することができる。例えば、コンピュータの不図示の補助記憶装置に格納され、ＣＰＵ等の制御部３１が補助記憶装置に格納された情報提供システム１のセンター装置３の各機能毎のプログラムを主記憶装置に読み出し、主記憶装置に読み出された該プログラムを制御部３１が実行し、コンピュータに本発明の各部の機能を動作させることができる。すなわち、本実施形態の情報提供システム１のセンター装置３の各機能毎のプログラムがインストールされたコンピュータは、本実施形態の情報提供システム１のセンター装置３の各機能を遂行するコンピュータ装置として動作することが可能である。
【０１３４】
また、上記プログラムは、コンピュータ読取可能な記録媒体に記録された状態で、コン
ピュータに提供することも可能である。コンピュータ読取可能な記録媒体としては、ＣＤ
−ＲＯＭ等の光ディスク、ＤＶＤ−ＲＯＭ等の相変化型光ディスク、ＭＯ（Ｍａｇｎｅｔ  Ｏｐｔｉｃａｌ）やＭＤ（Ｍｉｎｉ  Ｄｉｓｋ）などの光磁気ディスク、フロッピー（登録商標）ディスクやリムーバブルハードディスクなどの磁気ディスク、コンパクトフラッシュ（登録商標）、スマートメディア、ＳＤメモリカード、メモリスティック等のメモリカードが挙げられる。また、本発明の目的のために特別に設計されて構成された集積回路（ＩＣチップ等）等のハードウェア装置も記録媒体として含まれる。
【０１３５】
本発明の実施形態を説明したが、これらの実施形態は、例として示したものであり、本発明の範囲を限定することは意図していない。これら新規の実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【０１３６】
１・・・情報提供システム、２、２ａ、２ｂ・・・端末装置、３・・・センター装置、４・・・外部サーバ、１１・・・人感センサ、１２・・・カメラ、１３・・・マイクロホン、１４・・・スピーカ、１５、２１・・・通信部、１６、３１・・・制御部、１６ａ・・・ＣＰＵ、１６ｂ・・・メモリ、４１・・・情報提供処理部、４２・・・ユーザ検出処理部、４３・・・関係検出処理部、４４・・・情報出力処理部、４４ａ・・・提供情報生成処理部、４４ｂ・・・クラウドサービス処理部、４４ｃ・・・評価処理部、４５・・・語句収集処理部、４６・・・ＳＮＳ情報収集処理部、５１・・・画像音声処理部、５２・・・画像処理部、５３・・・音声処理部、６１・・・データ記憶部、６２・・・ユーザ画像記憶部、６３・・・ユーザ音声記憶部、６４・・・ユーザ情報記憶部、６５・・・優先度記憶部、６６・・・語句記憶部、６７・・・アドレス記憶部、Ｕ、Ｕ１、Ｕ２、Ｕ３、Ｕ４、Ｕ５、Ｕ６、Ｕ７・・・ユーザ
【図１】
2018124645.tif 000003
【図２】
2018124645.tif 000004
【図３】
2018124645.tif 000005
【図４】
2018124645.tif 000006
【図５】
2018124645.tif 000007
【図６】
2018124645.tif 000008
【図７】
2018124645.tif 000009
【図８】
2018124645.tif 000010
【図９】
2018124645.tif 000011
【図１０】
2018124645.tif 000012
【図１１】
2018124645.tif 000013
【図１２】
2018124645.tif 000014
【図１３】
2018124645.tif 000015
【図１４】
2018124645.tif 000016
【図１５】
2018124645.tif 000017
【図１６】
2018124645.tif 000018
【図１７】
2018124645.tif 000019