(57)【要約】      （修正有）【課題】センサデータに対し、ユーザにとって意味のあるラベルを容易に付与する。【解決手段】ライフログ記録システムは、センサ装置１００、サーバ２００、センサデータ解析装置３００及びロボット装置４００を備え、センサ装置１００は、ユーザに関するセンサデータを取得する手段を有し、サーバ２００は、センサデータを蓄積する手段を有し、センサデータ解析装置３００は、学習データを参照してもユーザの行動を特定できない場合、ユーザの行動を特定する情報を引き出す会話を構成する解析手段と、ユーザがロボット装置４００と会話できる状態にあるか判断する手段とを有し、ロボット装置４００は、会話をユーザと行う手段を有し、センサデータ解析装置３００は、さらに、ユーザの応答に基づいて、センサデータに意味付けをするラベル情報をサーバに送信する手段を有する。【選択図】図１
2015152948.tif 000002
【特許請求の範囲】
【請求項１】
センサ装置、サーバ、センサデータ解析装置及びロボット装置を備えるライフログ記録システムであって、
前記センサ装置は、該センサ装置のユーザに関するセンサデータを取得する手段を有し、
前記サーバは、
前記センサ装置から前記センサデータを受信する手段と、
前記センサデータを蓄積する手段とを有し、
前記センサデータ解析装置は、
前記サーバから前記センサデータを受信する手段と、
学習済みのユーザの行動を学習データとして記憶している学習記憶手段と、
前記センサデータに、前記学習データを参照してもユーザの行動を特定できないデータがあった場合、ユーザの行動を特定する情報をユーザから引き出すための会話を構成する解析手段と、
前記センサデータから、ユーザが前記ロボット装置と会話できる状態にあるか否かを判断する手段と、
ユーザが前記ロボット装置と会話できる状態にあるときに、構成された前記会話を前記ロボット装置に送信する手段とを有し、
前記ロボット装置は、
前記会話をユーザと行う手段と、
前記会話に対するユーザの応答を前記センサデータ解析装置に送信する手段とを有し、
前記センサデータ解析装置は、さらに、前記ユーザの応答に基づいて、前記センサデータに意味付けをするラベル情報を前記サーバに送信する手段を有することを特徴とするライフログ記録システム。
【請求項２】
請求項１に記載のライフログ記録システムにおいて、前記解析手段は、ユーザから望ましい応答が得られなかった場合、変更した会話を構成することを特徴とするライフログ記録システム。
【請求項３】
請求項１又は２に記載のライフログ記録システムにおいて、前記解析手段は、ユーザが普段の行動を普段と異なる状況で行っていた場合に、その理由をユーザから引き出す会話を構成することを特徴とするライフログ記録システム。
【請求項４】
請求項１乃至３のいずれか一項に記載のライフログ記録システムにおいて、前記解析手段は、ユーザが日常行う行動を行っていなかった場合に、その理由をユーザから引き出す会話を構成することを特徴とするライフログ記録システム。
【請求項５】
請求項１乃至４のいずれか一項に記載のライフログ記録システムにおいて、前記解析手段は、ユーザが、日常行う行動をいつもと異なる量で行っていた場合に、その理由をユーザから引き出す会話を構成することを特徴とするライフログ記録システム。
【請求項６】
請求項１乃至５のいずれか一項に記載のライフログ記録システムにおいて、前記解析手段は、前記センサデータに合わせて、通常は解析に用いていない映像及び／又は音声のデータも参照して、ユーザの行動を特定するための情報をユーザから引き出す会話を構成することを特徴とするライフログ記録システム。
【請求項７】
請求項１乃至６のいずれか一項に記載のライフログ記録システムにおいて、前記解析手段は、前記センサデータに合わせて、通常は解析に用いていないＳＮＳ及び／又はメールも参照して、ユーザの行動を特定する情報をユーザから引き出す会話を構成することを特徴とするライフログ記録システム。
【請求項８】
センサ装置、サーバ、センサデータ解析装置及びロボット装置を備えるライフログ記録システムを動作させるプログラムであって、
前記センサ装置に、該センサ装置のユーザに関するセンサデータを取得するステップを実行させ、
前記サーバに、
前記センサ装置から前記センサデータを受信するステップと、
前記センサデータを蓄積するステップとを実行させ、
前記センサデータ解析装置に、
前記サーバから前記センサデータを受信するステップと、
受信した前記センサデータに、学習済みのユーザの行動を参照してもユーザの行動を特定できないデータがあった場合、ユーザの行動を特定する情報をユーザから引き出すための会話を構成するステップと、
前記センサデータから、ユーザが前記ロボット装置と会話できる状態にあるか否かを判断するステップと、
ユーザが前記ロボット装置と会話できる状態にあるときに、構成された前記会話を前記ロボット装置に送信するステップとを実行させ、
前記ロボット装置に、
前記会話をユーザと行うステップと、
前記会話に対するユーザの応答を前記センサデータ解析装置に送信するステップとを実行させ、
前記センサデータ解析装置に、さらに、前記ユーザの応答に基づいて、前記センサデータに意味付けをするラベル情報を前記サーバに送信するステップを実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、各種センサから得られたライフログに、ロボットとユーザとの音声対話に基づいてラベル付けをするライフログ記録システム及びそのプログラムに関するものである。
【背景技術】
【０００２】
近年、さまざまなセンサが小型化、省電力化され、ライフログとしてのセンサデータの収集が容易に行えるようになってきている。収集されたライフログは、ユーザの行動を把握し、より良いサービスを提供できるようにするため、例えば、サービスの使い勝手の向上や、行動を予測したさまざまなサービスの提供などに利用されている（例えば、特許文献１並びに非特許文献１及び２参照）。
【０００３】
一方、音声による自動応答システムは古くから検討が重ねられてきており、電話でのサポートデスクの対応や、カーナビゲーションシステム、ロボットとの対話などで広く活用されている（例えば、非特許文献３参照）。
【０００４】
また、人とコミュニケーションをとることができ、さらにネットワークと接続することも可能な小型のヒューマノイドロボットの普及が始まってきており、家庭に置くことも可能な状況になってきている（例えば、非特許文献４参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−１０８０５５号公報
【非特許文献】
【０００６】
【非特許文献１】間瀬健二、「インタラクションに基づく体験共有コミュニケーション」、電子情報通信学会技術研究報告、一般社団法人電子情報通信学会、２００６年１月、ＰＲＭＵ２００５−１４３／ＨＩＰ２００５−１１３、ｐ．３７−４２
【非特許文献２】野間春生  他、「センサ・ネットワークにおける個人の行動計測のための小型装着型機器の開発」、情報処理学会研究報告、一般社団法人情報処理学会、２００７年７月、２００７−ＵＢＩ−１５、ｐ．２９−３４
【非特許文献３】駒谷和範  他、「発語行為レベルの情報をユーザ発話の解釈に用いる音声対話システム」、情報処理学会論文誌、一般社団法人情報処理学会、２０１１年１２月、第５２巻、第１２号、ｐ．３３７４−３３８５
【非特許文献４】杉山治  他、「コミュニケーションロボットのための発話とジェスチャのアサインパターンの抽出とその発展的開発手法の提案」、電子情報通信学会論文誌、一般社団法人電子情報通信学会、２０１２年１月、Ｊ９５−Ａ（１）、ｐ．４６−５９
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上述したように、近年、さまざまなセンサデータの収集が容易に行えるようになってきている。しかしながら、センサデータは、単なる数値の並びのままであっては利用価値が低い。
【０００８】
センサデータは、ラベルを付与して何らかの意味付けをすることにより、有用なデータとして活用することが可能となるが、従来、センサデータにラベルを付与することは非常に労力のかかる作業であった。例えば、センサデータが非常に特徴的なデータである場合などに、自動的にラベル付けができる場合はあったが、そのようなケースは少なく、その他の多くの場合は、人手でラベル付けをする必要があり、非常に労力がかかっていた。
【０００９】
かかる点に鑑みてなされた本発明の目的は、センサデータに対し、ユーザにとって意味のあるラベルを容易に付与することが可能なライフログ記録システム及びそのプログラムを提供することにある。
【課題を解決するための手段】
【００１０】
上記課題を解決するため、本発明に係るライフログ記録システムは、センサ装置、サーバ、センサデータ解析装置及びロボット装置を備え、前記センサ装置は、該センサ装置のユーザに関するセンサデータを取得する手段を有し、前記サーバは、前記センサ装置から前記センサデータを受信する手段と、前記センサデータを蓄積する手段とを有し、前記センサデータ解析装置は、前記サーバから前記センサデータを受信する手段と、学習済みのユーザの行動を学習データとして記憶している学習記憶手段と、前記センサデータに、前記学習データを参照してもユーザの行動を特定できないデータがあった場合、ユーザの行動を特定する情報をユーザから引き出すための会話を構成する解析手段と、前記センサデータから、ユーザが前記ロボット装置と会話できる状態にあるか否かを判断する手段と、ユーザが前記ロボット装置と会話できる状態にあるときに、構成された前記会話を前記ロボット装置に送信する手段とを有し、前記ロボット装置は、前記会話をユーザと行う手段と、前記会話に対するユーザの応答を前記センサデータ解析装置に送信する手段とを有し、前記センサデータ解析装置は、さらに、前記ユーザの応答に基づいて、前記センサデータに意味付けをするラベル情報を前記サーバに送信する手段を有するものである。
【００１１】
また、上記課題を解決するため、本発明に係るプログラムは、センサ装置、サーバ、センサデータ解析装置及びロボット装置を備えるライフログ記録システムを動作させるプログラムであって、前記センサ装置に、該センサ装置のユーザに関するセンサデータを取得するステップを実行させ、前記サーバに、前記センサ装置から前記センサデータを受信するステップと、前記センサデータを蓄積するステップとを実行させ、前記センサデータ解析装置に、前記サーバから前記センサデータを受信するステップと、受信した前記センサデータに、学習済みのユーザの行動を参照してもユーザの行動を特定できないデータがあった場合、ユーザの行動を特定する情報をユーザから引き出すための会話を構成するステップと、前記センサデータから、ユーザが前記ロボット装置と会話できる状態にあるか否かを判断するステップと、ユーザが前記ロボット装置と会話できる状態にあるときに、構成された前記会話を前記ロボット装置に送信するステップとを実行させ、前記ロボット装置に、前記会話をユーザと行うステップと、前記会話に対するユーザの応答を前記センサデータ解析装置に送信するステップとを実行させ、前記センサデータ解析装置に、さらに、前記ユーザの応答に基づいて、前記センサデータに意味付けをするラベル情報を前記サーバに送信するステップを実行させるものである。
【発明の効果】
【００１２】
本発明によれば、センサデータに対し、ユーザにとって意味のあるラベルを自然な対話を通して容易に付与することができ、ラベル付けされたことで、ライフログのより広い活用が期待できる。また、ロボットを介した自然な会話をさせることで、ラベル付け作業をしている、という直接的な印象を和らげることができ、継続性が期待できる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施形態に係るライフログ記録システムの構成例を示すブロック図である。
【図２】本発明の一実施形態に係るライフログ記録システムの処理フローを示す図である。
【図３】データ蓄積部に蓄積されるデータの一例である。
【図４】学習データ記憶部に記憶されるデータの一例である。
【図５】ロボットアクション送信部が送信するデータの一例である。
【図６】本発明の実施例５に係るライフログ記録システムの構成例を示すブロック図である。
【図７】本発明の実施例７に係るライフログ記録システムの構成例を示すブロック図である。
【発明を実施するための形態】
【００１４】
以下、本発明に係る実施形態について、図面を参照して説明する。
【００１５】
図１は、本発明の一実施形態に係るライフログ記録システムの構成例を示すブロック図である。図１に示すように、本発明の一実施形態に係るライフログ記録システムは、センサ装置１００と、サーバ２００と、センサデータ解析装置３００と、ロボット装置４００とを備える。
【００１６】
センサ装置１００は、ユーザが日頃から持ち歩いている装置である。センサ装置１００は、加速度センサ１０１と、位置センサ１０２と、記憶部１１０と、データ送信部１２０とを備える。
【００１７】
加速度センサ１０１は、センサ装置１００を持ち歩いているユーザの加速度を検出し、検出した加速度データを時刻情報と同期させて記憶部１１０に記憶する。加速度データは、ユーザの移動情報や歩数情報などを得るために用いられる。
【００１８】
位置センサ１０２は、例えばＧＰＳ（Global Positioning System）を用いたセンサであり、センサ装置１００を持ち歩いているユーザの位置データを検出する。位置センサ１０２は、検出した位置データを時刻情報と同期させて記憶部１１０に記憶する。
【００１９】
以下、加速度データや位置データなど、センサ装置１００に含まれる各種センサにより取得されたユーザに関するデータを「センサデータ」と総称する。
【００２０】
記憶部１１０は、加速度センサ１０１や位置センサ１０２が検出したセンサデータを記憶する。
【００２１】
データ送信部１２０は、記憶部１１０に記憶されているセンサデータをサーバ２００に送信する。
【００２２】
サーバ２００は、データ受信部２１０と、データ蓄積部２２０と、データ要求受信部２３０と、データ送信部２４０とを備える。
【００２３】
データ受信部２１０は、センサ装置１００からユーザのセンサデータを受信する。また、データ受信部２１０は、センサデータ解析装置３００からセンサデータに意味付けをするためのラベル情報を受信する。
【００２４】
データ蓄積部２２０は、センサ装置１００から受信したユーザのセンサデータを蓄積する。また、データ蓄積部２２０は、センサデータ解析装置３００から受信したラベル情報に基づいて、蓄積しているセンサデータにラベル付けをする。ラベルには、行動の種類、場所の名称、一緒にいた人の情報、移動手段などがある。センサデータ、ラベル情報、及び、時刻情報を含む情報は、ライフログとして扱われる。
【００２５】
データ要求受信部２３０は、センサデータ解析装置３００から、ユーザのセンサデータの要求を受信する。
【００２６】
データ送信部２４０は、センサデータ解析装置３００からの要求に応じて、ユーザのセンサデータをセンサデータ解析装置３００に送信する。
【００２７】
センサデータ解析装置３００は、データ要求部３１０と、データ受信部３２０と、データ解析部３３０と、学習データ記憶部３４０と、発話内容構成部３５０と、ロボットアクション送信部３６０と、応答結果受信部３７０と、応答結果解析部３８０と、ラベル情報送信部３９０とを備える。
【００２８】
データ要求部３１０は、サーバ２００に対し、ユーザのセンサデータを要求する。
【００２９】
データ受信部３２０は、サーバ２００から、ユーザのセンサデータを受信し、データ解析部３３０に送信する。
【００３０】
データ解析部３３０は、学習データ記憶部３４０に記憶されている学習データを参照して、サーバ２００から受信したセンサデータを解析し、ユーザの行動を特定できるか否かを判断する。データ解析部３３０は、ユーザの行動を特定できると判断した場合は、ラベル情報送信部３９０に、センサデータに意味付けするためのラベル情報をサーバ２００に送信させ、また、学習データ記憶部３４０にラベル情報を記憶させる。データ解析部３３０は、ユーザの行動を特定できないと判断した場合は、発話内容構成部３５０に、ユーザからラベル情報を引き出すための質問を含む会話やロボットアクションを構成させる。
【００３１】
学習データ記憶部３４０は、学習済みのユーザの行動を学習データとして記憶している。
【００３２】
発話内容構成部３５０は、ユーザから情報を引き出すための会話を構成する。また、該会話に伴ってロボット装置４００に行わせるロボットアクションを構成する。
【００３３】
ロボットアクション送信部３６０は、発話内容構成部３５０が構成した会話や、該会話に基づいて構成されたロボットの動作情報を、ロボット装置４００に送信する。
【００３４】
応答結果受信部３７０は、ロボット装置４００からユーザの応答結果を受信し、応答結果解析部３８０に送信する。
【００３５】
応答結果解析部３８０は、応答結果受信部３７０から受信したユーザの応答結果を解析し、ユーザの行動を特定できると判断した場合は、ラベル情報送信部３９０に、センサデータに意味付けするためのラベル情報をサーバ２００に送信させ、また、学習データ記憶部３４０にラベル情報を記憶させる。応答結果解析部３８０は、ユーザの応答結果を解析しても、ユーザの行動を特定できないと判断した場合は、発話内容構成部３５０に、ユーザからラベル情報を引き出すための質問を含む会話やロボットアクションを再度構成させる。
【００３６】
ラベル情報送信部３９０は、センサデータに意味付けするためのラベル情報をサーバ２００に送信する。
【００３７】
ロボット装置４００は、ロボットアクション受信部４１０と、ロボットアクション部４２０と、応答入力部４３０と、応答結果送信部４４０とを備える。ロボット装置４００は、例えば、小型のヒューマノイドロボットであるが、エージェントなどのバーチャルロボットであってもよい。
【００３８】
ロボットアクション受信部４１０は、センサデータ解析装置３００からロボットアクション情報を受信する。
【００３９】
ロボットアクション部４２０は、受信したロボットアクション情報に基づいて発話や動作を行う。
【００４０】
応答入力部４３０は、ユーザからの音声による発話や、頷きや首振りなどの動作による肯定／否定の応答を取得する。
【００４１】
応答結果送信部４４０は、取得した応答情報を、センサデータ解析装置３００に送信する。
【００４２】
なお、図１に示したライフログ記録システムのブロック図はあくまで一例であり、複数の構成部を１つに組み合わせたり分割したりすることも可能である。また、各装置の各構成部は他の装置に含まれていてもよい。例えば、データ解析部３３０と応答結果解析部３８０を統合して１つの解析部として構成してもよい。また、例えば、センサデータ解析装置３００の構成部の一部又は全部がサーバ２００に含まれていてもよい。
【００４３】
図２は、本発明の一実施形態に係るライフログ記録システムの処理フローを示す図である。以下、図２を参照して、本発明の一実施形態に係るライフログ記録システムの処理フローを説明する。
【００４４】
センサ装置１００において、加速度センサ１０１は、常時、ユーザの加速度データを取得し（ステップＳ１０１）、一時的に記憶部１１０に記憶する（ステップＳ１０２）。また、位置センサ１０２は、常時、ユーザの位置データを取得し（ステップＳ１０３）、一時的に記憶部１１０に記憶する（ステップＳ１０４）。データ送信部１２０は、例えば毎日決められた所定の時刻に、記憶部１１０に記憶された加速度データ及び位置データをサーバ２００に送信（アップロード）する（ステップＳ１０５）。
【００４５】
サーバ２００において、データ受信部２１０は、センサ装置１００からセンサデータを受信し、また、センサデータ解析装置３００からラベル情報を受信する（ステップＳ２０１）。データ受信部２１０は、受信したセンサデータ及びラベル情報をデータ蓄積部２２０に蓄積する（ステップＳ２０２）。データ蓄積部２２０に蓄積されるデータの一例を図３に示す。図３（ａ）はラベル情報によりラベル付けされた加速度データの例であり、図３（ｂ）はラベル情報によりラベル付けされた位置データの例である。一方、データ要求受信部２３０がセンサデータ解析装置３００から要求を受信すると（ステップＳ２０３）、データ送信部２４０は、要求のあったデータをデータ蓄積部２２０から読み出し（ステップＳ２０４）、センサデータ解析装置３００に送信する（ステップＳ２０５）。
【００４６】
センサデータ解析装置３００において、データ要求部３１０は、定期的に、例えば１時間毎に、サーバ２００に対して、新たに蓄積されたデータを要求する（ステップＳ３０１）。データ受信部３２０は、データ要求部３１０が要求したデータを、サーバ２００から受信する（ステップＳ３０２）。データ解析部３３０は、学習データ記憶部３４０に記憶されている学習データを参照して（ステップＳ３０３）、サーバ２００から受信したデータを解析し（ステップＳ３０４）、ユーザの行動を特定してデータへのラベル付けが可能であるか否かを判断する（ステップＳ３０５）。学習データ記憶部３４０に記憶されている学習データの一例を図４に示す。
【００４７】
データ解析部３３０は、位置データを解析する場合、例えば、移動速度、ある点からある点まで移動した際の所要時間、滞留の有無（位置ずれが閾値以内で、一定時間以上など）、軌跡の外れ方（平均位置よりどの位ずれているか）、及び、軌跡自体などに基づいて解析する。例えば、データ解析部３３０は、学習済みの場所から半径５ｍ以内に一定時間以上留まっている場合に、その場所にいると判断してラベル付けを行う。また、データ解析部３３０は、加速度データを解析する場合、例えば、波形の微分値や波形自体の類似性などに基づいて解析する。例えば、データ解析部３３０は、学習済みの波形と比較して、類似性から、歩いている／走っている／車や電車で移動している、といった行動をユーザがとったと判断しラベル付けを行う。なお、上記説明は、データ解析部３３０がセンサデータにラベル付けを行う例をいくつか示したものであって、ラベル付けをする項目やラベル付けの方法はこれらに限定されるものではない。データ解析部３３０は、任意の項目について任意の方法でセンサデータにラベルを付けることができる。
【００４８】
データ解析部３３０は、例えば、学習されている定常的な移動ルートからユーザが外れている場合、その理由がわからないので、ラベル付けを自動ですることができない。また、例えば、データ解析部３３０は、ユーザがある店で食事をしたことが特定できた場合に、店の名前は特定できても、食べた料理までは特定できない。この場合、データ解析部３３０は、店の名前までは自動でラベル付けをすることができるが、食べた料理は自動でラベル付けをすることができない。
【００４９】
データ解析部３３０は、ステップＳ３０５においてＹｅｓと判断した場合、データへのラベル付けを行い（ステップＳ３０６）、ラベル情報送信部３９０に、ラベル情報をサーバ２００に送信させる（ステップＳ３０７）。データ解析部３３０は、ステップＳ３０５においてＮｏと判断した場合、すなわち、センサデータに何らかの変化を検出したものの、学習データ記憶部３４０に記憶された学習データを参照してもラベル付けができなかった場合は、発話内容構成部３５０に、ユーザから、ユーザの行動を特定し、そのデータの変化に対するラベル情報を引き出すための質問を含む会話やロボットアクションを構成させる（ステップＳ３０８及びＳ３０９）。データ解析部３３０は、ユーザからラベル情報を引き出すための質問を構成させる際、例えば、欲しい情報に関する言葉を質問に含ませる（例えば、味噌ラーメンを食べたかどうかを確認したい場合に、「味噌ラーメン」という言葉を質問に含ませる）。
【００５０】
データ解析部３３０は、サーバ２００から取得したセンサデータから、ユーザがロボット装置４００のそばにいてロボット装置４００と対話できる状態にあると判断したときに、ロボットアクション送信部３６０に、発話内容構成部３５０が構成した発話情報や、該発話情報に基づいて構成されたロボットの動作情報を、ロボット装置４００に送信させる（ステップＳ３１０）。ロボットアクション送信部３６０が送信するデータの一例を図５に示す。
【００５１】
応答結果受信部３７０は、ロボット装置４００からユーザの応答結果を受信し（ステップＳ３０２）、今度は、応答結果解析部３８０が、データ解析部３３０が実行したステップＳ３０３〜Ｓ３０５に対応する処理を実行する。応答結果解析部３８０は、応答結果受信部３７０が受信したユーザの応答を解析し、ラベル付けが可能と判断した場合（ステップＳ３０５のＹｅｓ）、データへのラベル付けを行い（ステップＳ３０６）、ラベル情報送信部３９０に、センサデータに意味付けをするラベル情報をサーバ２００に送信させる（ステップＳ３０７）とともに、ラベル情報を学習データ記憶部３４０に登録する（ステップＳ３１１）。応答結果解析部３８０は、ラベル付けが十分であるか否かを判断する（ステップＳ３１２）。応答結果解析部３８０は、ステップＳ３１２にてＹｅｓと判断した場合、処理を終了する。応答結果解析部３８０は、ステップＳ３１２にてＮｏと判断した場合、例えば、さらに追加となるラベル情報を付けたい場合など、さらなる会話が必要であると判断した場合は、再びステップＳ３０８にすすみ、発話内容構成部３５０に、さらなる会話を構成させる。
【００５２】
ロボット装置４００において、ロボットアクション受信部４１０は、センサデータ解析装置３００からロボットアクション情報を受信する（ステップＳ４０１）。ロボットアクション部４２０は、受信したロボットアクション情報に基づいて発話や動作を行う（ステップＳ４０２）。応答入力部４３０は、ユーザからの音声による発話や、頷きや首振りなどの動作による肯定／否定の応答を取得する（ステップＳ４０３）。応答結果送信部４４０は、取得した応答情報を、センサデータ解析装置３００に送信する（ステップＳ４０４）。
【００５３】
なお、上記構成においては、センサ装置１００からのデータを一旦サーバ２００に蓄積してから、センサデータ解析装置３００が、サーバ２００に蓄積されたデータを取得しているが、サーバ２００とセンサデータ解析装置３００が、センサ装置１００からのデータを並列で受信し、センサデータ解析装置３００がデータの解析を行うように構成してもよい。
【００５４】
以下、センサデータ解析装置３００がサーバ２００からセンサデータを取得した後の処理について、具体例（実施例１〜９）を挙げて詳しく説明する。なお、以下の説明においては、ロボット装置４００は、自宅にある小型のヒューマノイドロボットであるものとする。また、各実施例で重複する処理については適宜省略して説明する。
【００５５】
［実施例１］
データ解析部３３０は、サーバ２００から取得したユーザの位置データから、ユーザが昼頃にある場所に長く留まっていたと判断した。しかしながら、データ解析部３３０は、学習データ記憶部３４０に記憶されている学習データを参照しても、ユーザがその時間に昼食をとることが多いことはわかったが、普段は長時間留まらない場所であるため、場所を特定することはできなかった。
【００５６】
この場合、データ解析部３３０は、昼食の可能性が高いこと、及び、場所が不明であることをキー情報として、ラベル付けに必要な情報を聞き出すために、発話内容構成部３５０に、
「ｘｘ時頃、お昼ご飯を食べに行った？」
「何ていうお店？」
「何を食べたの？」
「おいしかった？」
といった会話を構成させる。また、データ解析部３３０は、発話内容構成部３５０に、例えば、上記例の最初の３つの質問については、わからないことを聞く際の首をかしげるような動作をロボット装置４００がしながら質問の発話をするように構成させ、また、最後の質問については、わくわくして身を乗り出すような動作をロボット装置４００がしながら質問の発話をするように構成させる。
【００５７】
さらに、データ解析部３３０は、サーバ２００から取得したセンサデータから、ユーザが自宅に帰ってロボット装置４００のそばにいる状態で夕食を食べているときなど、ユーザがロボット装置４００と対話できる状態にあると判断したときに、ロボットアクション送信部３６０から、ロボット装置４００に情報を順に送信させる。データ解析部３３０は、サーバ２００から取得したセンサデータから、例えば、夕方の時間帯に、ユーザが、食卓のある位置にいて、大きな移動をほとんどせずに手を動かしていると判断した場合に、ユーザが自宅で夕食を食べていると特定することができる。
【００５８】
ロボット装置４００は、ロボットアクション受信部４１０が受信した情報に基づいて、ロボットアクション部４２０により一つずつユーザに質問をする。応答結果送信部４４０は、応答入力部４３０がユーザから得た応答を、センサデータ解析装置３００に送信する。
【００５９】
応答結果解析部３８０は、応答結果受信部３７０がロボット装置４００から受信したユーザの応答を解析する。この際、望んだような応答が得られなかった場合は、応答結果解析部３８０は、変更した発話内容を発話内容構成部３５０に構成させ、ロボットアクション送信部３６０は、変更後の発話内容及びロボットアクションをロボット装置４００に送信する。
【００６０】
上記例においては、例えば、１つ目の質問に対する応答が肯定的なものである場合は、応答結果解析部３８０は、ロボット装置４００に最初に計画した通りの発話を続けさせるが、１つ目の質問に対する応答が否定的なものである場合は、例えば、
「じゃあ、何をしていたの？」
といった質問に切り替えて、ロボット装置４００に発話させる。
【００６１】
また、応答結果解析部３８０は、例えば、２つ目や３つ目の質問については、ユーザの応答に含まれる名詞を形態素解析により見つけ出し、答えとして適切そうな言葉であるか否かを判断することにより、望んでいる応答であるか否かを判断することができる。
【００６２】
応答結果解析部３８０は、ユーザの応答から、昼食を食べたこと、滞留していた場所の店の名前、何を食べたのか、（その人なりの）その料理の評価などを取得できた場合、これらは、該当するセンサデータの変化に対応したラベル情報であるとして、ラベル情報送信部３９０に、サーバ２００へラベル情報を送信させる。サーバ２００は、データ受信部２１０が受信したラベル情報をデータ蓄積部２２０に格納する。
【００６３】
これらのデータ蓄積部２２０に蓄積された情報（ライフログ）は、後日、「前に行った餃子がおいしいお店ってどこだっけ？」といった問いかけへの応答を行う際などに使うことができる。
【００６４】
本実施形態に係るライフログ記録システムは、ユーザが使い始めた当初は、ユーザに合わせた学習が十分にされていないために、質問する頻度や項目が多くなるが、学習が進むにつれて、似たような行動に対しては、ユーザに聞かなくても自動的にラベル付けを行えるようになってくる。その結果、ロボット装置４００がユーザに確認の質問をする回数が減ってくる。
【００６５】
なお、本実施例においては、あるセンサデータの変化をトリガーにして、タスクの決まった質問応答型の会話によってその理由などを聞く場合を説明したが、タスク指向型でストレートに質問するのではなく、雑談を行わせるような会話システムに、雑談のキーワードとして「昼食」といった言葉を設定し、雑談の中でのユーザからの返答からラベル情報となる応答を抽出するようにしてもよい。あるいは、雑談とタスク指向型の会話を織り交ぜて、より自然な会話の中で聞きだすようにしてもよい。
【００６６】
［実施例２］
データ解析部３３０は、サーバ２００から取得したユーザのセンサデータから、ユーザが、普段ジョギングしている時とは異なる状況（異なる時間帯、場所）で、ジョギングと似たような激しい動きをしたと判断した。
【００６７】
この場合、データ解析部３３０は、発話内容構成部３５０に、
「ｘｘ時頃にも走っていたみたいだけど、何かあったの？」
といった会話を構成させる。データ解析部３３０は、サーバ２００から取得したデータから、例えば、ユーザが日頃から行っているジョギングから戻ってきて、ロボット装置４００のそばで一息ついているときなど、ロボット装置４００と対話できる状態にあると判断したときに、ロボットアクション送信部３６０から、ロボット装置４００に上記発話内容を送信させる。
【００６８】
応答結果解析部３８０は、ユーザから、「電車に遅れそうになって走った」といった応答が得られた場合、センサデータのその区間に対し、「走った」こと、「電車に遅れそうだった」ことをラベルとして付与するように、ラベル情報送信部３９０に、サーバ２００へラベル情報を送信させる。
【００６９】
上記内容は、後日、ライフログを利用したサービスとして、ある場所から駅までの時間を答える際、走ったら何分、といった答えを出すために、ラベル付けされたライフログを活用することができる。
【００７０】
［実施例３］
データ解析部３３０は、サーバ２００から取得したユーザのセンサデータから、いつもの平日であれば、ユーザが、この位の時間にどこかに滞在して昼食を食べる記録が残るが、その日には昼食をとった形跡を自動的に発見できなかった。
【００７１】
この場合、データ解析部３３０は、発話内容構成部３５０に、
「今日はお昼ご飯、どうしたの？」
といった会話を構成させる。データ解析部３３０は、サーバ２００から取得したデータから、ユーザが自宅に帰っていてロボット装置４００のそばにいる状態であり、例えば、夕食を食べているときなど、ロボット装置４００と対話できる状態にあると判断したときに、ロボットアクション送信部３６０から、ロボット装置４００に上記発話内容を送信させる。
【００７２】
応答結果解析部３８０は、ユーザから、「食べなかった」といった応答が得られた場合、特定のセンサデータの部分に対するラベル付けは行わないが、その日のラベルとして、「昼食抜き」といったラベルを付与するように、ラベル情報送信部３９０に、サーバ２００へラベル情報を送信させる。
【００７３】
また、応答結果解析部３８０は、ユーザから、
「駅弁買ってｘｘへ行く電車の中で食べた」
「ｘｘという駅弁がおいしかった」
といった応答が得られた場合、センサデータ中の、電車で移動中のデータに対して、「昼食」「駅弁」「ｘｘという駅弁がおいしかった」といった情報を、ラベル情報として付与するように、ラベル情報送信部３９０に、サーバ２００へラベル情報を送信させる。
【００７４】
［実施例４］
データ解析部３３０は、サーバ２００から取得したユーザのセンサデータと、学習データ記憶部３４０に記憶されている学習データとから、ユーザがどこかの店に立ち寄ったであろうと判断した。しかしながら、データ解析部３３０は、似たようなセンサデータの変化に対して、複数の異なる店名のラベル付けがされていることから、自動的な絞り込みができなかった。
【００７５】
この場合、データ解析部３３０は、発話内容構成部３５０に、例えば、
「今日寄ったのはどっちの店？」
といった会話を構成させる。データ解析部３３０は、サーバ２００から取得したデータから、ユーザが自宅に帰っていてロボット装置４００のそばにいて落ち着いている状態であり、ロボット装置４００と対話できる状態にあると判断したときに、ロボットアクション送信部３６０から、ロボット装置４００に上記発話内容を送信させる。
【００７６】
応答結果解析部３８０は、ユーザからの応答を得て、ラベル付けする際の精度を高めることができる。
【００７７】
［実施例５］
本実施例においては、センサ装置１００は、図６に示すように、加速度センサ１０１、位置センサ１０２に合わせて、バイタルセンサ１０３も備えるものとする。バイタルセンサ１０３は、センサ装置１００を持ち歩いているユーザの心拍数、血圧、血中酸素濃度などを検出することができる。検出された心拍数データなどは、加速度データ及び位置データと同様に、データ蓄積部２２０に蓄積される。
【００７８】
データ解析部３３０は、サーバ２００から取得したユーザの加速度データ及び位置データには特に変化を見つけなかったが、特別な動きをしているわけではないにも関わらず、心拍数が急に上がっている時があることを見つけた。
【００７９】
この場合、データ解析部３３０は、発話内容構成部３５０に、例えば、
「ｘｘｘにいた時、何かあったの？」
といった会話を構成させる。データ解析部３３０は、サーバ２００から取得したデータから、ユーザが自宅に帰っていてロボット装置４００のそばにいて落ち着いている状態であり、ロボット装置４００と対話できる状態にあると判断したときに、ロボットアクション送信部３６０から、ロボット装置４００に上記発話内容を送信させる。
【００８０】
応答結果解析部３８０は、ユーザから、
「中学の時にすごく怒られたｘｘ先生にばったり会って」
といった応答が得られた場合、「ｘｘ先生に会った」というラベル情報を、ラベル情報として付与するように、ラベル情報送信部３９０に、サーバ２００へラベル情報を送信させる。ただし、このような特異な例は、学習データ記憶部３４０には記憶しなくてもよい。
【００８１】
記録されたライフログは、後日、「ｘｘ先生に会ったのっていつどこでだったっけ？」
といった問いかけへの回答に利用することができる。
【００８２】
［実施例６］
データ解析部３３０は、サーバ２００から取得したユーザのセンサデータから、ユーザが、いつもは１０ｋｍ程度走っているジョギングを、今日は３ｋｍしか走らなかったことを見つけた。
【００８３】
この場合、データ解析部３３０は、発話内容構成部３５０に、例えば、
「なんで今日はジョギング短かったの？」
といった会話を構成させる。データ解析部３３０は、サーバ２００から取得したデータから、ユーザが自宅に帰っていてロボット装置４００のそばにいて落ち着いている状態であり、ロボット装置４００と対話できる状態にあると判断したときに、ロボットアクション送信部３６０から、ロボット装置４００に上記発話内容を送信させる。
【００８４】
応答結果解析部３８０は、ユーザから、「雨だったから」といった応答が得られた場合、該当部分のライフログとして、ジョギングであるというラベルを確定させるとともに、天候が雨であった、という条件に関するラベルも追加するように、ラベル情報送信部３９０に、サーバ２００へラベル情報を送信させる。
【００８５】
応答結果解析部３８０は、さらに、学習データとして、天候の情報も判断材料となることを学習し、「ジョギング」という行動のラベルを付与できそうなセンサデータが見つかった場合には、その地域の天候の情報をＷｅｂから取得し、天候が雨であれば、距離が短くても正常値であると判断して、ユーザへの問いかけを減らすようにしてもよい。
【００８６】
［実施例７］
本実施例においては、センサ装置１００は、図７に示すように、加速度センサ１０１、位置センサ１０２に合わせて、映像を取得するカメラ１０４と、音声を取得するマイク１０５とを備えるものとする。カメラ１０４が常時取得する映像と、マイク１０５が常時取得する音声は、加速度データ及び位置データと同様に、データ蓄積部２２０に蓄積される。ただし、映像や音声の処理は重いため、通常時においては、加速度データや位置データのような解析は行われず、映像や音声については、データ蓄積部２２０への蓄積のみが行われているものとする。なお、カメラ１０４は、映像ではなく静止画像を取得するものであってもよい。
【００８７】
データ解析部３３０は、サーバ２００から取得したユーザのセンサデータから、ユーザが、いつもは立ち寄らない場所に立ち寄っていた、という変化を見つけた。しかしながら、データ解析部３３０は、通常のラベル付けで使用しているデータからだけでは、ラベル付けができないか、あるいは、不足していると推測した。
【００８８】
この場合、データ解析部３３０は、追加の分析として、情報取得源の候補となる別メディア情報として登録されている映像を取得して解析する。データ解析部３３０は、該当する時間帯の映像の解析を行い、例えば、映像にラーメンが長時間写っていたことを見つける。
【００８９】
この場合、データ解析部３３０は、発話内容構成部３５０に、例えば、
「今日のお昼はラーメンを食べに行ったの？」
といった会話を構成させる。データ解析部３３０は、サーバ２００から取得したデータから、ユーザが自宅に帰っていてロボット装置４００のそばにいて落ち着いている状態であり、ロボット装置４００と対話できる状態にあると判断したときに、ロボットアクション送信部３６０から、ロボット装置４００に上記発話内容を送信させる。
【００９０】
このように、ライフログ記録システムがよりユーザ本人を理解しているような、適切な質問をすることで、ユーザに親しみやすさを感じさせ、使用を継続しやすい状況を作り出すことができる。
【００９１】
［実施例８］
データ解析部３３０は、サーバ２００から取得したユーザのセンサデータから、ユーザが、フィットネスクラブに行っていたが、その中のある時間帯だけ、普通よりも長く運動をしている様子がないことを見つけた。
【００９２】
この場合、データ解析部３３０は、情報取得源の候補となる別メディア情報として登録されているユーザ本人のメールやＳＮＳ（Social Network Service）、又は、別の人からのそれらに対する返信を解析する。
【００９３】
データ解析部３３０は、上記解析の結果、フィットネスに併設されているレストランで食事を取っていたようだ、ということを見つけた。
【００９４】
この場合、データ解析部３３０は、発話内容構成部３５０に、例えば、
「フィットネスで夕食を食べてきたの？」
といった会話を構成させる。データ解析部３３０は、サーバ２００から取得したデータから、ユーザが自宅に帰っていてロボット装置４００のそばにいて落ち着いている状態であり、ロボット装置４００と対話できる状態にあると判断したときに、ロボットアクション送信部３６０から、ロボット装置４００に上記発話内容を送信させる。
【００９５】
このように、ライフログ記録システムがよりユーザ本人を理解しているような、適切な質問をすることで、ユーザに親しみやすさを感じさせ、使用を継続しやすい状況を作り出すことができる。
【００９６】
［実施例９］
データ解析部３３０は、サーバ２００から取得したユーザのセンサデータから、ユーザが、フィットネスクラブに行っていたが、その中のある時間帯だけ、普通よりも長く運動をしている様子がないことを見つけた。
【００９７】
この場合、データ解析部３３０は、情報取得源の候補となる別メディア情報として登録されている同じ時間帯に同じ場所（フィットネス）にいた、ＳＮＳなどで友人登録されている人のメールやＳＮＳ等を解析する。
【００９８】
データ解析部３３０は、上記解析の結果、フィットネスに併設されているレストランで一緒に食事を取っていたようだ、ということを見つけた。
【００９９】
この場合、データ解析部３３０は、発話内容構成部３５０に、例えば、
「フィットネスでｘｘさんと夕食を食べてきたの？」
といった会話を構成させる。データ解析部３３０は、サーバ２００から取得したデータから、ユーザが自宅に帰っていてロボット装置４００のそばにいて落ち着いている状態であり、ロボット装置４００と対話できる状態にあると判断したときに、ロボットアクション送信部３６０から、ロボット装置４００に上記発話内容を送信させる。
【０１００】
このように、ライフログ記録システムがよりユーザ本人を理解しているような、適切な質問をすることで、ユーザに親しみやすさを感じさせ、使用を継続しやすい状況を作り出すことができる。
【０１０１】
このように、本発明によれば、過去に学習した学習データでは、ユーザの行動を特定できず自動的にラベル付けができない場合に、ロボット装置がユーザと会話することによってユーザの行動を特定する情報を引き出すため、ユーザにとって意味のあるラベルを自然な対話を通して容易に付与することができる。また、ラベル付けがなされることにより、ライフログのより広い活用が期待できる。
【０１０２】
また、本発明によれば、センサデータから、ユーザがロボット装置と会話できる状態にあるか否かを判断し、ユーザがロボット装置と会話できる状態にあるときに、ロボット装置にユーザと会話させる。これにより、ユーザは落ち着いた状態でロボット装置と自然な会話をすることができ、ラベル付け作業をしているという直接的な印象を和らげることができる。その結果、ユーザの継続的な使用が期待できる。
【０１０３】
本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各構成部、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部やステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。また、本発明について装置を中心に説明してきたが、本発明は装置が備えるプロセッサにより実行される方法、プログラム、又はプログラムを記録した記憶媒体としても実現し得るものであり、本発明の範囲にはこれらも包含されるものと理解されたい。
【０１０４】
なお、上述の実施例では、センサ装置１００が、加速度センサ１０１、位置センサ１０２、バイタルセンサ１０３、カメラ１０４、及び、マイク１０５などを有する場合を例に挙げて説明したが、センサ装置１００は他のセンサを有していてもよい。例えば、センサ装置１００は、ユーザがいる場所の環境情報（温度、湿度など）を検出するセンサを有していてもよい。
【符号の説明】
【０１０５】
１００  センサ装置
１０１  加速度センサ
１０２  位置センサ
１０３  バイタルセンサ
１０４  カメラ
１０５  マイク
１１０  記憶部
１２０  データ送信部
２００  サーバ
２１０  データ受信部
２２０  データ蓄積部
２３０  データ要求受信部
２４０  データ送信部
３００  センサデータ解析装置
３１０  データ要求部
３２０  データ受信部
３３０  データ解析部
３４０  学習データ記憶部
３５０  発話内容構成部
３６０  ロボットアクション送信部
３７０  応答結果受信部
３８０  応答結果解析部
３９０  ラベル情報送信部
４００  ロボット装置
４１０  ロボットアクション受信部
４２０  ロボットアクション部
４３０  応答入力部
４４０  応答結果送信部
【図１】
2015152948.tif 000003
【図２】
2015152948.tif 000004
【図３】
2015152948.tif 000005
【図４】
2015152948.tif 000006
【図５】
2015152948.tif 000007
【図６】
2015152948.tif 000008
【図７】
2015152948.tif 000009