(57)【要約】  利用者が容易にＳＮＳを利用することができる連携システム、装置、方法およびプログラムを提供する。  連携システムは、利用者を認識し、当該利用者に関するセンシングデータの取得および他の利用者からのＳＮＳへの投稿内容に基づく行動のうちの少なくとも一方を行うデバイス２０と、センシングデータに基づいた投稿内容をＳＮＳを提供するＳＮＳシステムに送信する処理、および他の利用者からの投稿内容に基づくデバイス２０の行動を更新してデバイス２０に送信する処理のうちの少なくとも一方を行う連携装置１０とを備える。
2015155977.tif 000002
【特許請求の範囲】
【請求項１】
利用者を認識し、当該利用者に関するセンシングデータの取得および他の利用者からのＳＮＳ（Ｓｏｃｉａｌ  Ｎｅｔｗｏｒｋｉｎｇ  Ｓｅｒｖｉｃｅ）への投稿内容に基づく行動のうちの少なくとも一方を行うデバイスと、
前記センシングデータに基づいた投稿内容を前記ＳＮＳを提供するＳＮＳシステムに送信する処理、および前記他の利用者からの投稿内容に基づく前記デバイスの行動の内容を更新して当該行動の内容を前記デバイスに送信する処理のうちの少なくとも一方を行う連携装置と
を備える連携システム。
【請求項２】
前記デバイスは、利用者とコミュニケーションを行うことができるコミュニケーションロボットである
請求項１記載の連携システム。
【請求項３】
前記連携装置は、ＳＮＳにおける他の利用者から投稿された内容に基づいて前記デバイスの発話内容およびモーション内容のうちの少なくとも一方を更新し、
前記デバイスは、前記発話内容に基づく発話および前記モーション内容に基づくモーションのうちの少なくとも一方を行う
請求項１または請求項２記載の連携システム。
【請求項４】
前記デバイスは、前記センシングデータとして利用者の音声を取得し、
前記連携装置は、前記音声の認識結果に基づいて、前記ＳＮＳシステムに送信する内容を決定する
請求項１から請求項３のうちのいずれか１項に記載の連携システム。
【請求項５】
前記デバイスは、利用者の状況に関する前記センシングデータを取得し、
前記連携装置は、前記センシングデータに基づいて、前記利用者の状況を伝えるための投稿内容を前記ＳＮＳシステムに送信する
請求項１から請求項４のうちのいずれか１項に記載の連携システム。
【請求項６】
前記デバイスは、前記センシングデータとして利用者の顔画像を取得し、
前記連携装置は、前記顔画像の認証結果に基づいて特定された利用者の識別情報と、予め保持する利用者管理データとに基づいて、投稿先を特定する
請求項１から請求項５のうちのいずれか１項に記載の連携システム。
【請求項７】
前記連携装置は、第１のデバイスを利用する利用者の識別情報とＳＮＳグループとが関連づけられた利用者管理データを保持し、第２のデバイスが前記利用者を認識した場合に、前記第２のデバイスを示す仮想キャラクターを、前記利用者の識別情報に関連づけられた前記ＳＮＳグループに登録する
請求項１から請求項６のうちのいずれか１項に記載の連携システム。
【請求項８】
利用者を認識し、当該利用者に関するセンシングデータの取得および他の利用者からのＳＮＳへの投稿内容に基づく行動のうちの少なくとも一方を行うデバイスに接続され、
前記センシングデータに基づいた投稿内容を前記ＳＮＳを提供するＳＮＳシステムに送信する処理、および前記他の利用者からの投稿内容に基づく前記デバイスの行動を更新して前記デバイスに送信する処理のうちの少なくとも一方を行う
連携装置。
【請求項９】
利用者を認識し、当該利用者に関するセンシングデータの取得および他の利用者からのＳＮＳへの投稿内容に基づく行動のうちの少なくとも一方を行い、
前記センシングデータに基づいた投稿内容を前記ＳＮＳを提供するＳＮＳシステムに送信する処理、および前記他の利用者からの投稿内容に基づく行動を更新する処理のうちの少なくとも一方を行う
連携方法。
【請求項１０】
利用者を認識し、当該利用者に関するセンシングデータの取得および他の利用者からのＳＮＳへの投稿内容に基づく行動のうちの少なくとも一方を行うデバイスに接続されたコンピュータに、
前記センシングデータに基づいた投稿内容を前記ＳＮＳを提供するＳＮＳシステムに送信する処理、および前記他の利用者からの投稿内容に基づく前記デバイスの行動を更新して前記デバイスに送信する処理のうちの少なくとも一方を
実行させる連携プログラムを記憶する、コンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＳＮＳシステムとデバイスを連携する連携システム、連携装置、連携方法、および連携プログラムを記憶する記録媒体等に関する。
【背景技術】
【０００２】
近年、親しい家族や仲間とコミュニケーションを取るために、ＳＮＳ（Ｓｏｃｉａｌ  Ｎｅｔｗｏｒｋｉｎｇ  Ｓｅｒｖｉｃｅ）が利用され、ＳＮＳを用いたコミュニティが構築されるようになった。一般的なＳＮＳにおいて、利用者は、ＰＣ（パーソナルコンピュータ；Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）やスマートフォン等の端末において実行されるブラウザやアプリケーションを利用して、ＳＮＳのコミュニティ上でメッセージや写真、動画等のコンテンツを閲覧したり、アップロードしたりする。【０００３】
ＳＮＳのコミュニティにおいて簡単にコンテンツの送受信ができるように、様々な提案が行われ、ＰＣやスマートフォン等の端末において動作する、ＳＮＳを利用するソフトウェアの実装が行われている。例えば、端末上のアプリケーションにおいて、音声入力によるテキスト入力および表示テキストの音声読み上げにより、利用者が簡単にメッセージを送受信できる技術が用いられている。また、例えば、利用者自身の状態を示すステータスの投稿（すなわちステータス投稿）と、そのステータス投稿に対する投稿（すなわちコメント投稿）が可能である掲示板感覚のＳＮＳとしてＢｅｔｔｅｒＰｅｏｐｌｅ（非特許文献１参照）が利用されている。【０００４】
一方で、人と会話をしてコミュニケーションがとれるコミュニケーションロボットが普及しつつある（例えば、非特許文献２参照）。コミュニケーションロボットは、人との会話を通して、その会話の内容、人の位置や動き、顔の形や表情、人の体温や周囲の温度など、多くの情報をセンシングすることができる。コミュニケーションロボットは、その多くの情報により、その人との会話を継続することができる。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】NEC Corporation、"BetterPeople"、［online］、［平成26年3月24日検索］、インターネット〈URL：http://n-pj.jp/btp/〉
【非特許文献２】NEC Corporation、"クラウド連携型ロボットプラットフォーム"、［online］、［平成26年4月3日検索］、インターネット〈URL：http://jpn.nec.com/robot/〉
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、一般的なＳＮＳにおいて、利用者はＰＣやスマートフォン等の端末を利用することが前提となっている。これらの端末を利用できない高齢者や幼児等は、ＳＮＳのコミュニティに参加することができない。また、利用者がそれらの端末を利用することができたとしても、ＳＮＳのコミュニティ上で簡単にコンテンツの送受信をできない場合がある。その理由は、ＳＮＳのコミュニティへのアクセス、コンテンツの閲覧、テキスト入力、画像や映像のコンテンツのアップロード作業など、ＳＮＳのコミュニティ上でのコンテンツの送受信に要する手順が煩雑だからである。【０００７】
そこで本発明は、利用者が容易にＳＮＳを利用することができる連携システム、連携装置、連携方法、および連携プログラムを記憶する記録媒体等を提供することを目的の一つとする。
【課題を解決するための手段】
【０００８】
本発明の一態様に係る連携システムは、利用者を認識し、当該利用者に関するセンシングデータの取得および他の利用者からのＳＮＳへの投稿内容に基づく行動のうちの少なくとも一方を行うデバイスと、センシングデータに基づいた投稿内容をＳＮＳを提供するＳＮＳシステムに送信する処理、および他の利用者からの投稿内容に基づくデバイスの行動を更新してデバイスに送信する処理のうちの少なくとも一方を行う連携装置とを備える。【０００９】
本発明の一態様に係る連携装置は、利用者を認識し、当該利用者に関するセンシングデータの取得および他の利用者からのＳＮＳへの投稿内容に基づく行動のうちの少なくとも一方を行うデバイスに接続された連携装置であって、センシングデータに基づいた投稿内容をＳＮＳを提供するＳＮＳシステムに送信する処理、および他の利用者からの投稿内容に基づくデバイスの行動を更新してデバイスに送信する処理のうちの少なくとも一方を行う。【００１０】
本発明の一態様に係る連携方法は、利用者を認識し、当該利用者に関するセンシングデータの取得および他の利用者からのＳＮＳへの投稿内容に基づく行動のうちの少なくとも一方を行い、センシングデータに基づいた投稿内容をＳＮＳを提供するＳＮＳシステムに送信する処理、および他の利用者からの投稿内容に基づく行動を更新する処理のうちの少なくとも一方を行う。【００１１】
本発明の一態様に係る記録媒体は、利用者を認識し、当該利用者に関するセンシングデータの取得および他の利用者からのＳＮＳへの投稿内容に基づく行動のうちの少なくとも一方を行うデバイスに接続されたコンピュータに搭載されるプログラムであって、コンピュータに、センシングデータに基づいた投稿内容をＳＮＳを提供するＳＮＳシステムに送信する処理、および他の利用者からの投稿内容に基づくデバイスの行動を更新してデバイスに送信する処理のうちの少なくとも一方を実行させる連携プログラムを記憶する。また、本発明の目的は、上述の記録媒体に格納される連携プログラムによっても達成される。
【発明の効果】
【００１２】
本発明によれば、利用者が容易にＳＮＳを利用することができる。
【図面の簡単な説明】
【００１３】
【図１】図１は、本発明による連携システムの実施形態の構成を示すブロック図である。
【図２】図２は、本発明による連携システムの実施形態の動作を示すフローチャートである。
【図３】図３は、コミュニケーションロボットの発話内容を更新する手順を示すフローチャートである。
【図４】図４は、コミュニケーションロボットの発話内容とモーション内容を決定する手順を示すフローチャートである。
【図５】図５は、ＳＮＳグループ上で仮想ロボットキャラクターが投稿する内容を決定する手順を示すフローチャートである。
【図６】図６は、顔認証によりＳＮＳ投稿先を識別する手順を示すフローチャートである。
【図７】図７は、複数のコミュニケーションロボットがある場合に、投稿先を識別する手順を示すフローチャートである。
【図８】図８は、本発明による連携システムの主要部の構成を示すブロック図である。
【図９】図９は、本発明によるＳＮＳ−ロボット連携装置１００を実現することができるコンピュータのハードウェア構成の一例を表すブロック図である。
【発明を実施するための形態】
【００１４】
以下、本発明による連携システムの実施形態を、図面を参照して説明する。図１は、本実施形態の連携システムの構成を示すブロック図である。図１に示す連携システムは、ロボットのプラットフォームとＳＮＳを実現するシステムとを連携させたシステムである。
【００１５】
図１に示すように、本実施形態の連携システムは、ＳＮＳ−ロボット連携装置１００と、ロボットＰＦ（Ｐｌａｔｆｏｒｍ）２００と、ＳＮＳシステム３００とを備える。ＳＮＳ−ロボット連携装置１００は、例えば、本発明における連携装置に相当する。ロボットＰＦ２００は、例えば、本発明におけるデバイスに相当する。ＳＮＳ−ロボット連携装置１００は、ロボットＰＦ２００とＳＮＳシステム３００との間に通信可能に接続される装置である。ＳＮＳ−ロボット連携装置１００は、例えばサーバである。
【００１６】
ロボットＰＦ２００は、ロボットＰＦクラウド２０１と、ロボットＰＦデバイス２０２とを含む。ロボットＰＦクラウド２０１とロボットＰＦデバイス２０２とは通信ネットワークを介して接続される。
【００１７】
ＳＮＳシステム３００は、ＳＮＳサーバ３０１と、端末装置３０２とを含む。ＳＮＳシステム３００は、ＳＮＳを提供する。ＳＮＳサーバ３０１と端末装置３０２とは通信ネットワークを介して接続される。端末装置３０２は、一般的なＳＮＳシステムに用いられる端末装置である。端末装置３０２は、例えば、通信ネットワークを介してＳＮＳサーバ３０１に接続される、ＰＣ、タブレット端末、スマートフォン、または携帯電話等である。また、本実施形態では、複数の端末装置３０２がＳＮＳサーバ３０１に接続されていることを想定する。
【００１８】
ＳＮＳ−ロボット連携装置１００は、ＳＮＳ−ロボット連携制御部１００１と、ロボットＰＦ−ＩＦ（Ｉｎｔｅｒｆａｃｅ）部１００２と、ＳＮＳ−ＩＦ部１００３とを含む。ＳＮＳ−ロボット連携装置１００は、ロボットＰＦクラウド２０１およびＳＮＳサーバ３０１と、通信ネットワークを介してクラウド上で接続される。また、ＳＮＳ−ロボット連携装置１００は、ロボットＰＦクラウド２０１、またはＳＮＳシステム３００に含まれていてもよい。ＳＮＳ−ロボット連携装置１００は、ロボットＰＦ−ＩＦ部１００２によって、通信ネットワークを介したロボットＰＦクラウド２０１との通信を行う。ＳＮＳ−ロボット連携装置１００は、ＳＮＳ−ＩＦ部１００３によって、通信ネットワークを介したＳＮＳサーバ３０１との通信を行う。
【００１９】
ＳＮＳ−ロボット連携装置１００内の各要素は、例えば、特定の演算処理等を行うよう設計されたハードウェア、またはプログラムに従って動作するＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等の情報処理装置によって実現される。また、そのプログラムは、非一時的でコンピュータが読み取り可能な記憶媒体に記憶される。
【００２０】
ロボットＰＦクラウド２０１は、クラウドサービスに用いられるサーバ等の情報処理装置である。ロボットＰＦクラウド２０１は、ロボットＰＦクラウド制御部２０１１を含む。ロボットＰＦクラウド制御部２０１１は、ロボットＰＦ２００全体（ロボットＰＦクラウド２０１、及びロボットＰＦデバイス２０２の両方）の制御を行う。ロボットＰＦクラウド制御部２０１１は、例えば、ロボットＰＦデバイス２０２の管理を行うことができる。また、ロボットＰＦクラウド制御部２０１１は、他のサービスアプリケーション等からロボットを制御および管理をするためのインタフェースであるアプリケーションプログラミングインタフェース等の機能を有する。
【００２１】
ロボットＰＦデバイス２０２は、例えば、利用者とコミュニケーションを行うことができるコミュニケーションロボットである。以下の説明では、コミュニケーションロボットを、ロボットとも表記する。ロボットＰＦデバイス２０２は、ロボットＰＦデバイス制御部２０２１と、人検知部２０２２と、音声認識部２０２３と、音声合成発話部２０２４と、モーション再生部２０２５とを含む。ロボットＰＦデバイス２０２は、人検知部２０２２および音声認識部２０２３等を用いて利用者に関するセンシングデータを取得する。以下の説明では、コミュニケーションロボットの利用者を、ロボット利用者とも表記する。
【００２２】
人検知部２０２２は、人を検知する。具体的には、人検知部２０２２は、例えばセンサによって、コミュニケーションロボットの利用者に関するセンシングデータを取得する。音声認識部２０２３は、例えばマイクロホンなどのセンサによって音声を検出し、検出した音声を認識する。音声合成発話部２０２４は、発話の内容を表す発話内容をもとに音声を合成し、合成した音声を再生する。モーション再生部２０２５は、ロボットの動作を表すモーション内容に従って、ロボットを動作させる（すなわち、モーション内容を再生する）。
【００２３】
本実施形態では、ロボットＰＦクラウド２０１とロボットＰＦデバイス２０２とを有するクラウド連携型のロボットＰＦ２００を想定しているがこのような構成に限られない。ロボットＰＦデバイス２０２は、例えば、他のアプリケーション等から制御および管理をすることができるロボットであってもよい。また、人検知部２０２２、音声認識部２０２３、及び音声合成発話部２０２４における人検知、音声認識、及び音声合成等のソフトウェア処理を、ロボットＰＦクラウド２０１が実施してもよい。すなわち、ロボットＰＦクラウド２０１が、人検知部２０２２、音声認識部２０２３、及び音声合成発話部２０２４として動作してもよい。
【００２４】
また、本実施形態では、ロボットＰＦデバイス２０２として、コミュニケーションロボットが用いられているが、ロボットＰＦデバイス２０２は、人を認識できるデバイスであれば、コミュニケーションロボットでなくてもよい。例えば、コミュニケーションロボットの代わりに、顔認識及び照合をすることができるカメラ、または生体認証をすることができるセンサデバイスを用いてもよい。
【００２５】
人検知部２０２２による人検知は、赤外線センサによる温度変化の検出、超音波センサによる物体との距離検出、カメラ等の撮影装置を用いた人の顔検出等のセンシング技術により実現される。このセンシング技術には、一般的な技術が適用されるため、詳細な説明を省略する。
【００２６】
ロボットＰＦクラウド２０１およびロボットＰＦデバイス２０２の各要素は、例えば、特定の演算処理等を行うよう設計されたハードウェア、またはプログラムに従って動作するＣＰＵ等の情報処理装置によって実現される。また、そのプログラムは、非一時的でコンピュータが読み取り可能な記憶媒体に記憶される。
【００２７】
ＳＮＳサーバ３０１は、クラウド上でＳＮＳシステム３００のサービス運用およびデータ管理を行うサーバであり、ＳＮＳサーバ制御部３０１１を含む。ＰＣやスマートフォン等の端末にインストールされたアプリケーションは、このＳＮＳサーバ制御部３０１１が提供するアプリケーションプログラミングインタフェースを利用して、ＳＮＳシステム３００のデータにアクセスできる。
【００２８】
なお、本発明の各実施形態の説明において、アプリケーションプログラムを、上述のように、「アプリケーション」と表記することがある。また、アプリケーションプログラムに従って動作するＣＰＵ等の情報処理装置の動作を、上述のように、アプリケーションプログラムすなわちアプリケーションの動作として説明することがある。
【００２９】
端末装置３０２は、ＳＮＳアプリケーション３０２１を含む。ＳＮＳアプリケーション３０２１は、ＰＣやスマートフォン等の端末にインストールされるアプリケーションである。ＳＮＳアプリケーション３０２１は、ＳＮＳを利用できる、例えばＷｅｂブラウザ等のアプリケーションである。ＳＮＳアプリケーション３０２１は、専用の回路によって実現されていてもよい。端末装置３０２は、ＳＮＳを利用できる様々な装置やシステムであってもよい。
【００３０】
以上のように、ＳＮＳサーバ３０１および端末装置３０２は、例えば、特定の演算処理等を行うよう設計されたハードウェア、またはプログラムに従って動作するＣＰＵ等の情報処理装置によって実現される。また、そのプログラムは、非一時的でコンピュータが読み取り可能な記憶媒体に記憶される。
【００３１】
本実施形態のＳＮＳアプリケーション３０２１は、利用者がステータスアイコンやスタンプと呼ばれるＵＩ（Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）を利用して、自らの状態や発信したいコメントを共有することができるＳＮＳアプリケーションである。ＳＮＳアプリケーション３０２１は、例えば、利用者自身の状態を示すステータスの投稿（すなわちステータス投稿）と、そのステータス投稿に対する投稿（すなわちコメント投稿）が可能である掲示板感覚のＳＮＳである。そのようなＳＮＳとして、例えば、ＢｅｔｔｅｒＰｅｏｐｌｅ（非特許文献１参照）が利用される。ＢｅｔｔｅｒＰｅｏｐｌｅでは、利用者の状態を表すアイコン（すなわちステータスアイコン）、テキストの代わりに利用できるスタンプを有している。
【００３２】
ＳＮＳアプリケーション３０２１は、ロボット利用者の言動をＳＮＳ上で共有する際、他のユーザと比較的強めに共有したい内容（例えばステータス投稿）と、比較的弱めに共有したい内容（例えばコメント投稿）とを区別する。ＳＮＳアプリケーション３０２１は、比較的強めに共有したい内容と比較的弱めに共有したい内容とを、異なるＵＩ（見せ方）を用いて表示する。
【００３３】
コミュニケーションロボットは、ＳＮＳシステム３００のコミュニティに、仮想ロボットキャラクターとして参加する。本実施形態では、ＳＮＳシステム３００のコミュニティとＳＮＳグループは同義である。ＳＮＳグループでは、当該グループに参加している特定の利用者のみが投稿および閲覧をすることができる。また、利用者は、ＳＮＳグループへ参加するためには、グループ管理者の承認を得て登録する必要がある。一般的なＳＮＳにおいて、親しい家族や仲間とコミュニケーションを取るための閉じた世界のコミュニティをグループと定義していることが多い。そのため、本実施形態でも、ＳＮＳシステム３００のコミュニティをＳＮＳグループ、または、単にグループと表現する。以下の説明では、「ＳＮＳグループへの投稿」は、例えば、そのＳＮＳグループに参加している利用者のみが閲覧できる投稿である。「ＳＮＳ投稿」は、いずれかのＳＮＳグループへの投稿である。ＳＮＳ投稿は、例えば、上述のステータス投稿及びコメント投稿を含む。
【００３４】
コミュニケーションロボットは、ロボット利用者との会話の内容を、ＳＮＳグループに参加している仮想ロボットキャラクターを介してコメントやスタンプとして投稿する。すなわち、コミュニケーションロボットは、ロボット利用者との会話の内容を、ＳＮＳグループに参加している仮想ロボットキャラクターによるコメントやスタンプとして投稿する。これにより、他のＳＮＳ利用者が、ＳＮＳ上でロボット利用者の状況を共有できる。また、コミュニケーションロボットが、他のＳＮＳ利用者がＳＮＳグループ上で投稿した内容を、音声合成により発話したり、モーションを実行したりすることによって、他のＳＮＳ利用者の状況をロボット利用者に伝えることができる。モーションは、例えば、効果音やロボットの体の動きやＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）の点灯、点滅等である。モーションを用いることにより、コミュニケーションロボットは、発話音声だけによるコミュニケーションよりも効果的にロボット利用者とのコミュニケーションを行うことができる。以下の説明では、具体的な発話の内容を表すデータを、発話内容と表記する。具体的なモーションの内容を表すデータを、モーション内容と表記する。また、発話及びモーションの少なくともいずれかを、「行動」と表記することがある。
【００３５】
次に、本実施形態の連携システムの動作を説明する。図２は、本実施形態の連携システムの動作を示すフローチャートである。図２は、具体的には、コミュニケーションロボットが、ＳＮＳグループに参加している仮想ロボットキャラクターを介して、ロボット利用者との会話の内容をＳＮＳグループ上でコメントやスタンプとして投稿する手順を示すフローチャートである。
【００３６】
ＳＮＳ−ロボット連携制御部１００１は、コミュニケーションロボットが発話する内容（すなわち発話内容）を更新する（ステップＳ１１）。また、ＳＮＳ−ロボット連携制御部１００１は、ロボットＰＦ−ＩＦ部１００２を介して、ロボットＰＦクラウド制御部２０１１へ発話内容の更新情報を通知する。ロボットＰＦクラウド制御部２０１１は、ロボットＰＦデバイス制御部２０２１へ、ＳＮＳ−ロボット連携制御部１００１から通知された発話内容の更新情報を通知する。ロボットが発話する内容の更新は、ＳＮＳ−ロボット連携制御部１００１が、必要に応じて行う。具体的な更新手順については、別途説明する。
【００３７】
人検知部２０２２は、人を検知する（ステップＳ１２）。すなわち、人検知部２０２２は、センサによって、ロボット利用者に関する測定データ（すなわちセンシングデータ）を取得する。人検知部２０２２は、具体的には、人の存在、位置、動き、表情の変化、または温度変化等を検知する。人検知部２０２２は、検知により得たセンシングデータを、ロボットＰＦデバイス制御部２０２１に通知する。人検知は、赤外線センサによる温度変化の検出、超音波センサによる物体との距離検出、カメラによる人の顔検出等のセンシング技術により実現される。
【００３８】
ロボットＰＦデバイス制御部２０２１は、音声合成発話部２０２４に発話処理をさせ、モーション再生部２０２５にモーション処理をさせる（ステップＳ１３）。ロボットＰＦデバイス制御部２０２１は、具体的には、人検知によるセンシングデータに基づいて、ロボットの発話内容とモーション内容を決定する。次に、ロボットＰＦデバイス制御部２０２１は、音声合成発話部２０２４にロボットの発話内容を通知し、モーション再生部２０２５にロボットのモーション内容を通知する。音声合成発話部２０２４は、通知された発話内容を発話する。すなわち、音声合成発話部２０２４は、通知された発話内容を表す音声を合成する。音声合成発話部２０２４は、通知された発話内容を表す音声データを生成し、生成した音声データを音声として再生する。モーション再生部２０２５は、通知されたモーション内容を再生する。すなわち、モーション再生部２０２５は、通知されたモーション内容によって表されるモーションを実行する。
【００３９】
ロボットＰＦデバイス制御部２０２１は、予め保持している発話内容またはステップＳ１１においてＳＮＳ−ロボット連携制御部１００１から通知された発話内容から、いずれかの発話内容を選択する。ロボットＰＦデバイス制御部２０２１は、選択した発話内容を、ロボットが発話する発話内容として決定する。また、ロボットＰＦデバイス制御部２０２１は、モーション内容として、予め保持しているモーション内容から、いずれかのモーション内容を選択する。ロボットＰＦデバイス制御部２０２１は、選択したモーション内容を、ロボットが再生するモーション内容として決定する。また、ロボットＰＦデバイス制御部２０２１は、人検知ではなく、特定音や特定音声の検出、又は、ジェスチャー動作の検出等に基づいて、ロボットの発話内容およびモーション内容を決定してもよい。発話内容およびモーション内容を決定する具体的な方法については、別途説明する。
【００４０】
音声認識部２０２３は、ステップＳ１３のロボットの発話とモーションの後に、音声認識によって、ロボット利用者の発話内容を認識する（ステップＳ１４）。音声認識部２０２３は、音声認識によって得られた、ロボット利用者の発話内容を表す音声認識データを、センシングデータとしてロボットＰＦデバイス制御部２０２１に通知する。
【００４１】
ロボットＰＦデバイス制御部２０２１は、人検知部２０２２および音声認識部２０２３から得たセンシングデータと、ロボットＰＦデバイス２０２に関するデバイスデータをロボットＰＦクラウド制御部２０１１に送信する（ステップＳ１５）。センシングデータは、具体的には、赤外線測定データ、超音波測定データ、カメラ顔検出データ、カメラ画像および映像データ、音声認識データ等である。デバイスデータは、具体的には、デバイスの状態、ロボットによる発話の内容を表す発話内容、モーション再生内容（すなわち再生されたモーション内容）等である。
【００４２】
ロボットＰＦクラウド制御部２０１１は、ロボットＰＦデバイス制御部２０２１から通知されたセンシングデータとデバイスデータとを、ロボットＰＦ−ＩＦ部１００２を介して、ＳＮＳ−ロボット連携制御部１００１に通知する。
【００４３】
ＳＮＳ−ロボット連携制御部１００１は、ロボットＰＦクラウド制御部２０１１から通知されたセンシングデータとデバイスデータとに基づき、ＳＮＳグループにて仮想ロボットキャラクターが投稿する内容を決定する（ステップＳ１６）。すなわち、ステップＳ１６において、ＳＮＳ−ロボット連携制御部１００１は、仮想ロボットキャラクターによる、ＳＮＳへの投稿内容を決定する。ステップＳ１６における決定方法の具体的内容は、別途説明する。
【００４４】
ＳＮＳ−ロボット連携制御部１００１は、仮想ロボットキャラクターが投稿する内容として決定した投稿内容を、ＳＮＳサーバ制御部３０１１へ通知する（ステップＳ１７）。すなわち、ステップＳ１７において、ＳＮＳ−ロボット連携制御部１００１は、投稿内容をＳＮＳに通知する。ＳＮＳ−ロボット連携制御部１００１は、具体的には、ＳＮＳ−ＩＦ部１００３を介して、ステップＳ１６において決定した投稿内容をＳＮＳサーバ制御部３０１１へ送信する。ＳＮＳサーバ制御部３０１１は、ＳＮＳシステム３００における投稿内容データを更新して、必要に応じて、ＳＮＳアプリケーション３０２１に投稿内容データの更新内容を通知する。
【００４５】
以上の処理により、ＳＮＳ−ロボット連携制御部１００１が決定した投稿内容は、仮想ロボットキャラクターがＳＮＳ上に投稿され、共有される。その投稿内容は、ロボット利用者との対話内容や、ロボット利用者の動きなどのセンシング情報を含む、センシングデータとデバイスデータに基づく内容である。そして、他のＳＮＳ利用者は、その投稿内容を、仮想ロボットキャラクターがＳＮＳグループ上で投稿した内容として確認することができる。
【００４６】
次に、ステップＳ１１における発話内容の更新について、具体的に説明する。図３は、コミュニケーションロボットの発話内容を更新する手順を示すフローチャートである。
【００４７】
コミュニケーションロボットの発話として、ロボット自律発話とＳＮＳ投稿発話の２種類の発話がある。ロボット自律発話は、コミュニケーションロボット自身が自律的に行う発話であり、ＳＮＳグループ上に投稿された内容とは関係なく、ロボット利用者に話しかける発話である。ロボット自律発話は、例えば「おはよう。今日も元気だよ。頑張ろう！」、または「こんにちは、今日の体調はいかが？」という発話である。一方、ＳＮＳ投稿発話は、ＳＮＳグループのある利用者により投稿された内容に基づく発話である。ＳＮＳグループのある利用者によって投稿が行われた場合、ＳＮＳ−ロボット連携制御部１００１は、コミュニケーションロボットの発話を、ロボット自律発話からＳＮＳ投稿発話に変更してもよい。「おはよう、今日も寒いね。」という発話が、利用者の一人である「利用者Ａ」により投稿された場合のＳＮＳ投稿発話は、例えば、「利用者Ａからコメントだよ。おはよう、今日も寒いね。」という発話である。コミュニケーションロボットは、ＳＮＳ−ロボット連携制御部１００１によって変更された発話を、ロボット利用者に伝えればよい。
【００４８】
以下に、図３を参照して、ロボット自律発話とＳＮＳ投稿発話のそれぞれの内容を更新する手順を説明する。
【００４９】
ＳＮＳ−ロボット連携制御部１００１は、ロボットが自律的に発話する発話の内容を表すデータ（すなわちロボット自律発話データ）を更新する必要があるかを確認する（ステップＳ２１）。ＳＮＳ−ロボット連携制御部１００１は、更新を行う必要がある場合（ステップＳ２１のＹＥＳ）、ロボット自律発話データの更新を行う（ステップＳ２２）。更新する必要がない場合（ステップＳ２１のＮＯ）、ステップＳ２２におけるロボット自律発話データの更新は行われず、ステップＳ２３に遷移する。
【００５０】
ロボット自律発話データは、ＳＮＳ−ロボット連携制御部１００１が予め保持するデータである。ロボット自律発話データは、定期的に更新されてもよい。ロボット自律発話データは、例えば、ロボット管理者やロボットのサービス運用会社により更新指示に応じて更新される。また、ＳＮＳ−ロボット連携制御部１００１は、例えば、天気や気温、ニュースなど、インターネット等の情報をもとに、ロボット自律発話データを自律的に更新するように設定されていてもよい。すなわち、ＳＮＳ−ロボット連携制御部１００１は、例えば、定期的な更新時期となった場合、更新指示があった場合、またはインターネット等の情報の更新があった場合に、ロボットが自律的に発話する内容の更新をする必要があると判断してもよい。
【００５１】
ＳＮＳ−ロボット連携制御部１００１は、ロボットが発話していないＳＮＳグループへの投稿の更新があるかを確認する（ステップＳ２３）。以下では、ＳＮＳグループへの投稿の内容を、「ＳＮＳ投稿内容」と表記する。ＳＮＳ−ロボット連携制御部１００１は、更新がある場合（ステップＳ２３においてＹＥＳ）、更新があったＳＮＳ投稿内容に基づき、ＳＮＳ投稿発話の内容を表すデータである、ＳＮＳ投稿発話データの作成を行う（ステップＳ２４）。更新がない場合（ステップＳ２３においてＮＯ）、ステップＳ２４における投稿発話データの作成は行われず、図３に示す動作はステップＳ２６に遷移する。
【００５２】
ステップＳ２４において、ＳＮＳ−ロボット連携制御部１００１は、予め保持するテンプレートに従い、ＳＮＳ投稿発話データを作成する。ＳＮＳ−ロボット連携制御部１００１は、具体的には、投稿者、投稿されたテキスト内容、投稿されたステータスアイコン（利用者の状態を表すアイコン）、投稿されたスタンプに応じた発話パターンを予め保持する。ＳＮＳ−ロボット連携制御部１００１は、その発話パターンに基づいて発話データを作成できる管理テーブルをテンプレートとして用いる。例えば、利用者Ａが「おはよう、今日も寒いね。」というテキストを投稿した場合、ＳＮＳ−ロボット連携制御部１００１は、「利用者Ａからコメントだよ。おはよう、今日も寒いね。」という発話データを作成する。また、利用者の一人である利用者Ｂが「オッケー」を意図するスタンプを投稿した場合、ＳＮＳ−ロボット連携制御部１００１は、「オッケー、オッケー。利用者Ｂが、オッケーのスタンプを押したよ」という発話データを作成する。
【００５３】
ＳＮＳ−ロボット連携制御部１００１は、作成したＳＮＳ投稿発話データを用いて、ＳＮＳ−ロボット連携制御部１００１が保持するＳＮＳ投稿発話データの更新を行う（ステップＳ２５）。ＳＮＳ−ロボット連携制御部１００１が保持するＳＮＳ投稿発話データは、ロボットが発話していない複数のＳＮＳ投稿内容を含んでいればよい。ＳＮＳ−ロボット連携制御部１００１が保持するＳＮＳ投稿発話データは、ロボットが発話済みのデータも含み、ステップＳ２４で作成され、蓄積された発話済みのデータであってもよい。
【００５４】
ＳＮＳ−ロボット連携制御部１００１は、ロボットＰＦデバイス制御部２０２１に、ロボット自律発話データとＳＮＳ投稿発話データと（すなわち、発話内容）を通知する（ステップＳ２６）。ＳＮＳ−ロボット連携制御部１００１は、具体的には、ロボットＰＦ−ＩＦ部１００２を介して、ロボットＰＦクラウド制御部２０１１に、コミュニケーションロボットが発話するロボット自律発話データとＳＮＳ投稿発話データを通知する。そして、ロボットＰＦクラウド制御部２０１１は、ロボットＰＦデバイス制御部２０２１に、ＳＮＳ−ロボット連携制御部１００１から通知されたロボット自律発話データとＳＮＳ投稿発話データを通知する。なお、ロボット自律発話データおよびＳＮＳ投稿発話データのいずれの更新も無ければステップＳ２６における通知は行われない。
【００５５】
本実施形態では、ＳＮＳ−ロボット連携制御部１００１は、ロボット自律発話データ更新とＳＮＳ投稿発話データ更新とを続けて実施しているが必ずしも続けて実施しなくてもよい。例えば、ＳＮＳ−ロボット連携制御部１００１は、ステップＳ２１においてロボット自律発話内容の更新の必要がある場合に、ロボット自律発話のデータのみを更新してもよい（ステップＳ２２）。そして、ＳＮＳ−ロボット連携制御部１００１は、ロボットＰＦデバイス制御部２０２１に、ロボット自律発話のデータのみを通知してもよい（ステップＳ２６）。また、ＳＮＳ−ロボット連携制御部１００１は、ステップＳ２３において、ＳＮＳ投稿発話内容に更新の必要がある場合に、ＳＮＳ投稿発話のデータのみを更新してもよい（ステップＳ２５）。そして、ＳＮＳ−ロボット連携制御部１００１は、ロボットＰＦデバイス制御部２０２１に、ＳＮＳ投稿発話のデータのみを通知してもよい（ステップＳ２６）。
【００５６】
次に、図２に示すステップＳ１３の処理の際に、ロボットＰＦデバイス制御部２０２１が、コミュニケーションロボットの発話内容とモーション内容を決定する手順を説明する。図４は、コミュニケーションロボットの発話内容とモーション内容を決定する手順を示すフローチャートである。
【００５７】
ロボットＰＦデバイス制御部２０２１は、発話内容が決定される発話が、予め定められた所定時刻後の初めての発話かどうかを判断する（ステップＳ３１）。所定時刻は、例えば、６時、１２時、１８時等である。所定時刻は、ロボット利用者、ロボット管理者、ロボットのサービス運用会社等により設定変更が可能であってもよい。
【００５８】
その発話が所定時刻後の初めての発話である場合（ステップＳ３１においてＹＥＳ）、ロボットＰＦデバイス制御部２０２１は、ロボット自律発話データに基づいて、初発話用のロボットの自律発話内容を決定する（ステップＳ３２）。初発話用のロボット自律発話内容は、所定時刻後の初発話に適した内容であり、あいさつやロボット利用者の状況を確認するような内容である。この発話は、例えば、「おはよう、今日の体調はいかが？大丈夫？」という発話である。
【００５９】
その発話が所定時刻後の初めての発話でない場合（ステップＳ３１においてＮＯ）、ロボットＰＦデバイス制御部２０２１は、ＳＮＳ投稿発話データがあるかの確認を行う（ステップＳ３３）。ＳＮＳ投稿発話データがある場合（ステップＳ３３においてＹＥＳ）、ロボットＰＦデバイス制御部２０２１は、ＳＮＳ投稿発話データに基づいて、ロボットの発話内容を決定する（ステップＳ３４）。ＳＮＳ投稿発話データは、図３に示すステップＳ２４のＳＮＳ投稿発話データ作成において、ＳＮＳ−ロボット連携制御部１００１が、ルールやパターンに従って、作成したデータである。
【００６０】
ＳＮＳ投稿発話データがない場合（ステップＳ３３においてＮＯ）、ロボットＰＦデバイス制御部２０２１は、ロボット自律発話データに基づいて、ロボットの発話内容を決定する（ステップＳ３５）。ロボットＰＦデバイス制御部２０２１は、ステップＳ３５におけるロボット自律発話内容は、発話が所定時刻後の初発話でもなく、ＳＮＳ投稿発話データがない場合に適した発話を決定する。この発話は、ロボット利用者に声をかけたり、ロボットが何かを伝えたりするような発話であり、例えば、「寒くなってきたから、風邪に気を付けようね！」という発話である。
【００６１】
ステップＳ３２、ステップＳ３４またはステップＳ３５の処理の後、ロボットＰＦデバイス制御部２０２１は、発話内容に合うモーションを決定する（ステップＳ３６）。ロボットＰＦデバイス制御部２０２１は、具体的には、例えば、予め保持された効果音やロボットの体の動きやＬＥＤの点灯、点滅等のモーション内容の中から、発話内容に合うモーションを選択すればよい。
【００６２】
特に、ロボット発話内容が、ステップＳ３４で決定されたＳＮＳ投稿発話の場合には、ロボットＰＦデバイス制御部２０２１は、ステータスアイコンやスタンプの内容に合わせたモーションを選択したり、テキスト文章に合わせてモーションを選択したりする。
【００６３】
また、ステップＳ３６において、ロボットＰＦデバイス制御部２０２１ではなくロボットＰＦクラウド制御部２０１１またはＳＮＳ−ロボット連携制御部１００１が、発話内容に基づいてモーション内容を決定してもよい。そして、ロボットＰＦクラウド制御部２０１１またはＳＮＳ−ロボット連携制御部１００１が、決定した内容をロボットＰＦデバイス制御部２０２１へ通知してもよい。また、ＳＮＳ−ロボット連携制御部１００１がモーション内容を決定する場合は、例えばＳＮＳ投稿内容等に基づいて、発話内容と共にモーション内容を決定してもよい。
【００６４】
次に、図２に示すステップＳ１６において、ＳＮＳ−ロボット連携制御部１００１が、センシングデータとデバイスデータに基づき、ＳＮＳグループ上で仮想ロボットキャラクターが投稿する内容を決定する手順を説明する。図５は、ＳＮＳグループ上で仮想ロボットキャラクターが投稿する内容を決定する手順を示すフローチャートである。
【００６５】
ＳＮＳ−ロボット連携制御部１００１は、図４に示すステップＳ３２、ステップＳ３４、またはステップＳ３５で決定されたロボットの発話内容に基づいて、ＳＮＳ投稿内容を作成する。以下、発話内容に基づくＳＮＳ投稿内容の作成の手順を具体的に説明する。
【００６６】
ＳＮＳ−ロボット連携制御部１００１は、ロボットの発話内容がステップＳ３２、ステップＳ３４、またはステップＳ３５のいずれの処理で決定された発話内容であっても、ロボットの発話内容を引用して、投稿するテキスト文章を作成する（ステップＳ４１）。
【００６７】
発話内容がステップＳ３２で決定された場合、その発話内容はあいさつやロボット利用者の状況を確認するような発話である。そのため、ＳＮＳ−ロボット連携制御部１００１は、ステップＳ４１において、ＳＮＳ上における仮想ロボットキャラクターによるＳＮＳ投稿内容として、ロボット利用者の状態を示すステータス投稿を作成する。
【００６８】
発話内容がステップＳ３４で決定された場合、その発話内容は他のＳＮＳ利用者の投稿である。そのため、ＳＮＳ−ロボット連携制御部１００１は、ステップＳ４１において、他のＳＮＳ利用者によるＳＮＳ投稿内容に対するロボット利用者の応答（例えば発話）を、仮想ロボットキャラクターによるＳＮＳ投稿とする。この場合に作成されるＳＮＳ投稿は、例えば、ロボットが発話した他のＳＮＳ利用者のステータス投稿に対する、仮想ロボットキャラクターによるコメント投稿である。または、この場合に作成されるＳＮＳ投稿は、例えば、ロボットが発話した他のＳＮＳ利用者のコメント投稿に応答する、仮想ロボットキャラクターによるコメント投稿である。
【００６９】
発話内容がステップＳ３５で決定された場合、その発話内容は、ロボット利用者の状態を確認するような発話ではなく、ロボット利用者に声をかけたり、ロボットが何かを伝えたりするような発話である。そのため、ＳＮＳ−ロボット連携制御部１００１は、ステップＳ４１において、ＳＮＳ投稿内容として、仮想ロボットキャラクターのステータス投稿（ロボット利用者の状態を示す）に対する、仮想ロボットキャラクターによるコメント投稿を作成する。
【００７０】
ＳＮＳ−ロボット連携制御部１００１は、音声認識部２０２３による、利用者の音声の認識結果に基づいてＳＮＳ投稿内容を更新する（ステップＳ４２）。ＳＮＳ−ロボット連携制御部１００１は、利用者の音声の認識結果に応じて、例えば、投稿するアイコンを選択する。また、ＳＮＳ−ロボット連携制御部１００１は、音声認識したテキスト内容を引用して、ステップＳ４１で作成した投稿テキスト文章に追加する形で、ＳＮＳ投稿テキスト文章を更新する。
【００７１】
発話内容がステップＳ３２で決定された場合、ＳＮＳ−ロボット連携制御部１００１は、仮想ロボットキャラクターによるステータス投稿のステータスアイコンとして、利用者の状態を表すアイコンを選択する。音声認識しなかった場合や、音声認識が正常にできなかった場合でも、ＳＮＳ−ロボット連携制御部１００１は、その音声認識状況を示すステータスアイコンを選択したり、その音声認識状況を投稿テキスト文章として更新したりしてもよい。
【００７２】
発話内容がステップＳ３４またはステップＳ３５で決定された場合、ＳＮＳ−ロボット連携制御部１００１は、仮想ロボットキャラクターによるコメント投稿に加えて投稿するスタンプを選択する。音声認識しなかった場合や、音声認識が正常にできなかった場合でも、ＳＮＳ−ロボット連携制御部１００１は、その音声認識状況を示すスタンプを選択したり、その音声認識状況を投稿テキスト文章として更新したりしてもよい。
【００７３】
次に、ＳＮＳ−ロボット連携制御部１００１は、その他のセンシングデータやデバイスデータに基づいて、ステップＳ４２で作成した投稿テキスト文章に追加する形で、投稿テキスト文章を更新する（ステップＳ４３）。具体的には、ＳＮＳ−ロボット連携制御部１００１は、センシングデータやデバイスデータに基づいて、利用者の状況を伝える投稿を行う。ＳＮＳ−ロボット連携制御部１００１は、人検知のセンシングデータを活用する場合、例えば、正常に顔が検出されることによって人が検知されたときに更新を行えばよい。ＳＮＳ−ロボット連携制御部１００１は、超音波のみによって人が検知されたときに更新を行ってもよい。ＳＮＳ−ロボット連携制御部１００１は、温度情報の変化又はロボット利用者の体温の異常などが検知されたときに更新を行ってもよい。ＳＮＳ−ロボット連携制御部１００１は、例えばいずれかの種類のセンシングデータから特徴的な変化を抽出し、抽出された変化に基づいて投稿テキスト文章を更新する。ＳＮＳ−ロボット連携制御部１００１は、ロボットとロボット利用者との距離や位置関係を活用してもよい。
【００７４】
ＳＮＳ−ロボット連携制御部１００１は、例えば、室温が摂氏Ｔ１度であることを検知した場合、「室温は摂氏Ｔ１度です。少し寒いですね。」という投稿をする。また、ＳＮＳ−ロボット連携制御部１００１は、利用者の体温が摂氏Ｔ２度であることを検知した場合、「体温は摂氏Ｔ２度です。」という投稿をする。また、ＳＮＳ−ロボット連携制御部１００１は、例えば、利用者とコミュニケーションロボットとの距離がＤｃｍ（ｃｅｎｔｉｍｅｔｅｒ）であることを検知し、ロボットの左斜め前６０度の方向に顔を検出した場合、「利用者との距離はＤｃｍです。左斜め前１０時の方向に顔を見つけました。」という投稿をする。また、ＳＮＳ−ロボット連携制御部１００１は、予め定められた時間の間、ステップＳ１２における人検知ができない場合、「誰もいないみたい。どうしたのかな？」という投稿をしてもよい。この場合、ＳＮＳ−ロボット連携制御部１００１は、「室温は摂氏Ｔ１度、寒すぎる。暖房が入っていないようです。」という投稿をしてもよい。
【００７５】
次に、本実施形態の連携システムの効果を説明する。本実施形態の連携システムは、ＰＣやスマートフォンを利用しない人でも、ロボットとの対話をするだけで簡単に、ＳＮＳのコミュニティ（ＳＮＳグループ）に参加して、他のＳＮＳ利用者とコミュニケーションをとることができる。
【００７６】
本実施形態の連携システムは、コミュニケーションロボットが、仮想ロボットキャラクターとして、ロボット利用者との対話内容や、ロボット利用者の動きなどのセンシング情報を、ＳＮＳ上に投稿し共有する。そのため、同一コミュニティに参加している他のユーザ（家族や友人）は、離れた場所にいても、ロボット利用者の言動を確認できる。
【００７７】
本実施形態の連携システムでは、実世界のロボットと同じ種類の仮想ロボットキャラクターが、ＳＮＳのコミュニティに参加する。そのため、本実施形態の連携システムでは、ロボット利用者の実世界の生活空間を分かり易くリアルに、ＳＮＳのコミュニティの他のユーザへ伝えることができる。
【００７８】
本実施形態の連携システムは、ロボット利用者の言動をＳＮＳ上で共有する際、他のユーザへ比較的に強めに共有したい内容と、比較的に弱めに共有したい内容を区別して、ＳＮＳ上にて異なるＵＩ（見せ方）を用いる。他のユーザへ比較的に強めに共有したい内容は、例えばステータス投稿である。比較的に弱めに共有したい内容は、例えばコメント投稿である。そのため、本実施形態の連携システムは、ロボット利用者の言動を、状況に応じて、他のユーザに分かり易く伝えることができる。また、本実施形態の連携システムは、ロボット利用者がロボットと対話するだけで、ロボット利用者の言動の履歴を蓄積できる。
【００７９】
（第１の実装例）
本実施形態の連携システムの第１の実装例を説明する。本実装例では、コミュニケーションロボットが、顔認証の技術を活用する、ことにより複数の人を識別する。連携システムは、顔認証の結果等に基づいて投稿するＳＮＳグループを特定することによって、識別した人に合った対話、ＳＮＳ上での投稿、及びその投稿の共有を行う。また、本実装例における連携システムは、顔認証の結果等に基づいて、ＳＮＳグループだけではなく、ＳＮＳシステム３００を特定してもよい。
【００８０】
図６は、顔認証を使用することによって、ＳＮＳ投稿先を識別する手順を示すフローチャートである。ロボットＰＦデバイス２０２の人検知部２０２２は、人を検知する（ステップＳ５１）。人検知部２０２２は、具体的には、人の存在、位置、動き、表情の変化、または温度変化等を検知する。人検知部２０２２は、検知により得たセンシングデータを、ロボットＰＦデバイス制御部２０２１に通知する。ロボットＰＦデバイス制御部２０２１は、直前に検知された人と異なる人が検知されたかどうか判断する。ロボットＰＦデバイス制御部２０２１は、例えば、撮影された画像において顔（例えば顔を含む領域）を検出し、検出された顔と直前に検出された顔とを比較することによって、直前に検知された人と異なる人が検知されたか否かを判定すればよい。ロボットＰＦデバイス制御部２０２１は、このような簡易的な人の識別のみにより、この判断を行えばよい。最終的に人を識別するための顔認証は、ロボットＰＦクラウド２０１が実施するため、ロボットＰＦデバイス２０２における人の識別は、厳密に行われなくてもよい。
【００８１】
ロボットＰＦデバイス制御部２０２１は、ステップＳ５１において検知された人が直前に検知された人と異なる場合、顔画像データをロボットＰＦクラウド制御部２０１１に送信する（ステップＳ５２）。
【００８２】
ステップＳ５１において、ロボットＰＦデバイス２０２により簡易的な人の識別を行う理由は、このステップＳ５２において、ＳＮＳ投稿先の特定のために適切な頻度でロボットＰＦクラウド制御部２０１１へ顔画像データ送信を行うためである。つまり、送信頻度が増加することによる通信ネットワーク負荷と、連携システムのシステムレスポンスの低下とを抑制するためである。
【００８３】
ロボットＰＦクラウド制御部２０１１は、ロボットＰＦデバイス制御部２０２１から受信した顔画像データにより、顔認証を行う（ステップＳ５３）。ロボットＰＦクラウド制御部２０１１は、顔画像データと、ロボット利用者の識別情報（ロボット利用者ＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ））とを関連づけて顔認証管理データとして保持する。ロボットＰＦクラウド制御部２０１１は、顔認証において、予め登録された顔認証管理データと受信した顔画像データとを照合することにより、ロボット利用者ＩＤを特定する。または、ＳＮＳ−ロボット連携制御部１００１が、顔認証管理データを保持し、ロボット利用者ＩＤの特定をしてもよい。ロボットＰＦクラウド制御部２０１１は、顔認証結果としてロボット利用者ＩＤをＳＮＳ−ロボット連携制御部１００１へ通知する。この顔認証は、一般的に用いられているものであるため、具体的手順の説明を省略する。
【００８４】
ＳＮＳ−ロボット連携制御部１００１は、ロボット利用者の識別情報（例えば前述のロボット利用者ＩＤ）と投稿先のＳＮＳグループとが関連づけられているＳＮＳ利用者管理データを保持している。ＳＮＳ−ロボット連携制御部１００１は、ロボット利用者に合った投稿先であるＳＮＳグループとして、ＳＮＳ利用者管理データにおいて、顔認証によって得られたロボット利用者ＩＤに関連付けられているＳＮＳグループを特定する（ステップＳ５４）。そして、ＳＮＳ−ロボット連携制御部１００１は、特定した、ロボット利用者に合ったＳＮＳグループへ投稿を行う。また、ＳＮＳ−ロボット連携制御部１００１は、そのＳＮＳグループの他のＳＮＳ利用者の投稿の発話を作成し、作成した発話の内容を、ロボットＰＦデバイス制御部２０２１に通知する。ＳＮＳ−ロボット連携制御部１００１は、複数のＳＮＳシステム３００が存在する場合、ステップＳ５４において、投稿先のＳＮＳグループを特定するだけでなく、投稿先のＳＮＳシステム３００を特定してもよい。その場合、ＳＮＳ−ロボット連携制御部１００１は、ＳＮＳグループとＳＮＳシステム３００とが関連付けられているデータを保持していればよい。ＳＮＳ−ロボット連携制御部１００１は、特定したＳＮＳグループに関連付けられているＳＮＳシステム３００を、投稿先のＳＮＳシステム３００として特定すればよい。
【００８５】
本実装例の連携システムによれば、複数の利用者が、ＳＮＳグループ等を指定せずにコミュニケーションロボットと対話するだけで、各利用者が属するＳＮＳグループ、ＳＮＳシステム３００において投稿や情報共有をすることができる。その理由は、提携システムが、顔認証を利用することによって、ロボット利用者に合ったＳＮＳ投稿先を特定するからである。
【００８６】
（第２の実装例）
本実施形態の連携システムの第２の実装例として、ロボット利用者がロボットをＳＮＳグループに登録する作業を行うことなく、そのロボット利用者が使用する複数のロボットがＳＮＳグループへ登録される（参加する）連携システムを説明する。図７は、複数のコミュニケーションロボットがある場合の、投稿先を特定する手順を示すフローチャートである。
【００８７】
ＳＮＳ−ロボット連携制御部１００１は、ある特定のロボットＡを仮想ロボットキャラクターとしてＳＮＳグループに登録する（ステップＳ６１）。例えば、ある特定の個人の家庭のロボットＡが、仮想ロボットキャラクターとして、ある特定のＳＮＳグループに登録されるケースを想定する。ＳＮＳ−ロボット連携制御部１００１は、ロボット利用者の識別情報（ロボット利用者ＩＤ）と投稿先のＳＮＳグループとが関連づけられた利用者管理データを保持する。ＳＮＳ−ロボット連携制御部１００１は、顔認証により得られるロボット利用者ＩＤとＳＮＳ利用者管理データとをもとに、特定のＳＮＳグループを特定する。そして、ロボットＡとその利用者との対話が、ロボットＡの利用者のロボット利用者ＩＤに関連付けられている特定のＳＮＳグループにおいて、共有される。
【００８８】
次に、ロボットＡの利用者（ロボットＡを所有する）が、個人所有のロボットＡとは異なる、例えば、他の家庭、他の店舗、または街中の別のロボットＢと対話を行うケースについて説明する。ロボットＢのロボットＰＦデバイス２０２の人検知部２０２２は、人を検知する（ステップＳ６２）。人検知部２０２２は、人を検知することにより得られた顔画像データを、ロボットＰＦデバイス制御部２０２１に通知する。
【００８９】
ロボットＢのロボットＰＦデバイス制御部２０２１は、ステップＳ６２において検知された人の顔画像データをロボットＰＦクラウド制御部２０１１へ送信する（ステップＳ６３）。
【００９０】
ロボットＰＦクラウド制御部２０１１は、ロボットＰＦデバイス制御部２０２１から受信した顔画像データを使用して、顔認証を行う（ステップＳ６４）。そして、ロボットＰＦクラウド制御部２０１１は、顔認証の結果として、ロボット利用者ＩＤをＳＮＳ−ロボット連携制御部１００１に通知する。
【００９１】
ＳＮＳ−ロボット連携制御部１００１は、顔認証によって得られたロボット利用者ＩＤと利用者管理データとをもとに、ロボット利用者ＩＤに関連づけられたＳＮＳグループを特定する（ステップＳ６５）。つまり、ＳＮＳ−ロボット連携制御部１００１は、その利用者の個人所有のロボットＡが登録されているＳＮＳグループを特定する。
【００９２】
ＳＮＳ−ロボット連携制御部１００１は、ロボットＢを、仮想ロボットキャラクターとして、ステップＳ６５において特定したＳＮＳグループに登録する（ステップＳ６６）。
【００９３】
本実装例の連携システムは、利用者が複数のコミュニケーションロボットと対話した場合、特別な登録手続きを行わなくても、複数のコミュニケーションロボットをＳＮＳグループに登録する（すなわち参加させる）ことができる。
【００９４】
本実装例の連携システムを、一般的なＳＮＳにおいて可能な、画像及び映像の投稿や位置情報の投稿と組み合わせることができる。そのように組み合わせることによって、複数のコミュニケーションロボットと対話を行うだけで、その対話を行った人がＳＮＳグループに自動でチェックインする自動チェックインシステムを実現できる。自動チェックインが行われることにより、ロボットと対話をした人の位置情報や言動（すなわち「今、どこで、何をしているのか」）を、利用者がＳＮＳグループ上で把握し共有することができる。
【００９５】
また、コミュニケーションロボットやセンサデバイスが、複数の仮想ロボットキャラクターとして、ＳＮＳに登録され、そのＳＮＳに参加し、その複数の仮想ロボットキャラクターが発話することにより、ロボット利用者が混乱する可能性がある。そのため、ロボット利用者が、ＳＮＳグループ毎に、メインの仮想ロボットキャラクターを予め決定してもよい。そしてそのメインの仮想ロボットキャラクターが、仮想ロボットキャラクター同士の会話を、代わりに発話してもよい。そのメインの仮想ロボットキャラクターが、登録された複数のロボットから得られる情報を、ＳＮＳに投稿してもよい。
【００９６】
次に、本発明による連携システムの概要を説明する。図８は、本発明による連携システムの主要部の構成を示すブロック図である。本発明による連携システムは、主要な構成要素として、デバイス２０と、連携装置１０とを備える。デバイス２０は、利用者を認識し、当該利用者に関するセンシングデータの取得および他の利用者からのＳＮＳへの投稿内容に基づく行動のうちの少なくとも一方を行う。連携装置１０は、センシングデータに基づいた投稿内容をＳＮＳを提供するＳＮＳシステムに送信する処理、および他の利用者からの投稿内容に基づくデバイス２０の行動を更新してデバイス２０に送信する処理のうちの少なくとも一方を行う。
【００９７】
本実施形態のＳＮＳ−ロボット連携装置１００は、コンピュータ及びコンピュータを制御するプログラム、専用のハードウェア、又は、コンピュータ及びコンピュータを制御するプログラムと専用のハードウェアの組合せにより実現することができる。
【００９８】
図９は、ＳＮＳ−ロボット連携装置１００を実現することができる、コンピュータ１００００のハードウェア構成の一例を表す図である。図９を参照すると、コンピュータ１００００は、プロセッサ１０００１と、メモリ１０００２と、記憶装置１０００３と、Ｉ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）インタフェース１０００４とを含む。また、コンピュータ１００００は、記録媒体１０００５にアクセスすることができる。メモリ１０００２と記憶装置１０００３は、例えば、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ハードディスクなどの記憶装置である。記録媒体１０００５は、例えば、ＲＡＭ、ハードディスクなどの記憶装置、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、可搬記録媒体である。記憶装置１０００３が記録媒体１０００５であってもよい。プロセッサ１０００１は、メモリ１０００２と、記憶装置１０００３に対して、データやプログラムの読み出しと書き込みを行うことができる。プロセッサ１０００１は、Ｉ／Ｏインタフェース１０００４を介して、例えば、ロボットＰＦ２００及びＳＮＳシステム３００にアクセスすることができる。プロセッサ１０００１は、記録媒体１０００５にアクセスすることができる。記録媒体１０００５には、コンピュータ１００００を、ＳＮＳ−ロボット連携装置１００として動作させるプログラムが格納されている。
【００９９】
プロセッサ１０００１は、記録媒体１０００５に格納されている、コンピュータ１００００を、ＳＮＳ−ロボット連携装置１００として動作させるプログラムを、メモリ１０００２にロードする。そして、プロセッサ１０００１が、メモリ１０００２にロードされたプログラムを実行することにより、コンピュータ１００００は、ＳＮＳ−ロボット連携装置１００として動作する。
【０１００】
ＳＮＳ−ロボット連携制御部１００１と、ロボットＰＦ−ＩＦ部１００２と、ＳＮＳ−ＩＦ部１００３は、例えば、プログラムを記憶する記録媒体１０００５からメモリ１０００２に読み込まれた、各部の機能を実現することができる専用のプログラムと、そのプログラムを実行するプロセッサ１０００１により実現することができる。また、ＳＮＳ−ロボット連携制御部１００１と、ロボットＰＦ−ＩＦ部１００２と、ＳＮＳ−ＩＦ部１００３の一部又は全部を、それらの機能を実現する専用の回路によって実現することもできる。
【０１０１】
以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【０１０２】
また、上記の各実施形態には、以下の（１）〜（６）に示す連携システムも開示されている。
【０１０３】
（１）デバイス（例えば、ロボットＰＦデバイス２０２）と、連携装置（例えば、ＳＮＳ−ロボット連携装置１００）とを備えた連携システム。デバイスは、利用者を認識し、当該利用者に関するセンシングデータの取得および他の利用者からのＳＮＳへの投稿内容に基づく行動（例えば、発話、及びモーション）のうちの少なくとも一方を行う。連携装置は、センシングデータに基づいた投稿内容をＳＮＳシステム（例えば、ＳＮＳシステム３００）に送信する処理、および他の利用者からの投稿内容に基づくデバイスの行動を更新してデバイスに送信する処理のうちの少なくとも一方を行う。ＳＮＳシステムは、ＳＮＳを提供する。
【０１０４】
（２）連携システムは、デバイスが、利用者とコミュニケーションを行うことができるコミュニケーションロボットであるように構成されていてもよい。このような連携システムによれば、ＰＣやスマートフォンを利用しない人でも、ロボットとの対話をするだけで簡単に、ＳＮＳのコミュニティ（ＳＮＳグループ）に参加して、他のＳＮＳ利用者とコミュニケーションをとることができる。
【０１０５】
（３）連携システムは、次のように構成されていてもよい。連携装置が、ＳＮＳにおける他の利用者から投稿された内容に基づいてデバイスの発話内容およびモーションのうちの少なくとも一方を更新する。デバイスが、発話内容に基づく発話およびモーションに基づくモーションのうちの少なくとも一方を行う。
【０１０６】
（４）連携システムは、デバイスが、センシングデータとして利用者の音声を取得し、連携装置が、前記音声の認識結果に基づいて、ＳＮＳシステムに送信する内容を決定するように構成されていてもよい。
【０１０７】
（５）連携システムは、デバイスが、利用者の状況に関するセンシングデータを取得し、連携装置が、センシングデータに基づいて、利用者の状況を伝えるための投稿ＳＮＳシステムに送信するように構成されていてもよい。
【０１０８】
（６）連携システムは、デバイスが、利用者の顔画像を取得し、連携装置が、顔画像の認証結果に基づいて特定された利用者の識別情報と、予め保持する利用者管理データとに基づいて、投稿先を識別するように構成されていてもよい。このような連携システムによれば、複数の利用者が、コミュニケーションロボットと対話するだけで、各利用者が属するＳＮＳグループで自動的に投稿や情報共有をすることができる。
【０１０９】
（７）連携システムは、次のように構成されていてもよい。連携装置が、第１のデバイスを利用する利用者の識別情報とＳＮＳグループが対応づけられた利用者管理データを保持し、第２のデバイスが利用者を認識した場合に、第２のデバイスを、利用者に対応づけられたＳＮＳグループに登録する。このような連携システムによれば、利用者が複数のコミュニケーションロボットと対話するだけで、複数のコミュニケーションロボットをＳＮＳグループに自動登録させることができる。
【０１１０】
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【０１１１】
この出願は、２０１４年４月７日に出願された日本出願特願２０１４−０７８６８３を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【０１１２】
１０    連携装置
２０    デバイス
１００    ＳＮＳ−ロボット連携装置
２００    ロボットＰＦ
２０１    ロボットＰＦクラウド
２０２    ロボットＰＦデバイス
３００    ＳＮＳシステム
３０１    ＳＮＳサーバ
３０２    端末装置
１００１    ＳＮＳ−ロボット連携制御部
２０１１    ロボットＰＦクラウド制御部
２０２１    ロボットＰＦデバイス制御部
２０２２    人検知部
２０２３    音声認識部
２０２４    音声合成発話部
２０２５    モーション再生部
３０１１    ＳＮＳサーバ制御部
３０２１    ＳＮＳアプリケーション
１００００    コンピュータ
１０００１    プロセッサ
１０００２    メモリ
１０００３    記憶装置
１０００４    Ｉ／Ｏインタフェース
１０００５    記録媒体
【図１】
2015155977.tif 000003
【図２】
2015155977.tif 000004
【図３】
2015155977.tif 000005
【図４】
2015155977.tif 000006
【図５】
2015155977.tif 000007
【図６】
2015155977.tif 000008
【図７】
2015155977.tif 000009
【図８】
2015155977.tif 000010
【図９】
2015155977.tif 000011
【手続補正書】
【提出日】平成28年9月23日(2016.9.23)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
利用者を認識し、当該利用者に関するセンシングデータの取得および他の利用者からのＳＮＳ（Ｓｏｃｉａｌ  Ｎｅｔｗｏｒｋｉｎｇ  Ｓｅｒｖｉｃｅ）への投稿内容に基づく行動のうちの少なくとも一方を行うデバイスと、
前記センシングデータに基づいた投稿内容を前記ＳＮＳを提供するＳＮＳシステムに送信する処理、および前記他の利用者からの投稿内容に基づく前記デバイスの行動の内容を更新して当該行動の内容を前記デバイスに送信する処理のうちの少なくとも一方を行う連携装置と
を備える連携システム。
【請求項２】
前記デバイスは、利用者とコミュニケーションを行うことができるコミュニケーションロボットである
請求項１記載の連携システム。
【請求項３】
前記連携装置は、ＳＮＳにおける他の利用者から投稿された内容に基づいて前記デバイスの発話内容およびモーション内容のうちの少なくとも一方を更新し、
前記デバイスは、前記発話内容に基づく発話および前記モーション内容に基づくモーションのうちの少なくとも一方を行う
請求項１または請求項２記載の連携システム。
【請求項４】
前記デバイスは、前記センシングデータとして利用者の音声を取得し、
前記連携装置は、前記音声の認識結果に基づいて、前記ＳＮＳシステムに送信する内容を決定する
請求項１から請求項３のうちのいずれか１項に記載の連携システム。
【請求項５】
前記デバイスは、利用者の状況に関する前記センシングデータを取得し、
前記連携装置は、前記センシングデータに基づいて、前記利用者の状況を伝えるための投稿内容を前記ＳＮＳシステムに送信する
請求項１から請求項４のうちのいずれか１項に記載の連携システム。
【請求項６】
前記デバイスは、前記センシングデータとして利用者の顔画像を取得し、
前記連携装置は、前記顔画像の認証結果に基づいて特定された利用者の識別情報と、予め保持する利用者管理データとに基づいて、投稿先を特定する
請求項１から請求項５のうちのいずれか１項に記載の連携システム。
【請求項７】
前記連携装置は、第１のデバイスを利用する利用者の識別情報とＳＮＳグループとが関連づけられた利用者管理データを保持し、第２のデバイスが前記利用者を認識した場合に、前記第２のデバイスを示す仮想キャラクターを、前記利用者の識別情報に関連づけられた前記ＳＮＳグループに登録する
請求項１から請求項６のうちのいずれか１項に記載の連携システム。
【請求項８】
利用者を認識し、当該利用者に関するセンシングデータの取得および他の利用者からのＳＮＳへの投稿内容に基づく行動のうちの少なくとも一方を行うデバイスに接続され、
前記センシングデータに基づいた投稿内容を前記ＳＮＳを提供するＳＮＳシステムに送信する処理、および前記他の利用者からの投稿内容に基づく前記デバイスの行動を更新して前記デバイスに送信する処理のうちの少なくとも一方を行う
連携装置。
【請求項９】
利用者を認識し、当該利用者に関するセンシングデータの取得および他の利用者からのＳＮＳへの投稿内容に基づく行動のうちの少なくとも一方を行い、
前記センシングデータに基づいた投稿内容を前記ＳＮＳを提供するＳＮＳシステムに送信する処理、および前記他の利用者からの投稿内容に基づく行動を更新する処理のうちの少なくとも一方を行う
連携方法。
【請求項１０】
利用者を認識し、当該利用者に関するセンシングデータの取得および他の利用者からのＳＮＳへの投稿内容に基づく行動のうちの少なくとも一方を行うデバイスに接続されたコンピュータに、
前記センシングデータに基づいた投稿内容を前記ＳＮＳを提供するＳＮＳシステムに送信する処理、および前記他の利用者からの投稿内容に基づく前記デバイスの行動を更新して前記デバイスに送信する処理のうちの少なくとも一方を
実行させる連携プログラム。
【国際調査報告】
2015155977.tif 000012
2015155977.tif 000013
2015155977.tif 000014
2015155977.tif 000015