(57)【要約】【課題】所望の情報を簡便に取得できるようにし、ユーザの利便性を向上させる。【解決手段】情報処理システムであって、撮影画像と第１のユーザの識別情報とを取得する取得部と、撮影画像の特徴情報に基づいて第２のユーザを特定する特定部と、第１のユーザと第２のユーザとの関係性情報を取得する関係性情報取得部と、関係性情報に基づいて、第２のユーザの第１の関連情報を取得する関連情報取得部と、関係性情報に基づいて第１の関連情報とは異なる第２の関連情報を追加取得するか否かを、第１のユーザに問い合わせる問い合わせ部と、追加取得の指示に基づいて、第２の関連情報を追加取得する追加取得部とを備える。【選択図】  図５
2016057827.tif 000002
【特許請求の範囲】
【請求項１】
撮影画像と第１のユーザの識別情報とを取得する取得手段と、
前記撮影画像の特徴情報に基づいて第２のユーザを特定する特定手段と、
前記第１のユーザと前記第２のユーザとの関係性情報を取得する関係性情報取得手段と、
前記関係性情報に基づいて、前記第２のユーザの第１の関連情報を取得する関連情報取得手段と、
前記関係性情報に基づいて前記第１の関連情報とは異なる第２の関連情報を追加取得するか否かを、前記第１のユーザに問い合わせる問い合わせ手段と、
前記追加取得の指示に基づいて、前記第２の関連情報を追加取得する追加取得手段と
を備えることを特徴とする情報処理システム。
【請求項２】
前記第１のユーザから前記追加取得の指示を受け付ける指示手段をさらに備えることを特徴とする請求項１に記載の情報処理システム。
【請求項３】
前記第２のユーザの第１の関連情報と、前記第２の関連情報の有無を示す情報とを、表示部に表示させる表示制御手段をさらに備え、
前記問い合わせ手段は、前記第２の関連情報がある場合に、前記第２の関連情報を追加取得するか否かを前記第１のユーザに問い合わせることを特徴とする請求項１又は２に記載の情報処理システム。
【請求項４】
前記表示制御手段は、前記第２のユーザの第１の関連情報と、前記第２の関連情報の有無を示す情報とを、前記撮影画像と重畳して前記表示部に表示させることを特徴とする請求項３に記載の情報処理システム。
【請求項５】
前記追加取得の指示内容を前記第２のユーザの装置へ通知する通知手段をさらに備え、
前記追加取得手段は、前記通知手段による通知に対する前記第２のユーザからの返答に基づいて、前記第２の関連情報を追加取得することを特徴とする請求項１乃至４の何れか１項に記載の情報処理システム。
【請求項６】
前記関係性情報は、前記第１のユーザと前記第２のユーザとの関係強度を示す情報であることを特徴とする請求項１乃至５の何れか１項に記載の情報処理システム。
【請求項７】
前記第１の関連情報は、前記第２のユーザの位置情報又は行動情報を含むことを特徴とする請求項１乃至６の何れか１項に記載の情報処理システム。
【請求項８】
前記第２の関連情報は、前記第２のユーザが生成するメディア情報を含むことを特徴とする請求項１乃至７の何れか１項に記載の情報処理システム。
【請求項９】
前記追加取得手段は、前記追加取得の指示内容に含まれる要求度に対応する第２の関連情報を取得することを特徴とする請求項１乃至８の何れか１項に記載の情報処理システム。
【請求項１０】
前記問い合わせ手段は、前記関係性情報に応じた問い合わせ方法で問い合わせを行うことを特徴とする請求項１乃至９の何れか１項に記載の情報処理システム。
【請求項１１】
前記特定手段は、前記撮影画像に含まれる顔の特徴情報を解析することで前記第２のユーザを特定することを特徴とする請求項１乃至１０の何れか１項に記載の情報処理システム。
【請求項１２】
前記関連情報取得手段は、１つ以上のセンサから出力されるセンサ値に基づいて前記第２のユーザの位置情報を前記第１の関連情報として取得することを特徴とする請求項1乃至１１の何れか１項に記載の情報処理システム。
【請求項１３】
前記関連情報取得手段は、１つ以上のセンサから出力されるセンサ値に基づいて前記第２のユーザの行動情報を前記第１の関連情報として取得することを特徴とする請求項1乃至１２の何れか１項に記載の情報処理システム。
【請求項１４】
前記追加取得手段は、前記第１のユーザおよび前記第２のユーザと関係する第３のユーザから、前記第２のユーザの第２の関連情報を取得することを特徴とする請求項１乃至１３の何れか１項に記載の情報処理システム。
【請求項１５】
情報処理システムの制御方法であって、
取得手段が、撮影画像と第１のユーザの識別情報とを取得する工程と、
特定手段が、前記撮影画像の特徴情報に基づいて第２のユーザを特定する工程と、
関係性情報取得手段が、前記第１のユーザと前記第２のユーザとの関係性情報を取得する工程と、
関連情報取得手段が、前記関係性情報に基づいて、前記第２のユーザの第１の関連情報を取得する工程と、
問い合わせ手段が、前記関係性情報に基づいて前記第１の関連情報とは異なる第２の関連情報を追加取得するか否かを、前記第１のユーザに問い合わせる工程と、
追加取得手段が、前記追加取得の指示に基づいて、前記第２の関連情報を追加取得する工程と
を有することを特徴とする情報処理システムの制御方法。
【請求項１６】
請求項１５に記載の情報処理システムの制御方法の各工程をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理システム、情報処理システムの制御方法およびプログラムに関する。
【背景技術】
【０００２】
近年、通信技術の発達により、様々な情報を様々な方法で送受信する方法が普及している。特許文献１では、ネットワークを介してコンテンツを提供するためのトークン型コンテンツ提供システムが提案されている。
【０００３】
特許文献１では、利用者の指示により利用者端末がトークンを取得してリンクアップサーバに送信し、リンクアップサーバが受信したトークンに対応するコンテンツ情報を利用者端末に送信する技術が記載されている。この結果として、利用者端末は受信したコンテンツ情報を利用してコンテンツをコンテンツサーバより取得する。また、利用者情報や端末情報を用いて利用者や端末環境に適合したコンテンツ情報を提供することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−２０８３８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の技術では、取得要求に対する返答として一意の情報が設定される場合、取得する情報の内容によって、利用者が詳細情報や最新情報を知りたい場合には、他の情報取得方法を用いる必要があるためアプリケーションを切り替える必要がある。情報の中には、詳細情報が得られるリンクが含まれる場合もあるが、その場合でも提供者があらかじめ一つのコンテンツとして情報を用意しておく必要がある。また、利用者情報に応じた情報を取得することはできても、利用者と提供者との関係に応じた情報を提供することについては何ら考慮されていない。
【０００６】
よって、利用者が知りたい別情報を取得する場合には、他のアプリケーションを用いる必要が生じたり、利用者と提供者との関係によってやりとりする情報を決定するためには煩雑な設定を要したりする。など、ユーザ操作が面倒であるという課題がある。
【０００７】
本発明は、上記の課題に鑑みてなされたものであり、所望の情報を簡便に取得できるようにし、ユーザの利便性を向上させることを目的とする。
【課題を解決するための手段】
【０００８】
上記の目的を達成するために、本発明の一態様に係る情報処理システムは、
撮影画像と第１のユーザの識別情報とを取得する取得手段と、
前記撮影画像の特徴情報に基づいて第２のユーザを特定する特定手段と、
前記第１のユーザと前記第２のユーザとの関係性情報を取得する関係性情報取得手段と、
前記関係性情報に基づいて、前記第２のユーザの第１の関連情報を取得する関連情報取得手段と、
前記関係性情報に基づいて前記第１の関連情報とは異なる第２の関連情報を追加取得するか否かを、前記第１のユーザに問い合わせる問い合わせ手段と、
前記追加取得の指示に基づいて、前記第２の関連情報を追加取得する追加取得手段と
を備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、所望の情報が簡便に取得することができ、ユーザの利便性を向上させることが可能となる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態に係る情報処理システムの構成例を示す図である。
【図２】本発明の一実施形態に係る表示装置の構成例を示す図である。
【図３】本発明の一実施形態に係るサーバの構成例を示す図である。
【図４】本発明の一実施形態に係る発信装置の構成例を示す図である。
【図５】本発明の一実施形態に係る情報処理システムにおけるユーザ間で関連情報を取得するための処理を示すシーケンス図である。
【図６】本発明の一実施形態に係る使用例を示す図である。
【図７】第１の実施形態に係る表示画面の一例を示す図である。
【図８】本発明の一実施形態に係る表示装置がサーバからユーザＢの第１の関連情報を取得する時の動作例を示すフローチャートである。
【図９】本発明の一実施形態に係る表示装置からユーザＢの第１の関連情報を取得する依頼を受信した時の、サーバの動作例を示すフローチャートである。
【図１０】本発明の一実施形態に係る表示装置がサーバからユーザＢの第２の関連情報を取得する時の動作例を示すフローチャートである。
【図１１】本発明の一実施形態に係る表示装置からユーザＢの第２の関連情報を取得する依頼を受信した時の、サーバの動作例を示すフローチャートである。
【図１２】本発明の一実施形態に係る関係性の情報が登録される関係性情報テーブルの一例である。
【図１３】第１の実施形態に係る、関係性ごとの関連情報が登録される関連情報テーブルの一例を示す図である。
【図１４】第２の実施形態に係る、関係性ごとの関連情報が登録される関連情報テーブルの一例を示す図である。
【図１５】第２の実施形態に係る、表示画面の一例を示す図である。
【発明を実施するための形態】
【００１１】
以下、添付図面を参照して本発明の好適な実施の形態を詳しく説明する。尚、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また本実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。
【００１２】
（第１の実施形態）
本実施形態では、一方のユーザに関連するデバイスにおいて、他方のユーザの関連情報を取得するための情報処理システムについて説明を行う。本情報処理システムでは、あらかじめユーザ間の関係性が登録される他、ソーシャルネットワーキングサービス（ＳＮＳ）などで構築された関係性が存在するユーザ間で関連情報の取得を行う。
【００１３】
＜１．情報処理システムの構成＞
図１において、１００は、多様なネットワークの集合体のインターネットである。インターネット１００は、インターネットに限らず、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、それらの複合であってもよい。１０１は、無線基地局である。無線基地局１０１は、後述する表示装置１０５と無線ＬＡＮ（例えば、ＩＥＥＥ８０２．１１シリーズに準拠）による通信方式で無線通信ネットワークを構築する。なお、通信方式はこれに限らず、ＷｉＭＡＸやＢｌｕｅｔｏｏｔｈ（登録商標）などの無線通信や有線通信を利用してもよい。また、無線基地局１０１は、インターネット１００と接続されており、表示装置１０５と後述するサーバ１０７との通信を中継する。
【００１４】
１０２は、無線基地局であり、後述する発信装置１０６と無線ＬＡＮ（例えば、ＩＥＥＥ８０２．１１シリーズに準拠）による通信方式で無線通信ネットワークを構築する。また、無線基地局１０２は、インターネット１００と接続されており、発信装置１０６と後述するサーバ１０７との通信を中継する。なお、通信方式はこれに限らず、ＷｉＭＡＸやＢｌｕｅｔｏｏｔｈ（登録商標）などの無線通信や有線通信を利用してもよい。１０３は、本情報処理システムのユーザであるユーザＡ（第１のユーザ）である。ユーザＡ１０３は、表示装置１０５の所有者である。１０４は、本情報処理システムのユーザＢ（第２のユーザ）である。ユーザＢ１０４は、発信装置１０６の所有者である。
【００１５】
１０５は、画像を取得するカメラと画像や各種情報を表示するディスプレイを有する表示装置である。表示装置１０５は、無線通信機能を有し、無線基地局１０１を介してサーバ１０７と通信を行う。１０６は、ユーザの関連情報（位置情報、スケジュール情報など）を定期的または他装置からの要求に応じて無線信号として発信する発信装置である。発信装置１０６は、無線基地局１０２を介してサーバ１０７と通信する。
【００１６】
１０７は、異なるユーザ間で、一方のユーザに関連するデバイスにおいて、他方のユーザの関連情報を取得するためのサーバである。サーバ１０７は、本情報処理システムのユーザ間の関係性やユーザの属性情報を管理する。
【００１７】
サーバ１０７は、ユーザ間の関係性をそれぞれのユーザからの入力に基づいて、事前に保持しているものとする。また、これらの保持している情報は、例えばインターネット上に存在するＳＮＳからインポートして取得する構成としても良い。また、サーバ１０７がＳＮＳを提供し、該サービスにより構成されたユーザ間の関係性や所有するデバイス情報を利用する構成としても良い。また、サーバ１０７は、ユーザと他のユーザとの間で関連情報の取得要求を受信すると、該ユーザと他のユーザ間の関係性に基づいて、関連情報をセキュリティ上取得しても良いか否かを判定する。
【００１８】
１０８は、データベースである。データベース１０８は、ユーザ間の関係性やユーザの属性情報および、関連情報、関連情報の公開情報を保持するＲＤＢ（Ｒｅｌａｔｉｏｎａｌ  Ｄａｔａｂａｓｅ）である。本実施形態では、ＲＤＢを用いて実現したが、これに限らず、ＸＭＬＤＢ（Ｅｘｔｅｎｓｉｂｌｅ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ  Ｄａｔａｂａｓｅ）など別の種類のデータベース用いても実現できる。
【００１９】
１０９は、ユーザに関連付けられた特徴オブジェクトである。特徴オブジェクト１０９は、あらかじめユーザの属性情報として、ユーザに関連付けてサーバ１０７に登録される。また、表示装置１０５で撮影される特徴オブジェクトから、関連付けられたユーザを特定する。このため、関連情報を取得したいユーザがすべき操作は、関連情報を取得したいユーザに関連付けられた特徴オブジェクトを撮影するだけでよく、システムが撮影画像からユーザを特定し、特定したユーザの関連情報を表示する。図１では、ユーザＡ１０３あるいはユーザＢ１０４が、ユーザＢ１０４に関連付けられた特徴オブジェクト１０９をユーザＢ１０４の属性情報としてサーバ１０７に登録する。登録された後で、ユーザＡ１０３が特徴オブジェクト１０９を撮影するとサーバ１０７上で比較され、ユーザＢ１０４を特定し、ユーザＢ１０４の関連情報を取得する。この特徴オブジェクトは、ユーザＢ１０４の顔でもよいし、ユーザＢ１０４の作成した作品などであっても良い。
【００２０】
＜２．関係性情報および関連情報の説明＞
ここで、データベース１０８に記憶され、サーバ１０７が管理する関係性情報と関連情報について説明する。図１２は、関係性の情報が登録される関係性情報テーブルの一例である。ユーザＢ１０４と関連のあるユーザが、ユーザＢ１０４の識別子（始点識別子）の１に対して、３つの識別子（終点識別子）と、それぞれの関係性が登録されている。表では、識別子が２であるユーザＡ１０３との関係性は、関係性の種別が「親子」で、強度が「１００」であることを示す。一方、識別子が１２のユーザとの関係性は、関係性の種別が「友人」で、強度が「６０」、識別子が２２のユーザとの関係性は、関係性の種別が「知人」で、強度が「３０」であることを示す。関係性の強度は、ＳＮＳなどから取得したり、メールや電話のやりとりの頻度から算出したり、変更されるごとに更新するほか、あらかじめ登録するものでもよい。しかしながら、強度を持たせることは必須ではなく、「友人」の関係であれば、たとえば「サークルの友人」や「高校の友人」などを詳細関係として用意して、各詳細関係にあらかじめ強度を設定するものでもよい。ここでは、一元的に表を用いたが、管理方法としては、複数ユーザ間の関係性も表しやすいように、木構造やノードなどの管理方法を用いてもよい。
【００２１】
図１３は、関係性ごとの関連情報が登録される関連情報テーブルの一例である。関係性が「親子」である場合には、第１の関連情報として高精細な「位置情報」と「行動情報」が登録されており、第２の関連情報として第２のユーザが生成するメディア情報、例えば「ブログ」が登録されている。関係性が「友人」かつ「強度５０以上」である場合には、第１の関連情報として中程度の精度で所在位置が分かる中精細の「位置情報」が登録されており、第２の関連情報として「ブログ」、「画像（公開フォルダ）」が登録されている。
【００２２】
関係性が「友人」かつ「強度５０未満」である場合には、第１の関連情報としておおまかな所在位置しか分からない低精細の「位置情報」が登録されており、第２の関連情報として「趣味ブログ」が登録されている。関係性が「知人」かつ「強度５０以上」である場合には、第１の関連情報としては何も登録されておらず、第２の関連情報として「ブログ」が登録されている。関係性が「その他」である場合には、第１の関連情報、第２の関連情報として何も登録されていない。
【００２３】
本実施形態では、データベース１０８のみを配置したが、関係性情報と、関連情報とを別々のデータベースで分割して保存しても実現できる。
【００２４】
なお、上述した情報処理システムの構成は一例に過ぎず、図１の例に限定されるものではない。例えば、サーバ１０７は、複数の装置により構成されていても、サーバ１０７で実行される処理の一部または全てがクライアント側である表示装置１０５、発信装置１０６が行う構成としても構わない。
【００２５】
＜３．表示装置の構成＞
続いて、表示装置１０５の構成について説明を行う。図２は、本実施形態に係る表示装置１０５の構成図である。図２において、２００は、各構成を接続するバスである。２０１は、レンズを介して取得した被写体光を画像データとして取得する撮影部である。撮影部２０１は、光学ズームやデジタルズームを用いて画角の調整を行い、画像を撮影する。２０２は、液晶パネルなどのディプレイに画像、各種情報を表示する表示部である。２０３は、サーバ１０７から他のユーザの関連情報を取得する関連情報取得部である。２０４は、サーバ１０７から表示装置１０５の所有者と他のユーザ間の関係性を取得する関係性情報取得部である。
【００２６】
２０５は、サーバ１０７から取得した、撮影部２０１で撮影された画像に写る被写体について関連情報取得部２０３で取得した関連情報の一部又は全部を、撮影画像に重畳する合成部である。本実施形態では、撮影部２０１で撮影された撮影画像に重畳しているが、これに限らず、既に撮影済みの画像やリアルタイムの動画でも実現できる。２０６は、所定の無線方式（無線ＬＡＮ（ＩＥＥＥ８０２．１１シリーズ）、ミリ波、ＲＦＩＤ（Radio Frequency Identifier））など）で無線基地局と無線信号の送受信を行うためのアンテナや回路の制御を行うＲＦ部である。２０７は、所有者の識別子の入力や各種ユーザ操作に基づいた入力を受け付ける入力部である。表示部２０２と入力部２０７とをタッチパネルとして同一に構成してもよい。２０８は、取得する関連情報の種類や、取得する方法を、ユーザが指示するための指示部である。なお、指示部２０８は別に設けずに、関連情報取得部２０３や、入力部２０７に含めてもよい。
【００２７】
２０９は、サーバ１０７に対するメッセージ、および、サーバ１０７を介したメッセージを送受信するためのメッセージ送受信部である。２１０は、通信プロトコルの処理を行うＴＣＰ／ＩＰ処理部である。
【００２８】
＜４．サーバの構成＞
続いて、サーバ１０７の構成について説明を行う。図３は、本実施形態に係るサーバ１０７の構成図である。図３において、３００は、各構成を接続するバスである。３０１は、各識別子に対応付けられた属性情報を管理する属性情報管理部である。本実施形態では、属性情報管理部３０１は、データベース１０８を用いて属性情報を保持しており、データベース１０８に対して、追加・更新・削除などの操作を行う。また、本実施形態では、ユーザ（人物）の属性情報として名前、性別などの情報、各ユーザの識別子に対応付けられた各ユーザに対応する物体（各ユーザ）を検出するための特徴情報を含むものとする。
【００２９】
３０２は、ユーザ間の関係性を管理する関係性情報管理部である。本実施形態では、関係性情報管理部３０２が、データベース１０８を用いて関係性を保持しており、データベース１０８に対して、追加・更新・削除などの操作を行う。また、本実施形態では、関係性情報は、関係性の種別（友人、仕事、同僚、家族等）と関係強度を含むものとする。なお、ユーザ間の関係性の強度はユーザ同士の親密さを表す。
【００３０】
３０３は、ユーザごとの関連情報を保持する関連情報管理部である。本実施形態では、関連情報管理部３０３が、データベース１０８を用いて関連情報を保持しており、データベース１０８に対して、追加・更新・削除などの操作を行う。また、本実施形態では、関連情報には、ユーザの現在位置と、行動履歴と、その他利用サービス情報とを含むものとする。また、本実施形態では、関連情報を、比較的取得しやすい情報と、すぐには取得できない情報との二つに分類して、それぞれ第１の関連情報、第２の関連情報とする。あるいは、既に関連情報管理部３０３で管理しているものを第１の関連情報としてもよい。あるいは、第１の関連情報は、すぐ取得できる発信装置１０６内に保持されるＧＰＳ情報や、情報処理システム内に登録されるスケジュール情報を含む無料サービスとし、第２の関連情報は、直ぐには取得できない、他のシステムサービスの情報を含む有料サービスとしてもよい。なお、関連情報ごとに関係性の種別（友人、仕事、同僚、家族等）に対して、あるいは関係強度の各組み合わせに対して、公開する関連情報を登録する。公開の対象情報となる関連情報と、公開する範囲（全公開・一部公開）とを設定できるようにしてもよい。
【００３１】
３０４は、取得した関連情報をユーザＡ１０３（表示装置１０５）に提示する提示部である。３０５は、関連情報の取得方法を選択する選択部である。３０６は、ユーザから他のユーザの関連情報の取得の実行を要求された時に、ユーザ間の関係性の有無を判定する判定部である。
【００３２】
３０７は画像を取得する画像取得部であり、３０８は、画像取得部３０７が取得した画像を解析する解析部である。解析部３０８は、表示装置１０５から受け付けた画像を解析し、ユーザを特定するためのユーザ識別子を抽出する。
【００３３】
３０９は、表示装置１０５から受け付けたメッセージに応じた処理を即時に実行できなかった時、該メッセージを保存するメッセージ保存部である。３１０は、メッセージ送受信部である。メッセージ送受信部３１０は、表示装置１０５、および、発信装置１０６などと、所定のメッセージを送受信する。
【００３４】
３１１は、関連情報の追加取得を行う関連情報追加取得部である。関連情報追加取得部３１１は、表示装置１０５の指示に応じて、追加の関連情報を取得するために、属性情報管理部３０１や関連情報管理部３０３に保持される、外部サービスのアクセス情報などを利用して、関連情報を追加取得する。３１２は、ネットワークのプロトコル処理を行うＴＣＰ／ＩＰ処理部である。
【００３５】
＜５．発信装置の構成＞
続いて、図４は、発信装置１０６の構成図である。図４において、４００は、各モジュールを接続するバスである。４０１は、所定の無線方式（無線ＬＡＮ、ミリ波、ＲＦＩＤなど）で表示装置１０５や、無線基地局との間で無線信号の送受信を行うためのアンテナや回路の制御を行うＲＦ部である。４０２は、所有者（ユーザＢ１０４）の関連情報（位置情報、行動履歴）を保持する関連情報保持部である。関連情報は、必要に応じてサーバ１０７の関連情報管理部３０３にも登録される。第１の関連情報として扱う情報は、ユーザＢ１０４がユーザインターフェースによって予め入力するほか、ユーザＡ１０３がユーザＢの情報を用いて入力してもよい。また、関連情報は、関連情報の取得要求に応じて取得してもよいが、定期的にサーバ１０７に登録するようにしてもよい。
【００３６】
４０３は、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）や加速度センサ、ジャイロセンサなどから構成されるセンサ部である。４０４は、センサ単体の出力値や、複数のセンサ値の組み合わせによる出力を管理するセンサ管理部である。本実施形態では、センサ管理部４０４が、ＧＰＳからユーザの現在位置を決定し、加速度センサおよびジャイロセンサなどから行動情報（静止・低速移動・高速移動・運動）を推定するが、現在位置の決定や行動推定はサーバ１０７で行ってもよい。あるいは、後述のアプリケーション管理部４０５において管理される、位置情報検索アプリケーションや、行動推定アプリケーションなどのアプリケーションを用いてもよい。関連情報はサーバ１０７に登録されるほか、発信装置１０６内の、関連情報保持部４０２で保持し、必要に応じてサーバ１０７に登録、あるいは送信する。
【００３７】
４０５は、発信装置１０６で利用するアプリケーションを管理するアプリケーション管理部である。アプリケーション管理部４０５は、位置情報検索や行動推定のためのアプリケーションをあらかじめ実行可能な状態で保持するほか、新たにダウンロードする。ここで、アプリケーションは、外部のサービスとして実行されるアプリケーションにアクセスすることで実行するものも含むものとする。
【００３８】
４０６は、メッセージ送受信部であり、サーバ１０７との間で、制御メッセージなどの送受信を行う。４０７は、ネットワークのプロトコル処理を行うＴＣＰ／ＩＰ処理部である。４０８は、各種情報を表示する表示部である。４０９は、ユーザからの入力を受け付ける入力部である。
【００３９】
＜６．情報処理システムで実施される処理＞
以下、情報処理システムの動作について説明を行う。図５は、情報処理システムにおいてユーザＡ１０３とユーザＢ１０４との間で実施される関連情報を取得するための処理を示すシーケンス図である。
【００４０】
まず、Ｍ５０１において、発信装置１０６が、ユーザＢ１０４の関連情報と関係性ごとの関連情報の公開情報とを、ユーザＢ１０４の識別子と関連付けてサーバ１０７に登録（更新）するための処理を行う。この処理によって、ユーザＢ１０４が、関連情報として、どの情報を公開するか、どの程度まで公開するかなどを関係性に応じて登録する。さらには、別の関連情報（第２の関連情報）として、たとえば、外部サービスを利用して有償で取得する必要のある関連情報も登録する。なお、表示装置１０５から発信装置１０６を指定して関連情報と公開情報を登録できるようにしてもよい。あるいは、デフォルトの設定を用意して、登録されない場合に用いてもよい。また、サーバ１０７が、ユーザＡの所有する表示装置１０５から関連情報取得が要求されたタイミングで、ユーザＢの関連情報を取得することもできるので、必ずしもあらかじめ関連情報を登録する必要はない。
【００４１】
Ｍ５０２において、表示装置１０５の撮影部２０１は、ユーザＢ１０４に関連付けられた特徴オブジェクト１０９を撮影する。なお、ユーザＢに関する識別情報や、ユーザＢ１０４に関連付けられた特徴オブジェクト１０９を含む属性情報等のサーバ１０７への登録は事前に行われているものとする。撮影した特徴オブジェクト１０９をサーバ１０７で比較することでユーザＢ１０４を特定する。この特徴オブジェクトは顔でも良いし、ユーザＢ１０４の作成した作品などであっても良い。
【００４２】
Ｍ５０３において、表示装置１０５のメッセージ送受信部２０９は、撮影した画像の情報とユーザＡ１０３の識別子とを含む、撮影画像からユーザを特定するためのメッセージを送信する。本実施形態では、所定の無線方式（無線ＬＡＮ、ミリ波、ＲＦＩＤなど）を用いるものとする。これに限らず、新たな無線方式であっても画像情報と識別子を伝送できれば実現できるため、どのような通信方式であっても良い。
【００４３】
Ｍ５０４において、サーバ１０７のメッセージ送受信部３１０は、表示装置１０５が発信した画像情報と画像からユーザを特定するためのメッセージを受信し、画像取得部３０７が画像を取得する。画像はメッセージに含む形で同時に送信してもよいし、画像取得部３０７が、受信したメッセージに応じて取得してもよい。
【００４４】
その後、Ｍ５０５において、サーバ１０７の解析部３０８は、画像取得部３０７が取得した撮影画像を用いて特徴情報を抽出し、ユーザＢ１０４を特定する。具体的には、サーバ１０７が、抽出した特徴情報を用いて、データベース１０８からユーザＢ１０４の識別子を検索する。本シーケンスでは、ユーザＢ１０４の特徴情報が、ユーザＢ１０４の識別子に対応付けて登録されており、ユーザＡ１０３が撮影した画像の特徴情報から、ユーザＢ１０４の識別子が取得できたとして説明を行う。一方、ユーザＢ１０４の識別子を取得できない場合は、以降の処理を行わない。このとき、メッセージ送受信部３１０がエラーメッセージを表示装置１０５に送信し、表示装置１０５では撮影画像に対する登録ユーザがいないことを提示してもよい。本実施形態では、サーバ１０７で画像から識別子の取得を行った（Ｍ５０３〜Ｍ５０５の一連の処理）が、これに限らず、画像解析部と属性情報保持部とを表示装置１０５に設け、表示装置１０５で他ユーザの識別子を取得したあとで、サーバ１０７に送信してもよい。
【００４５】
Ｍ５０６において、サーバ１０７の関係性情報管理部３０２は、Ｍ５０４で受信したユーザＡ１０３の識別子と、Ｍ５０５で取得したユーザＢ１０４の識別子とを用いて、データベース１０８からユーザＡとユーザＢとの関係性情報を検索する。関係性情報とは、図１２に示したような、関係の種類（友人、仕事）、関係の強度（−１００〜１００）である。
【００４６】
Ｍ５０７において、サーバ１０７の判定部３０６は、Ｍ５０６での検索結果に基づいたユーザＡ１０３とユーザＢ１０４との関係性の有無を判定する。判定部３０６は、ユーザＡ１０３とユーザＢ１０４との関係性が構築されていれば、ユーザＡ１０３にユーザＢ１０４の関連情報を提示することを決定する。換言すると、ユーザＡ１０３にユーザＢ１０４の関連情報へのアクセスを許可し、ユーザＡ１０３に対してユーザＢ１０４の関連情報を提供することを決定する。本シーケンスでは、ユーザＡ１０３とユーザＢ１０４との関係性が構築されており、判定部３０６はユーザＡ１０３とユーザＢ１０４とに関係性があると判定したとして説明を行う。判定部３０６がユーザ間に関係性があると判定した場合に、サーバ１０７のメッセージ送受信部３１０は、ユーザＡ１０３とユーザＢ１０４との関係性に関する情報を表示装置１０５に送信する。一方、判定部３０６がユーザＡ１０３とユーザＢ１０４とに関係性が無いと判定した場合は、メッセージ送受信部３１０はエラーメッセージを表示装置１０５に送信し、以降の処理を行わない。つまり、サーバ１０７は、関係性が存在しないユーザ間に互いの関連情報を提示しない。また、サーバ１０７は、関係性が存在しないユーザ間で関連情報を取得させないように制御する。
【００４７】
Ｍ５０８において、サーバ１０７の関連情報管理部３０３は、Ｍ５０７で検索したユーザＡ１０３とユーザＢ１０４との関係性を用いて、データベース１０８からユーザＢ１０４の第１の関連情報を検索する。検索結果から、サーバ１０７は、ユーザＡ１０３とユーザＢ１０４との関係性に対応する、第１の関連情報の有無が取得できる。
【００４８】
続いて、Ｍ５０９において、サーバ１０７は、該当する第１の関連情報の内容を、表示装置１０５に送信できるように関連情報管理部３０３から取得する。関連情報管理部３０３に保持されていない場合には発信装置１０６に問い合わせ、発信装置１０６の関連情報保持部４０２から取得するなどして該当する第１の関連情報を取得する。
【００４９】
Ｍ５１０において、サーバ１０７は、Ｍ５０６で検索したユーザＡ１０３とユーザＢ１０４との関係性を用いて、第２の関連情報を検索し、検索結果から、第２の関連情報があるかどうかを判定する。本シーケンスでは、ユーザＡ１０３に公開されるユーザＢ１０４の第１の関連情報があり、さらに、追加取得できる第２の関連情報もあると判定したとして説明を行う。判定部３０６がユーザ間で提示できる第１の関連情報、さらに追加取得できる第２の関連情報があると判定した場合に、Ｍ５１１の処理が行われる。
【００５０】
Ｍ５１１において、サーバ１０７のメッセージ送受信部３１０は、ユーザＢ１０４の第１の関連情報と第２の関連情報の存在を表示装置１０５に送信する。なお、第１の関連情報と第２の関連情報は、図１３に示したようなものである。また、本シーケンスでは第１の関連情報と第２の関連情報の有無を別々に取得したが、同時に取得してもよい。
【００５１】
Ｍ５１２において、表示装置１０５は、撮影画像からユーザＢ１０４を特定し、第１の関連情報を取得できたと判断すると、合成部２０５が、撮影画像中のユーザＢを特定するための特徴情報を含む画像と、取得した第１の関連情報とを重畳して合成画像を生成する。さらに、第２の関連情報があると判断すると、追加取得ができることを知らせるアイコンや、ユーザＡ１０３が追加取得するかどうか問い合わせるためのアイコンも重畳して合成画像を生成する。表示部２０２は、表示装置１０５の表示制御の下で、合成部２０５により生成された合成画像を表示する。本実施形態では、画像に重畳して表示制御する例を説明したが、これに限らず、別画面に移動して、関連情報やアイコンを表示してもよい。
【００５２】
Ｍ５１３において、表示装置１０５は、ユーザＢ１０４の第２の関連情報の取得を指定する所定の操作を検出すると、サーバ１０７に対して、ユーザＢ１０４の第２の関連情報取得を要求する。なお、要求時には、表示装置１０５の指示部２０８によって、第２の関連情報として何を取得するかなどの取得方法を指示する。表示装置１０５のメッセージ送受信部２０９は、この指示情報も含む、第２の関連情報取得を要求するためのメッセージをサーバ１０７に送信する。
【００５３】
Ｍ５１４において、サーバ１０７のメッセージ送受信部３１０は、ユーザＡ１０３からユーザＢ１０４の第２の関連情報の追加取得を要求するメッセージを受信し、判定部３０６がユーザＡ１０３の指示内容を判定する。本シーケンスでは、ユーザＡ１０３の指示内容は、ユーザＢ１０４が許容する場合には第２の関連情報の一部を取得したいという内容であり、まずユーザＢ１０４に第２の関連情報を要求し、その結果によって追加取得すると判定したとして説明を行う。本実施形態では、ユーザＡ１０３がユーザＢ１０４から、第２の関連情報の取得許可を得られる場合を説明したが、取得許可を得ずに取得するものでもよい。さらには、関係性に応じて、強制的に取得できるかどうか、許可してよいかどうか問い合わせを必要とするか、第２の関連情報が取得されたことを通知するかしないかなどを登録できるようにしてもよい。
【００５４】
Ｍ５１５において、サーバ１０７のメッセージ送受信部３１０は、ユーザＢ１０４に対してユーザＡ１０３からの第２の関連情報の取得要求を送信する。Ｍ５１６において、発信装置１０６は、表示部４０８にユーザＡからの第２の関連情報取得要求を表示する。Ｍ５１７において、ユーザＢ１０４は、発信装置１０６の入力部４０９によって第２の関連情報の取得を許可するかしないかを入力する。Ｍ５１８において、発信装置１０６のメッセージ送受信部４０６は、ユーザＢが第２の関連情報の取得を許可したかどうかのメッセージを送信する。本シーケンスでは発信装置１０６が要求に対して許可するものとして説明する。
【００５５】
Ｍ５１９において、サーバ１０７は、第２の関連情報を取得し、Ｍ５２０において、追加取得した第２の関連情報を表示装置１０５に送信する。Ｍ５２１において、表示装置１０５は、追加取得した第２の関連情報を重畳表示する。本実施形態では、画像に重畳して表示したが、これに限らず、別画面に移動して、関連情報を表示してもよい。一方、発信装置１０６が第２の関連情報の取得を許可しなかった場合には、第２の関連情報を取得せず、追加情報の取得が許可されなかったことを示す情報を表示装置１０５に表示する。
【００５６】
以上で図５の一連のシーケンスが終了する。
【００５７】
＜７．使用態様および表示画面例＞
続いて、本実施形態における使用例を、図６を参照して説明する。６０１はユーザＡ１０３が所持するカメラであって、表示装置１０５に相当する。６０２はユーザＢの顔写真であって、ユーザＢに関連付けられた特徴オブジェクト１０９に相当する。本実施形態では、顔写真６０２を、表示装置１０５としてのカメラ６０１で撮影することで、撮影画像６０３から特定したユーザＢ１０４の関連情報を取得し、表示装置１０５としてのカメラ６０１に重畳表示する。
【００５８】
次に、表示装置１０５の表示部２０２による表示画面例を、図７を参照して説明する。図７（ａ）は、ユーザＢ１０４の関連情報と、第２の関連情報の有無を取得したときの表示装置１０５の画面である（Ｍ５１１−Ｍ５１２）。７００はユーザＢ１０４の画像であり、表示装置１０５によって撮影される画像である。画像を撮影し、静止画として表示するタイミングで関連情報を取得してもよいし、撮影を行わなくても画像からユーザを特定したタイミングで関連情報を取得してもよい。
【００５９】
７０１は、特徴オブジェクト１０９として認識中であることをユーザに表示する枠であり、特徴情報からユーザを特定できるかどうかの判定を開始したタイミングで表示してもよいし、ユーザが特定された後に表示してもよい。あるいは、例えば特徴情報として顔の画像を用いるのであれば、顔を認識したタイミングで枠を表示し、ユーザを特定できたタイミングでユーザ名を表示してもよい。ユーザの顔以外では、例えば、識別オブジェクトとして使用できる、ユーザが描いた絵や、作成した陶芸品などでもよい。さらには、位置情報などと組み合わせて限定してもよいし、世界唯一のものではなく、よく使われるユーザの所有物として、家で使われるユーザの椅子などを特徴オブジェクトとしてもよい。
【００６０】
特徴オブジェクトの登録時に、同一の特徴情報と判定されてしまうような同様の特徴情報が既に登録されていないかどうか判定し、識別情報として扱えることを確認してから登録することで、顔以外の物体も識別のための特徴オブジェクトとして登録できる。このため、特徴情報は、ユーザが識別できる情報であればどのような情報でもよく、特徴オブジェクトもその種類を限定するものではない。
【００６１】
７０２はユーザＢの関連情報である。本実施形態では、関連情報として、ユーザＢの位置情報から地図情報を用いて割り出した「図書館」という現在位置情報と、ユーザＢのセンサから推定した「静止中」という現在の行動情報とを表示する。関連情報は、ユーザ間の関係によって決まるが、ここでは関係性が図１３に示した表の「友人」で関係の強度が「５０以上」である場合を例として中精細な位置情報を表示する。ユーザＡとユーザＢの関係がもっと疎なものであれば、位置情報を公開しない。逆に、もっと密な関係であれば、さらなる詳細地図情報を用いて、待ち合わせに利用できるような図書館のどのエリアにいるかを示す情報を提供できるようにしてもよい。また、本実施形態では関連情報をポップアップ画像として、撮影画像に重畳表示したが、これに限らず別画面にしてもよいし、音声で読み上げるなど別の方法を利用して通知しても実現できる。
【００６２】
７０３および７０４は、追加取得できる第２の関連情報がある旨を示すアイコンで、例えばユーザがこのアイコンをタップすることで第２の関連情報の取得を指示する。第２の関連情報がない場合にはアイコンを表示しなくてもよいが、グレーアウトするなどして、第２の関連情報を取得できないことがユーザに分かるようにするとよい。また、図示した例のように、第２の関連情報を取得するかどうかのユーザへの問い合わせに際して、アイコンの表示形態を種々変更することで種々の問い合わせ方法を実現し、これにより追加取得できる内容が投稿内容なのか画像内容なのか分かる。さらには、有償情報なのか、無償情報なのか、相手に問い合わせが必要な情報なのか、勝手に取得できる情報なのかが分かるようにしてもよい。また、複数のアイコンを表示し、ユーザが取得方法を選択することで、どのように第２の関連情報を取得するかを指示してもよい。なお、どのように第２の関連情報を取得するか、どのような指示内容にするかは、あらかじめ決めておくが、ユーザが変更できるようにすることもできる。
【００６３】
図７（ｂ）は、ユーザＡがアイコン７０３を選択した結果、ユーザＢの第２の関連情報として最新の投稿を取得したときの表示装置１０５の画面である（Ｍ５２１）。７０５は追加取得したユーザＢの第２の関連情報である。本実施形態では、第２の関連情報として、ユーザＢの最新の投稿内容を表示する。投稿内容はユーザＢが利用する外部サービスのＳＮＳなどから、ユーザＢが投稿したメッセージを取得する他、サービス利用時に投稿内容を装置内に保持するようにしてもよい。また、本実施形態では、ポップアップ画像として、撮影画像に重畳表示したが、これに限らず別画面にしてもよいし、音声で読み上げるなど別の方法を利用して通知しても実現できる。
【００６４】
図７（ｃ）は、関係性に応じて、表示する第１の関連情報の内容と、第２の関連情報の有無を示すアイコンとを変更した表示画面の例である。図１３の表の関係性が「友人」で強度が「５０未満」である場合、図７（ａ）とは違って、それほど親しくないので、第１の関連情報として表示する現在位置の情報が「大田区」などのように低精細の情報になる。また、「友人」で「５０未満」である場合には、第２の関連情報としてプライベートの情報を記載していない「趣味ブログ」が取得されるように登録されているため、例えば７０７のように第２の関連情報の有無を示すアイコンを表示させる。
【００６５】
以上説明したように、本実施形態に係る情報処理システムの動作により、ユーザＡとユーザＢとの間で関係性に応じた関連情報の取得を実現することができる。また、重畳表示された関連情報から、さらに関係性に応じた追加情報（第２の関連情報）が取得できるのかどうかを知ることができる。また、追加で関連情報を取得したい場合には、簡易な操作で取得することができる。これにより、ユーザ間の関係性に応じて、ユーザが期待する情報を簡単に取得したり、表示する関連情報を決定したりすることで、ユーザの利便性が向上するという効果がある。
【００６６】
＜７．各装置が実施する処理＞
以下、情報処理システムを構成する各装置における処理の手順を、各フローチャートを参照して説明する。
【００６７】
図８は、表示装置１０５がユーザＢ１０４の特徴情報を撮影し、サーバ１０７からユーザＢの第１の関連情報を取得する時の、表示装置１０５の動作例を示すフローチャートである。
【００６８】
Ｓ８０１において、撮影部２０１は、画像の撮影を行い、ステップＳ８０２に進む。Ｓ８０２において、関係性情報取得部２０４は、ユーザＡ１０３の識別子と取得した撮影画像とを含む、ユーザＡ１０３と撮影画像から特定されるユーザとの関係性を取得するメッセージを作成する。メッセージ送受信部２０９は、ＴＣＰ／ＩＰ処理部２１０を用いて、当該メッセージをサーバ１０７に送信する。メッセージ送受信部２０９は、サーバ１０７から、ユーザＡ１０３と撮影画像から特定されたユーザＢ１０４の関係性情報をメッセージとして取得し、関係性情報取得部２０４に送り、Ｓ８０３に進む。
【００６９】
Ｓ８０３において、関係性情報取得部２０４は、画像からユーザが特定されない場合や、特定されたユーザとの間に関係性がない場合などのエラーかどうか判定する。エラーの場合には処理を終了するが、Ｓ８０１に戻って再び画像取得するようにしてもよい。エラーでない場合にはＳ８０４に進む。
【００７０】
Ｓ８０４において、メッセージ送受信部２０９は、サーバ１０７から、ユーザＢ１０４の第１の関連情報と第２の関連情報の有無を取得し、関連情報取得部２０３に送り、Ｓ８０５に進む。Ｓ８０５において、合成部２０５は、ユーザＢ１０４の第１の関連情報の一部又は全部を画像に重畳して表示し、Ｓ８０６に進む。Ｓ８０６において、表示部２０２は、ユーザＢ１０４の第２の関連情報の有無や、第２の関連情報が有る場合にはその一部又は全部をアイコンとして、さらに画像に重畳して表示し処理を終了する（図７（ａ））。本実施形態では、画像に重畳して表示したが、これに限らず、別の画面に移動して表示してもよい。
【００７１】
図９は、表示装置１０５から関連情報を取得するための依頼を受信した時の、サーバ１０７の動作例を示すフローチャートである。Ｓ９０１において、メッセージ送受信部３１０は、ＴＣＰ／ＩＰ処理部３１２を介して、撮影画像およびユーザＡの識別子を含むメッセージを表示装置１０５から受信する。Ｓ９０２において、解析部３０８は、Ｓ９０１で受信した撮影画像から１以上の特徴情報を検出する。Ｓ９０３において、判定部３０６は、特徴情報が検出されたか否かを判定する。特徴情報が検出されなかった場合には、Ｓ９０１に戻り、次の画像取得を待つ。一方、特徴情報が検出された場合には、Ｓ９０４へ進む。
【００７２】
Ｓ９０４において、属性情報管理部３０１は、特徴情報に基づいてデータベース１０８の検索を行い、対応するユーザＢの識別子と属性情報を取得する。次に、Ｓ９０５において、判定部３０６は、ユーザが特定されたかどうか判定する。ユーザが特定できなかった場合には、Ｓ９０６へ進み、メッセージ送受信部３１０が、ＴＣＰ／ＩＰ処理部３１２を介して表示装置１０５にエラーを送信して処理を終了する。なお、必ずしもエラー送信である必要はなく、複数のユーザ候補が取得された場合や、可能性が高いユーザ候補が取得されている場合には、その旨を送信し、ユーザＡが、候補からユーザＢを選択できるようにしてもよい。一方、Ｓ９０４でユーザが特定された場合には、Ｓ９０５でＹｅｓとなり、Ｓ９０７へ進む。
【００７３】
Ｓ９０７において、関係性情報管理部３０２は、Ｓ９０１で取得したユーザＡ１０３の識別子と、Ｓ９０４で特定したユーザＢ１０４の識別子とに基づいてデータベース１０８の検索を行い、対応するユーザＡ１０３とユーザＢ１０４との関係性情報を取得する。
【００７４】
Ｓ９０８において、判定部３０６は、ユーザＡ１０３とユーザＢ１０４との間の関係性の有無を判定する。関係性がない場合には、Ｓ９０９に進み、メッセージ送受信部３１０は、表示装置１０５にエラー通知を行い、処理を終了する。ここでは、関係性の取得のみを示したが、同様の処理で、関係性の追加・削除・更新も行うことができる。一方、関係性がある場合には、Ｓ９１０に進む。
【００７５】
Ｓ９１０において、関連情報管理部３０３は、Ｓ９０７で取得したユーザＡとユーザＢとの関係性情報に基づいてデータベース１０８の検索を行い、対応するユーザＢの第１の関連情報と第２の関連情報の有無を取得し、Ｓ９１１に進む。Ｓ９１１において、提示部３０４は、メッセージ送受信部３１０を用いて、表示装置１０５にユーザＢの第１の関連情報と第２の関連情報の有無を送信し、処理を終了する。
【００７６】
図１０は、表示装置１０５がユーザＢ１０４の第２の関連情報の取得を要求し、サーバ１０７からユーザＢの第２の関連情報を取得する時の、表示装置１０５の動作例を示すフローチャートである。Ｓ１００１において、入力部２０７はユーザの入力を受け付ける。入力があるとＳ１００２へ進み、入力内容が第２の関連情報の取得要求であるかどうか判定する。第２の関連情報の取得要求でない場合には、Ｓ１００１へ戻り再度入力を待つ。第２の関連情報の取得を要求する入力であった場合には、Ｓ１００３に進み、指示部２０８によって入力時に指示される指示情報を含む、ユーザＢ１０４の第２の関連情報を取得するメッセージを作成する。メッセージ送受信部２０９は、ＴＣＰ／ＩＰ処理部２１０を用いて、当該メッセージを送信する。Ｓ１００４において、メッセージ送受信部２０９は、サーバ１０７から、ユーザＢ１０４の第２の関連情報を取得し、関連情報取得部２０３に送り、Ｓ１００５に進む。Ｓ１００５において、合成部２０５は、ユーザＢ１０４の第２の関連情報の一部又は全部を撮影画像に重畳して表示し、処理を終了する（図７（ｂ））。本実施形態では、画像に重畳して表示したが、これに限らず、別の画面に移動して表示してもよい。
【００７７】
図１１は、サーバ１０７が表示装置１０５からユーザＢ１０４の第２の関連情報の取得を要求するメッセージを受信し、ユーザＢの第２の関連情報を取得する時の、サーバ１０７の動作例を示すフローチャートである。要求のメッセージには、ユーザＡ１０３やユーザＢ１０４を識別するための識別子、取得したい関連情報に関する指示要求を含むものとする。
【００７８】
Ｓ１１０１において、サーバ１０７の判定部３０６は、表示装置１０５から第２の関連情報の取得を要求するメッセージを受信したか否かを判定する。要求があると、Ｓ１１０２へ進み、解析部３０８が受信メッセージを解析する。ここでは受信メッセージの内容が、ユーザＢ１０４からの第２の関連情報の取得要求であると判断し、続いて指示要求の内容を判定するために、Ｓ１１０３へ進む。Ｓ１１０３において、判定部３０６は、指示要求が、強制取得であるか否かを判定する。強制取得である場合には、Ｓ１１０３でＹＥＳとなり、Ｓ１１０４へ進む。
【００７９】
Ｓ１１０４において、判定部３０６は、取得時に第２の関連情報の取得先（ユーザＢ１０４）に対して通知を行う必要がある要求であるか否かを判定する。Ｓ１１０４でＹｅｓとなると、通知を行う必要があるので、Ｓ１１０５において、メッセージ送受信部３１０は、ユーザＢ１０４に通知を行う。通知が必要ない場合には、Ｓ１１１１へ進み、関連情報追加取得部３１１は、ユーザＢ１０４の第２の関連情報を取得する。
【００８０】
一方、強制取得でない場合には、Ｓ１１０３でＮＯとなり、Ｓ１１０６へ進む。Ｓ１１０６において、メッセージ送受信部３１０は、ユーザＢ１０４に第２の関連情報の取得要求を行う。Ｓ１１０７において、メッセージ送受信部３１０は、取得要求に対するユーザＢ１０４からの返答を待つ。返答があった場合は、Ｓ１１０７でＹＥＳとなり、Ｓ１１０９へ進む。あるいは、返答がない場合（Ｓ１１０７でＮＯ）であって且つ一定時間以上返答がない場合（Ｓ１１０８でＹＥＳ）にも、Ｓ１１０９へ進む。
【００８１】
Ｓ１１０９において、判定部３０６は、発信装置１０６からの返答内容が、取得要求を許可するものであったか否かを判定する。不許可である場合（Ｓ１１０９でＮＯ）、Ｓ１１１０において、提示部３０４が、ユーザＢ１０４が第２の関連情報取得を拒否した旨を提示して、処理を終了する。
【００８２】
一方、許可である場合（Ｓ１１０９でＹＥＳ）、Ｓ１１１１に進む。Ｓ１１１１において、関連情報追加取得部３１１は、ユーザＢ１０４の第２の関連情報を取得する。Ｓ１１１２において、提示部３０４は、取得したユーザＢの第２の関連情報を表示装置１０５へ提示して、処理を終了する。
【００８３】
以上説明したように、本実施形態によれば、ユーザ間の関係性に応じて、ユーザが期待する情報を簡単に取得したり、表示する関連情報を決定したりすることができる。
【００８４】
（第２の実施形態）
次に、第２の実施形態として、第１の実施形態とは異なり、第２の関連情報の取得時に、表示装置１０５の指示部２０８からの指示によって要求の強弱を判定し、関連情報の取得方法を選択する例を説明する。なお、第２の実施形態の情報処理システムの構成は、第１の実施形態と同様のため説明を省略するが、指示部２０８において、第２の関連情報の取得の要求度合いを判定する点が異なっている。
【００８５】
ここで、本実施形態に適用できる関連情報テーブルの一例を図１４に示す。関係性が「親子」である場合の、第１の関連情報は第１の実施形態の図１３と同様であるが、第２の関連情報として、要求度が強い場合の情報と、弱い場合の情報とが登録されている。本実施形態では、第１の関連情報の「位置情報」が、何らかの原因で取得できなかった場合の情報として、第２の関連情報を用意する。第１の関連情報である位置情報が取得できない場合に、ユーザからの第２の関連情報の取得要求の度合いが強い場合には、有償の外部サービスである警備会社サービスにアクセスし、警備会社から有料で位置情報などの関連情報を取得する。一方で、第２の関連情報の関連情報の取得要求の度合いが弱い場合には、位置情報が取得できるようになるまで、定期的に問い合わせるようにし、例えば電源が切られていたなどといった、位置情報が取得できなかった原因が解消されるのを待つ。あるいは、定期的に問い合わせるのではなく、取得要求を送信しておき、位置情報が取得できるようになったタイミングで、位置情報を送信してもらうようにしておいてもよい。
【００８６】
続いて、関係性が「友人」かつ「強度５０以上」の例を説明する。第２の関連情報として要求が強い場合には、関係性を共通してもつ他ユーザの情報を用いて、他ユーザの位置情報を取得する。他ユーザとしては、関係性が「友人」なので、共通の友人を優先して検索する。関係性が「親子」である場合には、他の家族や親せきの情報を用いるようにしてもよく、ユーザが、あらかじめ設定できるようにしてもよい。さらに、位置情報を取得する本実施形態では、情報を取得する他ユーザの候補として、位置情報の履歴や、スケジュールを用いて、一緒に行動していた可能性や、現在も行動を共にしている可能性が高いユーザを選択するものとする。一方で、先述した親子の例と同様に、取得要求の度合いが弱い場合には位置情報が更新されるのを待つ。
【００８７】
このときのサーバ１０７の動作例を、図１１を参照しながら簡単に述べる。Ｓ１１０１で第２の関連情報の取得要求を待つ。Ｓ１１０２において、解析部３０８が受信メッセージを解析する際に、取得要求の度合いも解析する。そして、Ｓ１１１１において関連情報追加取得部３１１が第２の関連情報を取得する際に、Ｓ１１０２で解析した要求の度合いに応じた取得方法を用いる。その他の処理は第１の実施形態と同様であるため説明を省略するが、Ｓ１１１２では、提示部３０４は、ユーザ間の関係性に応じた第２の関連情報であって、かつユーザの要求度合いに応じた第２の関連情報を提示して、処理を終了する。
【００８８】
次に、本実施形態における表示装置１０５の画面例を図１５に示す。図１５（ａ）は、ユーザＡ１０３がユーザＢ１０４の第１の関連情報と、第２の関連情報の有無を取得したときの表示装置１０５の画面である。１５０１は、追加取得できるユーザＢ１０４の第２の関連情報があるものの現在は取得不可能であることを示す。１５０５は、有償の外部サービスを利用することですぐにでも第２の関連情報を取得するための指示ボタンであり、１５０６は、取得できるタイミングでよいので後で取得できるようになったら第２の関連情報を取得するための指示ボタンである。図１５（ｂ）は、ユーザ間の関係性が「親子」であり、表示装置１０５を有するユーザＡ１０３がユーザＢの第２の関連情報の取得を強く要求した場合に、第２の関連情報を取得したときの表示装置１０５の画面である。１５０２は、取得した第２の関連情報であり、表示装置１０５の合成部２０５によって警備会社サービスから取得した情報を重畳表示している。図１５（ｃ）は、ユーザ間の関係性が「親子」であり、表示装置１０５を有するユーザＡ１０３がユーザＢ１０４の第２の関連情報の取得を強くはないが要求した場合に、第２の関連情報を取得したときの表示装置１０５の画面である。１５０３は、取得した第２の関連情報であり、表示装置１０５の合成部２０５によって、位置情報が更新された際に通知する旨を重畳表示している。図１５（ｄ）は、ユーザ間の関係性が「友人」であり、表示装置１０５を有するユーザＡがユーザＢ１０４の第２の関連情報の取得を強く要求した場合に、第２の関連情報を共通の友人（第３のユーザ）から取得したときの表示装置１０５の画面である。１５０４は、取得した第２の関連情報であり、表示装置１０５の合成部２０５によって共通の友人から取得した情報を重畳表示している。共通の友人（第３のユーザ）からのユーザＢ１０４の第２の関連情報の取得は、ユーザＢ１０４から第２の関連情報が取得できない場合に行ってもよいし、追加的に行ってもよい。本実施形態では、ポップアップ画像として、撮影画像に重畳表示したが、これに限らず別画面にしてもよいし、音声で読み上げるなど別の方法を利用して通知しても実現できる。また、要求度が強い場合を前提に説明を行ったが、要求度に関わらず行ってもよい。
【００８９】
ここで、第２の関連情報の要求の度合いの指示方法としては、例えば、図１５（a）の、１５０５と１５０６に示したように、どうしても取得したい場合と、そうではない場合などで選択するアイコンを変更できるように複数のアイコンを用意する。あるいは、指示部２０８によって、入力部２０７に対するユーザのタップする強さや、連打回数を判定することで決定してもよい。指示部２０８は、あらかじめ閾値を設定し、閾値よりも強い力でタップされたかどうか、閾値よりも多い回数が連打されたかどうかを判定する。これにより、タップの力が強い、回数が多い場合には要求の度合いが強いとし、「要求強」に対応する方法で第２の関連情報を取得する。一方で、タップの力が弱い、回数が少ない場合には、要求の度合いは弱いとし、「要求弱」に対応する方法で第２の関連情報を取得する。指示部２０８の判定方法としては、上述した方法のほか、音声入力時の、音声の強弱や、話し方の緊張度から判定したり、撮影部２０１でユーザＢ１０４を撮影することで表情や顔色から判定したりしてもよい。さらには、ユーザの指示履歴を学習することで、自動的に適切な取得方法を選択できるようにしてもよい。
【００９０】
このように、ユーザの要求度合いによって、有償であっても第２の関連情報を取得したいのか、第３のユーザからでも取得したいのか、あるいは、情報が更新された場合に第２の関連情報を取得できればよいのかなどを指示することができる。
【００９１】
以上説明したように、本実施形態によれば、ユーザ間の関係性に加え、ユーザの要求度合いに応じて、ユーザが期待する情報を簡単に取得したり、表示する関連情報を決定したりすることができる。
【００９２】
以上説明してきたように、本発明によれば、ユーザ間の関係性に応じて、ユーザが期待する情報を簡単に取得したり、表示する関連情報を決定したりできるようにすることでユーザの利便性を向上できる。
【００９３】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００９４】
１００：インターネット、１０１，１０２：無線基地局、１０３：ユーザＡ、１０４：ユーザＢ、１０５：表示装置、１０６：発信装置、１０７：サーバ、１０８：データベース、１０９：特徴オブジェクト、２０１：撮影部、２０２：表示部、２０３：関連情報取得部、２０４：関係性情報取得部、２０５：合成部、２０６：ＲＦ部、２０７：入力部、２０８：指示部、２０９：メッセージ送受信部、２１０：ＴＣＰ／ＩＰ処理部、３０１：属性情報管理部、３０２：関係性情報管理部、３０３：関連情報管理部、３０４：提示部、３０５：選択部、３０６：判定部、３０７：画像取得部、３０８：解析部、３０９：メッセージ保存部、３１０：メッセージ送受信部、３１１：関連情報追加取得部、３１２：ＴＣＰ／ＩＰ処理部、４０１：ＲＦ部、４０２：関連情報保持部、４０３：センサ部、４０４：センサ管理部、４０５：アプリケーション管理部、４０６：メッセージ送受信部、４０７：ＴＣＰ／ＩＰ処理部、４０８：表示部、４０９：入力部
【図１】
2016057827.tif 000003
【図２】
2016057827.tif 000004
【図３】
2016057827.tif 000005
【図４】
2016057827.tif 000006
【図５】
2016057827.tif 000007
【図６】
2016057827.tif 000008
【図８】
2016057827.tif 000009
【図９】
2016057827.tif 000010
【図１０】
2016057827.tif 000011
【図１１】
2016057827.tif 000012
【図１２】
2016057827.tif 000013
【図１３】
2016057827.tif 000014
【図１４】
2016057827.tif 000015
【図７】
2016057827.tif 000016
【図１５】
2016057827.tif 000017