(57)【要約】      （修正有）【課題】同行者に応じた適切な情報を通知するシステム、情報処理装置、方法及びプログラムを提供する。【解決手段】端末装置の撮影部を介して人物を撮影し、撮影された画像に基づいて、画像から同行者としての人物を検出し、検出手段により検出されたユーザの同行者の属性情報を取得し、取得された属性情報に基づいて、ユーザに通知する通知情報を決定し、決定された通知情報を、端末装置を介して、前記端末装置の表示部に現実の風景と重畳させて表示させることでユーザに通知する。【選択図】図４
2018163456.tif 000002
【特許請求の範囲】
【請求項１】
端末装置を携帯するユーザの同行者の属性情報を取得する取得手段と、
前記取得手段により取得された前記属性情報に基づいて、前記ユーザに通知する通知情報を決定する決定手段と、
前記決定手段により決定された前記通知情報を、前記端末装置を介して、前記ユーザに通知する通知手段と、
を有するシステム。
【請求項２】
前記同行者を検出する検出手段を更に有し、
前記取得手段は、前記検出手段により検出された前記同行者の前記属性情報を取得する請求項１記載のシステム。
【請求項３】
前記検出手段は、前記端末装置の撮影部を介して撮影された画像から、前記同行者として、人物を検出する請求項２記載のシステム。
【請求項４】
前記検出手段は、前記画像から、前記同行者として、設定された閾値以上のサイズの領域を占める人物を検出する請求項３記載のシステム。
【請求項５】
前記取得手段は、前記画像に基づいて、前記検出手段により検出された前記同行者の前記属性情報を取得する請求項３又は４記載のシステム。
【請求項６】
前記取得手段は、前記画像における前記検出手段により検出された前記同行者が占める領域に基づいて、前記検出手段により検出された前記同行者の前記属性情報を取得する請求項５記載のシステム。
【請求項７】
前記検出手段は、前記撮影部を介して前記ユーザの視界が撮影された前記画像から、前記同行者として、人物を検出する請求項３乃至６何れか１項記載のシステム。
【請求項８】
前記取得手段は、前記属性情報を、前記端末装置の記憶部から取得する請求項１乃至７何れか１項記載のシステム。
【請求項９】
前記取得手段は、前記属性情報を、前記端末装置と通信可能なサーバ装置の記憶部から取得する請求項１乃至７何れか１項記載のシステム。
【請求項１０】
前記取得手段は、前記属性情報を、外部の記憶部から取得する請求項１乃至７何れか１項記載のシステム。
【請求項１１】
前記検出手段は、前記端末装置と接続が確立された他の端末装置に対応する他のユーザを、前記同行者として、検出する請求項２記載のシステム。
【請求項１２】
前記検出手段は、前記他の端末装置の特定情報に基づいて、前記他のユーザである前記同行者を特定することで、前記同行者を検出する請求項１１記載のシステム。
【請求項１３】
前記取得手段は、前記検出手段により検出された前記同行者の属性情報を、前記他の端末装置から受信することで、取得する請求項１１又は１２記載のシステム。
【請求項１４】
前記取得手段は、前記同行者と前記ユーザとの関係性に応じた属性を示す前記属性情報を取得する請求項１乃至１３何れか１項記載のシステム。
【請求項１５】
前記取得手段は、前記同行者の候補の情報と、前記候補と前記ユーザとの関係性に応じた属性情報と、の対応情報を受付ける受付画面を介して受付けられた対応情報に基づいて、前記属性情報を取得する請求項１４記載のシステム。
【請求項１６】
前記通知手段は、前記決定手段により決定された前記通知情報を、前記端末装置の表示部に表示させることで、前記ユーザに通知する請求項１乃至１５何れか１項記載のシステム。
【請求項１７】
前記端末装置は、メガネ型端末装置であり、
前記通知手段は、前記決定手段により決定された前記通知情報を、前記端末装置の表示部に現実の風景と重畳させて表示させることで、前記ユーザに通知する請求項１６記載のシステム。
【請求項１８】
前記取得手段は、複数の前記端末装置のそれぞれを携帯する複数の前記ユーザそれぞれの同行者の属性情報を取得し、
前記取得手段により、複数の前記ユーザそれぞれの同行者について、取得された前記属性情報に基づいて、複数の前記ユーザそれぞれに通知する通知情報を決定する決定手段と、
前記通知手段は、前記決定手段により、複数の前記ユーザそれぞれについて決定された前記通知情報を、複数の前記端末装置それぞれを介して、複数の前記ユーザそれぞれに通知する請求項１乃至１７何れか１項記載のシステム。
【請求項１９】
端末装置を携帯するユーザの同行者の属性情報を取得する取得手段と、
前記取得手段により取得された前記属性情報に基づいて、前記ユーザに通知する通知情報を決定する決定手段と、
前記決定手段により決定された前記通知情報を、前記端末装置を介して、前記ユーザに通知する通知手段と、
を有する情報処理装置。
【請求項２０】
前記情報処理装置は、前記端末装置と通信可能なサーバ装置である請求項１９記載の情報処理装置。
【請求項２１】
前記情報処理装置は、前記端末装置である請求項１９記載の情報処理装置。
【請求項２２】
システムが実行する情報処理方法であって、
端末装置を携帯するユーザの同行者の属性情報を取得する取得ステップと、
前記取得ステップで取得された前記属性情報に基づいて、前記ユーザに通知する通知情報を決定する決定ステップと、
前記決定ステップで決定された前記通知情報を、前記端末装置を介して、前記ユーザに通知する通知ステップと、
を含む情報処理方法。
【請求項２３】
コンピュータに、
端末装置を携帯するユーザの同行者の属性情報を取得する取得ステップと、
前記取得ステップで取得された前記属性情報に基づいて、前記ユーザに通知する通知情報を決定する決定ステップと、
前記決定ステップで決定された前記通知情報を、前記端末装置を介して、前記ユーザに通知する通知ステップと、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、システム、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
カメラ付きスマートフォンや透過型ディスプレイを搭載したウェアラブル端末等が登場している。それにより、現実の世界を捉えた画像・映像中に、コンピュータグラフィックスによって何らかの情報を重畳して表示するＡＲ（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ：拡張現実）技術の開発が盛んに行われている。その中で、情報の表示形態がユーザにとって適切なものとなるようにするための技術が提案されている。
情報を通知する方法として、アノテーションやノーティフィケーションといった方法がある。アノテーションとは、拡張現実（ＡＲ）でよく用いられる方法であり、画像上の事物に関連した名称等の概要情報を、その事物の付近に重畳表示する方法である。
ノーティフィケーションは、ユーザに何らかの事象を伝えるのに用いられる方法である。ノーティフィケーションの例としては、電話機の呼び出し音や発信者番号表示、スマートフォンでの電子メールやＳＮＳ（Ｓｏｃｉａｌ  Ｎｅｔｗｏｒｋｉｎｇ  Ｓｅｒｖｉｃｅ）通知等がある。
特許文献１には、以下の技術が開示されている。即ち、撮影されたグループの画像から顔画像を取得し、顔画像から人物の属性や撮影された画像上の人数に基づいて、グループの属性を決定し、グループの属性に基づいて通知する情報を決定し、グループに対し情報を通知する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−２２７１５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１では、ユーザが所属するグループに応じた情報を通知する。そのため、ユーザの同行者に応じた適切な情報が通知されていなかった。
【課題を解決するための手段】
【０００５】
本発明のシステムは、端末装置を携帯するユーザの同行者の属性情報を取得する取得手段と、前記取得手段により取得された前記属性情報に基づいて、前記ユーザに通知する通知情報を決定する決定手段と、前記決定手段により決定された前記通知情報を、前記端末装置を介して、前記ユーザに通知する通知手段と、を有する。
【発明の効果】
【０００６】
本発明によれば、同行者に応じた適切な情報を通知することができる。
【図面の簡単な説明】
【０００７】
【図１】情報処理システムのシステム構成の一例を示す図である。
【図２】情報処理システムの処理の一例の概要を説明する図である。
【図３】サーバ装置のハードウェア構成等の一例を示す図である。
【図４】画像関連情報通知処理の一例を示すフローチャートである。
【図５】情報管理テーブルの一例を示す図である。
【図６】サーバ装置の機能構成の一例を示す図である。
【図７】人物ＩＤと関係属性情報との対応情報等の一例を示す図である。
【図８】情報管理テーブルの一例を示す図である。
【図９】画像関連情報通知処理の一例を示すフローチャートである。
【図１０】情報処理システムの処理の一例の概要を説明する図である。
【図１１】情報管理テーブルと属性情報との対応情報の一例を示す図である。
【図１２】情報管理テーブルの一例を示す図である。
【図１３】画像関連情報通知処理の一例を示すフローチャートである。
【図１４】端末ＩＤと関係属性情報との対応情報等の一例を示す図である。
【図１５】画像関連情報通知処理の一例を示すフローチャートである。
【図１６】情報処理システムのシステム構成の一例を示す図である。
【図１７】端末ＩＤと人物ＩＤとの対応情報等の一例を示す図である。
【図１８】画像関連情報通知処理の一例を示すフローチャートである。
【発明を実施するための形態】
【０００８】
以下に、本発明の好ましい実施の形態を、図面に基づいて詳細に説明する。
【０００９】
＜実施形態１＞
図１は、本実施形態の情報処理システムのシステム構成の一例を示す図である。
情報処理システムは、サーバ装置１００、情報通知端末１０１を含む。サーバ装置１００、情報通知端末１０１は、インターネット、ＬＡＮ等のネットワークを介して、通信可能に無線又は有線で接続されている。
サーバ装置１００は、情報通知端末１０１に対してユーザへ通知する情報を提供するパーソナルコンピュータ（ＰＣ）、サーバ装置等の情報処理装置である。
情報通知端末１０１は、カメラ等の撮影装置とディスプレイ等の表示装置とを含む携帯端末、ウェアラブル端末等の端末装置である。本実施形態では、情報通知端末１０１は、スマートグラス、ヘッドマウントディスプレイ（ＨＭＤ）等のメガネ型端末装置であるとする。情報通知端末１０１は、情報処理装置の一例である。
【００１０】
本実施形態では、情報処理システムが情報通知端末１０１を介して撮影されたユーザが見ている実世界の画像内の事物に関連する情報である画像関連情報を、実世界の風景に重畳表示する情報処理システムの処理について説明する。画像関連情報は、情報通知端末１０１のユーザに通知する情報である通知情報の一例である。より具体的には、本実施形態では、情報処理システムが情報通知端末１０１の利用者の同行者の属性に応じた画像関連情報を決定し、決定した画像関連情報を実世界の風景に重畳表示する処理について説明する。
本実施形態では、情報通知端末１０１は、情報通知端末１０１の保有者の同行者の画像を撮影する。そして、情報処理システムは、情報通知端末１０１の保有者の同行者に応じた画像関連情報を、実世界の風景に重畳表示する画像として決定することになる。
画像関連情報とは、画像内の事物についての情報であり、事物の名称等の属性情報、事物を説明する詳細情報等の情報である。画像関連情報は、文字列であってもよいし、画像であってもよいし、図形であってもよいし、背景の模様や色等であってもよい。情報処理システムは、画像関連情報を、ユーザの視界、設定された画像等と重畳して表示する。
【００１１】
図２は、本実施形態の処理の一例の概要を説明する図である。図２を用いて、本実施形態の情報処理システムを利用するユーザの体験の例を説明する。
図２（ａ）は、情報通知端末１０１の外観の一例を示す図である。本実施形態では、情報通知端末１０１は、メガネ型ディスプレイを含むシースルー型ＨＭＤ（シースルー型頭部装着型ディスプレイ、以下ではＨＭＤとする）であるとする。シースルー型ＨＭＤは、視界と重畳表示する画像の合成方法によって光学シースルー型と、ビデオシースルー型と、に分類されるが、本実施形態の情報通知端末１０１は何れの分類であってもよい。情報通知端末１０１は、装着している利用者が視認できる画面４１１に、実世界の風景と重畳して、情報通知端末１０１が撮影した画像に写っている事物に関連する画像関連情報をアノテーションとして表示する。
図２（ｂ）は、画面４１１を通して情報通知端末１０１の利用者が実際に見ている実オブジェクトの一例を示す図である。実オブジェクトとは、現実風景内に実存するオブジェクトであり、例えば、ビル、店舗等の建物、看板、信号機、道路標識等のオブジェクトである。図２（ｂ）の例では、画面４１１には、実オブジェクトとして、３つのビルが並んでいる風景が写っている。
【００１２】
図２（ｃ）、図２（ｄ）は、図２（ｂ）に示す画面４１１を見ている情報通知端末１０１を装着した利用者４２に同行者が存在している状況の一例を示す図である。図２（ｃ）の例では、利用者４２が少女４３と同行している状況が示される。図２（ｄ）の例では、利用者４２が男性４４と同行している状況が示される。
図２（ｅ）、図２（ｆ）は、画像関連情報が重畳表示されている画面４１１の一例を示す図である。図２（ｅ）は、図２（ｃ）の状況（利用者４２が少女４３と同行している状況）における画面４１１の一例を示す。図２（ｅ）の画面４１１には、画像関連情報４５が実世界の風景と重畳して表示されている。図２（ｅ）では、画面４１１には、画像関連情報４５として「小さなお子様連れの方におすすめのお店はありません」というアノテーションを示すメッセージが表示されている。
図２（ｆ）は、図２（ｄ）の状況（利用者４２が男性４４と同行している状況）における画面４１１の一例を示す。図２（ｆ）の画面４１１には、画像関連情報４６が実世界の風景と重畳して表示されている。図２（ｆ）では、画面４１１には、画像関連情報４６として「三ツ星フレンチレストランがおすすめです」というアノテーションを示すメッセージが表示されている。
このように、本実施形態の情報処理システムは、情報通知端末１０１の利用者と同行している人物の属性に応じて異なる情報を、情報通知端末１０１の利用者に通知することができる。
以上が、本実施形態の情報処理システムの処理の一例の概要である。
【００１３】
図３（ａ）は、サーバ装置１００のハードウェア構成の一例を示す図である。
サーバ装置１００は、プロセッサ３０１、ワークメモリ３０２、記憶装置３０３、通信装置３０４を含む。各要素は、システムバス３０５を介して、相互に通信可能に接続されている。
プロセッサ３０１は、サーバ装置１００を制御するＣｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ（ＣＰＵ）等の中央演算装置である。ワークメモリ３０２は、プロセッサ３０１のワークエリアやデータの一時的な記憶領域として機能するＤｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ（ＤＲＡＭ）等の記憶装置である。記憶装置３０３は、各種プログラム、各種設定情報、各種人物の属性情報、情報通知端末１０１の特定情報、各種フラグ情報、各種画像関連情報、各種閾値情報、各種対応情報、各種テーブル等を記憶する記憶装置である。記憶装置３０３は、Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ（ＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）等の記憶媒体により構成される。通信装置３０４は、情報通知端末１０１等の外部の装置との、ネットワークを介した通信に利用される通信装置である。記憶装置３０３は、サーバ装置の記憶部の一例である。
プロセッサ３０１が、記憶装置３０３に記憶されるプログラムに基づき処理を実行することで、図３（ｂ）、図６で後述する機能、図４、９、１３、１５、１８で後述するフローチャートの処理等が実現される。
【００１４】
図３（ｂ）は、サーバ装置１００の機能構成の一例である。
サーバ装置１００は、検出部３１１、属性取得部３１２、決定部３１３、通知部３１４を含む。
検出部３１１は、情報通知端末１０１の利用者の同行者を検出する。本実施形態では、検出部３１１は、情報通知端末１０１により撮影された情報通知端末１０１の利用者の視界の画像から、同行者の顔領域を検出する。検出部３１１は、例えば、情報通知端末１０１により撮影された画像から、設定された閾値以上のサイズの人物の顔領域を、同行者の顔領域として検出する。検出部３１１は、例えば、顔領域を特定する方法として、以下の参考文献１記載のビオラジョーンズ法等の顔検出技術を用いる。
参考文献１：Ｐ．  Ｖｉｏｌａ  ａｎｄ  Ｍ．  Ｊｏｎｅｓ．  Ｒａｐｉｄ  ｏｂｊｅｃｔ  ｄｅｔｅｃｔｉｏｎ  ｕｓｉｎｇ  ａ  ｂｏｏｓｔｅｄ  ｃａｓｃａｄｅ  ｏｆ  ｓｉｍｐｌｅ  ｆｅａｔｕｒｅｓ．  ＣＶＰＲ  ２００１．
【００１５】
属性取得部３１２は、検出部３１１により検出された人物に関する属性情報を取得する。属性取得部３１２は、例えば、以下の参考文献２記載の年齢推定技術を用いて、検出部３１１により検出された人物に関する属性情報（年齢属性の情報）を取得する。本実施形態では、属性取得部３１２は、人物自身に関する属性情報として、その人物の「年齢」属性情報、「性別」属性情報を取得する。以下では、人物自身に関する属性情報を、個人属性情報とする。
属性取得部３１２は、例えば、参考文献２記載の技術や自動販売機等の商品リコメンド等で用いられている技術を用いて、検出部３１１により検出された人物の個人属性情報を取得する。属性取得部３１２は、「年齢」属性情報、「性別」属性情報だけでなく、検出部３１１により検出された人物の肌や髪、目の色等の属性を、個人属性情報として取得してもよい。
参考文献２：特開２００３−２４２４８６号公報
【００１６】
決定部３１３は、属性取得部３１２により取得された属性情報に基づいて、情報通知端末１０１の利用者に通知する画像関連情報を決定する。決定部３１３は、画像関連情報を重畳表示する対象となる実オブジェクトを検出し、検出した実オブジェクトのＩＤと情報通知端末１０１の利用者の同行者の属性情報とに基づいて画像関連情報を決定する。
決定部３１３は、情報通知端末１０１の利用者の視界相当の画像や予め設定された画像等から、以下の参考文献３に記載されるＳＩＦＴ等の特定物体認識等の技術を用いて、実オブジェクトを検出する。
参考文献３：Ｄ．  Ｇ．  Ｌｏｗｅ．  Ｏｂｊｅｃｔ  ｒｅｃｏｇｎｉｔｉｏｎ  ｆｒｏｍ  ｌｏｃａｌ  ｓｃａｌｅ  ｉｎｖａｒｉａｎｔ  ｆｅａｔｕｒｅｓ．  Ｐｒｏｃ．  ｏｆ  ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  （ＩＣＣＶ），  ｐｐ．１１５０−１１５７，  １９９９．
【００１７】
通知部３１４は、情報通知端末１０１の利用者が見ている実世界の画像に、決定部３１３により決定された画像関連情報を重畳した画像を生成、出力する。本実施形態では、通知部３１４は、情報通知端末１０１の表示装置３２３に表示される画像を生成し、出力する。通知部３１４は、例えば、参考文献１等に記載の重畳表示の方法を用いて、画像関連情報を重畳した画像を生成、出力する。
また、本実施形態では、通知部３１４は、決定部３１３により決定された画像関連情報を、アノテーションとして出力するよう制御するが、特定の場所にノーティフィケーションとして表示されるように出力するよう制御してもよい。
【００１８】
図３（ｃ）は、情報通知端末１０１のハードウェア構成の一例を示す図である。
情報通知端末１０１は、入力装置３２１、撮影装置３２２、表示装置３２３、プロセッサ３２４、ワークメモリ３２５、記憶装置３２６、通信装置３２７を含む。各要素は、システムバス３２８を介して、相互に通信可能に接続されている。
入力装置３２１は、情報通知端末１０１の利用者からの様々な入力を受け付ける入力装置であり、ハードボタン、タッチパネル等で構成される。入力装置３２１は、例えば、情報通知端末１０１の利用者から画像関連情報を表示するモードへの変更の指示を受け取る。
【００１９】
撮影装置３２２は、画像を撮影するカメラ等の撮影装置であり、撮影画像を通知部３１４や表示装置３２３に出力する。本実施形態では、撮影装置３２２は、メガネ型端末である情報通知端末１０１に備えられた、情報通知端末１０１の利用者の視界を撮影するカメラである。撮影装置３２２は、情報通知端末１０１の撮影部の一例である。
表示装置３２３は、通知部３１４により出力された重畳画像を表示するディスプレイ、タッチパネルの表示部等の表示装置である。表示装置３２３に図２の画面４１１が表示されることとなる。
プロセッサ３２４は、情報通知端末１０１を制御するＣＰＵ等の中央演算装置である。プロセッサ３２４は、例えば、撮影装置３２２から出力される２次元画像を検出部３１１や、決定部３１３に送信したり、通知部３１４から出力される重畳画像を表示装置３２３に送信したりする。
ワークメモリ３２５は、プロセッサ３２４のワークエリアやデータの一時的な記憶場所として機能するＤＲＡＭ等で構成される記憶装置である。
【００２０】
記憶装置３２６は、各装置・手段で必要となるデータを記憶し、例えば不揮発性メモリやハードディスク装置で構成される。ここで、必要になるデータとは、例えば、画像関連情報の表示に必要な情報等である。記憶装置３２６は、情報通知端末１０１の記憶部の一例である。
記憶装置３２６は、例えば、同行者の属性情報に基づいて画像関連情報を通知するために必要なデータを記憶している。
通信装置３２７は、ネットワーク上の記憶装置、サーバ装置１００や別の情報通知端末等の外部の装置と通信する機能を有する。
プロセッサ３２４が、記憶装置３２６に記憶されるプログラムに基づき処理を実行することで、情報通知端末１０１の機能、情報通知端末１０１の処理等が実現される。
【００２１】
図４は、画像関連情報通知処理の一例を示すフローチャートである。
Ｓ２０１において、検出部３１１は、情報通知端末１０１から、情報通知端末１０１により撮影された情報通知端末１０１の利用者の視界の画像を受信する。本実施形態では、検出部３１１は、情報通知端末１０１に含まれる撮影装置３２２により撮影された画像を取得する。
【００２２】
Ｓ２０２において、検出部３１１は、情報通知端末１０１の利用者の同行者の属性情報が既に取得されているか否かを判定する。例えば、記憶装置３０３に、情報通知端末１０１の利用者の同行者の属性情報が既に取得されているか否かを示す属性取得フラグ情報が記憶されているとする。検出部３１１は、記憶装置３０３から属性取得フラグ情報を取得し、取得した属性取得フラグ情報に基づいて、情報通知端末１０１の利用者の同行者の属性情報が既に取得されているか実行を要するか否かを判定する。
プロセッサ３０１は、情報通知端末１０１の利用者の同行者の属性情報を取得した場合、記憶装置３０３に記憶される属性取得フラグ情報の内容を、情報通知端末１０１の利用者の同行者の属性情報が既に取得されていることを示すように更新する。
検出部３１１は、情報通知端末１０１の利用者の同行者の属性情報が既に取得されていると判定した場合、Ｓ２０３の処理に進み、情報通知端末１０１の利用者の同行者の属性情報が既に取得されていないと判定した場合、Ｓ２０３の処理に進む。検出部３１１は、初めて図４の処理を行う場合、情報通知端末１０１の利用者の同行者の属性情報は取得されていないため、属性取得フラグ情報が立っていないため、Ｓ２０３の処理に進む。
【００２３】
Ｓ２０３において、検出部３１１は、Ｓ２０１で取得した画像から、情報通知端末１０１の利用者の近傍にいる人物を、その利用者の同行者として検出する。人物と情報通知端末１０１との距離が近い程、撮影装置３２２により撮影された画像中でのその人物のサイズは大きくなる。そのため、Ｓ２０１で取得された画像内における情報通知端末１０１の利用者に同行している人物のサイズは、そうでない人物のサイズよりも大きくなると仮定できる。
そこで、検出部３１１は、例えば、Ｓ２０１で取得した画像中の設定された閾値以上のサイズの人物の顔領域を、情報通知端末１０１の利用者の近傍にいる人物の顔領域として、検出する。検出部３１１は、検出処理の結果として、顔領域となる代表座標（例えば、顔領域の中心座標、顔領域の左上隅の座標等）と顔領域の矩形のサイズとを出力する。また、検出部３１１は、Ｓ２０３で情報通知端末１０１の利用者の同行者を検出した場合、以下の処理を行う。即ち、検出部３１１は、記憶装置３０３に記憶される情報通知端末１０１の利用者の同行者が検出されたか否かを示す情報である同行者検出フラグ情報を、検出されたことを示す内容に更新する。
Ｓ２０４において、属性取得部３１２は、記憶装置３０３に記憶される同行者検出フラグ情報に基づいて、情報通知端末１０１の利用者の同行者が検出されたか否かを判定する。属性取得部３１２は、情報通知端末１０１の利用者の同行者が検出されたと判定した場合、Ｓ２０５の処理に進み、情報通知端末１０１の利用者の同行者が検出されていないと判定した場合、Ｓ２０６の処理に進む。
【００２４】
Ｓ２０５において、属性取得部３１２は、Ｓ２０３で検出された顔領域について、参考文献２記載の方法等を用いて年齢、性別を推定し、取得する。例えば、図２（ｃ）の例では、属性取得部３１２は、情報通知端末１０１の利用者の近傍にいる同行者である少女４３の属性情報として、性別属性情報「女性」、年齢属性情報「８」を取得する。また、属性取得部３１２は、Ｓ２０５で属性情報属性を取得した場合、記憶装置３０３に記憶されている属性取得フラグ情報の内容を、情報通知端末１０１の利用者の同行者の属性情報が取得されたことを示すように更新する。
Ｓ２０６において、属性取得部３１２は、情報通知端末１０１の利用者の属性情報を記憶装置３０３から取得する。記憶装置３０３は、予め、情報通知端末１０１の利用者の属性情報（「性別」属性情報、「年齢」属性情報等）を記憶しているとする。また、プロセッサ３０１は、サーバ装置１００の操作部を介して入力された情報通知端末１０１の利用者の属性情報を、記憶装置３０３に記憶することとしてもよい。
属性取得部３１２は、Ｓ２０６では、情報通知端末１０１の利用者の属性を取得した場合、属性取得フラグ情報の内容を、情報通知端末１０１の利用者の同行者の属性情報が取得されたことを示すように更新しない。これにより、次回の図４の処理におけるＳ２０３の処理では、検出部３１１は、属性取得フラグ情報から、前回のＳ２０６で、情報通知端末１０１の利用者の同行者の情報が取得されていないことを把握できることとなる。
【００２５】
Ｓ２０７において、決定部３１３は、Ｓ２０１で取得された画像から、参考文献３記載の方法等を用いて、画像関連情報を重畳表示する対象となる実オブジェクトを検出する。
図５は、画像関連情報の管理に利用される情報管理テーブルの一例である。本実施形態では、記憶装置３０３は、予め、図５に示される情報管理テーブルを記憶する。情報管理テーブルは、画像関連情報番号、実オブジェクトＩＤ、性別、年齢、画像関連情報内容の項目を含む。
画像関連情報番号の項目には、画像関連情報を特定する情報が格納される。実オブジェクトＩＤの項目には、対応する画像関連情報を重畳させる対象である実オブジェクトを特定する情報（ＩＤ）が格納される。性別の項目には、情報通知端末１０１の利用者の同行者の性別の情報が格納される。年齢の項目には、情報通知端末１０１の利用者の同行者の年齢の情報が格納される。画像関連情報内容の項目には、画像関連情報の内容を示す情報が格納される。
【００２６】
決定部３１３は、記憶装置３０３に記憶される情報管理テーブルから、Ｓ２０５で情報通知端末１０１の利用者の同行者の属性情報が取得された場合、Ｓ２０５で取得された属性情報（性別、年齢）に対応する実オブジェクトＩＤを特定する。また、決定部３１３は、Ｓ２０６で情報通知端末１０１の利用者の属性情報が取得された場合、記憶装置３０３に記憶される情報管理テーブルから、Ｓ２０６で取得された属性情報（性別、年齢）に対応する実オブジェクトＩＤを特定する。また、決定部３１３は、Ｓ２０２で情報通知端末１０１の利用者の同行者の属性情報が既に取得されていると判定された場合、以下の処理を行う。即ち、決定部３１３は、記憶装置３０３に記憶される情報管理テーブルから、既に取得されていると判定された属性情報（性別、年齢）に対応する実オブジェクトＩＤを特定する。
そして、決定部３１３は、Ｓ２０１で取得された画像から、特定した実オブジェクトＩＤが示す実オブジェクトを検出する。図２（ｃ）の例では、Ｓ２０５で属性情報（女性、８）が取得されたため、決定部３１３は、図５の情報管理テーブルのうち、性別が女性で年齢が１２歳以下を示す上から２つ目の行に対応する実オブジェクトＩＤ「ｏｂｊ００１」を特定する。また、決定部３１３は、実オブジェクトを検出した場合、記憶装置３０３に記憶されている実オブジェクトが検出されたか否かを示す情報である実オブジェクト検出フラグ情報の内容を、実オブジェクトが検出されたことを示すように更新する。
【００２７】
Ｓ２０８において、決定部３１３は、実オブジェクト検出フラグ情報に基づいて、Ｓ２０７で実オブジェクトを検出できたか否かを判定する。決定部３１３は、Ｓ２０７で実オブジェクトを検出できたと判定した場合、Ｓ２０９の処理に進み、Ｓ２０７で実オブジェクトを検出できなかったと判定した場合、Ｓ２０１の処理に進む。
Ｓ２０９において、決定部３１３は、Ｓ２０５で取得された属性情報、Ｓ２０６で取得された属性情報、過去に取得された属性情報の何れかと、Ｓ２０７で取得した実オブジェクトＩＤと、に基づき、画像関連情報を決定する。ここで、過去に取得された属性情報とは、Ｓ２０２で既に取得されていると判定された属性情報である。図２（ｃ）の例では、決定部３１３は、図５の情報管理テーブルから、実オブジェクトＩＤ「ｏｂｊ００１」、性別属性「女性」、年齢属性「８」に対応する画像関連情報番号「０００２」の画像関連情報を特定する。そして、決定部３１３は、特定した画像関連情報を、情報通知端末１０１の利用者に通知する画像関連情報として決定する。また、決定部３１３は、情報管理テーブルから、情報通知端末１０１の利用者又はその利用者の同行者の属性情報に対応する画像関連情報を取得できなかった場合、以下のようにしてもよい。即ち、決定部３１３は、予め設定された画像関連情報を、情報通知端末１０１の利用者に通知する画像関連情報として決定してもよい。例えば、決定部３１３は、性別の項目と、年齢の項目と、の値が共に任意の値を意味する「＊（アスタリスク）」である画像関連情報番号「０００１」の画像関連情報を、情報通知端末１０１の利用者に通知する画像関連情報として決定する。
【００２８】
Ｓ２１０において、通知部３１４は、Ｓ２０１で取得した画像中のＳ２０７で検出された実オブジェクトに、Ｓ２０９で決定された画像関連情報を重畳させた重畳画像を生成する。通知部３１４は、情報通知端末１０１がビデオシースルー型ＨＭＤであれば、Ｓ２０１で取得した画像に画像関連情報を合成した合成画像を生成する。また、通知部３１４は、情報通知端末１０１が光学シースルー型ＨＭＤであれば、現実風景と重畳して表示される画像関連情報を含む画像を生成する。通知部３１４は、例えば、Ｓ２０７で検出された実オブジェクトに対応する位置に画像関連情報が存在し、後の部分は透明である画像を生成する。情報通知端末１０１は、このような画像を表示部に表示させることで、画像関連情報のみを、現実風景に重畳させて表示できる。また、通知部３１４は、画像関連情報を示す画像を生成し、表示位置を実オブジェクトに対応する位置にするよう情報通知端末１０１に指示することとしてもよい。
Ｓ２１１において、通知部３１４は、Ｓ２１０で生成した画像を、情報通知端末１０１に送信し、表示装置３２３に表示するよう指示する。情報通知端末１０１は、サーバ装置１００から受信した画像を、表示装置３２３に表示する。このように、通知部３１４は、情報通知端末１０１の利用者の同行者に対応する画像関連情報を、現実の風景に重畳させて表示させるよう制御する。図２（ｃ）の例では、情報通知端末１０１は、表示装置３２３に、図２（ｅ）に示す画像を表示する。
【００２９】
Ｓ２１２において、通知部３１４は、現在のモードが画像関連情報を表示するモードであるか否かを判定する。例えば、通知部３１４は、ワークメモリ３０２に記憶される現在のモードを示す情報に基づいて、画像関連情報を表示するモードであるか否かを判定する。通知部３１４は、現在のモードが画像関連情報を表示するモードであると判定した場合、Ｓ２０１の処理に進み、現在のモードが画像関連情報を表示するモードでないと判定した場合、図４の処理を終了する。
例えば、プロセッサ３２４は、入力装置３２１を介して、情報通知端末１０１の利用者から画像関連情報を表示するモードの終了指示を受付けた場合、サーバ装置１００に画像関連情報を表示するモードの終了を指示する。通知部３１４は、情報通知端末１０１から画像関連情報を表示するモードの終了が指示された場合、現在のモードを示す情報を、画像関連情報を表示するモードでなくすることで、画像関連情報を表示するモードを終了する。
以上が、本実施形態の情報通知システムが実行する画像関連情報通知処理の一例である。
【００３０】
以上、本実施形態では、情報処理システムは、情報通知端末１０１の利用者の同行者を検出し、検出した同行者の属性情報に基づいて、その利用者に通知する画像関連情報を決定し、決定した画像関連情報をその利用者に通知した。これにより、情報処理システムは、情報通知端末１０１の利用者に対して、情報通知端末１０１の利用者の同行者に応じた適切な情報を通知することができる。
【００３１】
＜実施形態２＞
実施形態１では、情報処理システムは、情報通知端末１０１の利用者の同行者自身に関する属性情報に基づいて、その同行者に応じた画像関連情報を情報通知端末１０１の利用者に通知することとした。本実施形態では、情報処理システムは、情報通知端末１０１の利用者の同行者の属性情報のうち、情報通知端末１０１の利用者との関係性を示す属性情報に基づいて、その同行者に応じた画像関連情報を情報通知端末１０１の利用者に通知する。
本実施形態の情報処理システムのシステム構成は、実施形態１と同様である。また、情報処理システムの各システム構成要素のハードウェア構成についても、実施形態１と同様である。
本実施形態では、情報通知端末１０１の利用者と、その同行者と、の関係性を示す属性情報とは、どの同行者が、その利用者にとってどのような関係にある人物であるかを示す情報である。このような個人間の関係性を示す属性情報には、例えば、「夫」「娘」「友人」「同僚」等を示す情報が挙げられる。以下では、このような個人間の関係性を示す属性情報を、関係属性情報とする。
【００３２】
図６は、サーバ装置１００の機能構成の一例である。情報通知システムのハードウェア構成の一例を示す図である。
本実施形態のサーバ装置１００は、検出部３１１、属性取得部３１２、決定部３１３、通知部３１４、特定部５０１を含む。このように、本実施形態のサーバ装置１００の機能構成は、実施形態１と比較して、特定部５０１を含む点、属性取得部３１２の処理が異なる点について異なる。
特定部５０１は、以下の参考文献４等の技術を用いて、情報通知端末１０１の撮影装置３２２により撮影された画像から検出された人物が誰であるかを特定する。
参考文献４：特開２０１２−１１８８１７号公報
属性取得部３１２は、特定部５０１により特定された人物について関係属性情報を取得する。属性取得部３１２は、例えば、特定部５０１により特定された人物の人物ＩＤを記憶装置３０３に記憶されている人物ＩＤと関係属性情報との対応情報（例えば、図７（ａ））と照合し、特定部５０１により特定された人物の関係属性情報を取得する。
【００３３】
本実施形態では、記憶装置３０３は、図７（ａ）に示すような、人物を特定する人物ＩＤと情報通知端末１０１の利用者との関係属性情報との対応情報を記憶する。また、記憶装置３０３は、図８に示すように、情報管理テーブルを、画像関連情報番号と実オブジェクトＩＤとの対応情報として記憶する。
例えば、プロセッサ３２４は、入力装置３２１を介した情報通知端末１０１の利用者による入力に基づいて、登録したい同行者の候補となる人物の顔と、その利用者との関係属性情報と、を受付ける。そして、プロセッサ３２４は、サーバ装置１００に対して、受け付けた顔と関係属性情報とを送信し、登録するよう指示する。そして、プロセッサ３０１は、指示を受付けると、受信した顔に対して人物ＩＤを付与し、付与したＩＤと受信した関係属性情報とを対応付けて、図７（ａ）の対応情報に記憶することで登録する。
図７（ｂ）は、登録の指示を受付ける受付画面の一例である。図７（ｂ）の受付画面を用いて、人物ＩＤと関係属性情報とを受付ける処理を説明する。図７（ｂ）の例では、少女の顔領域画像を娘として登録する例を示している。プロセッサ３２４は、撮影装置３２２を介して撮影された画像から人物の領域を検出し、検出した領域を受付画面に表示する。そして、プロセッサ３２４は、関係属性情報の選択欄から、情報通知端末１０１の利用者により選択された関係属性情報を、その利用者と検出された人物との関係を示す関係属性情報として決定する。そして、プロセッサ３２４は、検出した人物の領域の画像と、決定した関係属性情報と、をサーバ装置１００に送信し、登録するよう指示する。
【００３４】
本実施形態では、記憶装置３０３は、図５に示す実施形態１の場合と異なり、関係属性情報毎に、情報管理テーブルを記憶する。例えば、図８（ａ）は、関係属性情報「娘」に対応する情報管理テーブルの一例を示す図である。また、図８（ｂ）は、関係属性情報「夫」に対応する情報管理テーブルの一例を示す図である。記憶装置３０３は、本実施形態では、関係属性情報毎に分割された情報管理テーブルを記憶するが、実施形態１のように１つの情報管理テーブルを記憶することとしてもよい。その場合、情報管理テーブルには、図８に示す項目に加えて、関係属性情報を示す項目が含まれることとなる。
【００３５】
図９は、本実施形態の情報処理システムが実行する画像関連情報通知処理の一例を示すフローチャートである。図９を用いて、本実施形態の情報処理システムの処理の流れを説明する。図９の処理は、図４に示す実施形態１の処理と比べて、Ｓ２０５の処理の代わりにＳ８０１、Ｓ８０２の処理があり、Ｓ２０９の処理の代わりにＳ８０３の処理が有る点で異なる。図９の処理のうち、図４と異なる点について説明する。
Ｓ８０１において、特定部５０１は、Ｓ２０３で検出された人物の顔領域について、参考文献４等の方法を用いて顔認証を行い、画像中の人物を特定する。また、特定部５０１は、人物を特定した場合、記憶装置３０３に記憶されているＳ２０３で検出された人物が特定されたか否かを示す情報である顔認証フラグ情報の内容を、Ｓ２０３で検出された人物が特定されたことを示すように更新する。また、特定部５０１は、特定された人物の人物ＩＤをワークメモリ３０２に記憶する。
Ｓ８０２において、属性取得部３１２は、Ｓ８０１で特定された人物について、情報通知端末１０１の利用者との関係性を表す関係属性情報を取得する。属性取得部３１２は、例えば、ワークメモリ３０２に記憶されているＳ８０１で特定された人物ＩＤを用いて、図７（ａ）に示す人物ＩＤと関係属性情報との対応情報を参照し、Ｓ８０１で特定された人物ＩＤに対応する関係属性情報を取得する。図２（ｃ）の例では、属性取得部３１２は、関係属性情報「娘」を取得する。
Ｓ８０３において、決定部３１３は、Ｓ２０７で取得された実オブジェクトＩＤとＳ８０２又はＳ２０６で取得された属性情報に基づき、画像関連情報を決定する。決定部３１３は、Ｓ８０２又はＳ２０６で取得した属性情報に基づき、参照する情報管理テーブルを選択する。ここでは、決定部３１３は、関係属性情報「娘」に対応する情報管理テーブルを選択する。そして、決定部３１３は、Ｓ２０７で取得された実オブジェクトＩＤに対応する画像関連情報を決定する。ここでは、決定部３１３は、画像関連情報番号「００１０−０００１」の画像関連情報を、実オブジェクトＩＤ「ｏｂｊ００１」の実オブジェクトに重畳させて表示することで、通知することを決定する。
【００３６】
以上、本実施形態では、情報処理システムは、情報通知端末１０１の利用者と、その利用者の同行者と、の関係を示す関係属性情報に基づいて、その同行者に応じた画像関連情報を情報通知端末１０１の利用者に通知することとした。これにより、情報処理システムは、情報通知端末１０１の利用者と、その利用者の同行者と、の関係に応じて、適切な情報を通知することができる。
【００３７】
＜実施形態３＞
実施形態１、２では、情報処理システムは、情報通知端末１０１の利用者の単独の同行者の属性情報に基づいて、その同行者に応じた画像関連情報を情報通知端末１０１の利用者に通知することとした。本実施形態では、情報通知端末１０１の利用者の同行者が複数存在する場合について説明する。
本実施形態の情報処理システムのシステム構成は、実施形態２と同様である。また、情報処理システムの各システム構成要素のハードウェア構成、機能構成についても、実施形態２と同様である。
【００３８】
図１０は、本実施形態の情報処理システムの処理の一例の概要を説明する図である。
図１０に示す情報通知端末１０１と、利用者４２は、図２と同様である。
図１０（ａ）、図１０（ｂ）は、それぞれ利用者４２が図２（ｂ）に示す画面４１１を見ている際の利用者４２の同行者が異なっている状況の例を示したものである。図１０（ａ）の例では、利用者４２の近くに少女９３及び男性９４がいる。各人物の関係属性情報は、「娘」「夫」である。図１０（ｂ）では、利用者４２の近くに男性９４がいて、男性９４の関係属性情報は、「夫」である。
【００３９】
図１０（ｃ）、図１０（ｄ）は、それぞれ画面４１１に画像関連情報が重畳表示されている様子の一例を示す図である。図１０（ｃ）の画面４１１は、図１０（ａ）の関係属性情報「娘」の少女９３及び関係属性情報「夫」の男性９４と同行している場合の例で、画像関連情報４５が重畳されている。ここでは、画像関連情報９５として「５階の高級ファミリーレストランがおすすめです 」というアノテーションを示すメッセージが表示じされている。図１０（ｄ）の画面４１１は、図９（ｂ）の関係属性情報「夫」の男性９４と同行している場合の例で、画像関連情報９６が重畳されている。ここでは、画像関連情報９６として「家計にやさしいイタリアンがおすすめ」というアノテーションを示すメッセージが表示されている。
このように、本実施形態の情報処理システムは、情報通知端末１０１の利用者の同行者が複数いる場合、その複数の人物の属性に基づいて、異なる情報を通知することができる。
以上が、本実施形態の情報処理システムの処理の概要の一例である。
【００４０】
本実施形態では、記憶装置３０３は、図７（ａ）に示すような人物ＩＤと関係属性情報との対応情報、図１１に示すような情報管理テーブルを特定する情報一覧ＩＤと複数の関係属性情報との対応情報を記憶する。また、記憶装置３０３は、図１２に示すように、情報一覧ＩＤ毎に、情報管理テーブルを記憶する。
ここで、情報一覧ＩＤと複数の関係属性情報との対応情報は、複数の属性情報に対応する情報一覧ＩＤを含む。図１１の例では、関係属性情報が「夫」と「娘」であれば、対応する情報一覧ＩＤは「００１０」であり、関係属性が「夫」であれば、対応する情報一覧ＩＤは「０００２」である。また、図１２に示すように、情報管理テーブルは、情報一覧ＩＤ毎に記憶装置３０３に記憶される。図１２（ａ）の情報管理テーブルは、情報一覧ＩＤ「００１０」に対応する画像関連情報を管理する情報管理テーブルである。図１２（ｂ）の情報管理テーブルは、画像関連情報「０００２」に対応する画像関連情報を管理する情報管理テーブルである。
検出部３１１は、実施形態１で説明した方法により複数の人物を検出する。検出部３１１は、画像に対し複数人物を検出してもいし、撮影装置３２２より画像が撮影されるたびに撮影された画像から人物を検出してもよい。また、検出部３１１は、一定時間検出結果を保持し、一定時間後に再度検出してもよい。
【００４１】
特定部５０１は、検出部３１１により検出された複数の人物について、実施形態２で説明した方法により、複数の人物を特定する。
属性取得部３１２は、特定部５０１により特定された人物について、実施形態２で説明した方法で複数の人物の属性情報を取得する。
決定部３１３は、属性取得部３１２により取得された複数の人物の属性情報に基づいて、情報通知端末１０１の利用者に通知する画像関連情報を決定する。決定部３１３は、例えば、図１１の情報一覧ＩＤと複数の関係属性情報との対応情報から、属性取得部３１２により取得された複数の人物の属性情報に基づいて、対応する情報一覧ＩＤを取得する。そして、決定部３１３は、取得した情報一覧ＩＤから情報管理テーブルを選択し、選択された情報管理テーブルから画像関連情報を決定する。
【００４２】
本実施形態の情報処理システムの処理は、図９と同様である。本実施形態の情報処理システムの処理を、図９を用いて説明する。
Ｓ２０３において、検出部３１１は、実施形態１で説明した方法により、複数の人物を検出する。図１０（ａ）の例では、検出部３１１は、少女９３及び男性９４を検出する。
Ｓ８０１において、特定部５０１は、Ｓ２０３で検出部３１１により検出された複数の人物について、人物を特定する。図１０（ａ）の例では、特定部５０１は、人物ＩＤ「００１０」および「００１１」を特定し、図１０（ｂ）の例では、人物ＩＤ「００１１」を特定する。
【００４３】
Ｓ８０２において、属性取得部３１２は、Ｓ８０１で特定部５０１により特定された人物について、複数の人物の属性情報を取得する。図１０（ａ）の例では、属性取得部３１２は、関係属性情報「娘」、「夫」を取得し、図１０（ｂ）の例では関係属性情報「夫」を取得する。
Ｓ８０３において、決定部３１３は、Ｓ８０２で属性取得部３１２により取得された複数の人物の属性又はＳ２０６で取得された情報通知端末１０１の利用者の属性情報の何れかに基づき、画像関連情報を決定する。決定部３１３は、例えば、図１１に示した情報一覧ＩＤと複数の関係属性情報との対応情報から、Ｓ８０２又はＳ２０６で属性取得部３１２により取得された複数の人物の属性情報に基づいて、対応する情報一覧ＩＤを取得する。そして。決定部３１３は、図１２に示す情報一覧ＩＤ毎に記憶される情報管理テーブルから、取得した情報一覧ＩＤに対応する情報管理テーブルを特定する。決定部３１３は、図１０（ａ）の例では、属性取得部３１２により取得された関係属性情報「娘」、「夫」を用いて図１１の対応情報から情報一覧ＩＤ「００１０」を特定する。そして、決定部３１３は、特定した情報一覧ＩＤに対応する情報管理テーブルとして、図１２（ａ）の情報管理テーブルを特定する。そして、決定部３１３は、特定した情報管理テーブルから、Ｓ２０７で検出された実オブジェクトの実オブジェクトＩＤに対応する画像関連情報を、情報通知端末１０１の利用者に通知する画像関連情報として決定する。図１０（ａ）の例では、決定部３１３は、画像関連情報番号「００１０−０００１」の画像関連情報を、情報通知端末１０１の利用者に通知する情報として決定する。
【００４４】
以上、本実施形態では、情報処理システムは、情報通知端末１０１の利用者の複数の同行者の属性情報に基づいて、その利用者に通知する画像関連情報を決定することとした。これにより、情報処理システムは、同行者が複数いる場合でも、適切な情報を通知できる。
本実施形態では、情報通知端末１０１の利用者の同行者が複数いる場合について説明した。情報処理システムは、例えば、図１０（ａ）、図１０（ｂ）における情報通知端末１０１の利用者の同行者それぞれが情報通知端末の利用者である場合についても、同様の処理を行うことができる。図１０（ａ）の例では、少女９３が情報通知端末１０１を利用しているので、サーバ装置１００は、少女９３の同行者である利用者４２と男性９４について、関係属性情報「父」、「母」を取得する。そして、サーバ装置１００は、関係属性情報「父」、「母」に基づいて、少女９３に通知する画像関連情報を決定する。
また、男性９４が情報通知端末１０１を利用している場合、サーバ装置１００は、男性９４の同行者である利用者４２と少女９３とについて、関係属性情報「妻」、「娘」を取得する。そして、サーバ装置１００は、取得した関係属性情報「妻」、「娘」に基づいて、通知する情報を決定する。このように、本実施形態の情報処理システムは、複数の人物が集団としている場合でも、その集団に属する個々人全てに同一の情報を通知するのではなく、その集団に属する個々人にとって、状況に応じた最適な情報を通知することができる。
【００４５】
＜実施形態４＞
実施形態１〜３では、情報処理システムは、撮影装置３２２により撮影された画像から人物を検出することで、情報通知端末１０１の利用者の同行者を検出することとした。本実施形態では、情報処理システムは、情報通知端末１０１との間で、接続を確立した端末装置に対応する人物を情報通知端末１０１の利用者の同行者として検出する。
本実施形態の情報処理システムのシステム構成は、実施形態１と同様である。また、情報処理システムの各システム構成要素のハードウェア構成、機能構成についても、実施形態１と同様である。ただし、本実施形態では、情報処理システムは、情報通知端末１０１以外にも情報通知端末を含む。即ち、情報処理システムは、複数の情報通知端末１０１を含む。各情報通知端末は、各情報通知端末に含まれる通信装置を介して相互に通信することができる。
【００４６】
本実施形態では、情報通知端末１０１は、通信装置３２７を介して、他の情報通知端末と通信を行う。情報通知端末１０１は、どのような方法で他の情報通知端末と通信してもよいが、本実施形態では、Ｂｌｕｅｔｏｏｔｈ（登録商標）を用いて通信を行う。
情報通知端末１０１の記憶装置３２６は、情報通知端末１０１の利用者自身に関する属性情報を記憶する。本実施形態では、記憶装置３２６は、「性別」属性情報、「年齢」属性情報を記憶している。プロセッサ３２４は、入力装置３２１を介した操作に基づいて、これらの属性情報の入力を受付けて、記憶装置３２６に記憶する。情報処理システムに含まれる他の情報通知端末のそれぞれも、それぞれの記憶装置にそれぞれの情報通知端末の利用者の属性情報（本実施形態では性別、年齢）を記憶している。
プロセッサ３２４は、通信装置３２７を介して、設定された範囲（例えば、情報通知端末１０１を中心に半径１０ｍの範囲等）に存在する他の情報通知端末との接続を確立させる。プロセッサ３２４は、例えば、Ｂｌｕｅｔｏｏｔｈのペアリング技術を用いて、接続先の情報通知端末を検出する。Ｂｌｕｅｔｏｏｔｈのペアリングは予め端末情報の登録が必要である。本実施形態では、各情報通知端末は予め初回のペアリング処理を完了しておく。なお、一度ペアリング処理された端末は自動的に接続が可能である。
【００４７】
プロセッサ３２４は、接続先の情報通知端末を検出し、接続を確立した場合、接続先の情報通知端末の情報を、サーバ装置１００に送信する。検出部３１１は、情報通知端末１０１から接続先の情報通知端末の情報を受信した場合、受信した情報に対応する情報通知端末の利用者を、情報通知端末１０１の利用者の同行者として検出する。
属性取得部３１２は、情報通知端末１０１から送信された接続先の情報通知端末の情報に対応する情報通知端末から、接続先の情報通知端末の利用者の属性情報を取得する。
【００４８】
図１３は、本実施形態の情報処理システムが実行する画像関連情報通知処理の一例を示すフローチャートである。図１３のＳ２０１、Ｓ２０７、Ｓ２０９〜Ｓ２１２は、図４の場合と同様の処理である。
情報通知端末１０１のプロセッサ３２４は、通信装置３２７を介して、Ｂｌｕｅｔｏｏｔｈのペアリング技術を用いて、接続の対象となる他の情報通知端末を検出し、検出できた場合、検出した情報通知端末の情報をサーバ装置１００に送信する。
Ｓ１２０１において、検出部３１１は、情報通知端末１０１から、接続の対象となる情報通知端末が検出されたことを示す情報の受信を待機する。情報通知端末１０１のプロセッサ３２４は、設定された範囲（例えば、情報通知端末１０１を中心に半径１０ｍの範囲等）にいる情報通知端末を、近傍の情報通知端末として検出し、接続する。そして、プロセッサ３２４は、サーバ装置１００に、接続の対象となる情報通知端末が検出されたことを示す情報や接続の対象となる情報通知端末野端末ＩＤ等を送信する。検出部３１１は、接続の対象となる情報通知端末が検出されたことを示す情報を受信した場合、記憶装置３０３に記憶されている同行者検出フラグを立てておく。
Ｓ１２０２において、属性取得部３１２は、記憶装置３０３に記憶される同行者検出フラグ情報に基づいて、情報通知端末１０１の利用者の同行者が検出されたか否かを判定する。属性取得部３１２は、情報通知端末１０１の利用者の同行者が検出されたと判定した場合、Ｓ１２０３の処理に進み、情報通知端末１０１の利用者の同行者が検出されていないと判定した場合、Ｓ２０１の処理に進む。
【００４９】
Ｓ１２０３において、属性取得部３１２は、Ｓ１２０１で検出された接続先の情報通知端末と通信を行い、接続先の情報通知端末の記憶装置に保持されている、接続先の情報通知端末の利用者の属性情報を取得する。本実施形態では、属性取得部３１２は、属性情報「性別」、「年齢」を取得する。
Ｓ１２０４において、決定部３１３は、記憶装置３０３に記憶されている実オブジェクト検出フラグ情報に基づいて、Ｓ２０７で実オブジェクトを検出できたか否かを判定する。決定部３１３は、Ｓ２０７で実オブジェクトを検出できたと判定した場合、Ｓ２０９の処理に進み、Ｓ２０７で実オブジェクトを検出できなかったと判定した場合、Ｓ１２０１の処理に進む。
本実施形態では、情報処理システムは、情報通知端末１０１の利用者の単一の同行者の属性情報を取得する処理を説明した。しかし、情報処理システムは、実施形態３で説明したように、複数の同行者の属性情報を取得し、複数の属性情報から通知する画像関連情報を決定してもよい。
【００５０】
以上、本実施形態では、情報処理システムは、情報通知端末１０１との間で、接続を確立した端末装置に対応する人物を情報通知端末１０１の利用者の同行者として検出することとした。これにより、情報処理システムは、撮影装置３２２により情報通知端末１０１の利用者の同行者が撮影されない場合でも、その同行者を検出することができる。
本実施形態では、情報処理システムは、情報通知端末１０１の利用者の同行者を検出し、検出した同行者の属性情報に基づいて、情報通知端末１０１の利用者に通知する画像関連情報を決定した。しかし、情報処理システムは、情報通知端末１０１以外の他の情報通知端末の利用者の同行者を検出し、検出した同行者の属性情報に基づいて、他の情報通知端末の利用者に通知する画像関連情報を決定することもできる。
【００５１】
＜実施形態５＞
実施形態４では、情報処理システムは、情報通知端末１０１と接続を確立した接続先の情報通知端末から接続先の利用者の属性情報を取得した。本実施形態では、情報処理システムは、情報通知端末１０１と接続を確立した接続先の情報通知端末から接続先の利用者を特定し、特定した接続先の利用者の属性情報を記憶装置３０３から取得する。
本実施形態の情報処理システムのシステム構成は、実施形態５と同様である。また、情報処理システムの各システム構成要素のハードウェア構成、機能構成についても、実施形態５と同様である。
【００５２】
本実施形態の記憶装置３０３は、図１４（ａ）に示すような、情報通知端末を特定する端末ＩＤと関係属性情報との対応情報を記憶している。
例えば、プロセッサ３２４は、入力装置３２１を介した情報通知端末１０１の利用者による入力に基づいて、登録したい同行者の候補となる人物が利用する情報通知端末の端末ＩＤと、その利用者との関係属性情報と、を受付ける。そして、プロセッサ３２４は、サーバ装置１００に対して、受け付けた端末ＩＤと関係属性情報とを送信し、登録するよう指示する。そして、プロセッサ３０１は、指示を受付けると、受信した端末ＩＤと関係属性情報とを対応付けて、図１４（ａ）の対応情報に記憶することで登録する。
図１４（ｂ）は、登録の指示を受付ける受付画面の一例である。図１４（ｂ）の受付画面を用いて、端末ＩＤと関係属性情報とを受付ける処理を説明する。図１４（ｂ）の例では、接続された情報通知端末の端末ＩＤを、関係属性情報「娘」として登録する例を示している。プロセッサ３２４は、初回のＢｌｕｅｔｏｏｔｈのペアリングの際に、図１４（ｂ）に示す受付画面を提示し、ユーザからの関係属性情報の入力を受付ける。そして、プロセッサ３２４は、接続した情報通知端末野端末ＩＤと、入力された関係属性情報と、をサーバ装置１００に送信し、登録するよう指示する。
【００５３】
本実施形態では、特定部５０１は、検出部３１１により検出された情報通知端末の端末ＩＤを特定し、ワークメモリ３０２に記憶しておく。
属性取得部３１２は、ワークメモリ３０２に記憶されている端末ＩＤに基づいて、記憶装置３０３に記憶される図１４（ａ）の端末ＩＤと関係属性情報との対応情報から、対応する関係属性情報を取得する。
【００５４】
図１５は、本実施形態の情報処理システムが実行する画像関連情報通知処理の一例を示すフローチャートである。図１５の処理は、図１３の処理と比べて、Ｓ１２０３の処理の代わりにＳ１３０６、Ｓ１３０７の処理があり、Ｓ２０９の処理の代わりに、Ｓ１３０８の処理がある点で異なる。
Ｓ１３０６において、属性取得部３１２は、Ｓ１２０１で検出部３１１により検出された情報通知端末の端末ＩＤを特定し、特定した端末ＩＤをワークメモリ３０２に記憶する。
Ｓ１３０７において、属性取得部３１２は、Ｓ１３０６でワークメモリ３０２に記憶された端末ＩＤを用いて、図１４（ａ）に示すような端末ＩＤと属性情報との対応情報から、Ｓ１３０６で記憶された端末ＩＤに対応する属性情報を取得する。本実施形態では、属性取得部３１２は、関係属性情報を取得する。
Ｓ１３０８において、決定部３１３は、Ｓ２０７で取得された実オブジェクトＩＤとＳ１３０７で取得された属性情報に基づき、画像関連情報を決定する。
【００５５】
以上、本実施形態では、情報処理システムは、情報通知端末１０１と接続を確立した接続先の情報通知端末から接続先の利用者を特定し、特定した接続先の利用者の属性情報を記憶装置３０３から取得することとした。このように、情報処理システムは、情報通知端末１０１の利用者の同行者である情報通知端末１０１と接続を確立した接続先の利用者を特定することでより詳細な属性情報を取得できる。これにより、情報処理システムは、より適切な情報を通知する画像関連情報として、決定できる。
【００５６】
＜実施形態６＞
本実施形態では、サーバ装置１００と、情報通知端末１０１と、が協働して画像関連情報の通知処理を行う。本実施形態では、情報処理システムは、実施形態５と同様に、ある情報通知端末について、接続が確立された他の情報通知端末の利用者を、その情報通知端末の利用者の同行者として検出する。
図１６は、本実施形態の情報処理システムのシステム構成の一例を示す図である。本実施形態の情報処理システムは、サーバ装置１００、複数の情報通知端末１０１（１０１−１〜１０１−３）を含む。情報通知端末１０１‐１〜１０１‐３は、ネットワークを介してサーバ装置１００と接続されている。サーバ装置１００は、ネットワークを介して接続される外部記憶装置１５０１に記憶されている情報を管理する。外部記憶装置１５０１は、情報処理システムの外部の記憶装置の一例である。
サーバ装置１００、情報通知端末１０１のハードウェア構成は、実施形態１と同様である。サーバ装置１００は、属性取得部３１２、決定部３１３、特定部５０１を含む。属性取得部３１２、決定部３１３、特定部５０１は、実施形態１、実施形態２と同様である。情報通知端末１０１は、検出部３１１、通知部３１４を含む。検出部３１１、通知部３１４は、実施形態１と同様である。
【００５７】
本実施形態では、関係属性テーブルとは、人物と、その人物についての各関係属性情報に対応する人物と、の情報が対応付けて含まれる情報である。図１７（ｂ）は、関係属性テーブルの一例を示す図である。また、図１７（ａ）は、端末ＩＤと人物ＩＤとの対応情報である。本実施形態では、外部記憶装置１５０１は、図１７（ａ）は、端末ＩＤと人物ＩＤとの対応情報と、図１７（ｂ）の関係属性テーブルと、を記憶する。
端末ＩＤと人物ＩＤとの対応情報は、予めユーザにより登録させ、サーバ装置１００により外部記憶装置１５０１に登録される。サーバ装置１００は、例えば、情報通知端末１０１の初回利用時にＳＮＳのアカウントを情報通知端末１０１の利用者に入力させ、情報通知端末１０１に入力された端末ＩＤとアカウントに対応する人物ＩＤの対応付けを行うことで外部記憶装置１５０１に登録する。
【００５８】
例えば、関係属性テーブルは、人物ＩＤ「００１０」の人物にとっての「父」「母」「息子」「娘」「友人」等の関係属性項目に対応する人物ＩＤが含まれる。図１７（ｂ〉の例では、人物ＩＤ「００１０」の「父」は、人物ＩＤ「０００１」の人物である。関係属性テーブルには、人物「０００１」の「友人」項のように各関係属性項目について複数人の人物ＩＤが含まれていてもよい。また、人物ＩＤは、顔画像の認証用データが関連付けて記憶されていてもよい。
プロセッサ３０１は、関係属性テーブルを、ＳＮＳ（ソーシャルネットワーキングサービス）等予め入力された個人のデータを利用して構築する。また、プロセッサ３０１は、参考文献５に開示される技術を用いてＳＮＳユーザの人物相関情報を推定することにより、関係属性テーブルを構築してもよい。
参考文献５：特開２０１０−１６５０９７号公報
【００５９】
情報通知端末１０１それぞれの記憶装置は、それぞれの情報通知端末の端末ＩＤ（以下では、自端末ＩＤ）を記憶する。
本実施形態の特定部５０１は、情報通知端末１０１の何れかの検出部３１１により検出された接続先の端末ＩＤ（以下では、接続先端末ＩＤ）と、記憶装置３２６に記憶される自端末ＩＤに対応する人物と、を特定する。サーバ装置１００のプロセッサ３０１は、例えば、情報通知端末１０１‐１から、自端末ＩＤと情報通知端末１０１−２や１０１−３等の接続先端末ＩＤを、ネットワークを介し受信する。そして、プロセッサ３０１は、受信した自端末ＩＤと接続先端末ＩＤとから、情報通知端末１０１−１の利用者の人物ＩＤと、接続先端末の利用者の人物ＩＤと、を特定する。本実施形態では、特定部５０１は、図１７（ａ）の端末ＩＤと人物ＩＤとの対応情報に基づいて、これらの人物ＩＤを特定する。
本実施形態の属性取得部３１２は、特定部５０１により特定された自端末の利用者の人物ＩＤ（以下では、、利用者ＩＤ）と、接続先の利用者の人物ＩＤ（以下では、同行者人物ＩＤ）と、に基づいて、同行者の関係属性情報を取得する。属性取得部３１２は、例えば、利用者ＩＤに対応する関係属性テーブル内の人物ＩＤと同行者人物ＩＤとを照合し、一致する人物ＩＤの関係属性情報を取得する。属性取得部３１２は、取得された関係属性情報を、ネットワークを介して、自端末（情報通知端末１０１−１）に送信する。情報通知端末１０１−１は、自端末内のワークメモリに受信した関係属性情報を記憶する。
【００６０】
本実施形態の決定部３１３は、情報通知端末１０１−１のワークメモリ３２５に記憶されている関係属性情報に基づき、通知する画像関連情報を決定する。決定部３１３は、情報通知端末１０１−１の撮影装置３２２により撮影された利用者の視界画像と、ワークメモリ３２５に記憶されている関係属性情報とを、ネットワークを介して情報通知端末１０１−１から受信する。次に、決定部３１３は、視界画像から画像関連情報を重畳表示する対象となる実オブジェクトを検出し、実オブジェクトＩＤを取得し、実オブジェクトＩＤと同行者の属性情報とに基づいて画像関連情報を決定する。更に、決定部３１３は、決定した画像関連情報を、ネットワークを介して情報通知端末１０１−１に送信する。
通知部３１４は、利用者が見ている実世界の画像に、サーバ装置１００からネットワークを介して受信した画像関連情報を用いて、画像関連情報を重畳した重畳画像を生成し、生成した重畳画像を表示装置３２３に表示する。
【００６１】
本実施形態の情報処理システムの処理を、図１５を用いて説明する。
Ｓ１２０１において、情報通知端末１０１−１の検出部３１１は、他の情報通知端末との接続の確立を検出することで、同行者の利用する情報通知端末を検出し、検出した情報通知端末の端末ＩＤを取得する。そして、検出部３１１は、取得した端末ＩＤを、サーバ装置１００に送信する。
Ｓ１２０２において、サーバ装置１００の属性取得部３１２は、Ｓ１２０１で送信された端末ＩＤを受信したか否かに応じて、情報通知端末１０１−１の利用者の同行者が検出されたか否かを判定する。属性取得部３１２は、情報通知端末１０１−１の利用者の同行者が検出されたと判定した場合、Ｓ１３０６の処理に進み、情報通知端末１０１−１の利用者の同行者が検出されていないと判定した場合、Ｓ２０１の処理に進む。
【００６２】
Ｓ１３０６において、特定部５０１は、情報通知端末１０１−１より、自端末ＩＤと接続先端末ＩＤとを、ネットワークを介し受信し、受信した各ＩＤと外部記憶装置１５０１に記憶される端末ＩＤと人物ＩＤとの対応情報（図１７（ａ））から人物ＩＤを特定する。特定部５０１は、例えば、情報通知端末１０１−１の自端末ＩＤが「ａａａ０００３」で接続先端末ＩＤが「ａａａ０００１」であれば、情報通知端末１０１−１の利用者の人物ＩＤ、及び接続先端末の利用者の人物ＩＤを「０００１」と「００１０」と特定する。
Ｓ１３０７において、属性取得部３１２は、Ｓ１３０６で特定された人物について、関係属性テーブル（図１７（ｂ））を用いて、接続先端末の利用者である同行者の関係属性情報を取得する。属性取得部３１２は、利用者ＩＤに対応する関係属性テーブル内の人物ＩＤと同行者人物ＩＤを照合し、一致する人物ＩＤの関係属性情報を取得する。属性取得部３１２は、例えば、情報通知端末１０１−１の利用者の人物ＩＤが「０００１」である場合、『「父」：０１０９；「母」：０１１０；・・・』という人物ＩＤのリストと、同行者人物ＩＤ「００１０」とを照合し一致する関係属性情報を取得する。ここでは、関係属性「娘」の人物ＩＤが一致するので、属性取得部３１２は、関係属性情報「娘」を取得する。属性取得部３１２は、取得した属性情報を、情報通知端末１０１−１へ送信し、ワークメモリ３２５に記憶させる。
【００６３】
Ｓ２０１において、プロセッサ３２４は、撮影装置３２２を介して、情報通知端末１０１−１の利用者の視界を撮影する。本実施形態では、メガネ型端末である情報通知端末１０１−１に含まれるカメラにより撮影される。プロセッサ３２４は、撮影された画像を、ワークメモリ３２５に記憶される属性情報と共にネットワークを介してサーバ装置１００送信する。
Ｓ２０７において、決定部３１３は、情報通知端末１０１−１から受信した画像から画像関連情報を重畳表示する対象となる実オブジェクトを検出する。
Ｓ１２０４の処理は、実施形態５と同様である。
Ｓ１３０８において、決定部３１３は、Ｓ２０７で取得した実オブジェクトＩＤと、情報通知端末１０１−１から受信した属性情報とに基づいて、画像関連情報を決定する。決定部３１３は、決定した画像関連情報を、ネットワークを介して情報通知端末１０１−１へ送信する。
Ｓ２１０において、情報通知端末１０１−１の通知部３１４は、Ｓ２０１で撮影された画像に、サーバ装置１００から受信した画像関連情報を重畳した重畳画像を生成する。
Ｓ２１１において、通知部３１４は、Ｓ２１０で生成された重畳画像を、表示装置３２３に表示する。
Ｓ２１２の処理は、実施形態５と同様である。
【００６４】
以上、本実施形態の処理により、情報処理システムは、サーバ装置１００と、情報通知端末１０１と、を協働させることで、互いの処理の負担を軽減できる。
【００６５】
＜実施形態７＞
本実施形態では、情報処理システムは、予め記憶された画像に対して、情報通知端末１０１の利用者から指定された属性情報に基づいて決定される画像関連情報を通知する。
本実施形態の情報処理システムのシステム構成は、実施形態１と同様である。また、情報処理システムの各システム構成要素のハードウェア構成、機能構成についても、実施形態１と同様である。本実施形態では、サーバ装置１００は、検出部３１１を含まなくてもよい。
【００６６】
本実施形態では、情報通知端末１０１は、液晶ディスプレイ等を有する画面表示が可能な端末であり、携帯電話、スマートフォン等である。情報通知端末１０１は、撮影装置３２２を含んでもよいし、含まなくてもよい。
記憶装置３０３は、複数の画像データを記憶する。本実施形態では、記憶装置３０３に記憶される画像データは、通信装置３０４を介してネットワークを介して取得された画像データであるとする。
属性取得部３１２は、情報通知端末１０１の利用者の属性情報を取得する。情報通知端末１０１のプロセッサ３２４は、例えば、入力装置３２１を介した情報通知端末１０１の利用者による操作に基づいて、その利用者の属性情報の入力を受付ける。そして、プロセッサ３２４は、受け付けた属性情報を、サーバ装置１００に送信する。そして、プロセッサ３０１は、受信した属性情報を、記憶装置３０３に記憶する。これにより、属性取得部３１２は、記憶装置３０３から、情報通知端末１０１の利用者の属性情報を取得できるようになる。
【００６７】
決定部３１３は、属性取得部３１２により取得された情報通知端末１０１の利用者の属性情報に基づいて通知する画像関連情報を決定する。まず、決定部３１３は、記憶装置３０３に記憶御されている画像データのうち、特定の画像データから、通知する画像関連情報に対応する実オブジェクトを検出し、実オブジェクトＩＤを取得する。次に、決定部３１３は、取得した実オブジェクトＩＤと情報通知端末１０１の利用者の属性情報とに基づいて画像関連情報を決定する。
本実施形態では、通知部３１４は、表示する画像データに関する画像関連情報を、情報通知端末１０１のスピーカ等の音声出力部を介して、情報通知端末１０１の利用者に音声で通知する。本実施形態では、通知部３１４は、音声により通知するが、画像関連情報を通知する方法はどのようなものでもよく、ディスプレイの一部を通知領域とし、通知領域に画像関連情報を表示してもよい。
【００６８】
図１８は、本実施形態の情報処理システムが実行する画像関連情報通知処理の一例を示すフローチャートである。
Ｓ１７０１において、属性取得部３１２は、記憶装置３０３に記憶される画像データの中から特定の画像データを決定する。属性取得部３１２は、例えば、記憶装置３０３に記憶されている画像データを順次１つずつ決定していく。属性取得部３１２は、情報通知端末１０１から画像の指定を受信して、受信した指定が示す画像データを特定の画像データとして決定してもよい。
Ｓ１７０２において、属性取得部３１２は、情報通知端末１０１の利用者の属性情報を取得する。
【００６９】
Ｓ１７０３において、決定部３１３は、Ｓ１７０１で決定された画像データから画像関連情報を通知する対象となる実オブジェクトを検出し、検出した実オブジェクトの実オブジェクトＩＤを取得する。そして、決定部３１３は、取得した実オブジェクトＩＤと情報通知端末１０１の利用者の属性情報とに基づいて画像関連情報を決定する。また、決定部３１３は、実オブジェクトを検出した場合、記憶装置３０３に記憶されている実オブジェクト検出フラグ情報の内容を、実オブジェクトが検出されたことを示すように更新する。
Ｓ１７０４において、決定部３１３は、Ｓ１７０３で実オブジェクトを検出したか否かを、実オブジェクト検出フラグ情報に基づいて、判定する。決定部３１３は、Ｓ１７０３で実オブジェクトを検出したと判定した場合、Ｓ１７０５の処理に進み、Ｓ１７０３で実オブジェクトを検出していないと判定した場合、Ｓ１７０７の処理に進む。
Ｓ１７０５において、決定部３１３は、Ｓ１７０３で取得した実オブジェクトＩＤとＳ１７０２で取得された属性情報とに基づき、通知する画像関連情報を決定する。
【００７０】
Ｓ１７０６において、通知部３１４は、情報通知端末１０１に対して、表示装置３２３にＳ１７０１で決定された画像データを表示し、Ｓ１７０５で決定された画像関連情報を音声により出力するように指示を行う。プロセッサ３２４は、Ｓ１７０１で決定された画像データを表示し、Ｓ１７０５で決定された画像関連情報を音声により出力することで、情報通知端末１０１の利用者に対して画像関連情報を通知する。
Ｓ１７０７において、通知部３１４は、情報通知端末１０１に対して、表示装置３２３にＳ１７０１で決定された画像データを表示するよう指示する。そして、プロセッサ３２４は、Ｓ１７０１で決定された画像データを表示する。
Ｓ１７０８において、通知部３１４は、画像表示終了か否かを判定する。通知部３１４は、例えば、記憶装置３０３に記憶される画像データの全てについて、Ｓ１７０１で決定されたか否かを判定する。通知部３１４は、記憶装置３０３に記憶される画像データの全てについて、Ｓ１７０１で決定された場合、画像表示終了と判定する。また、通知部３１４は、記憶装置３０３に記憶される画像データの中にＳ１７０１で決定され邸内ものがある場合、画像表示継続と判定する。通知部３１４は、画像表示終了と判定した場合、図１８の処理を終了し、画像表示継続と判定した場合、Ｓ１７０１の処理に進む。
【００７１】
以上、本実施形態の処理により、情報処理システムは、予め記憶された画像データについても、適切な画像関連情報を通知できる。
【００７２】
＜実施形態８＞
実施形態１〜７では、サーバ装置１００が、単独で、又は、情報通知端末１０１と協働して、図４、９、１３、１５、１６の処理を実行することとした。本実施形態では、情報通知端末１０１が、単独で、図４、９、１３、１５、１６の処理を実行することとする。
本実施形態の情報処理システムは、情報通知端末１０１を含む。情報通知端末１０１のハードウェア構成は、実施形態１と同様である。
本実施形態では、情報通知端末１０１の記憶装置３２６は、各種人物の属性情報、情報通知端末１０１の特定情報、各種フラグ情報、各種画像関連情報、各種対応情報、各種テーブル等を記憶する。プロセッサ３２４は、図４、９、１３、１５、１８のフローチャートの処理の実行中に、記憶装置３２６から、これらの情報を読込み利用することとなる。
本実施形態では、プロセッサ３２４が、記憶装置３２６に記憶されるプログラムに基づき処理を実行することで、図３（ｂ）、図６の機能、図４、９、１３、１５、１６のフローチャートの処理等が実現される。
【００７３】
以上、本実施形態では、情報通知端末１０１が、単独で、情報通知端末１０１の利用者の同行者を検出し、検出した同行者の属性情報を取得し、取得した属性情報に基づいて、通知する画像関連情報を決定し、通知した。これにより、情報処理システムは、サーバ装置１００と、情報通知端末１０１と、の間の通信量を低減できる。
【００７４】
＜その他の実施形態＞
実施形態１〜８では、サーバ装置１００は、単体の情報処理装置であるとした。しかし、サーバ装置１００は、複数の情報処理装置で構成されることとしてもよい。その場合、各情報処理装置のプロセッサが、各情報処理装置の記憶装置に記憶されるプログラムに基づき連携して処理を実行することで、図３（ｂ）、図６で後述する機能、図４、９、１３、１４、１８で後述するフローチャートの処理等が実現される。
実施形態１では、情報処理システムは、実オブジェクトに重畳して、画像関連情報を表示させることとした。しかし、情報処理システムは、実オブジェクトに重畳させずに、画像関連情報を表示させることとしてもよい。
【００７５】
実施形態１では、情報処理システムは、情報通知端末１０１により撮影された画像から検出された人物の顔の領域に基づいて、情報通知端末１０１の利用者の同行者の属性情報を取得した。しかし、情報処理システムは、情報通知端末１０１により撮影された画像から検出された人物の顔以外の領域に基づいて、情報通知端末１０１の利用者の同行者の属性情報を取得してもよい。例えば、情報処理システムは、情報通知端末１０１により撮影された画像から検出された人物の顔以外の領域に女性用の服飾店が多数写っている場合、同行者の性別の属性情報を「女性」と推定して取得してもよい。
実施形態１〜８では、記憶装置３０３又は記憶装置３２６が、以下の情報を記憶するとした。即ち、記憶装置３０３又は記憶装置３２６が、各種属性情報、各種フラグ情報、各種画像関連情報、情報管理テーブル、人物ＩＤと関係属性情報との対応情報、情報管理テーブルと属性情報との対応情報、端末ＩＤと関係属性情報との対応情報等を記憶するとした。しかし、情報処理システムの外部の記憶装置やサーバ装置１００に接続される外付けの記憶装置が、これらの情報を記憶することとしてもよい。その場合、情報処理システムは、これらの記憶装置から、これらの情報を取得することとなる。
【００７６】
実施形態１では、情報処理システムは、撮影装置３２２により撮影された画像中の設定された閾値以上のサイズの人物の顔を、同行者の顔として検出した。しかし、一度画像から検出された人物が、必ずしも情報通知端末１０１の利用者と行動を共にしている人物であるとは限らない。そこで、情報処理システムは、設定された期間内に設定された回数以上検出された人物を情報通知端末１０１の利用者の同行者として決定してもよい。この場合、情報処理システムは、顔認証技術を用いて、一度検出した顔の認証データを記憶装置３０３等に記憶し、検出の度に、検出結果と記憶した認証データとを比較判定することで一度検出した顔か否か判定する。そして、情報処理システムは、顔の出現回数を加算することで設定された回数以上検出しされたか否かを判定する。
実施形態１では、サーバ装置１００は、Ｓ２０３で情報通知端末１０１の利用者の同行者を検出し、検出できなかった場合にＳ２０６で情報通知端末１０１の利用者の属性情報を取得することとした。しかし、サーバ装置１００は、情報通知端末１０１からの指示に応じて、情報通知端末１０１の利用者の同行者の属性情報に応じた画像関連情報を表示するモードである同行者モードの切り替えを行うこととしてもよい。サーバ装置１００は、同行者モードの場合、情報通知端末１０１の利用者の同行者の属性情報に基づいて、その利用者に通知する画像関連情報を決定する。また、サーバ装置１００は、同行者モードでない場合、情報通知端末１０１の利用者の属性情報に基づいて、その利用者に通知する画像関連情報を決定する。情報通知端末１０１は、入力装置３２１を介した情報通知端末１０１の利用者の操作に基づいて、同行者モードの切り替え指示をサーバ装置１００に送信する。
【００７７】
実施形態３では、情報処理システムは、情報通知端末１０１の利用者の複数の同行者の属性情報を取得することとした。しかし、情報処理システムは、情報通知端末１０１の利用者の複数の同行者の属性情報に加えて、その利用者の属性情報に基づいて、その利用者に通知する画像関連情報を決定してもよい。
実施形態１乃至６では、情報処理システムは、ウェアラブル端末である情報通知端末１０１を介して画像関連情報を重畳表示する場合について説明した。しかし、情報処理システムは、例えば、スマートフォンやカメラである情報通知端末１０１を介して、実世界の風景に重畳して画像関連情報を表示してもよい。また、情報処理システムは、実世界に限らず、仮想世界の風景に重畳して、画像関連情報を表示することとしてもよい。
【００７８】
実施形態６では、情報処理システムは、関係属性情報の記憶された関係属性テーブルを利用して属性を取得することとした。しかし、情報処理システムは、性別や年齢等の人物自身の属性情報が保持されたテーブルを利用して属性情報を取得してもよい。また、実施形態２〜５の属性取得部３１２は、外部の記憶装置に記憶される、これらのテーブルを利用して属性情報を取得するようにしてもよい。
実施形態７では、情報処理システムが情報通知端末１０１の利用者の属性情報を取得する例を説明した。しかし、情報処理システムは、記憶装置３０３に記憶される画像データのＥｘｉｆデータを用いて、特定の画像データの撮影時刻の前後に撮影された別の画像に写っている人物を同行者として検出し、同行者自身の属性情報を画像から推定することで取得してもよい。または、情報処理システムは、人物認証により情報通知端末１０１の利用者の同行者を特定し、特定された人物の関係属性情報を取得してもよい。
【００７９】
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００８０】
例えば、上述した情報処理システムの機能構成の一部又は全てをハードウェアとしてサーバ装置１００又は情報通知端末１０１に実装してもよい。
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではない。上述した各実施形態を任意に組み合わせてもよい。
【符号の説明】
【００８１】
１００  サーバ装置
１０１  情報通知端末
３０１  プロセッサ
【図１】
2018163456.tif 000003
【図２】
2018163456.tif 000004
【図３】
2018163456.tif 000005
【図４】
2018163456.tif 000006
【図５】
2018163456.tif 000007
【図６】
2018163456.tif 000008
【図７】
2018163456.tif 000009
【図８】
2018163456.tif 000010
【図９】
2018163456.tif 000011
【図１０】
2018163456.tif 000012
【図１１】
2018163456.tif 000013
【図１２】
2018163456.tif 000014
【図１３】
2018163456.tif 000015
【図１４】
2018163456.tif 000016
【図１５】
2018163456.tif 000017
【図１６】
2018163456.tif 000018
【図１７】
2018163456.tif 000019
【図１８】
2018163456.tif 000020