(57)【要約】【課題】ユーザとその同行者を含むグループ構成に適した撮影場所の情報を提供することができるガイド装置、ガイド方法およびガイドプログラムを提供する。【解決手段】ガイド装置は画像データに含まれる複数の被写体の特徴を示す情報を検出する検出部２７１と、検出部が検出した情報に基づいて前記複数の被写体の構成を判定する判定部と、複数の被写体の構成に応じた画像データの関連情報を含むガイド情報を生成するガイド情報生成部２８１と、を備える。【選択図】図１
2017212609.tif 000002
【特許請求の範囲】
【請求項１】
画像データに含まれる複数の被写体の特徴を示す情報を検出する検出部と、
前記検出部が検出した情報に基づいて前記複数の被写体の構成を判定する判定部と、
前記複数の被写体の構成に応じた前記画像データの関連情報を含むガイド情報を生成するガイド情報生成部と、
を備えたことを特徴とするガイド装置。
【請求項２】
前記判定部は、
前記検出部が検出した情報に基づいて前記複数の被写体の中で優先すべき優先要素を判定し、
前記優先要素に応じて前記関連情報の抽出基準を生成し、
前記関連情報は、前記抽出基準にしたがって抽出されたものであることを特徴とする請求項１に記載のガイド装置。
【請求項３】
複数の画像データを管理する画像管理サーバと通信ネットワークを介して通信可能に接続されてなり、
前記抽出基準および前記関連情報の送信要求を前記画像管理サーバへ送信する一方、前記画像管理サーバから前記関連情報を受信する通信部をさらに備えたことを特徴とする請求項２に記載のガイド装置。
【請求項４】
画像データを表示する表示装置と通信ネットワークを介して通信可能に接続されてなり、
前記抽出基準にしたがって前記関連情報を抽出する抽出部と、
前記ガイド情報の送信要求を前記表示装置から受信する一方、前記ガイド情報を前記表示装置へ送信する通信部と、
をさらに備えたことを特徴とする請求項２に記載のガイド装置。
【請求項５】
前記表示装置は、被写体を撮像して前記画像データを生成する撮像部を備え、
前記通信部は、
前記表示装置から前記画像データを受信することを特徴とする請求項４に記載のガイド装置。
【請求項６】
前記抽出基準を作成するための抽出情報を記憶する抽出情報記憶部をさらに備えたことを特徴とする請求項２〜５のいずれか一項に記載のガイド装置。
【請求項７】
画像データに含まれる複数の被写体の特徴を示す情報を検出する検出ステップと、
前記検出ステップで検出した情報を記憶部から読み出して前記複数の被写体の構成を判定する判定ステップと、
前記複数の被写体の構成に応じた前記画像データの関連情報を含むガイド情報を生成するガイド情報生成ステップと、
を有することを特徴とするガイド方法。
【請求項８】
画像データに含まれる複数の被写体の特徴を示す情報を検出する検出ステップと、
前記検出ステップで検出した情報を記憶部から読み出して前記複数の被写体の構成を判定する判定ステップと、
前記複数の被写体の構成に応じた前記画像データの関連情報を含むガイド情報を生成するガイド情報生成ステップと、
を有することを特徴とするガイドプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ガイド装置、ガイド方法およびガイドプログラムに関する。
【背景技術】
【０００２】
近年、デジタルカメラ等の撮像装置において、通信技術を用いて、外部のサーバから各種情報を取得する技術が知られている。例えば、特許文献１には、撮像装置の現在位置付近で好適な撮影場所のアドバイスをサーバから受信する技術が開示されている。より具体的には、特許文献１に記載の技術では、撮像装置が自身の位置情報をサーバに送信すると、サーバは受信した位置情報に基づいて、データベースに保持された撮影推奨情報から当該撮像装置の現在位置付近の好適な撮影場所を抽出し、抽出した撮影場所に関する情報を撮像装置に送信する。撮影場所に関する情報を受信した撮像装置は、その撮影場所を音声等によって報知する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−４５３９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した技術では、撮像装置のユーザとその同行者を含むグループの構成を考慮して、そのグループに適したガイド情報を提供することはできなかった。
【０００５】
本発明は、上記に鑑みてなされたものであって、ユーザとその同行者を含むグループ構成に適したガイド情報を提供することができるガイド装置、ガイド方法およびガイドプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明に係るガイド装置は、画像データに含まれる複数の被写体の特徴を示す情報を検出する検出部と、前記検出部が検出した情報に基づいて前記複数の被写体の構成を判定する判定部と、前記複数の被写体の構成に応じた前記画像データの関連情報を含むガイド情報を生成するガイド情報生成部と、を備えたことを特徴とする。
【０００７】
本発明に係るガイド方法は、画像データに含まれる複数の被写体の特徴を示す情報を検出する検出ステップと、前記検出ステップで検出した情報を記憶部から読み出して前記複数の被写体の構成を判定する判定ステップと、前記複数の被写体の構成に応じた前記画像データの関連情報を含むガイド情報を生成するガイド情報生成ステップと、を有することを特徴とする。
【０００８】
本発明に係るガイドプログラムは、画像データに含まれる複数の被写体の特徴を示す情報を検出する検出ステップと、前記検出ステップで検出した情報を記憶部から読み出して前記複数の被写体の構成を判定する判定ステップと、前記複数の被写体の構成に応じた前記画像データの関連情報を含むガイド情報を生成するガイド情報生成ステップと、を有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、ユーザとその同行者を含むグループ構成に適したガイド情報を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】図１は、本発明の実施の形態１に係るガイド装置を備えた通信システムの機能構成を示すブロック図である。
【図２】図２は、抽出情報記憶部が記憶する抽出情報としての抽出用テーブルの構成を模式的に示す図である。
【図３】図３は、本発明の実施の形態１において撮像装置が行う処理の概要を示すフローチャートである。
【図４】図４は、本発明の実施の形態１において撮像装置が行うガイド画像表示処理の概要を示すフローチャートである。
【図５】図５は、関連画像データの類別方法の概要を説明するための図である。
【図６】図６は、ガイド情報生成部が行うガイド情報生成処理の概要を示すフローチャートである。
【図７】図７は、ガイド画像の例を示す図である。
【図８Ａ】図８Ａは、ガイド画像の表示変更処理を説明する図（その１）である。
【図８Ｂ】図８Ｂは、ガイド画像の表示変更処理を説明する図（その２）である。
【図９】図９は、本発明の実施の形態１において画像管理サーバが行う処理の概要を示すフローチャートである。
【図１０】図１０は、本発明の実施の形態２に係るガイド装置を備えた通信システムの機能構成を示すブロック図である。
【図１１】図１１は、本発明の実施の形態２において撮像装置が行うガイド画像表示処理の概要を示すフローチャートである。
【図１２】図１２は、本発明の実施の形態２において画像管理サーバが行う処理の概要を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下に、添付図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）を説明する。
【００１２】
（実施の形態１）
本発明の実施の形態１においては、ユーザにガイド情報を出力するために、過去に撮影された画像データを参照して、ユーザと行動を共にするグループのメンバー構成を推測し、ユーザが関係するグループの特性情報やハンディキャップ情報を得て、その情報に基づいてユーザにガイド情報を出力する。以下、具体的な機能及び構成を説明する。
【００１３】
図１は、本発明の実施の形態１に係るガイド装置を備えた通信システムの機能構成を示すブロック図である。同図に示す通信システム１は、被写体を撮像して画像データを生成する撮像装置２と、撮像装置２と通信ネットワークＮを介して通信可能に接続され、画像データを管理する画像管理サーバ３と、を備える。通信ネットワークＮは、例えばＬＡＮ（Local  Area  Network）、ＷＡＮ（Wide  Area  Network）、既存の公衆回線網等の一または複数の組み合わせによって実現されるものであり、有線、無線を問わない。
【００１４】
まず、撮像装置２の機能構成を説明する。撮像装置２は、被写体を撮像して画像データを生成する撮像部２１と、撮像装置２の位置情報を取得する位置情報取得部２２と、計時機能を有するとともに撮像部２１が撮像した日時に関する日時情報を生成する機能を有する時計部２３と、撮像装置２の操作指示信号を含む各種信号の入力を受け付ける入力部２４と、画像データを含む各種情報を表示する表示部２５と、画像管理サーバ３との間で通信を行う通信部２６と、撮像装置２の動作を制御する制御部２７と、撮像装置２の動作に関連する各種情報を記憶する記憶部２８と、を有する。撮像装置２は、本実施の形態１に係るガイド装置としての機能を具備する。
【００１５】
撮像部２１は、被写体像を結像する光学系と、該光学系が結像した被写体像を受光して光電変換を行うことによって被写体の画像データを生成するＣＣＤ（Charge  Coupled  Device）またはＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）等の撮像素子と、光学系が集光した光の入射量を制限することにより露出の調整を行う絞りと、撮像素子の状態を露光状態または遮光状態に設定するシャッタと、を有する。なお、撮像部２１は、ユーザ自身を撮像するためのインカメラを有していてもよい。撮像部２１は、近年普及している全方位カメラでもよい。また、監視カメラやパソコンのカメラのように、行動監視用のカメラもあり、これらの画像を適用してもよい。従って、画像信号を通信で取得すれば良いので、本実施の形態１に係るガイド装置は、有線、無線通信を行って画像データを取得する画像信号取得部を備えていればよく、必ずしも撮像装置の部分を一体の構成で持つ必要はない。
【００１６】
位置情報取得部２２は、地上の物体の位置を測定するＧＰＳ（Global  Positioning  System）を構成する複数のＧＰＳ衛星から送信されてくる情報を受信し、この受信した情報に基づいて撮像装置２の現在位置（撮影位置）を示す緯度および経度の情報（以下、撮影位置情報という）を取得する。なお、撮影位置情報の取得方法はこの技術に限定されるものではなく、例えば各種衛星を使った位置測定方法を利用してもよいし、無線基地局等からの情報を用いた位置測定方法を利用してもよい。また、位置情報取得部２２が取得する撮影位置情報は、加速度センサや地磁気センサや地図情報等に基づいて、特定の位置からの移動を検出して得られる相対的な位置情報であってもよい。また、撮像装置２を顕微鏡に応用する場合には、標本を載置するステージの移動に基づいて撮影位置情報を取得してもよい。また、撮像装置２が医療用内視鏡である場合には、磁界を発生させて撮影位置情報を取得してもよいし、内視鏡の臓器内での移動距離等を用いて撮影位置情報を取得してもよい。さらには、撮影画像の履歴から、観察部位の変化を分析して位置判定してもよい。この場合、実験室のパソコンに設けられたカメラや、手術室を監視するカメラによって得られた画像情報を取得してユーザのプロフィールを判定してもよい。
【００１７】
入力部２４は、表示部２５の画面上に重ねて設けられ、外部からの物体の接触を検知して信号の入力を受け付けるタッチパネル、静止画撮影を指示するレリーズ指示信号の入力を受け付けるレリーズスイッチ、動画撮影の開始および終了を指示する動画スイッチ、ならびに電源のオンオフの入力を受け付ける電源スイッチ等を含む。入力部２４は、撮影や電源のオンオフに関する指示入力の他、撮影モード、ガイドモード、および再生モード等の各種モードの設定指示信号の入力等を受け付ける。
【００１８】
表示部２５は、液晶または有機ＥＬ（Electro  Luminescence）等からなる表示パネルを用いて構成される。なお、表示部２５がウェアラブル表示装置のような別体の構成を有していてもよい。この場合には、表示部２５に無線転送された画像をユーザが確認する。
【００１９】
制御部２７は、検出部２７１と、判定部２７２と、ガイド情報生成部２７３と、を有する。制御部２７は、ＣＰＵ（Central  Processing  Unit）等の汎用プロセッサを用いて構成される。
【００２０】
検出部２７１は、画像データに含まれる複数の被写体の特徴を示す情報として、撮像部２１が撮影した画像に写っている人の顔を検出するとともに、その顔が有する髪の毛の色や形状、顔表面のしわの数、顔の表情等の情報を抽出することにより、その顔の特性情報を検出して記憶部２８へ書き込んで記憶させる。ここでいう顔の特性情報とは、例えば年齢、性別、疲労度等の情報である。検出部２７１は、位置情報取得部２２が取得した位置情報を用いて撮像装置２の所定期間（例えば日付が変わってからの期間）の移動距離を算出し、算出した移動距離の情報を加えて疲労度を検出してもよい。また、撮像装置２にユーザの歩数を計測するような加速度センサを具備させれば、検出部２７１がその歩数の情報を加えてユーザの疲労度を検出することも可能である。疲労度は、笑顔であるかどうかといった、表情や、顔色、皺、汗の画像、声、動きなどによって類推可能である。なお、検出部２７１が、人以外の動物や置物等の被写体の顔およびその特性情報をさらに検出するようにしてもよい。また、撮像部２１が撮影者を撮影する専用カメラ（インカメラ）を有する場合には、検出部２７１がユーザ自身の顔およびその特性情報を検出するようにしてもよい。
【００２１】
なお、画像データに含まれる複数の被写体の特徴を示す情報は、顔や顔の特性情報に限られるわけではない。ここでは、ユーザにガイド情報を出す時に、過去に撮影された画像を参照して、行動を共にするグループのメンバー構成を推測し、ユーザが関係するグループの特性情報を得るために、その人の顔の特徴や疲労度などを最もよく示している顔の情報を利用することをまず記載したが、複数の被写体の特徴を示す情報として、年齢や疲労度も含めて被写体の少なくとも一部がハンディキャップを有するか否かを検出してもよい。この場合、検出部２７１は、特定の人体に接する機材、道具の特徴によって、杖や車いす、補聴器等の補助ツールを判定する。また、検出部２７１が検出対象とする「撮影した画像」は、あらかじめ撮影した静止画や動画であってもよい。動画の場合、検出部２７１は、歩き方など身のこなしを検出して、ハンディキャップ等、身体能力や疲労度など、表示部２５にガイド情報を出力（表示）する人物グループの制約情報を判定することができる。また、検出する画像としては単独の画像である必要はなく、行動を共にしているグループのメンバーを把握するために、同じ時間帯に撮影された複数の画像を参照するようにしてもよい。必要に応じて、動画撮影する時に集音するマイクなどの収音部での音声認識結果を反映してもよい。また、検出部２７１は、人物に限らず、必要に応じて盲導犬などの検出を行ってもよい。その場合にも、グループや状況に配慮されたガイドが出されるのでよい。さらに、検出部２７１は、年齢などを含め、ハンディキャップの有る人以外で、介助が可能そうな人物を顔や身長（顔の位置）や体格（顔と身体の比率等）や、見て取れる疲労度から身体の特徴を検出して介助可能者と判定をしてもよい。
【００２２】
判定部２７２は、検出部２７１の検出結果を記憶部２８から読み出し、この検出結果を用いて画像の優先要素を判定し、その優先要素と画像の撮影情報に基づいて関連画像の抽出基準を作成する。ここでいう優先要素とは、画像に複数の人が写っている場合、抽出基準作成の際に優先すべき人のことである。また、撮影情報とは、撮影位置情報および撮影日時情報を含む情報である。抽出基準を作成する際、判定部２７２は、後述する抽出用テーブルを参照して優先要素に応じた抽出基準を決定する。なお、検出部２７１が人以外の動物や置物等の被写体の顔およびその特性情報も検出する場合、判定部２７２は、それらの被写体も含めて優先要素を判定する。優先要素は、例えば画像に含まれる各被写体の特性または被写体間の相互関係に応じて定まる。優先要素は、年齢による行動の制約やハンディキャップ情報などを考慮して決定する必要がある。単独の人物では、その人の特性のみを判定すればよいが、グループであれば、ハンディキャップのある人と、それを補助する人の割合などが、重要なファクターとなる。ハンディキャップのある人を、例えば複数がかりで補助できるなら、ハンディキャップのある集団と考えないで済むケースもある。また、いくら補助者がいても、赤ちゃんや高齢者が含まれている場合には、こまめな休息が必要であり、グループで行動する場合、こうしたファクターが重要となる。また、介助犬などが含まれる場合には、介助犬を受入可能かどうかといったファクターが考慮されなければならない。
【００２３】
ガイド情報生成部２７３は、判定部２７２が決定した抽出基準に基づいて画像管理サーバ３によって抽出され、撮像装置２に送信されてきた関連画像データを用いてガイド情報を生成する。ガイド情報生成部２７３は、ガイド情報を生成する際に、過去に撮影された画像を参照して、行動を共にするグループのメンバー構成を推測し、ユーザが関係するグループの特性情報を得る。
【００２４】
記憶部２８は、各種画像データを記憶する画像データ記憶部２８１と、判定部２７２が関連画像の抽出基準を決定する際に参照する抽出情報を記憶する抽出情報記憶部２８２と、撮像装置２の各種動作を実行するための各種プログラム（本実施の形態１に係るガイドプログラムを含む）を記憶するプログラム記憶部２８３とを有する。記憶部２８は、ＲＡＭ（Random  Access  Memory）等の揮発性メモリおよびＲＯＭ（Read  Only  Memory）等の不揮発性メモリを用いて構成される。
【００２５】
図２は、抽出情報記憶部２８２が記憶する抽出情報としての抽出用テーブルの構成を模式的に示す図である。同図に示す抽出用テーブルＴｂは、優先要素ごとに関連画像を抽出する場所情報を定義するとともに、所定の基準位置に対して関連画像の抽出範囲を規定する基準距離／基準時間を定義する。ここでいう基準位置とは、例えば撮像装置２が撮影した最新の画像の撮影位置、または所定期間内に撮影した複数の画像の撮影位置から算出される位置である。後者の場合の基準位置は、例えば複数の画像の撮影位置の緯度、経度の平均である。
【００２６】
判定部２７２が優先要素を判定する際の優先順位は予め設定されており、図２に示す抽出用テーブルＴｂでは、年齢層が低い要素ほど優先順位が高く設定されている。なお、画像中に占める割合が多い年齢層ほど優先順位を高く設定してもよい。ユーザにガイド情報を出す時に、過去に撮影された画像を参照して、行動を共にするグループのメンバー構成を推測し、ユーザが関係するグループの特性情報やハンディキャップ情報を得て、それによってユーザにガイドを出すために、本実施の形態１では、例えば年齢を基準として単純化した場合を例示している。最も優先すべき対象を「赤ちゃん」としているのは、年配者は赤ちゃんを見守る等、最低限の介助が可能である一方で、赤ちゃんは年配者の見守りを行うことが出来ない等の考え方によっている。赤ちゃんや幼児のためになら、労を惜しまない祖父母のメンタル的な側面も考慮されたものであるが、もちろん、これは一例に過ぎず、必ずしも、ここに記載した例が優先順位の設定方法のすべてではない。すなわち、優先順位の設定は、上述した単純化したものに限られず、グループの総数、構成するメンバーの特徴および比率等の条件に従って、より詳細な順位付けを設定して抽出情報記憶部２８２に記憶させておくことももちろん可能である。
【００２７】
抽出用テーブルＴｂの情報は、優先要素を含むグループの行動特性を考慮して設定される。図２に示す場合、関連画像を抽出する場所情報は、３つの異なる撮影時間帯である「昼」、「昼〜夜」および「夜」に加えて「撮影スポット」を含む４つの項目でそれぞれ定義されている。例えば、優先要素が「赤ちゃん」である場合、抽出する際の基準となる画像（以下、基準画像という）の撮影時間帯が「昼」であれば、抽出対象の場所情報は「ベッドのある店」であり、「撮影スポット」は「ベンチがある公園」である。また、優先要素が「赤ちゃん」の場合、基準距離／基準時間は「５００ｍ／１０分」である。基準画像の撮影時間帯が上記した「昼」、「昼〜夜」、「夜」以外の時間帯である場合には、抽出対象の場所情報は「撮影スポット」のみとなる。
【００２８】
図２に示す抽出用テーブルＴｂは、ユーザにガイド情報を出す時に、過去に撮影された画像データを参照して、行動を共にするグループのメンバー構成を推測し、ユーザが関係するグループの特性情報やハンディキャップ情報を得て、グループの中で特に配慮すべき人物（または介助犬等）に焦点を当てた場合の代表例として記載しているが、他にも様々な構成を考えることができる。例えば、その撮影場所に応じて変わる嗜好や文化があるので、複数の抽出用テーブルを抽出情報記憶部２８２に記憶させておき、撮影場所等の条件に応じて使用する抽出用テーブルを変更可能な構成としてもよい。また、ユーザの判定も、所属する環境によって、さらに細分化してもよい。例えば、撮像装置２にマイクなどの集音部や集音した音声を認識する音声認識部を具備させておき、ユーザの会話などから使用言語を判定して、言語ごとに異なる抽出用テーブルを用いるようにしてもよい。
【００２９】
さらに、人気スポットの情報については、撮像装置２が地図やネット上の人気スポットランキング情報、観光情報を検索して、さらなる詳細な状況を反映できるようにしてもよい。例えば、年配者を案内したい「甘味処」の場合、現在の位置から近くにあっても階段を上るような場所は好ましくない。そこで、「甘味処」が入っている建物の階数、その建物におけるエレベータやエスカレータの有無などの情報を抽出情報テーブルに記憶させておくことが好ましい。さらに「甘味処」でも、時間帯によっては、混雑して待ち時間などが年配者には苦痛になるので、こうした混雑情報などをリアルタイムに反映できるようにしてもよい。同様に、タクシーやその他の公共交通機関の使用可否、道路の渋滞情報や公共交通機関の時刻表および運行情報などを反映して抽出用テーブルを変更できるようにしてもよい。基準距離、基準時間などは、これによって合わせて変更すればより好ましい。このように、本実施の形態１においては、グループに属する人物の特徴ごとにさらに細かく分類された抽出用テーブルを、上述のお薦めガイド内容を場所やシーン等の各種条件に応じて変更可能な構成とすることにより、精度の高いガイド情報を生成することが可能となる。
【００３０】
また、ユーザにガイド情報を出す時に、ユーザが関係するグループの特性情報を、ハンディキャップのある人と補助できる人の人数や割合や、ハンディキャップの種別によって分類したものを複数の抽出用テーブルとしてデータベース化して抽出情報記憶部２８２に記憶させてもよい。この場合、判定部２７２は、例えばハンディキャップ情報を検索し、それによって優先要素の判定を行うが、ガイド情報を表示出力する際の周囲の状況を反映して、抽出用テーブルの情報を適宜変更するようにしてもよい。
【００３１】
ここまで、撮像装置２は一体であるものとして説明してきたが、例えばレンズ型カメラをスマートフォン等の情報端末と無線で通信可能に接続することによって撮像装置２と同様の機能を実現することも可能である。この場合、スマートフォンは少なくとも入力部２４および表示部２５を有し、レンズ型カメラとの間でＷｉ−Ｆｉ（登録商標）等による無線通信を行うことによって画像データを受信する。なお、スマートフォンに対して検出部２７１、判定部２７２およびガイド情報生成部２７３の機能を有するアプリを通信ネットワークＮ経由で外部のサーバからダウンロードすることにより、それらの機能を具備させることも可能である。さらには、パーソナルコンピュータ内蔵のカメラ、監視カメラ、ウェアラブル端末、携帯端末等で撮影された画像を使って得た情報で、別の機器操作のガイドを表示するようにしてもよい。なお、撮像部と記載された部分は、撮像入力部、画像信号入力部または画像入力部と書き直してもよい。
【００３２】
次に、引き続き図１を参照して、画像管理サーバ３の機能構成を説明する。画像管理サーバ３は、通信ネットワークＮを介して撮像装置２と通信を行う通信部３１と、画像管理サーバ３の動作を制御する制御部３２と、画像管理サーバ３の動作に関連する各種情報を記憶する記憶部３３と、画像データをその撮影日時や撮影場所の情報等を含むメタデータと関連づけて記憶する画像データベース３４と、を備える。
【００３３】
制御部３２は、通信部３１が撮像装置２から受信した抽出基準にしたがって画像データベース３４から画像データを抽出する抽出部３２１を有する。制御部３２は、ＣＰＵ等の汎用プロセッサを用いて構成される。
【００３４】
記憶部３３は、画像管理サーバ３の各種動作を実行するためのプログラムを記憶するプログラム記憶部３３１を有する。記憶部３３は、ＲＡＭ等の揮発性メモリおよびＲＯＭ等の不揮発性メモリを用いて構成される。
【００３５】
画像データベース３４は、大量の画像データを記憶することが可能な記憶容量を有する。画像データベース３４は、画像データを撮影情報および撮影位置の施設の情報とともに記憶する。画像データベース３４も、画像データと音声認識情報を関連付けて記憶しておいてもよい。また、人気スポットの情報については、地図やネット上の人気スポットランキング情報、観光情報を検索して、さらなる詳細な状況を逐次反映して記憶しておくようにしてもよい。この場合には、混雑情報、タクシーやその他の公共交通機関の使用可否、道路の渋滞情報や公共交通機関の時刻表および運行情報などを反映して記憶しておけば好ましい。また、抽出部３２１の抽出を容易とするために、画像データベース３４が、画像データをその画像に写るグループの特性情報やハンディキャップ情報等と関連付けて記憶してもよい。
【００３６】
画像データベース３４もＲＡＭやＲＯＭを用いて構成される。なお、画像データベース３４を画像管理サーバ３と別体で構成し、通信ネットワークＮを介して画像データベース３４と画像管理サーバ３を通信可能に接続してもよい。また、画像データベース３４は画像データと撮影情報を関連付けて記憶しておき、その画像データの撮影位置の施設の情報については、画像管理サーバ３が通信ネットワークＮ上で検索を行うことにより、外部の機器から取得するようにしてもよい。
【００３７】
図３は、撮像装置２が行う処理の概要を示すフローチャートである。撮像装置２の電源がオンである場合（ステップＳ１０１：Ｙｅｓ）、撮像装置２はステップＳ１０２へ移行する。一方、撮像装置２の電源がオンでない場合（ステップＳ１０１：Ｎｏ）、撮像装置２は処理を終了する。
【００３８】
ステップＳ１０２において、撮像装置２が撮影モードに設定されている場合（ステップＳ１０２：Ｙｅｓ）、制御部２７は、撮像部２１に撮像を開始させる（ステップＳ１０３）。撮像部２１が生成したライブビュー画像データは、画像データ記憶部２８１に一時的に記憶される。グループを判定するために、行動などを画像、音声等でモニタした結果でグループ判定してもよい。この場合、Ｓ１０３の撮像結果や音声認識結果を記録しておいてグループを判断してもよい。会話があったり、それに同調する様子があったりすれば、同じグループのメンバーと判定してよい。
【００３９】
続いて、制御部２７は、ライブビュー画像を表示部２５に表示させる（ステップＳ１０４）。
【００４０】
続いて、入力部２４が撮影パラメータの変更指示信号の入力を受け付けた場合（ステップＳ１０５：Ｙｅｓ）、制御部２７はその変更指示信号にしたがって撮影パラメータを変更する（ステップＳ１０６）。制御部２７が撮影パラメータの変更指示信号の入力を受け付けない場合（ステップＳ１０５：Ｎｏ）、撮像装置２は後述するステップＳ１０７に移行する。
【００４１】
ステップＳ１０６の後、入力部２４が撮影指示信号の入力を受け付けた場合（ステップＳ１０７：Ｙｅｓ）、制御部２７は撮像部２１に撮影を行わせる（ステップＳ１０８）。ステップＳ１０７で入力部２４が撮影指示信号の入力を受け付けない場合（ステップＳ１０７：Ｎｏ）、撮像装置２はステップＳ１０１に戻る。ここで、ユーザにガイド情報を出す時に、過去に撮影された画像を参照して、行動を共にするグループのメンバー構成を推測するために参照する画像データが重要であるため、多くの人物が写った画像データや年齢やハンディキャップの情報に基づいて特徴的な人物が写った画像データなどに対して、その旨の情報を付与してもよい。例えば、制御部２７は、三脚やセルフタイマーや自分撮りモードを判定して、撮影者を含めたメンバーのグループの特徴を情報として付与してもよい。これにより、グループの検索を非常に精度よく行うことが可能となる。
【００４２】
また、ここでは静止画の場合に単純化しているが、動画や音声などを記録する場合にも適用可能である。撮像装置２は、静止画に付随する情報として、ライブビュー表示の画像データや音声データを取得してもよい。ユーザが意図して撮影した画像であれば、撮像装置２を向いている人などを対象にグループ判定をして、通りがかりの人などを排除した画像が容易に得られるのがメリットとして上げられる。なお、ユーザによる意図的な撮影の結果を用いる以外にも、例えばライブビュー画像などに基づいて被写体の行動をモニタした結果を取得しておき、その結果をグループ判定に適用するようにしてもよい。被写体の行動をモニタした結果を用いる場合、ステップＳ１０３の撮像結果を記録しておいてグループを判断する方法などがある。
【００４３】
音声データを取得する場合には、会話やその内容（例えば一人の問いかけに同調する内容）があれば、その会話を行っている人たちは同じグループのメンバーと判定することができる。こうした情報を時刻情報と関連づけて記憶部２８に記憶させておき、ガイド情報を必要とする状況に先立つまたは同時のタイミングでのグループ情報を選択できることが好ましい。また、ユーザによるタッチ操作やカーソル操作などに基づいてグループの手動選択入力を行うことができるようにしてもよい。これにより、ユーザのニーズに応じた判定およびガイド情報の生成を行うことが可能となる。
【００４４】
ステップＳ１０８の後、制御部２７は撮影情報として位置情報取得部２２および時計部２３から撮影位置情報および撮影日時情報をそれぞれ取得し（ステップＳ１０９）、撮影した画像データに対して取得した撮影情報を付加して画像データ記憶部２８１に記憶させる（ステップＳ１１０）。画像データ記憶部２８１は、画像データと撮影情報を一つのデータとして記憶してもよいし、画像データと撮影情報を対応づけて個別のデータとして記憶してもよい。
【００４５】
続いて、撮像装置２がガイドモードに設定されている場合（ステップＳ１１１：Ｙｅｓ）、撮像装置２はガイド画像を表示する処理を行う（ステップＳ１１２）。この処理の詳細については、図４を参照して後述する。一方、ステップＳ１１１において、撮像装置２がガイドモードに設定されていない場合（ステップＳ１１１：Ｎｏ）、制御部２７はステップＳ１０８で撮影した画像を表示部２５に表示させる（ステップＳ１１３）。ステップＳ１１２またはＳ１１３の後、撮像装置２はステップＳ１０１へ戻る。
【００４６】
図４は、ステップＳ１１２のガイド画像表示処理の概要を示すフローチャートである。まず、検出部２７１は、撮影した画像に含まれる被写体の顔を検出するとともに、その顔の特性情報を検出する（ステップＳ２０１）。ユーザにガイド情報を出す時に、過去に撮影された画像を参照して、行動を共にするグループのメンバー構成を推測し、ユーザが関係するグループの特性情報やハンディキャップ情報等を検出し、それによってユーザにガイドを出すが、このタイミングでグループの画像を再取得するようにしてもよい。その場合、撮像装置２は、グループのメンバーの集合写真を撮影するガイド情報（音声、画像表示等）を出力し、撮影を促して、撮影された画像や集音された音声から、メンバーの特徴、グループの制約条件等を割り出すようにする、この割り出し方は、図２のように優先順位のような方式でもよいし、より詳細な人物の特徴とその数で検索可能なデータベースを用いる方式でもよい。つまり、複数の人物の顔画像の特徴を、年齢別、性別ごと、人種ごとに蓄積したデータベースを利用して画像の類似度などを算出して、撮影された画像に写っている人物の情報を元にグループ特性を分類する。
【００４７】
ここでは「顔」の検出を強調して記載したが、さらに顔以外からも、体格や身に着けている各種ツール、介護犬などを検出部２７１が人物画像の近傍で検出すれば、ハンディキャップがあるかどうかなどの判定を行うことが可能である。具体的には、検出部２７１は、特定の人体に接する機材、道具の特徴によって、杖や車いす、補聴器等の補助ツールを画像の特徴から検出して判定するものである。
【００４８】
このステップＳ２０１において、「撮影した画像」は、あらかじめ撮影した静止画や動画であってもよい。動画の場合、検出部２７１は歩き方など身のこなしを検出して、ハンディキャップ等、身体能力や疲労度などから、ガイドを出すべき対象の人物グループに特徴的な制約情報を判定する。また、検出部２７１が判定対象とする画像は単独の画像である必要はなく、行動を共にしているグループのメンバーを把握するために、同じ時間帯に撮影された複数の画像を参照するようにしてもよい。さらに、検出部２７１は、必要に応じて、動画撮影する時に集音するマイクなどの収音部での音声認識結果を用いて検出処理を行ってもよい。また、上述したように、撮像部２１がインカメラを有する場合、検出部２７１は、インカメラが撮影した撮影者の情報も含めて検出処理を行ってもよい。
【００４９】
続いて、判定部２７２は、検出部２７１の検出結果を用いて、撮影した画像に含まれる優先要素を判定する（ステップＳ２０２）。例えば、判定部２７２が図２に示す抽出用テーブルＴｂに基づいて判定を行う場合において、画像に幼児のみが含まれているとき、判定部２７２は優先要素を「幼児」と判定する。すでに述べたように、一般の観光案内のような、少人数の健常で身軽な若者、中高年を対象にした通常のガイド情報ではカバーすることができないようなユーザに対して快適な行動をお薦めすることを目的とする場合、「優先すべき優先要素」は、「赤ちゃん」や「ハンディキャップのある人」や「ペット」、さらには、そういうメンバー等を含み、かつ、介助者が少ないような状況に対処するべく設定するものであるところ、ここでは説明の平易さを重視して単純化している。すなわち、図２の表や、以下のフロー等はごく基本の考え方のみを記載している。特に、図２の表などは、そのメンバー構成によってどんどん複雑になりうるが、近年、こうしたビッグデータの蓄積環境は整ってきているため、様々なメンバー構成に応じた表をデータベース化することにより、多様な優先要素の判定例を容易に実施することができる。「優先すべき優先要素」は、そのグループが最も気に懸けるメンバーと考えてもよい。この「気に懸ける」とは、健康面、体力面および／または精神面の影響を最も気に懸けることであったり、当人に喜んでもらえるかを最も気に懸けることであったりする。ガイド情報は、そのような気に懸けられるメンバーに対して比較的少ない体力的および／または精神的負担で、比較的大きな満足感を感じてもらえるような内容を提示するものであることが望ましい。人間には、「健康面、体力面、精神面」の負担が多少あっても、「喜び、うれしさ」でカバーされる要素もある。このような要素は、ビッグデータの解析によって費用対効果を最大限化して実現することが可能である。さらには、判定部２７２は、ユーザ、グループまたはグループ構成メンバーのプロフィール解析などから、金銭的な負担などを考慮した判定を行うようにしてもよい。この場合、判定部２７２は、彼らの持ち物や過去の消費パターンに基づいて、どのくらいの出費なら、費用対効果を最大限化できるかを判定する。なお、「優先すべき優先要素」は、費用対効果を最大限化できるガイド情報を生成して出力する際の、対象とするユーザ、グループまたはグループ構成メンバーのプロフィールであって、「個人」に限るものではない。
【００５０】
この後、判定部２７２は、優先要素と撮影情報に基づいて画像管理サーバ３に関連画像データを抽出させるための抽出基準を作成する（ステップＳ２０３）。例えば、優先要素が「幼児」であり、撮影した画像の撮影時間が「昼」の時間帯である場合、判定部２７２は抽出用テーブルＴｂを参照して「ショッピングモールの店」という情報を選択し、この情報を「（撮影スポット）遊具がある場所」、「（基準距離）１ｋｍ／（基準時間）２０分」および撮影情報とあわせて抽出基準を作成する。
【００５１】
続いて、制御部２７は、通信部２６を介して画像管理サーバ３に自身の識別情報を含むアクセス信号を送信し、画像管理サーバ３との間で通信接続を確立した後、画像管理サーバ３へ基準画像データの関連情報である関連画像データの送信要求および抽出基準を送信する（ステップＳ２０４）。通信接続は、通信ネットワークＮで定められた通信プロトコルにしたがって実行される。
【００５２】
その後、通信部２６は画像管理サーバ３から関連画像データを受信し、受信した関連画像データを画像データ記憶部２８１に記憶させる（ステップＳ２０５）。関連画像データは、ステップＳ１０８で撮影した画像の撮影位置（以下、基準位置という）に対する撮影位置の距離に応じて第１〜第３関連画像データに類別される。
【００５３】
図５は、関連画像データの類別方法の概要を説明するための図である。同図に示す画像Ｆ１０１〜Ｆ１０５は、ステップＳ１０８で撮影した画像の基準位置ＰＳの周辺領域で撮影され、ステップＳ２０３で判定部２７２が作成した抽出基準にしたがって画像管理サーバ３の抽出部３２１により抽出された画像（関連画像）である。図５では、画像Ｆ１０１〜Ｆ１０５を基準位置ＰＳの周辺の地図上で各画像の撮影位置Ｐ１０１〜Ｐ１０５にそれぞれ配置した状態を模式的に示している。
【００５４】
撮影位置Ｐ１０１，Ｐ１０２は、基準位置ＰＳに対して基準距離の１／４に相当する第１距離Ｄ１未満の範囲内に位置している。以下、この範囲内の撮影位置Ｐ１０１，Ｐ１０２でそれぞれ撮影された画像Ｆ１０１、Ｆ１０２を第１関連画像という。
【００５５】
撮影位置Ｐ１０３〜Ｐ１０５は、基準位置ＰＳに対して第１距離Ｄ１以上であり、かつ基準距離の１／２に相当する第２距離Ｄ２未満の範囲内に位置している。以下、この範囲内の撮影位置Ｐ１０３〜Ｐ１０５でそれぞれ撮影された画像Ｆ１０３〜Ｆ１０５を第２関連画像という。
【００５６】
基準位置に対して第２距離Ｄ２以上であり、かつ基準距離未満の範囲内にある撮影位置で撮影された画像を第３関連画像という。図５では、説明の便宜上、第３関連画像に相当する画像の図示は省略しているが、後述する図７のガイド画像において第３関連画像を例示する。
【００５７】
ステップＳ２０５の後、ガイド情報生成部２７３は、ガイド情報を生成する（ステップＳ２０６）。図６は、ガイド情報生成部２７３が行うガイド情報生成処理の概要を示すフローチャートである。まず、ガイド情報生成部２７３は、基準画像と第１関連画像データに対応する第１関連画像を画面上の所定の第１領域に横方向へ並べて配置する（ステップＳ３０１）。この際、ガイド情報生成部２７３は、画面内の所定の第１領域において、基準画像を横方向の中央部分に配置し、その左右に基準画像と同一の大きさで第１関連画像を配置する。
【００５８】
図７は、ガイド情報生成部２７３が生成するガイド情報としてのガイド画像の例を示す図である。同図に示すガイド画像Ｗ１００は、複数の画像を様々な大きさでタイル表示している。第１領域Ａｒ１は、ガイド画像Ｗ１００の画面の下方に位置し、画面の横方向に沿って延びる領域である。この第１領域Ａｒ１の画面縦方向の長さ（高さ）は、表示画面の縦方向の高さの約１／２である。なお、ガイド画像Ｗ１００では、第１関連画像Ｆ１０１，Ｆ１０２が画面内に入りきらないため、第１関連画像Ｆ１０１の右半分および第１関連画像Ｆ１０２の左半分のみを表示している。また、ガイド画像Ｗ１００では、基準画像ＦＳの外縁のみを太枠として、他の画像と容易に識別できるようにしている。なお、ガイド画像はタイル表示するものに限られるわけではなく、例えば図５に示すように基準位置近傍の地図上に関連画像を表示するものでもよい。なお、ガイド情報はガイド画像のみならず、音声を用いたものでもよい。この場合には、例えば通信ネットワークＮを介して得られる情報を音声出力してもよい。また、複数のガイド情報がある場合、どちらを選ぶかといったデータを画像管理サーバ３が管理できるようにすれば、抽出部３２１がさらに精度の高い抽出等を行うことが可能となる。その結果、本明細書で提案した技術、サービスの利用機会が増加する。画像の抽出を行う際には、例えば、別のサーバや同じサーバが具備する人工知能の機能を併用してもよい。
【００５９】
ステップＳ３０１の後、ガイド情報生成部２７３は、第２関連画像データに対応する第２関連画像を画面上の所定の第２領域に横方向へ並べて配置する（ステップＳ３０２）。図７に示すガイド画像Ｗ１００において、第２領域Ａｒ２は、第１領域Ａｒ１の直上に位置して画面横方向に延びる領域である。第２領域Ａｒ２の画面縦方向の高さは第１領域Ａｒ１の高さの約２／３である。このため、第２領域Ａｒ２に配置される第２関連画像Ｆ１０３〜Ｆ１０５は、縦横の長さがそれぞれ基準画像ＦＳの約２／３である。
【００６０】
続いて、ガイド情報生成部２７３は、第３関連画像データに対応する第３関連画像を画面上の所定の第３領域に横方向へ並べて配置する（ステップＳ３０３）。図７に示すガイド画像Ｗ１００において、第３領域Ａｒ３は、第２領域Ａｒ２の直上に位置して画面横方向に延びる領域である。第３領域Ａｒ３の画面縦方向の高さは第１領域Ａｒ１の高さの約１／３である。このため、第３関連画像Ｆ１０６〜Ｆ１１０は、縦横の長さがそれぞれ基準画像ＦＳの約１／３である。
【００６１】
以上のステップＳ３０１〜Ｓ３０３により、ガイド情報が生成される。この後、撮像装置２は、図４に示したルーチンに戻り、ステップＳ２０７へ移行する。
【００６２】
再び図４を参照して、ステップＳ２０７以降の処理を説明する。ステップＳ２０７において、制御部２７は、ガイド情報に対応するガイド画像を表示部２５に表示させる（ステップＳ２０７）。なお、このようなガイド表示は、必ずしも、このタイミングで行う必要はなく、撮影前の撮像観察時や、撮影画像の再生時に行ってもよい。
【００６３】
この後、入力部２４がガイド画像の表示を変更する指示信号の入力を受け付けた場合（ステップＳ２０８：Ｙｅｓ）、制御部２７は、表示部２５におけるガイド画像の表示を変更させる（ステップＳ２０９）。ステップＳ２０８において入力部２４がガイド画像の表示を変更する指示信号の入力を受け付けない場合（ステップＳ２０８：Ｎｏ）、撮像装置２はステップＳ２１０へ移行する。
【００６４】
図８Ａおよび図８Ｂは、ガイド画像の表示変更処理を説明する図である。具体的に、図８Ａおよび図８Ｂは、ガイド画像の表示変更前後の画面表示例をそれぞれ示している。図８Ａおよび図８Ｂに示すように、ユーザがガイド画像Ｗ１００の第１領域Ａｒ１を右方向にスワイプした場合、制御部２７は、第１領域Ａｒ１に配置した基準画像ＦＳおよび第１関連画像Ｆ１０１、Ｆ１０２のみを画面右方向に一つの画像の横の長さの約１／２に相当する量だけ移動させる。移動の結果、第１関連画像Ｆ１０１は、全体が表示される一方、第１関連画像Ｆ１０２は表示されなくなる（図８Ｂを参照）。なお、図８Ａに示す状態でユーザが第１領域Ａｒ１を画面左方向にスワイプした場合には、左半分のみが表示されていた第１関連画像Ｆ１０２の全体が表示され、第１関連画像Ｆ１０１は表示されなくなる。
【００６５】
図８Ａに示す状態でユーザが第２領域Ａｒ２を左（右。以下、当該段落において括弧内がそれぞれ対応）にスワイプした場合において、第２関連画像データが５つ以上存在するときには、第２関連画像のみが１つの画像の横の長さに相当する量だけ左（右）に移動し、第２領域Ａｒ２に配置しきれていなかった撮影画像が右（左）から現れて表示され、第２関連画像Ｆ１０３（Ｆ１０５）が表示されなくなる。同様に、図８Ａに示す状態でユーザが第３領域Ａｒ３を左（右）にスワイプした場合において、第３関連画像データが７つ以上存在するときには、第３関連画像のみが１つの画像の横の長さに相当する量だけ左（右）に移動し、第３領域Ａｒ３に配置しきれていなかった撮影画像が右（左）から現れて表示され、第３関連画像Ｆ１０６（Ｆ１１０）が表示されなくなる。
【００６６】
ステップＳ２０９の後、入力部２４が表示終了の指示信号の入力を受け付けた場合（ステップＳ２１０：Ｙｅｓ）、撮像装置２は、図３に示すメインルーチンに戻る。
【００６７】
ステップＳ２０９の後、入力部２４が表示終了の指示信号の入力を受け付けない場合（ステップＳ２１０：Ｎｏ）において、入力部２４が抽出範囲情報を変更する指示信号の入力を受け付けたとき（ステップＳ２１１：Ｙｅｓ）、制御部２７は受け付けた指示信号にしたがって抽出範囲情報を変更する（ステップＳ２１２）。例えば、制御部２７は、上述した説明において基準距離の１／４であった第１距離Ｄ１を基準距離の１／３とし、上述した説明において基準距離の１／２であった第２距離Ｄ２を基準距離の２／３と変更する。第１距離Ｄ１および第２距離Ｄ２の値は、ユーザが任意に設定できるようにしてもよいし、予め決められた値の中からユーザが選択するようにしてもよい。この後、撮像装置２は、ステップＳ２０１に戻る。
【００６８】
ステップＳ２１１において入力部２４が抽出範囲情報を変更する指示信号の入力を受け付けないとき（ステップＳ２１１：Ｎｏ）、撮像装置２はステップＳ２０８へ戻る。
【００６９】
再び図３を参照して、撮像装置２が撮影モードに設定されていない場合（ステップＳ１０２：Ｎｏ）を説明する。この場合において、再生モードに設定されているとき（ステップＳ１１４：Ｙｅｓ）、制御部２７は、再生候補となる画像の一覧を表示部２５に表示させる（ステップＳ１１５）。
【００７０】
続いて入力部２４が、表示部２５が表示する画像の一覧に含まれるいずれか一つの画像の選択入力を受け付けた場合（ステップＳ１１６：Ｙｅｓ）、制御部２７は、選択された画像を表示部２５に再生表示させる（ステップＳ１１７）。入力部２４が画像の選択入力を受け付けない場合（ステップＳ１１６：Ｎｏ）、撮像装置２はステップＳ１０１へ戻る。
【００７１】
ステップＳ１１７の後、入力部２４が、再生する画像の変更を指示する信号の入力を受け付けた場合（ステップＳ１１８：Ｙｅｓ）、制御部２７は変更された画像を表示部２５に再生表示させる（ステップＳ１１９）。入力部２４が再生する画像の変更を指示する信号の入力を受け付けない場合（ステップＳ１１８：Ｎｏ）、撮像装置２はステップＳ１０１へ戻る。
【００７２】
ステップＳ１１４において撮像装置２が再生モードに設定されていない場合（ステップＳ１１４：Ｎｏ）、撮像装置２は上述した処理とは異なる他の処理を実行する（ステップＳ１２０）。例えば、撮像装置２は、入力部２４が受け付けた操作指示信号に基づいて、撮像装置２の上記以外の各種設定を変更する処理などを行う。この後、撮像装置２はステップＳ１０１に戻る。
【００７３】
図９は、画像管理サーバ３が行う処理の概要を示すフローチャートである。通信部３１が関連画像データの送信要求と抽出基準とを受信した場合（ステップＳ４０１：Ｙｅｓ）、抽出部３２１は、ステップＳ４０１で受信した抽出基準のうち基準距離に基づいて、候補となる画像データを基準位置からの距離ごとに類別して抽出する（ステップＳ４０２）。この際、抽出部３２１は、撮影位置情報に基づく基準位置（図５の例では、基準位置ＰＳ）と、画像データベース３４が記憶する画像データに含まれる撮影位置情報に基づく撮影位置との間の距離をそれぞれ算出する。例えば、基準位置ＰＳの経度及び緯度がそれぞれ「Ｋ０」および「Ｉ０」であり、ある撮影位置Ｐ１の経度および緯度がそれぞれ「Ｋ１」および「Ｉ１」である場合、抽出部３２１は、以下の式（１）により、基準位置ＰＳとその撮影位置Ｐ１の間の距離ＤＳ１を算出する。
【数１】
2017212609.tif 000003
抽出部３２１は、距離ＤＳ１が第１距離Ｄ１未満の画像データを第１関連画像データの候補とし、距離ＤＳ１が第１距離Ｄ１以上第２距離Ｄ２未満の画像データを第２関連画像データの候補とし、距離ＤＳ１が第２距離Ｄ２以上基準距離未満の画像データを第３関連画像データの候補とする。
【００７４】
続いて、抽出部３２１は、候補の画像データから抽出基準の場所情報に合致する画像データを関連画像データとして抽出する（ステップＳ４０３）。ここで抽出された画像データは、ステップＳ４０２ですでに距離に応じた類別が完了しているため、抽出した段階で第１〜第３関連画像データのいずれであるかが確定する。
【００７５】
この後、制御部３２は、抽出部３２１が抽出した関連画像データを、通信部３１を介して撮像装置２に送信する（ステップＳ４０４）。その後、画像管理サーバ３は、ステップＳ４０１に戻る。
【００７６】
ステップＳ４０１で通信部３１が抽出基準と関連画像データの送信要求とを受信しない場合（ステップＳ４０１：Ｎｏ）、画像管理サーバ３はステップＳ４０１を繰り返す。
【００７７】
なお、抽出部３２１の抽出処理は上記に限られるわけではなく、例えばステップＳ４０２とステップＳ４０３の実行順序を逆にして行っても構わない。
【００７８】
以上説明した本発明の実施の形態１によれば、被写体の顔および顔の特性情報を用いて画像データ中の被写体の構成を判定し、その構成に応じた画像データの関連情報を含むガイド情報を生成するため、ユーザとその同行者を含むグループ構成に適した撮影場所の情報を提供することができる。
【００７９】
また、本実施の形態１によれば、複数の被写体の中で優先すべき優先要素に応じて定められる抽出基準によって関連情報を抽出するため、画像に写るグループが取り得る行動を的確に反映した撮影場所の情報を提供することができる。
【００８０】
また、本実施の形態１によれば、関連情報の抽出を大量の画像データを記憶する外部の画像管理サーバに行わせることにより、効率的で的確な関連情報（関連画像データ）を用いてガイド情報を生成することができる。
【００８１】
（実施の形態２）
本発明の実施の形態２においても、実施の形態１と同様、ユーザにガイド情報を出力するために、過去に撮影された画像データを参照して、ユーザと行動を共にするグループのメンバー構成を推測し、ユーザが関係するグループの特性情報やハンディキャップ情報を得て、その情報に基づいてユーザにガイド情報を出力する。本実施の形態２では、画像管理サーバがガイド装置の機能を有する。
【００８２】
図１０は、本発明の実施の形態２に係るガイド装置を備えた通信システムの機能構成を示すブロック図である。同図に示す通信システム４は、被写体を撮像して画像データを生成する撮像装置５と、撮像装置５と通信ネットワークＮを介して通信可能に接続され、画像データを管理する画像管理サーバ６と、を備える。なお、以下の説明において、実施の形態１と同じ機能を有する構成要素には同じ符号を付す。
【００８３】
撮像装置５は、撮像部２１、位置情報取得部２２、時計部２３、入力部２４、表示部２５、通信部２６、制御部５１および記憶部５２を有する。制御部５１は、ＣＰＵ等の汎用プロセッサを用いて構成される。また、記憶部５２は、画像データ記憶部２８１と、プログラム記憶部２８３とを有する。記憶部５２は、ＲＡＭやＲＯＭ等を用いて構成される。撮像装置５は、本実施の形態２において画像データを表示する表示装置としての機能を有する。
【００８４】
本実施の形態２においても、例えばレンズ型カメラをスマートフォン等の情報端末と無線で通信可能に接続することによって撮像装置５と同様の機能を実現することが可能である。この場合、スマートフォンは少なくとも入力部２４および表示部２５を有し、レンズ型カメラとの間で無線通信を行うことによって画像データを受信する。この場合、スマートフォンは本実施の形態２に係る表示装置の機能を具備する。
【００８５】
画像管理サーバ６は、通信部３１、制御部６１、記憶部６２および画像データベース３４を有する。画像管理サーバ６は、本実施の形態２に係るガイド装置としての機能を具備する。
【００８６】
制御部６１は、検出部６１１と、判定部６１２と、抽出部３２１と、ガイド情報生成部６１３と、を有する。検出部６１１、判定部６１２、およびガイド情報生成部６１３は、実施の形態１で説明した検出部２７１、判定部２７２およびガイド情報生成部２７３とそれぞれ同様の機能構成を有する。制御部６１は、ＣＰＵ等の汎用プロセッサを用いて構成される。
【００８７】
記憶部６２は、画像データ記憶部６２１と、抽出情報記憶部６２２と、プログラム記憶部３３１とを有する。抽出情報記憶部６２２は、実施の形態１で説明した抽出情報記憶部２８２と同様に、抽出情報として抽出用テーブルを記憶する（図２を参照）。記憶部６２は、ＲＡＭまたはＲＯＭ等を用いて構成される。
【００８８】
次に、撮像装置５が行う処理を説明する。撮像装置５が行う処理の概要は、実施の形態１で図３のフローチャートを参照して説明したのと同様であり、ガイド画像表示処理（ステップＳ１１２）のみが異なっている。以下、図１１に示すフローチャートを参照して、撮像装置５が行うガイド画像表示処理の概要を説明する。
【００８９】
まず、制御部５１は、通信部２６を介して通信ネットワークＮに接続された画像管理サーバ６に自身の識別情報を含むアクセス信号を送信し、画像管理サーバ６との間で通信接続を確立した後、画像管理サーバ６へ撮影情報が付加された基準画像データとガイド情報の送信要求とを送信する（ステップＳ５０１）。
【００９０】
その後、通信部２６が画像管理サーバ６からガイド情報を受信し、受信したガイド情報を画像データ記憶部２８１に記憶させる（ステップＳ５０２）。
【００９１】
この後に撮像装置５が行う処理（ステップＳ５０３〜Ｓ５０８）は、図４を参照して説明したステップＳ２０７〜Ｓ２１２の処理に順次対応している。
【００９２】
図１２は、画像管理サーバ６が行う処理の概要を示すフローチャートである。通信部３１が基準画像データとガイド情報の送信要求とを撮像装置５から受信した場合（ステップＳ６０１：Ｙｅｓ）、制御部６１は受信した基準画像データを画像データ記憶部６２１に記憶させる。ステップＳ６０１で通信部３１が基準画像データとガイド情報の送信要求とを撮像装置５から受信しない場合（ステップＳ６０１：Ｎｏ）、画像管理サーバ６はステップＳ６０１を繰り返す。
【００９３】
その後、検出部６１１は、画像データ記憶部６２１から基準画像データを読み出し、撮影した画像に含まれる被写体の顔を検出するとともに、その顔の特性情報を検出する（ステップＳ６０２）。続いて、判定部６１２は、検出部６１１の検出結果を用いて、撮影した画像に含まれる優先要素を判定する（ステップＳ６０３）。この後、判定部６１２は、優先要素および撮影情報と、抽出情報記憶部６２２が記憶する抽出用テーブルとを用いて、関連画像データを抽出するための抽出基準を作成する（ステップＳ６０４）。ステップＳ６０２〜Ｓ６０４の処理は、実施の形態１で説明した図４のステップＳ２０１〜Ｓ２０３の処理とそれぞれ同様の処理である。
【００９４】
この後に続くステップＳ６０５、Ｓ６０６の抽出部３２１の処理は、実施の形態１で説明した図９のステップＳ４０２、Ｓ４０３の処理とそれぞれ同じである。本実施の形態２においても、ステップＳ６０５、Ｓ６０６の処理順を逆にして行うことができる。
【００９５】
ステップＳ６０６の後、ガイド情報生成部６１３は、ガイド情報を生成する（ステップＳ６０７）。ガイド情報生成処理の詳細は、実施の形態１で図６を参照して説明したのと同じである。
【００９６】
その後、制御部６１は、通信部３１を介してガイド情報を撮像装置５に送信する（ステップＳ６０８）。この後、画像管理サーバ６は、ステップＳ６０１へ戻る。
【００９７】
以上説明した本発明の実施の形態２によれば、実施の形態１と同様に、ユーザとその同行者を含むグループ構成に適した撮影場所の情報を提供することができる。
【００９８】
また、本実施の形態２によれば、画像管理サーバ側でガイド情報を生成するため、表示装置（撮像装置）は画像管理サーバと通信可能な機能を有していれば、他に特別な機能を有していなくてもよい。したがって、従来と同様の構成を有する表示装置（撮像装置）にガイド画像を表示させることが可能となる。
【００９９】
（その他の実施の形態）
ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した２つの実施の形態によってのみ限定されるべきものではない。例えば、撮像装置がライブビュー表示している最中にそのライブビュー画像を基準画像として生成したガイド画像を表示するようにしてもよい。これにより、ユーザは撮影動作を行うことなく、ガイド画像を見ることができ、より簡易にユーザとその同行者を含むグループ構成に適した撮影場所の情報を得ることができる。なお、この場合のガイド画像はタイル表示をしなくてもよく、例えば第１関連画像のみを表示してもよい。
【０１００】
また、撮像装置が生成した画像を画像管理サーバへ送信し、画像データベースに記憶させるようにしてもよい。これにより、画像データベースはより多くの画像データを記憶するため、一段ときめ細かな情報を有するガイド画像を提供することができる。
【０１０１】
また、実施の形態２で説明した表示装置（撮像装置）が抽出部の機能を有してもよい。この場合には、さらに画像データベースを表示装置（撮像装置）に具備させることにより、１つの装置で顔検出からガイド情報の生成、表示に至る全ての処理を実行させるようにしてもよい。表示は、音声ガイドに置き換えたり、併用させたりしてもよい。この場合はスピーカや音声合成回路などを設ければよい。
【０１０２】
また、ガイド情報を出す時に過去またはその時撮影された画像を参照して、行動を共にするグループのメンバー構成を推測し、グループの特性情報を得て、それによってガイドを出すという考え方に基づくと、上述した撮像装置２は、様々な専門的領域のガイド、サポートにも活用可能である。例えば医療用および工業用の内視鏡のように、撮像機能を備えた装置全般とすることも可能である。この場合には、ユーザを撮像する第２の撮像部を用意し、ガイド装置の機能をプロセッサ側に具備させればよい。また、このような応用で、上述した撮像装置２を、顕微鏡を含む測定用観察機器に適用することも可能である。各種内視鏡や測定用観察機器に適用する場合、被写体として撮影結果に含まれるユーザは医師や研究者などの専門家である。特に、検出部が高度な顔検出を行う機能を具備していれば、ユーザの職業や年齢による経験値推測、個人特定等に従った個人の技能やキャリア判定が可能となり、装置の利用シーンを推定してガイド表示することが可能となる。
【０１０３】
医療用の内視鏡が体内画像を撮影する場合には、体内画像に関するガイド情報を出力することも可能である。この場合は、内臓や組織ごとの位置情報を反映してガイド情報を生成すればよい。
【０１０４】
顕微鏡等が細胞や微生物などの被写体を撮影する場合には、その被写体をさらに拡大して観察する必要性や、観察領域変更の必要性などの情報をガイド情報として画像や文字等の情報で出力すればよい。
【０１０５】
また、ガイド装置を、ガイドの結果のフィードバックを学習して精度をアップしたり深層学習を行ったりする等、人工知能の働きと連携させることも可能である。つまり、複数のガイド表示のうち、選択すれば、さらに詳細情報が表示されるような工夫をしたり、ガイド後のユーザの行動をモニタしたりして、どのような行動を実際に選択したかによって、どのガイド表示がどのシーンで、そのユーザに有効であったかを判定することが出来る。これを学習して、さらに精度のよい有効なガイド情報を提供することが可能となる。同じような状況で、必ずしも同じガイド情報が出ればユーザに喜ばれるとは限らず、様々なセンサ情報を駆使して状況判定や履歴解析をさらに詳細に行うといった手法は、人工知能の得意とするところである。この場合、類似プロフィールのグループの行動、ブログやＳＮＳ等に大量に記載されたいわゆる「先人コンテンツ」をビッグデータ化した結果などを参照することによってガイド情報を生成すればユーザの利便性を一段と向上させることができる。
【０１０６】
本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、上述した実施の形態を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。すなわち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。
【０１０７】
また、本明細書においてフローチャートを用いて説明した処理のアルゴリズムは、プログラムとして記述することが可能である。このようなプログラムは、コンピュータ内部の記憶部が記憶してもよいし、コンピュータ読み取り可能な記録媒体に記録してもよい。プログラムの記憶部または記録媒体への記録は、コンピュータまたは記録媒体を製品として出荷する際に行ってもよいし、通信ネットワークを介したダウンロードにより行ってもよい。
【０１０８】
このように、本発明は、ここでは記載していない様々な実施の形態を含みうるものであり、特許請求の範囲によって特定される技術的思想の範囲内で種々の設計変更等を行うことが可能である。
【符号の説明】
【０１０９】
１、４・・・通信システム；２、５・・・撮像装置；３、６・・・画像管理サーバ；２１・・・撮像部；２２・・・位置情報取得部；２３・・・時計部；２４・・・入力部；２５・・・表示部；２６、３１・・・通信部；２７、３２、５１、６１・・・制御部；２８、３３、５２、６２・・・記憶部；３４・・・画像データベース；２７１、６１１・・・検出部；２７２、６１２・・・判定部；２７３、６１３・・・ガイド情報生成部；２８１、６２１・・・画像データ記憶部；２８２、６２２・・・抽出情報記憶部；２８３、３３１・・・プログラム記憶部；３２１・・・抽出部；Ａｒ１・・・第１領域；Ａｒ２・・・第２領域；Ａｒ３・・・第３領域；Ｆ１０１、Ｆ１０２・・・第１関連画像；Ｆ１０３〜Ｆ１０５・・・第２関連画像；Ｆ１０６〜Ｆ１１０・・・第３関連画像；ＦＳ・・・基準画像；Ｎ・・・通信ネットワーク；Ｐ１、Ｐ１０１〜Ｐ１０５・・・撮影位置；ＰＳ・・基準位置；Ｔｂ・・・抽出用テーブル；Ｗ１００・・・ガイド画像
【図１】
2017212609.tif 000004
【図２】
2017212609.tif 000005
【図３】
2017212609.tif 000006
【図４】
2017212609.tif 000007
【図５】
2017212609.tif 000008
【図６】
2017212609.tif 000009
【図７】
2017212609.tif 000010
【図８Ａ】
2017212609.tif 000011
【図８Ｂ】
2017212609.tif 000012
【図９】
2017212609.tif 000013
【図１０】
2017212609.tif 000014
【図１１】
2017212609.tif 000015
【図１２】
2017212609.tif 000016