(57)【要約】【課題】  撮影された画像に含まれる被写体に適したメタデータ候補を短時間に抽出する。【解決手段】  撮像装置101において、画像特徴量記憶部205は、被写体別の画像特徴量を記憶する。画像特徴量取得部207は、撮像装置101の現在位置に対応する頻出画像特徴量を画像情報蓄積サーバ104から取得する。優先比較対象判定部209は、頻出画像特徴量と被写体別の画像特徴量を比較して、優先比較対象とする被写体別の画像特徴量を判定する。被写体検出部204は、撮影された画像に含まれる被写体の画像特徴量を算出する。メタデータ処理部203は、被写体の画像特徴量と優先比較対象の画像特徴量を比較して、画像に付与するメタデータ候補を抽出する。【選択図】  図2
2016075992.tif 000002
【特許請求の範囲】
【請求項１】
画像を撮影する撮像装置であって、
被写体別の画像特徴量を記憶する第一の記憶手段と、
前記撮像装置の現在位置に対応する頻出画像特徴量を情報処理装置から取得する取得手段と、
前記頻出画像特徴量と前記被写体別の画像特徴量を比較して、優先比較対象とする前記被写体別の画像特徴量を判定する判定手段と、
撮影された画像に含まれる被写体の画像特徴量を算出する算出手段と、
前記被写体の画像特徴量と前記優先比較対象の画像特徴量を比較して、前記画像に付与するメタデータ候補を抽出する抽出手段とを有する撮像装置。
【請求項２】
さらに、前記撮像装置の現在位置を示す地理情報を取得する手段を有し、
前記取得手段は、前記地理情報を前記情報処理装置に送信して前記情報処理装置から受信した前記頻出画像特徴量を前記地理情報に関連付けて第二の記憶手段に格納する請求項1に記載された撮像装置。
【請求項３】
前記取得手段は、前記第二の記憶手段に格納された前記頻出画像特徴量に関連付けられた地理情報が示す位置と前記現在位置の差分が第一の所定値を超える場合、前記頻出画像特徴量の取得を行う請求項2に記載された撮像装置。
【請求項４】
前記判定手段は、前記頻出画像特徴量と前記被写体別の画像特徴量の類似度を算出し、前記類似度が第二の所定値以上の前記被写体別の画像特徴量を前記優先比較対象と判定する請求項1から請求項3の何れか一項に記載された撮像装置。
【請求項５】
前記抽出手段は、前記被写体の画像特徴量と前記優先比較対象の画像特徴量の類似度を算出し、前記類似度が第三の所定値以上の前記優先比較対象の画像特徴量に関連付けられた被写体情報を前記メタデータ候補として抽出する請求項1から請求項4の何れか一項に記載された撮像装置。
【請求項６】
前記類似度が前記第三の所定値以上の前記優先比較対象の画像特徴量が存在しない場合、前記抽出手段は、前記被写体の画像特徴量と非優先比較対象の前記被写体別の画像特徴量の類似度を算出し、前記類似度が前記第三の所定値以上の前記非優先比較対象の画像特徴量に関連付けられた被写体情報を前記メタデータ候補として抽出する請求項5に記載された撮像装置。
【請求項７】
前記類似度が前記第三の所定値以上の前記優先比較対象の画像特徴量および前記非優先比較対象の画像特徴量が存在しない場合、前記抽出手段は、前記算出した類似度の中で最も高い類似度に対応する前記被写体別の画像特徴量に関連付けられた被写体情報を前記メタデータ候補として抽出する請求項6に記載された撮像装置。
【請求項８】
前記類似度が前記第三の所定値以上の前記優先比較対象の画像特徴量および前記非優先比較対象の画像特徴量が存在しない場合、前記抽出手段は、前記メタデータ候補なしを抽出結果とする請求項6に記載された撮像装置。
【請求項９】
前記画像に含まれる被写体ごとに、前記算出手段は前記特徴量の算出を行い、前記抽出手段は前記メタデータ候補の抽出を行う請求項1から請求項8の何れか一項に記載された撮像装置。
【請求項１０】
クライアント装置から画像または地理情報を受信する受信手段と、
前記受信された画像に含まれる被写体の画像特徴量を算出し、前記画像特徴量と前記画像の撮影情報を関連付けて格納手段に格納する算出手段と、
前記格納手段に格納された画像特徴量を、それらの類似度に基づき、複数の集合に分類する分類手段と、
前記受信された地理情報が示す位置と、前記格納手段に格納された画像特徴量に関連付けられた撮影情報が示す撮影位置に基づき前記複数の集合を評価して、評価値が高い順に、前記複数の集合から画像特徴量を選択する選択手段と、
前記選択された画像特徴量を頻出画像特徴量として前記地理情報の送信元のクライアント装置に送信する送信手段とを有する情報処理装置。
【請求項１１】
前記選択手段は、
前記地理情報が示す位置と、前記格納手段に格納された画像特徴量に関連付けられた撮影情報が示す撮影位置の差分が所定値以下の場合、前記画像特徴量が属す集合の前記評価値をインクリメントし、
前記複数の集合から前記評価値が高い順に所定数の集合を選択し、
前記選択した集合に属す画像特徴量に関連付けられた撮影情報が示す撮影位置が、前記地理情報が示す位置に近い順に、前記選択した集合から所定数の画像特徴量を選択する請求項10に記載された情報処理装置。
【請求項１２】
前記算出手段は、前記受信された画像に含まれる被写体ごとに前記画像特徴量の算出と格納を行う請求項10または請求項11に記載された情報処理装置。
【請求項１３】
請求項1から請求項9の何れか一項に記載された撮像装置と、
請求項10から請求項12の何れか一項に記載された情報処理装置とを有する情報処理システム。
【請求項１４】
画像を撮影する撮像装置の情報処理方法であって、
記憶手段が、被写体別の画像特徴量を記憶し、
取得手段が、前記撮像装置の現在位置に対応する頻出画像特徴量を情報処理装置から取得し、
判定手段が、前記頻出画像特徴量と前記被写体別の画像特徴量を比較して、優先比較対象とする前記被写体別の画像特徴量を判定し、
算出手段が、撮影された画像に含まれる被写体の画像特徴量を算出し、
抽出手段が、前記被写体の画像特徴量と前記優先比較対象の画像特徴量を比較して、前記画像に付与するメタデータ候補を抽出する情報処理方法。
【請求項１５】
受信手段が、クライアント装置から画像または地理情報を受信し、
算出手段が、前記受信された画像に含まれる被写体の画像特徴量を算出し、前記画像特徴量と前記画像の撮影情報を関連付けて格納手段に格納し、
分類手段が、前記格納手段に格納された画像特徴量を、それらの類似度に基づき、複数の集合に分類し、
選択手段が、前記受信された地理情報が示す位置と、前記格納手段に格納された画像特徴量に関連付けられた撮影情報が示す撮影位置に基づき前記複数の集合を評価して、評価値が高い順に、前記複数の集合から画像特徴量を選択し、
送信手段が、前記選択された画像特徴量を頻出画像特徴量として前記地理情報の送信元のクライアント装置に送信する情報処理方法。
【請求項１６】
コンピュータを請求項1から請求項9の何れか一項に記載された撮像装置の各手段として機能させるためのプログラム。
【請求項１７】
コンピュータを請求項10から請求項12の何れか一項に記載された情報処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像に含まれる被写体に適したメタデータ候補を抽出する情報処理に関する。
【背景技術】
【０００２】
撮影画像にメタデータを付与することが一般的になった。メタデータは、データに関連する情報のことで、データを効率的に管理、検索するために用いられる。画像におけるメタデータとしては、撮影時に撮像装置が内部で生成する撮影情報が挙げられる。例えば、撮影日時や撮影位置を示す地理情報である。また、撮影情報だけでなく、撮影者による入力情報を基に被写体情報をメタデータとして付与することも行われる。被写体情報は、例えば、撮影画像に含まれる被写体の物体名や人物名などの情報である。
【０００３】
撮影時に被写体情報をメタデータとして付与するには、被写体に適した情報を撮影ごとに入力する必要があり、撮影者にとって煩雑な操作になる。そのため、被写体に関するメタデータ候補を何らかの方法によって取得して、メタデータの付与をより簡便に行う方法が提案されている。
【０００４】
特許文献1は、メタデータ候補ファイルを予め生成してサーバに格納しておく技術を開示する。撮像装置は、撮影位置や撮影時刻などに基づき取得したメタデータ候補ファイルを撮影時に撮影者に提示する。撮影者は、画像に含まれる被写体ごとに、メタデータ候補ファイルに含まれる一覧から被写体に合致した被写体情報を選択する。撮像装置は、選択された被写体情報をメタデータとして撮影画像に付与する。
【０００５】
一方、撮影画像に含まれる被写体を認識して、より被写体に適したメタデータ候補を抽出する方法も提案されている。例えば、特許文献2の技術は、予めメタデータが付与され登録された画像群を辞書情報に用いて、撮影画像に含まれる被写体と同一の被写体を含む登録画像を検索する。そして、検出された登録画像に付与された被写体情報をメタデータ候補として抽出する。同一の被写体を含むか否かの判定は、撮影画像と登録画像の画像特徴量の比較によって行われる。特許文献2は、この処理を撮影画像群に一括して施すことを開示するが、被写体認識によるメタデータ候補の抽出は撮影ごとにメタデータを付与する場合にも有効である。
【０００６】
しかし、特許文献1の技術は、撮影位置や撮影時刻に予め関連付けられているメタデータ候補のすべてを抽出する。そのため、撮影画像に含まれる被写体に無関係のメタデータ候補も提示され、多数のメタデータ候補から被写体情報を選択する煩わしい操作が発生する。
【０００７】
特許文献2の技術のように、撮影時に、被写体認識に基づきメタデータ候補を抽出すれば、多数のメタデータ候補から被写体情報を選択する煩わしさは軽減される。しかし、様々な被写体を精度よく認識するには辞書情報としての登録画像の多数用意する必要がある。登録画像数が増えれば、その分、画像特徴量の比較処理に時間がかかる。その結果、撮影ごとにメタデータを付与しようとすると、実用的な時間内に、提示するメタデータ候補を抽出することが難しくなる。特許文献2の技術は、画素数の少ない画像を登録画像に用いることで、被写体認識にかかる時間の短縮を図るが、辞書情報としての登録画像数の増加に伴う処理時間の増加への対処までは開示しない。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開2008-257471号公報
【特許文献２】特開2007-323382号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明は、撮影された画像に含まれる被写体に適したメタデータ候補を短時間に抽出することを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、前記の目的を達成する一手段として、以下の構成を備える。
【００１１】
本発明にかかる撮像装置は、画像を撮影する撮像装置であって、被写体別の画像特徴量を記憶する第一の記憶手段と、前記撮像装置の現在位置に対応する頻出画像特徴量を情報処理装置から取得する取得手段と、前記頻出画像特徴量と前記被写体別の画像特徴量を比較して、優先比較対象とする前記被写体別の画像特徴量を判定する判定手段と、撮影された画像に含まれる被写体の画像特徴量を算出する算出手段と、前記被写体の画像特徴量と前記優先比較対象の画像特徴量を比較して、前記画像に付与するメタデータ候補を抽出する抽出手段とを有する。
【００１２】
本発明にかかる情報処理装置は、クライアント装置から画像または地理情報を受信する受信手段と、前記受信された画像に含まれる被写体の画像特徴量を算出し、前記画像特徴量と前記画像の撮影情報を関連付けて格納手段に格納する算出手段と、前記格納手段に格納された画像特徴量を、それらの類似度に基づき、複数の集合に分類する分類手段と、前記受信された地理情報が示す位置と、前記格納手段に格納された画像特徴量に関連付けられた撮影情報が示す撮影位置に基づき前記複数の集合を評価して、評価値が高い順に、前記複数の集合から画像特徴量を選択する選択手段と、前記選択された画像特徴量を頻出画像特徴量として前記地理情報の送信元のクライアント装置に送信する送信手段とを有する。
【発明の効果】
【００１３】
本発明によれば、撮影された画像に含まれる被写体に適したメタデータ候補を短時間に抽出することができる。
【図面の簡単な説明】
【００１４】
【図１】実施例の撮像装置と画像情報蓄積サーバが構成する情報処理システムの構成例を説明するブロック図。
【図２】撮像装置および画像情報蓄積サーバの機能構成例を説明するブロック図。
【図３】撮像装置内で管理される情報の一例を説明する図。
【図４】画像情報蓄積サーバの画像特徴量格納部が管理する情報例を示す図。
【図５】撮像装置におけるメタデータの付与処理を説明するフローチャート。
【図６】画像特徴量の取得処理を説明するフローチャート。
【図７】優先比較対象の判定処理を説明するフローチャート。
【図８】メタデータ候補の抽出処理を説明するフローチャート。
【図９】被写体の検出の様子を示す図。
【図１０】画像特徴量の分類処理を説明するフローチャート。
【図１１】頻出画像特徴量の選択処理を説明するフローチャート。
【発明を実施するための形態】
【００１５】
以下、本発明にかかる実施例の撮像装置、画像情報蓄積サーバとして機能する情報処理装置およびそれらの情報処理方法、並びに、情報処理巣ステムを図面を参照して詳細に説明する。なお、実施例は特許請求の範囲にかかる本発明を限定するものではなく、また、実施例において説明する構成の組み合わせのすべてが本発明の解決手段に必須とは限らない。
【００１６】
［システムの構成］
図1のブロック図により実施例の撮像装置101と画像情報蓄積サーバ104が構成する情報処理システムの構成例を説明する。撮像装置101は、アクセスポイント(AP)102を介してネットワーク103に接続し、画像情報蓄積サーバ104との間で通信を行う。なお、図1には、クライアント装置として撮像装置101が一台、サーバ装置として画像情報蓄積サーバ104が一台の構成例を示すが、それらの数は一台に限られるものではない。
【００１７】
●撮像装置
撮像装置101は、撮影した画像を図示しないメディアなどに記録するディジタルカメラなどである。撮像装置101の制御部105は、撮像装置101を構成する各部の動作を制御するとともに、後述する撮像装置101における各種処理を実行する主体である。記憶部106は、RAM、ROM、フラッシュメモリなどから構成され、制御部105が実行する各種処理のプログラムや各種データを記憶し、制御部105が処理を行う際のワークエリアとして機能する。
【００１８】
通信部107は、AP102を介してネットワーク103に接続するための無線通信インタフェイスとして機能する。撮像装置101は、通信部107を介して、画像情報蓄積サーバ104との間でデータの送受信を行う。撮像部108は、電荷結像素子(CCD)やCMOSセンサなどの撮像デバイスを備え、レンズを通した光を電気信号に変換し、電気信号をアナログ-ディジタル変換した撮像データを出力する。
【００１９】
画像処理部109は、撮像部108から出力される撮像データにデモザイキング処理を含む現像処理、ホワイトバランス処理、ガンマ補正処理などを施してライブビュー画像や撮影画像の画像データを出力する。また、画像処理部109は、撮影画像の画像データにJPEGなどのデータ圧縮処理を施す。データ圧縮処理された画像データは、制御部105によって記憶部106やメディアなどに格納される。さらに、画像処理部109は、記憶部106やメディアなどに格納された撮影画像の画像データにデータ伸長処理を施し、伸長した画像データを表示部110に出力する。
【００２０】
表示部110は、液晶モニタ(LCD)などであり、撮影時に画像処理部109から出力されるライブビュー画像を表示したり、記憶部106やメディアなどに格納された撮影画像を表示したりする。また、表示部110は、操作部115を積層したタッチパネルとして構成される。ユーザは、表示部110に表示されたユーザインタフェイス(UI)を参照して操作部115を操作し、撮像装置101の各種設定や撮像操作を行うことができる。位置測位部111は、GPS (global positioning system)の電波を受信して、撮像装置101の現在位置を測位する。
【００２１】
●画像情報蓄積サーバ
画像情報蓄積サーバ104は、クライアント装置から受信した画像データを蓄積するための機能を提供する。クライアント装置としては、撮像装置101のほか、ネットワーク103を介して画像情報蓄積サーバ104にアクセス可能なパーソナルコンピュータ(PC)、携帯電話、スマートフォン、タブレットなどがある。
【００２２】
画像情報蓄積サーバ104の制御部112は、画像情報蓄積サーバ104を構成する各部の動作を制御するとともに、後述する画像情報蓄積サーバ104における各種処理を実行する主体である。記憶部113は、RAM、ROM、ハードディスクドライブ(HDD)、ソリッドステートドライブ(SSD)などから構成され、制御部112が実行する各種処理のプログラムや各種データを記憶し、制御部112が処理を行う際のワークエリアとして機能する。また、記憶部113は、画像情報蓄積サーバ104が受信した画像データに関する情報を蓄積する画像情報蓄積部として機能する。
【００２３】
通信部114は、ネットワーク103に接続するための通信インタフェイスとして機能する。画像情報蓄積サーバ104は、通信部114を介して、撮像装置101を含むクライアント装置との間でデータの送受信を行う。
【００２４】
［機能構成］
図2のブロック図により撮像装置101および画像情報蓄積サーバ104の機能構成例を説明する。なお、図2に示す機能構成は、撮像装置101の制御部105および画像情報蓄積サーバ104の制御部112によって実現される。
【００２５】
●撮像装置
画像撮影部201は、撮影者の操作に応じて画像の撮影を行う。画像格納部202は、画像撮影部201によって生成された撮影画像の画像データとそれに関連する情報を格納する。被写体検出部204は、撮影画像に含まれる被写体を検出する。メタデータ処理部203は、撮影画像に含まれる被写体に付与するメタデータ候補を抽出し、撮影者の指示に応じてメタデータを撮影画像の画像データに記録する。
【００２６】
画像特徴量記憶部205は、被写体別の画像特徴量と、その被写体情報などを予め辞書情報として記憶する。辞書情報として使用される被写体別の画像特徴量には、被写体の典型的な特徴をよく表現する画像特徴量が事前に選択されているものとする。画像特徴量は、機械学習などによって数多くの画像群から自動的に選択されたものでもよいし、撮影者が個別に選択したものでもよい。また、被写体情報には、当該被写体の一般名称、固有名称、呼称、通称、俗称、属性、存在場所を示す地理名などが含まれる。
【００２７】
位置情報取得部206は、GPSなどによって撮像装置101の現在位置を示す地理情報を取得する。画像特徴量取得部207は、現在位置において撮影頻度が高い被写体の画像特徴量を画像情報蓄積サーバ104から取得し、取得した画像特徴量を、当該画像特徴量を取得した際の地理情報に関連付けて画像特徴量格納部208に格納する。
【００２８】
優先比較対象判定部209は、画像特徴量記憶部205に記憶された被写体別の画像特徴量の中から、画像特徴量取得部207が取得した画像特徴量との類似度が高いものを、優先比較対象と判定する。優先比較対象と判定された被写体別の画像特徴量は、撮影画像に含まれる被写体の画像特徴量との比較に、優先的に用いられる。
【００２９】
図3により撮像装置101内で管理される情報の一例を説明する。図3(a)は画像格納部202が管理する情報例を示す。撮影画像IDで識別される撮影画像ごとに、撮影位置や撮影日時などの撮影情報が管理され、さらに、当該撮影画像に含まれる、被写体IDで識別される被写体ごとに撮影画像内の座標、画像特徴量、被写体情報などが管理されている。これら情報の一部は、Exif領域など、撮影画像の画像データ中に属性情報として記録されていてもよい。
【００３０】
図3(b)は画像特徴量記憶部205が管理する情報例を示す。画像特徴量IDごとに、被写体別の画像特徴量と被写体情報が辞書情報として管理されている。また、各画像特徴量が、優先比較対象判定部209によって優先比較対象として判定されたか否かが管理されている。
【００３１】
図3(c)は画像特徴量格納部208が管理する情報例を示す。画像特徴量格納部208には、画像特徴量を取得した際の地理情報と、当該地理情報が示す位置において撮影頻度が高い被写体の画像特徴量（以下、頻出画像特徴量）が格納されている。頻出画像特徴量には、画像情報蓄積サーバ104における類似度の高低に基づく画像特徴量の分類結果を示す画像特徴量集合IDが付与されている。
【００３２】
●画像情報蓄積サーバ
画像受信部210は、様々なクライアント装置から画像データを受信し、受信した画像データを画像格納部211に格納する。被写体検出部212は、画像格納部211に格納された画像データが表す画像に含まれる被写体を検出し、検出した被写体の画像特徴量を当該画像データに含まれる撮影情報に関連付けて画像特徴量格納部213に格納する。画像特徴量分類部214は、画像特徴量格納部213に格納された画像特徴量を、それらの類似度の高さに基づいて複数の集合に分類する。
【００３３】
なお、画像受信部210が受信した画像データを継続的に画像格納部211に格納しておく必要はない。つまり、画像格納部211に格納された画像データが表す画像に含まれる被写体の画像特徴量を撮影情報に関連付けて画像特徴量格納部213に格納した後、当該画像データを画像格納部211から削除することが好ましい。
【００３４】
位置情報受信部215は、撮像装置101から地理情報を受信する。画像特徴量選択部216は、位置情報受信部215が受信した地理情報が示す位置において撮影頻度が高い画像特徴量（頻出画像特徴量）を、画像特徴量格納部213に格納されている情報に基づき選択する。画像特徴量送信部217は、画像特徴量選択部216が選択した頻出画像特徴量を地理情報の送信元である撮像装置101に送信する。
【００３５】
図4により画像情報蓄積サーバ104の画像特徴量格納部213が管理する情報例を示す。受信画像IDで識別される、画像受信部210が受信した画像データが表す画像に含まれる、被写体IDで識別される被写体ごとに、撮影位置や撮影日時などの撮影情報、および、画像特徴量が管理されている。
【００３６】
各被写体の画像特徴量は、画像特徴量分類部214によって類似度に基づき複数の画像特徴量集合に分類されている。画像特徴量格納部213が管理する情報には、被写体の画像特徴量が属す集合を識別するための画像特徴量IDが付与されている。なお、同一の画像特徴量集合IDが付与された画像特徴量は同一もしくは類似した被写体の画像特徴量と見做される。
【００３７】
［撮像装置の処理］
図5のフローチャートにより撮像装置101におけるメタデータの付与処理を説明する。なお、図5は一回の撮影に対応する処理を示すが、複数回の撮影が行われる場合などは後述するステップS703からS708の処理が繰り返されるか、または、撮影後、撮影回数分、ステップS705からS708の処理が繰り返される。
【００３８】
画像撮影部201は、撮影者から撮影開始要求を受け付ける(S701)。なお、撮影開始要求を受け付けた状態とは、例えば撮像装置101の電源がオンにされた状態であり、画像撮影部201は、例えばレンズを伸長して撮影可能状態になる。撮影可能状態になると、画像特徴量取得部207は、詳細は後述するが、現在位置において撮影頻度が高い被写体の画像特徴量（頻出画像特徴量）を画像情報蓄積サーバ104から取得する(S702)。
【００３９】
次に、撮影者がシャッタボタンを押すなどすると、画像撮影部201は、撮影を行い(S703)、生成した撮影画像を画像格納部202に格納する(S704)。撮影画像の生成に連動して、被写体検出部204とメタデータ処理部203により、詳細は後述するが、撮影画像に含まれる被写体ごとにメタデータ候補の抽出が行われる(S705)。そして、メタデータ処理部203は、抽出したメタデータ候補を示す情報と撮影画像を表示部110のUI218に表示する(S706)。
【００４０】
メタデータ処理部203は、撮影者による撮影画像に付与するメタデータ候補の選択を受け付け(S707)、選択されたメタデータを撮影画像格納部202に格納された対応する撮影画像の画像データに記録する(S708)。なお、撮影者はメタデータを付与しないと判断することも可能であり、その場合、メタデータの記録(S708)はスキップされる。
【００４１】
●画像特徴量の取得
図6のフローチャートにより画像特徴量の取得処理(S702)を説明する。画像特徴量取得部207は、画像特徴量格納部208に格納された頻出画像特徴量に関連付けられた地理情報（図3(c)参照）を取得し(S801)、位置情報取得部206から現在位置を示す地理情報を取得する(S802)。
【００４２】
次に、画像特徴量取得部207は、頻出画像特徴量に関連付けられた地理情報が示す位置と現在位置の差分を移動距離Dmとして算出し(S803)、移動距離Dmが所定値Dth1を超えているか否かを判定する(S804)。移動距離が所定値を超えている（Dm＞Dth1）場合、画像特徴量取得部207は、現在位置を示す地理情報を画像情報蓄積サーバ104に送信する(S805)。
【００４３】
また、移動距離が所定値以下（Dm≦Dth1）場合、画像特徴量取得部207は、画像特徴量の取得処理(S702)を終了する。つまり、移動距離Dmに基づき画像情報蓄積サーバ104に画像特徴量を要求することにより、僅かな移動が発生した場合も頻出画像特徴量を要求する過剰な要求を防いで、撮像装置101および画像情報蓄積サーバ104の処理負荷を軽減することができる。
【００４４】
画像情報蓄積サーバ104の位置情報受信部215が撮像装置101から地理情報を受信すると(S811)、画像特徴量選択部216は、詳細は後述するが、地理情報が示す位置において撮影頻度が高い被写体の画像特徴量を選択する(S812)。そして、画像特徴量送信部217は、頻出画像特徴量を撮像装置101に送信する(S813)。
【００４５】
画像特徴量取得部207は、画像情報蓄積サーバ104から頻出画像特徴量を受信すると(S806)、受信した頻出画像特徴量を、送信した地理情報に関連付けて画像特徴量格納部208に格納する(S807)。優先比較対象判定部209は、詳細は後述するが、画像特徴量格納部208に格納された頻出画像特徴量に基づき、画像特徴量記憶部205に格納された被写体別の画像特徴量に対する優先比較対象の判定を行う(S808)。
【００４６】
●優先比較対象の判定
図7のフローチャートにより優先比較対象の判定処理(S808)を説明する。優先比較対象判定部209は、画像特徴量記憶部205に辞書情報として格納された被写体別の画像特徴量から処理対象の画像特徴量（以下、第一の画像特徴量）を選択する(S901)。また、画像特徴量格納部208に格納された頻出画像特徴量から比較対象の画像特徴量（以下、第二の画像特徴量）を選択する(S902)。
【００４７】
次に、優先比較対象判定部209は、第一および第二の画像特徴量を比較して類似度Sを算出する(S903)。類似度Sの算出は、例えば、多次元ベクトル化された特徴量間のユークリッド距離を算出することによって行われる。そして、類似度Sが所定値Sth1以上か否かを判定し(S904)、類似度が所定値以上（S≧Sth1）の場合、第一の画像特徴量を優先比較対象と判定する(S905)。また、類似度が所定値未満（S＜Sth1）の場合、頻出画像特徴量のすべてを比較対象として選択したか否かを判定する(S906)。比較対象として未選択の頻出画像特徴量があれば処理をステップS902に戻して第二の画像特徴量を更新し、類似度Sの算出と判定を繰り返す。
【００４８】
第一の画像特徴量を優先比較対象と判定した場合、または、比較対象として未選択の頻出画像特徴量がなくなった場合、優先比較対象判定部209は、画像特徴量記憶部205に格納された全画像特徴量を処理対象として選択したか否かを判定する(S907)。処理対象として未選択の画像特徴量があれば処理をステップS901に戻して第一の画像特徴量を更新し、類似度Sの算出と判定を繰り返す。
【００４９】
●メタデータ候補の抽出
図8のフローチャートによりメタデータ候補の抽出処理(S705)を説明する。被写体検出部204は、撮影画像に含まれる被写体を検出する(S1001)。図9により被写体の検出の様子を示す。被写体検出部204は、例えば、エッジ検出によって物体の境界を示す曲線を抽出し、それら曲線を包含する矩形領域を被写体とする。図9に示す撮影画像1101においては、二つの被写体1102と1103が検出される。
【００５０】
次に、被写体検出部204は、検出した被写体の一つを選択し(S1002)、当該被写体の画像特徴量（以下、第三の画像特徴量）を算出する(S1003)。第三の画像特徴量が算出されると、パラメータ処理部203は、第三の画像特徴量と優先比較対象と判定された被写体別の画像特徴量（以下、第四の画像特徴量）を比較して類似度Sを算出する(S1004)。なお、優先比較対象と判定された画像特徴量が複数ある場合、パラメータ処理部203は、それらすべての画像特徴量について類似度Sを算出する。
【００５１】
次に、パラメータ処理部203は、類似度Sが所定値Sth2以上の第四の画像特徴量が存在するか否かを判定し(S1005)、存在する場合は類似度Sが最も高い第四の画像特徴量に関連付けられた被写体情報をメタデータ候補として抽出する(S1006)。
【００５２】
第四の画像特徴量すべてに対する類似度が所定値未満（S＜Sth2）が発生する場合が想定される。このような場合、パラメータ処理部203は、優先比較対象と判定されてない、非優先比較対象の被写体別の画像特徴量（以下、第五の画像特徴量）と第三の画像特徴量を比較して類似度Sを算出する(S1007)。そして、類似度Sが所定値Sth2以上の第五の画像特徴量が存在するか否かを判定し(S1008)、存在する場合は類似度Sの最も高い第五の画像特徴量に関連付けられた被写体情報をメタデータ候補として抽出する(S1006)。
【００５３】
さらに、第五の画像特徴量すべてに対する類似度が所定値未満（S＜Sth2）が発生する場合が想定される。このような場合、パラメータ処理部203は、算出した類似度Sの中で最も高い類似度Sに対応する画像特徴量に関連付けられた被写体情報をメタデータ候補として抽出する(S1009)。なお、この場合は、メタデータ候補がない旨を抽出結果としてもよい。
【００５４】
次に、パラメータ処理部203は、撮影画像から検出されたすべての被写体についてメタデータ候補の抽出処理を行ったか否かを判定する(S1010)。メタデータ候補の抽出処理が未了の被写体がある場合は処理をステップS1002に戻し、次の被写体を選択させてメタデータ候補の抽出処理を繰り返す。
【００５５】
［画像情報蓄積サーバの処理］
●画像特徴量の格納と分類
図10のフローチャートにより画像特徴量の分類処理を説明する。画像情報蓄積サーバ104において、画像受信部210がクライアント装置から画像データを受信すると(S1201)、受信された画像データは画像格納部211に格納される(S1202)。
【００５６】
被写体検出部212は、画像格納部211に格納された画像データが表す画像に含まれる被写体を検出する(S1203)。なお、被写体の検出処理は、例えば、ステップS1001と同様の方法によって行われる。そして、被写体検出部212は、検出した被写体の画像特徴量を算出し(S1204)、算出した画像特徴量を当該画像データに含まれる撮影情報に関連付けて画像特徴量格納部213に格納する(S1205)。なお、画像特徴量の算出と格納は、検出された被写体の分、繰り返される。
【００５７】
次に、画像特徴量分類部214は、画像特徴量格納部213に格納された画像特徴量（以下、第六の画像特徴量）と、画像特徴量の類似度の高さに基づいて分類された既存の画像特徴量集合の間で類似度Sを算出する(S1206)。類似度Sの算出は、例えば、画像特徴量集合に属す画像特徴量の重心と、第六の画像特徴量のユークリッド距離を算出することによって行われる。なお、画像特徴量集合が複数ある場合、画像特徴量分類部214は、それらすべての画像特徴量集合について類似度Sを算出する。
【００５８】
次に、画像特徴量分類部214は、類似度Sが所定値Sth3以上の画像特徴量集合が存在するか否かを判定し(S1207)、存在する場合は、類似度Sが最も高い画像特徴量集合に第六の画像特徴量を割り当てる(S1208)。また、既存の画像特徴量集合すべてに対する類似度が所定値未満（S＜Sth3）の場合、画像特徴量分類部214は、新規の画像特徴量集合に第六の画像特徴量を割り当てる(S1209)。なお、画像特徴量の分類は、検出された被写体の分、繰り返される。
【００５９】
●頻出画像特徴量の選択
図11のフローチャートにより頻出画像特徴量の選択処理(S812)を説明する。画像情報蓄積サーバ104において、位置情報受信部215が撮像装置101から地理情報を受信すると(S1301)、画像特徴量選択部216は、画像特徴量格納部213に格納された画像特徴量（以下、第七の画像特徴量）を選択する(S1302)。
【００６０】
次に、画像特徴量選択部216は、第七の画像特徴量に関連付けられた撮影位置と、受信した地理情報が示す位置（以下、撮像装置位置）の間の距離Dを算出し(S1303)、算出した距離Dが所定値Dth2以内か否かを判定する(S1304)。距離が所定値以下（D≦Dth2）の場合、画像特徴量選択部216は、第七の画像特徴量が属す画像特徴量集合の評価値をインクリメントする(S1305)。なお、画像特徴量集合の評価値は、当該画像特徴量集合において距離Dが所定値Dth2以下の画像特徴量の数を表すカウント値であり、頻出画像特徴量の選択処理を開始する前に0にリセットされている。
【００６１】
次に、画像特徴量選択部216は、画像特徴量格納部213に格納された全画像特徴量に関して距離Dの算出と判定を行ったか否か、言い替えれば画像特徴量集合の評価処理が終了したか否かを判定する(S1306)。そして、評価処理が未了の場合は処理をステップS1302に戻して、次の画像特徴量を選択し、距離Dの算出と判定を繰り返す。
【００６２】
このようにして、画像特徴量選択部216は、画像特徴量集合の評価処理を行い、評価処理が終了すると、頻出画像特徴量を選択する(S1307)。頻出画像特徴量の選択は、例えば、評価値が高い順に所定数の画像特徴量集合を選択し、選択した画像特徴量集合から、撮影位置が撮像装置位置に近い順に所定数の画像特徴量を選択することで行われる。頻出画像特徴量の選択が終了すると、画像特徴量通知部217は、頻出画像特徴量を撮像装置101に送信する(S1308)。
【００６３】
撮像装置101から地理情報が受信された後、画像特徴量集合の評価処理を開始する場合、画像特徴量格納部213に格納された画像特徴量の数が多ければ、評価処理に多大な時間がかかることが想定される。そこで、画像特徴量選択部216は、位置に関して逐次、画像特徴量を分類し、位置に関連付けた画像特徴量の索引を予め作成しておく。そして、撮像装置101から地理情報が受信されると、索引に基づいて、撮像装置位置に関連する画像特徴量を選択して距離Dの算出と判定を行うことで、評価処理を効率的に実行することができる。
【００６４】
［変形例］
上記では、撮像装置101の画像特徴量記憶部205が被写体別の画像特徴量と、その被写体情報などを予め辞書情報として記憶する例を示した。しかし、辞書情報を、クライアント装置別、撮影者別、地理情報別、季節別などに分類して画像情報蓄積サーバ104の記憶部113に格納しておくこともできる。撮像装置101の画像特徴量取得部207は、画像特徴量記憶部205に格納された辞書情報の属性を参照して、現在位置の変化、撮影者の変化、季節の変化などを検出した場合、取得すべき辞書情報を選別する情報を画像情報蓄積サーバ104に送信する。そして、画像情報蓄積サーバ104から、クライアント装置、撮影者、地理情報、季節などに合致する辞書情報を取得することができる。
【００６５】
上記では、被写体の画像特徴量と優先比較対象と判定された被写体別の画像特徴量の類似度Sが所定値Sth2未満の場合、優先比較対象と判定されていない被写体別の画像特徴量との類似度Sを算出する例を説明した。しかし、S＜Sth2の場合、メタデータ候補がない旨を抽出結果として、ステップS1007-S1009の処理を省いてもよい。
【００６６】
上記では、評価値が高い順に所定数の画像特徴量集合を選択し、選択した画像特徴量集合から、撮影位置が撮像装置位置に近い順に画像特徴量を選択して、撮像装置位置において撮影頻度が高い被写体に対応する画像特徴量を選択する例を説明した。さらに、画像情報蓄積サーバ104が地理情報を受信した日時を考慮した画像特徴量の選択を行ってもよい。例えば、評価値に基づき画像特徴量集合を選択した後、撮影位置と撮像装置位置が近い順に選択を行い、さらに、受信日時と撮影情報の季節が近い順に選択を行えばよい。勿論、距離による選択と季節による選択の順は逆でもよい。また、季節の区分としては、例えば、春夏秋冬や月別などを用いればよい。
【００６７】
また、上記では、位置情報取得部206がGPSによって地理情報を取得する例を説明した。しかし、位置情報取得部206は、UI218を介して撮影者から地理情報を取得することもできる。例えば、UI218に地図を表示して撮影者に現在地をポイントさせたり、UI218に郵便番号、近所の駅名または地名を入力させればよい。
【００６８】
また、上記では、通信部107がAP102を介してネットワーク103に接続する例を説明した。しかし、無線ネットワーク以外にも携帯電話回線などのモバイル通信網を介してネットワーク103に接続することもできる。
【００６９】
［その他の実施例］
本発明は、上述の実施形態の一以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、一以上の機能を実現する回路（例えば、ASIC）によっても実現可能である。
【符号の説明】
【００７０】
101 … 撮像装置、205 … 画像特徴量記憶部、207 … 画像特徴量取得部、104 … 画像情報蓄積サーバ104、209 … 優先比較対象判定部、204 … 被写体検出部、203 … メタデータ処理部
【図１】
2016075992.tif 000003
【図２】
2016075992.tif 000004
【図３】
2016075992.tif 000005
【図４】
2016075992.tif 000006
【図５】
2016075992.tif 000007
【図６】
2016075992.tif 000008
【図７】
2016075992.tif 000009
【図８】
2016075992.tif 000010
【図９】
2016075992.tif 000011
【図１０】
2016075992.tif 000012
【図１１】
2016075992.tif 000013