(57)【要約】【課題】  従来複数の画像から同じ場所に存在した人や物を判断することでしか判断し得なかった、撮影の場にあった人や物の情報を判断し、画像に紐づけて記憶することで、効率的な画像の検索を可能にすること。【解決手段】  画像の有意な集合それぞれにおいて、当該集合の開始日時から終了日時の間で、認識されたオブジェクトごとに、オブジェクトを認識した日時に関する統計情報を形成し、この統計情報を使用して、撮影の場に存在したと決定する。【選択図】  図４
2019070883.tif 000002
【特許請求の範囲】
【請求項１】
画像から画像の被写体であるオブジェクトを認識する画像認識手段と、
画像を、撮影日時の関連情報や、前記画像認識手段によって認識されたオブジェクトの画像認識結果と、紐づけて管理する画像管理手段と、
前記画像管理手段で管理されている画像の集合を、撮影日時で特徴づけられる部分集合に分割する画像集合分割手段と、
前記画像集合分割手段によって生成された集合それぞれにおいて、当該集合の開始日時から終了日時の間で、前記画像認識結果のオブジェクトごとに、当該オブジェクトを認識した日時に関する統計情報を形成し、この統計情報を使用して、当該オブジェクトが撮影の場に存在したと決定する画像情報決定手段と、
前記画像情報決定手段による決定結果を、前記画像管理手段に、画像と関連づけて登録する登録手段とを
有することを特徴とする画像データ管理装置。
【請求項２】
前記画像情報決定手段の形成する統計情報が、当該オブジェクトが前記画像認識結果として保存されている画像の撮影日時の、当該集合の開始日時から終了日時の間での最大値と最小値である、
ことを特徴とする請求項１に記載の画像データ管理装置。
【請求項３】
周りのオブジェクトを認識するためのセンシング手段と、
前記センシング手段により取得されたオブジェクトと認識日時を保存するオブジェクト認識情報保存手段とを
更に備え、
前記画像情報決定手段が、前記画像認識結果のオブジェクトに対してだけではなく、更に、前記オブジェクト認識情報保存手段に保存されるオブジェクトに対しても、統計情報を形成する
ことを特徴とする請求項１に記載の画像データ管理装置。
【請求項４】
前記オブジェクト認識情報保存手段が、前記センシング手段により取得されたオブジェクトと認識日時をそのまま保存するのではなく、前記センシング手段により取得された結果を前記画像認識手段にかけ、その結果であるオブジェクトを、認識日時と共に保存する
ことを特徴とする請求項３に記載の画像データ管理装置。
【請求項５】
前記センシング手段が、光を受け画像を生成することを特徴とし、
前記ブジェクト認識情報保存手段が、前記センシング手段により生成された画像を前記画像認識手段にかけ、その結果であるオブジェクトを、撮影日時と共に保存する
ことを特徴とする請求項４に記載の画像データ管理装置。
【請求項６】
前記画像情報決定手段の形成する統計情報が、当該オブジェクトが前記画像認識結果として保存されている画像の撮影日時と、前記オブジェクト認識情報保存手段で当該オブジェクトに関し保存されている認識日時の、当該集合の開始日時から終了日時の間での最大値と最小値である
ことを特徴とする請求項３乃至５のいずれか１項に記載の画像データ管理装置。
【請求項７】
光を受け画像を生成する撮像手段を
更に備えることを特徴とする請求項１乃至６のいずれか１項に記載の画像データ管理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影された画像に対し関連情報の付与を可能とする画像データ管理装置に関する。
【背景技術】
【０００２】
近年、撮像装置によって撮影されるユーザ一人当たりの画像が増加していることから、検索に供するため、画像に関連する情報を残すことが重要となっている。ある画像に写っているもののこの画像では被写体の種類を認識できない場合に、まずこの認識できない領域を抽出し、この領域が写っている別の画像から当該被写体の種類を判断し、一つ目の画像の認識できなかった被写体の種類を判断する構成を有するものがある（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４８８８１１１号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来技術の構成では、二つの画像が、近接された場所・時刻で撮影された場合にしか、被写体の種類を判断することができないという問題がある。特に、被写体が移動可能である場合には、連写などで近接した時刻・場所に撮影された画像でなければ判断ができない。また被写体が写っていない場合にはそもそも判断ができないという問題もある。
【０００５】
人は、画像の特徴を、一緒にいた人やその場にあった物で記憶することが多いから、効率的に画像を検索するためには、撮影の場にあった人や物の情報を、画像に付随する情報として、付することが有効である。従来技術でも、撮影の場にあった人や物の情報を判断し得るが、判断できるのは、撮影されているが認識できない被写体に限定されるから、撮影されていない被写体に関しては判断ができない。また判断に使用される他の画像も、人やペットなど移動可能な物を被写体とした場合、上述したように近接された場所・時刻に撮影された画像に限定されるから、撮影の場にあった人や物の情報を判断できる範囲は非常に狭い。
【０００６】
本発明は、上記問題点を鑑み、撮影の場にあった人や物の情報を判断することを目的とする。
【課題を解決するための手段】
【０００７】
画像から画像の被写体であるオブジェクトを認識する画像認識手段と、
画像を、撮影日時などの関連情報や、前記画像認識手段によって認識されたオブジェクトなどの画像認識結果と、紐づけて管理する画像管理手段と、
前記画像管理手段で管理されている画像の集合を、撮影日時などで特徴づけられる部分集合に分割する画像集合分割手段と、
前記画像集合分割手段によって生成された集合それぞれにおいて、当該集合の開始日時から終了日時の間で、前記画像認識結果のオブジェクトごとに、当該オブジェクトを認識した日時に関する統計情報を形成し、この統計情報を使用して、当該オブジェクトが撮影の場に存在したと決定する画像情報決定手段と、
前記画像情報決定手段による決定結果を、前記画像管理手段に、画像と関連づけて登録する登録手段とを
有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、撮影の場にあった人や物の情報を判断することができ、この情報を画像に付随する情報として保存することが可能となる。この画像に付随する情報を、大量の画像の中から適切な画像を検索する際の情報として使用することで、人が記憶する一緒にいた人やその場にあった物の情報による画像の検索が可能となる。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施形態に係る画像データ管理装置の構成例を示すブロック図である。
【図２】本発明の一実施形態に係る画像データ管理装置のソフトウェアモジュール構成例を示すブロック図である。
【図３】本発明の一実施形態に係る画像データ管理装置のデータ構成を示す図である。
【図４】本発明の一実施形態に係る画像データ管理装置の処理手順を示すフローチャートである。
【図５】本発明の一実施形態に係る画像撮像装置の構成例を示すブロック図である。
【図６】本発明の一実施形態に係る画像撮像装置のソフトウェアモジュール構成例を示すブロック図である。
【図７】本発明の一実施形態に係る画像撮像装置のデータ構成の一部を示す図である。
【図８】本発明の一実施形態に係る画像撮像装置の処理手順を示すフローチャートである。
【発明を実施するための形態】
【００１０】
［実施例１］
＜構成例＞
図１は、本件実施形態に係る画像データ管理装置１００の構成例を示すブロック図である。
【００１１】
図１において、ＣＰＵ１０１は演算装置であって、装置全体の制御を司る。ＲＯＭ１０２は不揮発性のメモリであって、ＣＰＵ１０１が実行するシステムと、これが使用するパラメータ等を記憶している。ＲＡＭ１０３は揮発性のメモリであって、プログラムをＣＰＵ１０１が実行する時のワークエリア等として用いられる。ｅＭＭＣ１０４は不揮発性のメモリであって、プログラムと、これが使用するパラメータや、画像ファイルなどのユーザデータやこれに関する管理情報等を記憶している。ｅＭＭＣ１０４は、ハードディスクやＳＤカードなど不揮発性があり書き換えが可能な他の記憶手段によっても代替し得る。
【００１２】
ＬＣＤ１０６は、液晶ディスプレーパネルであり、コントローラ１０５は、ＬＣＤ１０６のコントロールを行う。ＬＣＤ１０６とコントローラ１０５は、プログラムやシステムによって処理中のデータの情報、各種メッセージ、メニューなどの表示を行う。ＬＣＤ１０６とコントローラ１０５は、有機ＥＬディスプレーなど他のディスプレーとそのコントローラによっても代替し得る。タッチパネル１０８は、タッチパネルであり、コントローラ１０７は、タッチパネル１０８のコントロールを行う。タッチパネル１０８とコントローラ１０７は、ユーザからの入力を受付け、ユーザがオペレーションを行うために用いられる。タッチパネル１０８とコントローラ１０７は、物理ボタンなど他の入力手段によっても代替し得る。
【００１３】
バス１１０は、上述した各部を接続し、通信を可能とする。また上記説明したほかに外部接続用にインターフェイスを備えてもよい。
【００１４】
＜ソフトウェアモジュール構成例＞
図２は、本件実施形態に係るソフトウェアモジュール構成例を示すブロック図である。図２において、画像管理２０１は、ｅＭＭＣ１０４に存在する画像ファイルを管理するソフトウェアモジュールであって、ｅＭＭＣ１０４のプログラムの一部として存在する。
【００１５】
画像管理２０１は、画像ファイルと画像に写るかまたは撮影の場にあった人や物を管理するためのデータベースを含む。画像ファイルを管理するためのテーブルの例を図３に示す。画像管理３００は、画像ファイルを管理するテーブルであって、画像ファイルごとに１レコードを作成される。そして、画像管理３００は、個々の画像ファイルに付されたＩＤを示す画像ＩＤ３０１、画像ファイルの存在するパスを示すファイルパス３０２、画像ファイルの画像が撮影された日時を示す撮影日時３０３の各カラムで構成される。
【００１６】
画像の登録時に、画像管理３００に１レコード追加され、登録される画像にユニークに付番されたＩＤ、画像がｅＭＭＣ１０４上に保存されたパス、画像の撮影された日時が、画像ＩＤ３０１、ファイルパス３０２、撮影日時３０３にそれぞれ保存される。この他に撮影場所の緯度経度など画像に関する情報を示すカラムが他に存在してもよい。
【００１７】
またオブジェクト管理３１０は、画像に写るかまたは撮影の場にあったと判断された人や物（以後これらの人や物をオブジェクトと呼ぶ）を管理するテーブルであって、後述する画像認識２０２によって同一のオブジェクトと認識されたものごとに１レコードが作成される。そして、オブジェクト管理３１０は、個々のオブジェクトにユニークに付番されたＩＤを示すオブジェクトＩＤ３１１、オブジェクトの種別を示す種別３１２、オブジェクトの名称を示す名称３１３、認識に必要な特徴を表す情報である認識情報３１４の各カラムで構成される。
【００１８】
画像の登録時などに、画像認識２０２により認識されたオブジェクトに相当するレコードが、オブジェクト管理３１０に存在しないときに、オブジェクト管理３１０に１レコード追加される。認識されたオブジェクトにユニークに付番されたＩＤ、認識されたオブジェクトの種別、認識された特徴を表す情報が、オブジェクトＩＤ３１１、種別３１２、認識情報３１４にそれぞれ保持される。名称３１３には、ユーザの指定に基づき格納する場合と基づかないで格納できる場合がある。
【００１９】
例えば、認識に使用された画像認識２０２の機能が人の顔の判別であるのであれば、顔の形状から人の名前を判断することはできないから、名称３１３はユーザの指定によらなければならない。しかし、認識に使用された画像認識２０２の機能が犬種の判別であれば、犬の形状から犬種は判断できるから、名称３１３はユーザの指定によらずに保持できる。
【００２０】
そして、画像被写体３２０は、画像に写る人や物（以後これらの人と物を被写体と呼ぶ）を管理するテーブルであって、画像ＩＤ３２１、オブジェクトＩＤ３２２の各カラムで構成される。あるオブジェクトがある画像に写っている場合に、その画像とオブジェクトのＩＤの組み合わせごとに１レコードが作成され、その画像の画像ＩＤとオブジェクトのオブジェクトＩＤが、画像ＩＤ３２１、オブジェクトＩＤ３２２にそれぞれに保持される。
【００２１】
さらに、画像撮影の場にあったオブジェクト３３０は、画像の撮影の場にあったと判断されたオブジェクトを管理するテーブルであって、画像ＩＤ３３１、オブジェクトＩＤ３３２の各カラムで構成される。あるオブジェクトがある画像の撮影の場にあったと判断された場合に、その画像とオブジェクトのＩＤの組み合わせごとに１レコードが作成され、その画像の画像ＩＤとオブジェクトのオブジェクトＩＤが、画像ＩＤ３３１、オブジェクトＩＤ３３２にそれぞれに保持される。
【００２２】
画像管理２０１は、画像の登録の機能を提供しており、これを使う場合は画像ファイルを指定して行う。画像登録機能が使用された場合は、画像管理３００に１レコードを追加し、画像ＩＤ３０１には登録された画像を表すユニークなＩＤが、ファイルパス３０２には指定された画像ファイルが保存されるパスが、撮影日時３０３には画像ファイルのＥｘｉｆ情報などから取得された撮影日時が、それぞれ格納される。
【００２３】
また指定された画像は、画像認識２０２によって被写体の認識が行われ、認識された被写体ごとに、画像被写体３２０に１レコード追加され、画像ＩＤ３２１には当該画像の画像ＩＤが、オブジェクトＩＤ３２２には認識された被写体に対してオブジェクト管理３１０で付されたオブジェクトＩＤ３１１が、それぞれ格納される。認識された被写体がオブジェクト管理３１０に登録されていなければ、画像被写体３２０へのレコード追加に先立ち、オブジェクト管理３１０に認識された被写体の情報を追加する。
【００２４】
画像管理２０１が含むデータベースは、リレーショナルデータベースである必要はなく、上記のテーブルは必ずしも必要としない。画像とオブジェクトを管理でき、撮影日時を用いて一定の範囲の画像の集合をとりだすことが可能であって、どのオブジェクトがどの画像に写っているか、どのオブジェクトがどの画像の撮影の場にあったかについても管理されていれば、上記構成に代替し得る。また画像撮影の場にあったオブジェクト３３０とオブジェクト管理３１０の情報は、Ｅｘｉｆなどのように、個々の画像ファイルに付加して保存することも可能である。
【００２５】
画像認識２０２は、被写体を認識し、その被写体の種別や被写体の認識に必要な特徴を表す情報を抽出するソフトウェアモジュールであって、ｅＭＭＣ１０４のプログラムの一部として存在する。例えば、人の顔の形状から個人を特定する顔認証機能や犬の形状から犬種の判断を行う機能は、画像認識２０２の一例である。
【００２６】
画像集合分割２０３は、画像管理２０１で管理されている画像の情報を読み込み、撮影日時などによって、画像管理２０１で管理されている画像を複数の集合に分割し、一連の有意なかたまりとなっている画像の集合を形成するためのソフトウェアモジュールであって、ｅＭＭＣ１０４のプログラムの一部として存在する。
【００２７】
本実施例においては、画像管理２０１で管理されている画像を撮影日時の順に並べ、ある画像とそのすぐ後に配置される画像の撮影日時の間隔が、一定時間（例えば３時間）以内であれば、両画像は同じ集合とし、これを超えていれば、別の集合とするという、単純なアルゴリズムを用いる。しかし、画像集合分割２０３のアルゴリズムは、このアルゴリズムに限られるものではなく、画像管理２０１で管理されている画像の情報を読み込み、撮影日時などによって、画像管理２０１で管理されている画像を複数の集合に分割し、一連の有意なかたまりとなっている画像の集合を形成するものであれば、どのようなものでもよい。
【００２８】
画像情報決定２０４は、画像管理２０１で管理されている画像等の情報と画像集合分割２０３によって形成された画像の集合を用い、撮影の場にあったオブジェクトを判断するソフトウェアモジュールであって、ｅＭＭＣ１０４のプログラムの一部として存在する。後述するアプリケーション２１０などから、画像集合分割２０３と併せて、定期的に起動するなどして、使用される。画像情報決定２０４がどのようにして撮影の場にあったオブジェクトを判断するかについては、詳しく後述する。
【００２９】
画像情報登録２０５は、画像情報決定２０４によって決定された撮影の場にあったオブジェクトの情報を画像管理２０１に登録するソフトウェアモジュールであって、ｅＭＭＣ１０４のプログラムの一部として存在する。画像情報決定２０４によって判断された画像とこの撮影の場にあったオブジェクトとの組み合わせごとに、画像ＩＤとオブジェクトＩＤを、画像管理２０１の画像撮影の場にあったオブジェクト３３０に追加することを、画像情報登録２０５は、画像管理２０１に依頼する。
【００３０】
アプリケーション２１０は、ユーザとのインタラクションをＬＣＤ１０６やタッチパネル１０８を通じて行うソフトウェアモジュールであって、ｅＭＭＣ１０４のプログラムの一部として存在する。アプリケーション２１０は、画像管理２０１から画像を取り出し、ＬＣＤ１０６に表示する他、画像管理２０１への画像の登録も行う。
【００３１】
＜画像情報決定２０４の動作＞
画像情報決定２０４は、上述したように、画像管理２０１で管理されている画像等の情報と画像集合分割２０３によって形成された画像の集合を用い、撮影の場にあったオブジェクトを判断する。この判断では、まず、画像集合分割２０３によって形成された画像の集合に含まれる画像の被写体ごとの撮影された日時を調べ、被写体ごとの撮影日時の最大値（最も新しい値）と最小値（最も古い値）を求める。そして、この最大値と最小値とを用いて、集合に含まれている画像ごとの撮影の場にあったオブジェクトを判断する。以下では、この判断の過程について、図４のフローチャートを用いて詳しく説明する。
【００３２】
上述した被写体ごとの撮影日時の最大値を保持するために、被写体のオブジェクトＩＤをキーとして、撮影日時の最大値を値とする、撮影日時最大値マップを用意する。同様に、被写体ごとの撮影日時の最小値を保持するために、被写体のオブジェクトＩＤをキーとして、撮影日時の最小値を値とする、撮影日時最小値マップを用意する。
【００３３】
画像情報決定２０４は、画像集合分割２０３により形成された集合に含まれる画像の画像ＩＤのリストを、入力として受け付ける。このリストから一つ画像ＩＤを取り出し、画像管理２０１の、画像管理３００の撮影日時３０３から撮影日時を、画像被写体３２０のオブジェクトＩＤ３２２から被写体のオブジェクトＩＤを、取り出す（ステップ４０１）。被写体のオブジェクトＩＤがないときは、ステップ４０１に戻る（ステップ４０２）。
【００３４】
被写体のオブジェクトＩＤがあるときは（ステップ４０２）、取り出されたオブジェクトＩＤをキーとして撮影日時最小値マップに格納されていた日時が、設定されていないか、または、取り出された撮影日時より大きければ（ステップ４０３）、撮影日時最小値マップの当該オブジェクトＩＤをキーとする値を、取り出された撮影日時に設定する（ステップ４０４）。そして、取り出されたオブジェクトＩＤをキーとして撮影日時最大値マップに格納されていた日時が、設定されていないか、または、取り出された撮影日時より小さければ（ステップ４０５）、撮影日時最大値マップの当該オブジェクトＩＤをキーとする値を、取り出された撮影日時に設定する（ステップ４０６）。取り出した画像ＩＤがリストの最後のものでなければ（ステップ４０７）、ステップ４０１に戻る。
【００３５】
取り出した画像ＩＤがリストの最後のものであれば（ステップ４０７）、また改めて初めから、集合に含まれる画像の画像ＩＤのリスト（以下で画像ＩＤリストと呼ぶ）から一つ画像ＩＤを取り出し、画像管理２０１の、画像管理３００の撮影日時３０３から撮影日時を、取り出す（ステップ４０８）。
【００３６】
そして、撮影日時最大値マップおよび撮影日時最小値マップのキーとなっているオブジェクトＩＤのリスト（以下でオブジェクトＩＤリストと呼ぶ）から一つオブジェクトＩＤを取り出し、当該オブジェクトＩＤをキーとする撮影日時最大値マップの値（以下で撮影日時最大値と呼ぶ）と当該オブジェクトＩＤをキーとする撮影日時最小値マップの値（以下で撮影日時最小値と呼ぶ）を取り出す（ステップ４０９）。取り出された撮影日時が、撮影日時最小値以上で、かつ、撮影日時最大値以下であるときは（ステップ４１０）、当該オブジェクトＩＤのオブジェクトは取り出された画像の「撮影の場にあったオブジェクト」と判断される（ステップ４１１）。
【００３７】
そして、取り出されたオブジェクトＩＤがオブジェクトＩＤリストの最後のオブジェクトＩＤでなければ（ステップ４１２）、ステップ４０９に戻る。また、取り出した被写体が、オブジェクトＩＤリストの最後のオブジェクトＩＤで（ステップ４１２）、取り出された画像が、画像ＩＤリストの最後の画像でなければ（ステップ４１３）、ステップ４０８に戻る。取り出された画像が、画像ＩＤリストの最後の画像であれば（ステップ４１３）、処理を終了する。
【００３８】
以上より、画像集合分割２０３によって形成された画像の集合に含まれる画像の「撮影の場にあったオブジェクト」が判断され、画像ＩＤとこの画像の撮影の場にあったオブジェクトのオブジェクトＩＤの組み合わせが生成できる。
【００３９】
＜その後の処理＞
この画像ＩＤとこの画像の撮影の場にあったオブジェクトのオブジェクトＩＤの組み合わせを、画像情報登録２０５は、画像管理２０１に依頼することで、画像撮影の場にあったオブジェクト３３０に追加する。
【００４０】
これにより、アプリケーション２１０は、画像管理２０１を用いて画像を検索する際に、画像に写っているオブジェクトだけでなく、撮影の場にあったオブジェクトによる検索も可能となる。
【００４１】
なお、画像集合分割２０３によって形成された画像の集合について、画像管理２０１に保存してもよい。例えば、集合ごとにＩＤを付し、これを画像管理３００の新しいカラムなどに画像と対応づけて保存することで実現できる。このように画像集合分割２０３によって形成された画像の集合を保存すると、あるオブジェクトに関し、画像を、集合内に含まれる他の画像でオブジェクトが撮影されている集合に含まれる画像、画像情報決定２０４により撮影の場にあったオブジェクトと判断された画像、オブジェクトが撮影された画像に分類できるので、これを使った検索や表示も可能となる。
【００４２】
＜他の実施形態＞
画像データ管理装置１００が、光を受け画像を生成するカメラモジュールなど撮像用のデバイスを更に備え、当該デバイスで撮影された画像を管理するために上記ソフトウェアモジュールが機能する画像撮像装置などの実施形態も可能である。
【００４３】
［実施例２］
＜構成例＞
図５は、本件実施形態に係る画像撮像装置５００の構成例を示すブロック図である。図５における５０１乃至５０８、および５１０は、それぞれ図１の１０１乃至１０８、および１１０に相当し、それぞれの説明がそのままあてはまる。図５のカメラモジュール５０９は撮影を行い画像の生成を行うカメラであって、レンズや撮像素子、現像処理などを行うための演算装置などを内部に有する。
【００４４】
＜ソフトウェアモジュール構成例＞
図６は、本件実施形態に係るソフトウェアモジュール構成例を示すブロック図である。図６における６０１乃至６０５、および６１０は、それぞれ図２の２０１乃至２０５、および２１０に相当し、それぞれの説明がそのままあてはまる。図６において、オブジェクト認識情報保存６０７は、カメラモジュール５０９によって認識されたオブジェクトのオブジェクトＩＤと、当該オブジェクトが認識された日時を保存するソフトウェアモジュールであって、ｅＭＭＣ５０４のプログラムの一部として存在する。
【００４５】
オブジェクト認識情報保存６０７は、カメラモジュール５０９によって撮影されたライブビュー画像で認識されたオブジェクトを管理するためのデータベースを含む。ライブビュー画像で認識されたオブジェクトを管理するためのテーブルの例を図７に示す。ライブビュー被写体７４０は、ライブビュー画像で認識されたオブジェクトを管理するためのテーブルであって、ライブビューで被写体が認識された場合に認識された日時と被写体のオブジェクトＩＤの組み合わせごとに１レコードが作成される。そして、ライブビュー被写体７４０は、ライブビューで被写体が認識された日時を示すライブビュー撮影日時７４１、被写体のオブジェクトＩＤを示すオブジェクトＩＤ７４２の各カラムで構成される。
【００４６】
オブジェクト認識情報保存６０７が含むデータベースは、リレーショナルデータベースである必要はなく、上記のテーブルは必ずしも必要としない。被写体が認識された日時と認識された被写体のオブジェクトＩＤについて管理されていれば、上記構成に代替し得る。
【００４７】
アプリケーション６１０などが、カメラモジュール５０９によって、一定時間間隔毎に、撮影されたライブビュー画像を、オブジェクト認識情報保存６０７は、画像認識６０２で認識させ、認識されたオブジェクトのオブジェクトＩＤと当該画像が撮影された日時を、それぞれ、ライブビュー被写体７４０のオブジェクトＩＤ７４２とライブビュー撮影日時７４１に保管する。当該画像において複数のオブジェクトが認識された場合は、認識されたオブジェクトと同じ数のレコードが、ライブビュー被写体７４０に追加されることとなる。なお、ライブビュー被写体７４０にレコードを追加する際に、認識されたオブジェクトが、画像管理６０１のオブジェクト管理３１０に存在しないときには、ライブビュー被写体７４０へのレコード追加に先立ち、オブジェクト管理３１０に１レコード追加される。
【００４８】
＜画像情報決定６０４の動作＞
画像情報決定６０４は、画像管理６０１で管理されている画像等の情報と画像集合分割６０３によって形成された画像の集合を用い、撮影の場にあったオブジェクトを判断するという点では、本実施例でも同様である。この判断において、画像集合分割６０３によって形成された画像の集合に含まれる画像の被写体ごとの撮影された日時を調べ、被写体ごとの撮影日時の最大値（最も新しい値）と最小値（最も古い値）を求める点と、この最大値と最小値とを用いて、集合に含まれている画像ごとの撮影の場にあったオブジェクトを判断する点も、本実施例でも同様であるが、被写体ごとの撮影日時の最大値と最小値を出す際に、ライブビューに写っていたオブジェクトの撮影日時も加味する。以下では、この判断の過程について、図８のフローチャートを用いて詳しく説明する。
【００４９】
撮影日時最大値マップと撮影日時最小値マップを用いることは、本実施例においても同様である。またステップ８０１乃至ステップ８０７は、ステップ４０１乃至ステップ４０７に相当し、それぞれの説明がそのままあてはまる。さらにステップ８１６乃至ステップ８２１は、ステップ４０８乃至ステップ４１３に相当し、それぞれの説明がそのままあてはまる。以下ではステップ８０８からステップ８１５までの処理について説明する。説明の中で、画像集合分割６０３により形成された集合に含まれる画像の撮影日時の最小値と最大値をそれぞれ集合最小日時、集合最大日時と呼ぶ。
【００５０】
ステップ８０７が終了すると、ライブビュー被写体７４０からライブビュー撮影日時が集合最小日時以上、ライブビュー撮影日時が集合最大日時以下であるレコードのオブジェクトＩＤのリストを取得する（ステップ８０８）。リストからオブジェクトＩＤを一つ取り出し（ステップ８０９）、ライブビュー被写体７４０から、ライブビュー撮影日時が集合最小日時以上で最も小さいレコードを取得する。このレコードのライブビュー撮影日時を、ライブビュー撮影日時の最小値と呼ぶ。また同様にライブビュー被写体７４０から、ライブビュー撮影日時が集合最大日時以下で最も大きいレコードを取得する。
【００５１】
このレコードのライブビュー撮影日時を、ライブビュー撮影日時の最大値と呼ぶ（ステップ８１０）。取り出されたオブジェクトＩＤをキーとして撮影日時最小値マップに格納されていた日時が、設定されていないか、または、ライブビュー撮影日時の最小値より大きければ（ステップ８１１）、撮影日時最小値マップの当該オブジェクトＩＤをキーとする値を、ライブビュー撮影日時の最小値に設定する（ステップ８１２）。
【００５２】
そして、取り出されたオブジェクトＩＤをキーとして撮影日時最大値マップに格納されていた日時が、設定されていないか、または、ライブビュー撮影日時の最大値より小さければ（ステップ８１３）、撮影日時最大値マップの当該オブジェクトＩＤをキーとする値を、ライブビュー撮影日時の最大値に設定する（ステップ８１４）。取り出したオブジェクトＩＤがリストの最後のものでなければ（ステップ８１５）、ステップ４０１に戻る。取り出したオブジェクトＩＤがリストの最後のものならば（ステップ８１５）、ステップ８１６以下の処理を行う。
【００５３】
以上より、画像集合分割６０３によって形成された画像の集合に含まれる画像の「撮影の場にあったオブジェクト」が判断され、画像ＩＤとこの画像の撮影の場にあったオブジェクトのオブジェクトＩＤの組み合わせが生成できる。
【００５４】
＜その後の処理＞
本実施例においても、画像情報登録６０５は、画像撮影の場にあったオブジェクト３３０に追加するのは同様である。
【００５５】
これにより、アプリケーション６１０は、画像管理６０１を用いて画像を検索する際に、画像に写っているオブジェクトだけでなく、撮影の場にあったオブジェクトによる検索も可能となる。本実施例では、画像として保存されていなくても、ライブビュー画像として撮影されたオブジェクトも、撮影の場にあったオブジェクトの判断に使用されるので、保存された画像のみから判断する場合に比べより精度を上げることができる。
【００５６】
なお、本実施例においても、あるオブジェクトに関し、画像を、集合内に含まれる他の画像でオブジェクトが撮影されている集合に含まれる画像、画像情報決定６０４により撮影の場にあったオブジェクトと判断された画像、オブジェクトが撮影（ライブビューを含む）された画像に分類でき、これを表示等に利用できることも同じである。
【００５７】
＜他の実施形態＞
本実施例においては、カメラモジュール５０９で撮影されたライブビュー画像で認識されたオブジェクトの情報を用いて、撮影の場にあったオブジェクトを判断している。しかしカメラモジュールによる撮影に限定されるものではなく、オブジェクトが認識し得るセンサーであっても、カメラモジュール５０９に代替し得、撮影の場にあったオブジェクトを判断することができる。またこのセンサーが複数存在する場合も、それぞれがオブジェクトを認識できるものであれば、同様に考えることができ、さらにセンサーの一つがカメラモジュールであっても同様である。
【００５８】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
【符号の説明】
【００５９】
１０１  ＣＰＵ
１０２  ＲＯＭ
１０３  ＲＡＭ
１０４  ｅＭＭＣ
【図１】
2019070883.tif 000003
【図２】
2019070883.tif 000004
【図３】
2019070883.tif 000005
【図４】
2019070883.tif 000006
【図５】
2019070883.tif 000007
【図６】
2019070883.tif 000008
【図７】
2019070883.tif 000009
【図８】
2019070883.tif 000010