(57)【要約】【課題】未登録の被写体が撮影された場合に、ユーザに対して属性情報の入力をより適切に促す方法を提供することを目的とする。【解決手段】画像管理装置が、画像に含まれる被写体の解析を行う被写体解析手段と、登録済みの被写体の被写体情報を管理する登録済み被写体情報管理手段と、被写体情報管理手段で被写体情報が管理されている被写体に関連付けられる属性情報を管理する被写体属性情報管理手段と、被写体解析手段での被写体の解析の結果に基づいて、被写体に関連付けられる属性情報を新規に登録する必要があるか否かを判定する被写体登録判定手段と、被写体登録判定手段で新規に登録が必要であると判定された被写体の属性情報の入力をユーザに対して促す入出力手段とを備えることによって課題を解決する。【選択図】図１
2011081439.tif 000002
【特許請求の範囲】
【請求項１】
画像に含まれる被写体の解析を行う被写体解析工程と、
登録済みの被写体の被写体情報を管理する登録済み被写体情報管理工程と、
前記被写体情報管理工程で被写体情報が管理されている被写体に関連付けられる属性情報を管理する被写体属性情報管理工程と、
前記被写体解析工程での被写体の解析の結果に基づいて、前記被写体に関連付けられる属性情報を新規に登録する必要があるか否かを判定する被写体登録判定工程と、
前記被写体登録判定工程で新規に登録が必要であると判定された被写体の属性情報の入力をユーザに対して促す入出力工程と
を備えることを特徴とする画像管理方法。
【請求項２】
前記被写体解析工程では、前記画像に含まれる全ての被写体のピント、配置、及び大きさを解析することを特徴とする請求項１記載の画像管理方法。
【請求項３】
前記被写体登録判定工程では、予め設定した条件が満された場合に、新規に登録が必要であると判定することを特徴とする請求項１又は２記載の画像管理方法。
【請求項４】
前記被写体登録判定工程では、同一の被写体の出現回数が予め設定した値を超えた場合に、新規に登録が必要であると判定することを特徴とする請求項１乃至３の何れか１項記載の画像管理方法。
【請求項５】
画像に含まれる被写体の解析を行う被写体解析手段と、
登録済みの被写体の被写体情報を管理する登録済み被写体情報管理手段と、
前記被写体情報管理手段で被写体情報が管理されている被写体に関連付けられる属性情報を管理する被写体属性情報管理手段と、
前記被写体解析手段での被写体の解析の結果に基づいて、前記被写体に関連付けられる属性情報を新規に登録する必要があるか否かを判定する被写体登録判定手段と、
前記被写体登録判定手段で新規に登録が必要であると判定された被写体の属性情報の入力をユーザに対して促す入出力手段と
を備えることを特徴とする画像管理装置。
【請求項６】
画像に含まれる被写体の解析を行う被写体解析工程と、
登録済みの被写体の被写体情報を管理する登録済み被写体情報管理工程と、
前記被写体情報管理工程で被写体情報が管理されている被写体に関連付けられる属性情報を管理する被写体属性情報管理工程と、
前記被写体解析工程での被写体の解析の結果に基づいて、前記被写体に関連付けられる属性情報を新規に登録する必要があるか否かを判定する被写体登録判定工程と、
前記被写体登録判定工程で新規に登録が必要であると判定された被写体の属性情報の入力をユーザに対して促す入出力工程と
をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像管理方法、画像管理装置、及びプログラムに関する。
【背景技術】
【０００２】
従来、撮影画像に対して、画像認識を用いてメタデータを付与するものとしては、以前に撮影された同一の被写体に付与されている属性情報を、新たに撮影した画像の属性情報として流用する方法が一般的であった。例えば、新たに撮影した被写体が以前に撮影され、登録済みであるか否かを判定し、登録済みの場合には当該被写体の属性情報を取得し、新規撮影の被写体の属性情報として付与する技術が開示されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−３３９０００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の方法では、撮影した被写体が登録済みの場合には属性情報の付与が可能であるが、初めて撮影された被写体、即ち未登録の被写体については属性情報を付与できないという問題があった。
【０００５】
本発明はこのような問題点に鑑みなされたもので、未登録の被写体に属性情報をより適切に付与することを目的とする。
【課題を解決するための手段】
【０００６】
そこで、本発明は、画像に含まれる被写体の解析を行う被写体解析工程と、登録済みの被写体の被写体情報を管理する登録済み被写体情報管理工程と、前記被写体情報管理工程で被写体情報が管理されている被写体に関連付けられる属性情報を管理する被写体属性情報管理工程と、前記被写体解析工程での被写体の解析の結果に基づいて、前記被写体に関連付けられる属性情報を新規に登録する必要があるか否かを判定する被写体登録判定工程と、前記被写体登録判定工程で新規に登録が必要であると判定された被写体の属性情報の入力をユーザに対して促す入出力工程とを備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、未登録の被写体に属性情報をより適切に付与することができる。
【図面の簡単な説明】
【０００８】
【図１】画像管理装置の機能構成の一例を示す図である。
【図２】未登録被写体情報テーブルの一例を示す図である。
【図３】未登録被写体数管理テーブルの一例を示す図である。
【図４】登録済み被写体情報テーブルの一例を示す図である。
【図５】被写体属性情報テーブルの一例を示す図である。
【図６】登録判定テーブルの一例を示す図である。
【図７】画像管理装置のハードウェア構成の一例を示す図である。
【図８】画像を管理する処理に係るフローチャートを示す図である。
【図９】未登録被写体情報テーブルの一例を示す図である。
【図１０】登録判定テーブルの一例を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について図面に基づいて説明する。
【００１０】
＜第１の実施形態＞
図１は、本実施形態に係る画像管理装置１００の機能構成の一例を示す図である。１０６は、撮像機器で撮影された画像内に含まれる全ての被写体の認識処理を行う被写体認識部である。１０１は、被写体認識部１０６で認識された被写体のピント、配置、大きさを解析する被写体解析部である。１０２は、未登録の被写体情報に係る管理を行う未登録被写体情報管理部である。
【００１１】
図２に、未登録被写体情報管理部１０２が管理する未登録被写体情報テーブル３００の一例を示す。本テーブルでは、被写体解析部１０１における解析の結果が保持（管理）される。３０１は、未登録の被写体を管理する一意のＩＤを表す。３０２は、被写体に係る画像（被写体画像）のファイル名を表す。本実施形態では、全ての画像ファイルを予め設定した同一フォルダ内で管理することを想定しているので、パス名は記載していないが、ファイルパスを管理し、異なるフォルダに画像ファイルを個別に格納してもよい。
３０３は、画像内における被写体の配置を表す。本テーブルでは、「中央」・「端」・「中間」の３種類に被写体の配置が分類され、何れか１つが記録（登録）される。３０４は、画像内での被写体の大きさを表す。配置と同様に、「大」・「中」・「小」の３種類に被写体の大きさが分類され、何れか１つが登録される。３０５は、対象となる被写体にピントが合っているか否かを表す。本テーブルでは、ピントが合っている場合を「○」、ピントが合っていない場合を「×」として表している。
３０６は、対象となる被写体がいくつの画像に写っているかの数（出現回数）を表す。本テーブルに新規に登録される場合の初期値は「１」であり、未登録被写体情報管理部１０２は、以降同じ被写体が別の画像に写る度に値を１増加する。同じ被写体であるか否かは、本テーブルに登録されている被写体画像を使って判定される。３０７は、該被写体が撮影された日時の最新の情報（出現日時（最新））を表す。
なお、複数の画像に現れた被写体に関する３０２〜３０５の情報は、最新のものに差し替えられることとする。
【００１２】
図３に、未登録被写体情報管理部１０２が管理する未登録被写体数管理テーブル７００の一例を示す。本テーブルでは、未登録被写体情報テーブル３００に登録されている未登録被写体数７０１と、登録可能な未登録被写体数の上限（管理上限数７０２）とが管理される。未登録被写体数７０１が管理上限数７０２を超えた場合、未登録被写体情報管理部１０２は、出現日時（最新）３０７の情報を参照し、最も古いもの（未登録被写体情報）を未登録被写体情報テーブル３００から削除する。
【００１３】
１０７は、登録済みの被写体情報を管理する登録済み被写体情報管理部である。
図４に、登録済み被写体情報管理部１０７が管理する登録済み被写体情報テーブル４００の一例を示す。本テーブルでは、登録済みの被写体を管理する一意のＩＤ４０１と、該被写体の画像ファイル名４０２との２項目が保持（管理）される。本テーブルでは、各ＩＤについて、被写体画像を１つしか保持していないが、被写体認識の精度向上のため、同一の被写体の被写体画像を複数管理してもよい。
１０３は、被写体に関連付けられる属性情報を管理する被写体属性情報管理部である。被写体属性情報管理部１０３は、登録済み被写体情報管理部１０７で管理する登録済みの被写体に関する属性情報を管理する。
図５に、被写体属性情報管理部１０３が管理する被写体属性情報テーブル５００の一例を示す。５０１は、登録済みの被写体を管理する一意のＩＤを表す。５０２〜５０６の各々は、被写体の属性情報を表す。本テーブルでは、被写体名５０２、年齢５０３、所属グループ５０４、住所５０５、及び電話番号５０６の５項目が属性情報として管理されている。
【００１４】
１０４は、未登録被写体情報管理部１０２が管理する未登録被写体情報テーブル３００等に基づいて、被写体の属性情報を新規に登録する必要があるか否か（新規登録の必要性）を判定する被写体登録判定部である。
図６に、被写体登録判定部１０４が管理する登録判定テーブル６００の一例を示す。本テーブルでは、出現回数６０１が管理される。未登録被写体情報テーブル３００で管理される、ある被写体についての出現回数３０６が本テーブルで管理される出現回数６０１に達した場合に、被写体登録判定部１０４は、該被写体の属性情報を新規に登録する必要があると判定する。
１０５は、被写体登録判定部１０４で新規登録が必要であると判定された被写体の属性情報の入力を促す入出力部である。
【００１５】
ここで、画像管理装置１００は、任意の機器で実現することが可能である。例えばＰＣで実現してもよいし、デジタルカメラ等の組み込み機器で実現してもよい。また、ＰＣと組み込み機器とで機能を分散（分離）して実現してもよい。
図７は、コンピュータ装置全体２００のハードウェア構成（換言するならば、画像管理装置１００が有するハードウェアの構成）の一例を示す図である。
２０１は、コンピュータ装置全体２００を制御するCentral Processing Unit（ＣＰＵ）である。２０２は、外部装置等から供給されるプログラムやデータを一時記憶するRandom Access Memory（ＲＡＭ）である。２０３は、変更を必要としない制御プログラムやパラメータを格納するRead Only Memory（ＲＯＭ）である。２０４は、入出力部１０５における被写体の属性情報の入力をユーザへ促す表示装置である。２０５は、データの属性値等をユーザが入力する入力装置である。２０６は、データの属性項目や属性値等を格納する外部記憶装置である。２０７は、２０１から２０６までの各ユニットを通信可能に接続するシステムバスである。
なお、ＣＰＵ２０１が、ＲＯＭ２０３等に格納されたプログラムの手順に従って処理を行うことによって、画像管理装置１００における機能及び後述するフローチャートに係る処理が実現される。故に、図８を参照して説明する各ステップの処理は、原則として、ＣＰＵ２０１の制御のもとに実行される。
【００１６】
図８に、画像管理装置１００の処理に係るフローチャートを示す。本処理は、撮像機器による画像撮影ごとに実行されてもよいし、画像再生時に全ての未処理画像がまとめて処理される等、別のタイミングで行われてもよい。
まず、被写体認識部１０６は、デジタルカメラ等の撮像機器で撮影された画像ファイルから顔検出を用いた被写体の認識を行い、被写体解析部１０１は、認識された被写体の解析を行う（ステップＳ８０１）。この処理では、画像ファイル内に含まれる全ての被写体が対象となる。
次に、被写体認識部１０６は、ステップＳ８０１で認識した被写体（対象物）に対して、該被写体が既に登録済み被写体情報テーブル４００に記録（登録）されているか否かを判定する（ステップＳ８０２）。例えば、判定は、登録済み被写体情報テーブル４００の被写体画像のデータを被写体認識部１０６の認識モジュールに登録しておき、取得した被写体との顔認識処理により行われる。
【００１７】
既に登録済みの場合には、該被写体に対する処理は不要であるため、次の（未処理の）被写体の処理に処理が移行する。他方、登録済みではない場合には、未登録被写体情報管理部１０２は、該被写体の被写体情報が未登録被写体情報テーブル３００に記録（登録）されているか否かを判定する（ステップＳ８０３）。
該被写体の被写体情報が未登録被写体情報テーブル３００に登録されていない場合には、未登録被写体情報管理部１０２は、未登録被写体情報テーブル３００に該被写体の情報を記録（登録）する（ステップＳ８０４）。続いて、未登録被写体情報管理部１０２は、未登録被写体数管理テーブル７００の未登録被写体数７０１に「１」を加算する（ステップＳ８０５）。
続いて、未登録被写体情報管理部１０２は、未登録被写体数管理テーブル７００で管理している未登録被写体数７０１と管理上限数７０２とを比較する（ステップＳ８０６）。未登録被写体数７０１が管理上限数７０２を上回っている場合には、未登録被写体情報管理部１０２は、未登録被写体情報テーブル３００から出現日時（最新）３０７が最も古いデータ（未登録被写体情報）を削除する（ステップＳ８０７）。他方、未登録被写体数７０１が管理上限数７０２の範囲内であれば、該被写体に関する処理を終了し、次の被写体の処理に処理が移行する。
【００１８】
ステップＳ８０３において、該被写体の情報が未登録被写体情報テーブル３００に既に登録されていると判定された場合には、未登録被写体情報管理部１０２は、未登録被写体情報テーブル３００内の該当データの情報を更新する（ステップＳ８０８）。なお、該当する被写体の判定は、例えば、未登録被写体情報テーブル３００の被写体画像３０２のデータを被写体認識部１０６の認識モジュールに登録しておき、取得した被写体との顔認識処理により行われてもよい。
データの更新後、被写体登録判定部１０４は、未登録被写体情報テーブル３００の出現回数３０６と登録判定テーブル６００の出現回数６０１とを比較する（ステップＳ８０９）。
続いて、出現回数３０６が出現回数６０１以上である場合には、入出力部１０５は、該当するデータの属性情報の入力をユーザに促す（ステップＳ８１０）。入力が受け付けられると（入力受付後）、未登録被写体情報管理部１０２は、未登録被写体情報テーブル３００から登録済み被写体情報テーブル４００に該当データを移行する（なお、登録済み被写体情報管理部１０７が該当データを移行してもよい。）。そして、被写体属性情報管理部１０３は、ユーザからの入力に係る情報を被写体属性情報テーブル５００に記録（登録）する（ステップＳ８１１）。出現回数３０６が出現回数６０１未満である場合には、該被写体に関する処理が終了し、次の被写体の処理に処理が移行する。
以上が、被写体１つに対する処理であり、上記処理が画像ファイル内に含まれる全ての被写体について行われる。
上述した構成によれば、ユーザにとって登録が必要と考えられる被写体についてのみ属性情報の入力を促すため、ユーザに対して効率的な入力支援が実現できる。また、未登録の被写体に属性情報をより適切に付与することができる。
【００１９】
＜第２の実施形態＞
本実施形態の構成は、基本的に、第１の実施形態の構成と同様である。ただし、被写体の属性情報を新規に登録する必要があるか否かを判定する方法として、被写体の出現回数だけではなく、画像ファイル内における被写体の大きさ、配置、及びピントに係る情報を採用している点が異なる。
本実施形態では、図９に示すように、未登録被写体情報テーブル９００で管理する各項目にポイントを設ける。例えば、配置３０３が「中央」の場合には５ポイント、「中間」の場合には３ポイント、「端」の場合には1ポイントを付与する。それぞれのデータについて合計ポイント９０８を算出し、算出した値が図１０に示す登録判定テーブル１０００に記載の合計ポイント１００１以上である場合に、被写体登録判定部１０４は、新規登録の必要性があると判定する。
【００２０】
＜第３の実施形態＞
本実施形態の構成は、基本的に、第１の実施形態の構成と同様である。ただし、未登録被写体数７０１が管理上限数７０２を上回った場合に、削除する対象を決定する基準（削除対象決定基準）として、出現日時（最新）３０７ではなく、画像ファイル内における被写体の大きさ、配置、及びピントに係る情報を採用する点が異なる。例えば、第２の実施形態と同様にして、未登録被写体情報管理部１０２は、各項目に付与したポイントによる合計ポイント９０８の算出を行う。この場合、未登録被写体情報管理部１０２は、合計ポイント９０８が最小のデータから被写体情報を削除していく。
【００２１】
＜第４の実施形態＞
本実施形態の構成は、基本的に、第１の実施形態の構成と同様である。ただし、同一の被写体が複数回出現した場合に、管理する属性情報を決定する方法が異なる。
第１の実施形態では、未登録被写体情報管理部１０２は、未登録被写体情報テーブル３００で管理している被写体情報を最新の被写体の被写体情報に置き換える。これに対して、本実施形態では、未登録被写体情報管理部１０２は、第２の実施形態と同様に各項目にポイントを付与し、付与したポイントに係る合計がより高いデータ（換言するならば最も高いデータ）を未登録被写体情報テーブル３００で管理する。
【００２２】
＜第５の実施形態＞
本実施形態の構成は、基本的に、第１の実施形態の構成と同様である。ただし、同一の被写体が複数回出現した場合に、管理する属性情報を決定する方法が異なる。
第１の実施形態では、未登録被写体情報管理部１０２は、未登録被写体情報テーブル３００で管理している被写体情報を最新の被写体の被写体情報に置き換える。これに対して、本実施形態では、属性情報に優先順位を付与し、優先順位が高い項目から判定をして置き換える（換言するならば最優先の属性情報の条件が最もよいものを保持する）点が異なる。
例えば、「配置」を最優先項目とし、第２優先項目として「大きさ」、第３優先項目として「ピント」を設定したとする。この場合、まずは「配置」の項目についてポイントを比較し、ポイントの高いデータに置き換える。「配置」の条件が同じ場合には、第２の優先項目である「大きさ」の条件を比較し、ポイントが高いデータに置き換える。以降、残った項目内で、最も優先度の高い項目による比較を行い、ポイントが高いデータに置き換える。
【００２３】
＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【００２４】
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【符号の説明】
【００２５】
１０１  被写体解析部、１０２  未登録被写体情報管理部、１０３  被写体属性情報管理部、１０４  被写体登録判定部、１０５  入出力部、１０６  被写体認識部、１０７  登録済み被写体情報管理部
【図１】
2011081439.tif 000003
【図２】
2011081439.tif 000004
【図３】
2011081439.tif 000005
【図４】
2011081439.tif 000006
【図５】
2011081439.tif 000007
【図６】
2011081439.tif 000008
【図７】
2011081439.tif 000009
【図８】
2011081439.tif 000010
【図９】
2011081439.tif 000011
【図１０】
2011081439.tif 000012