(57)【要約】【課題】対象物の同定が行えなかった画像について、より正しいと推定できる対象物の情報を付与する情報処理装置およびその処理方法を提供する。【解決手段】  複数の人物の画像特徴を格納する。撮影手段によって撮影された複数の画像の各々から画像特徴を抽出し、前記複数の人物のいずれかを含む人物画像を検出する。検出された人物画像から抽出された画像特徴と格納された画像特徴とを比較することにより、抽出した人物画像に含まれる人物が複数の人物のいずれと同定するかを判断する。複数の人物の各々ごとに、複数の画像で複数の人物のいずれかと同定すると判断した出現回数を算出する。複数の人物のいずれかと同定すると判断された人物と、複数の人物のいずれとも同定しないと判断された人物の双方を含む人物画像が存在する場合に、同定すると判断された人物の出現回数に基づいて、同定されなかった人物が複数の人物のいずれと同定するかを推定する。【選択図】図２
2011128992.tif 000002
【特許請求の範囲】
【請求項１】
複数の対象物の画像特徴を格納する格納手段と、
撮影手段によって撮影された複数の画像の各々から画像特徴を抽出し、前記複数の対象物のいずれかを含む対象物画像を検出する検出手段と、
前記検出された対象物画像から抽出された画像特徴と前記格納された画像特徴とを比較することにより、該抽出した対象物画像に含まれる対象物が前記複数の対象物のいずれと同定するかを判断する同定手段と、
前記複数の対象物の各々ごとに、前記複数の画像で該複数の対象物のいずれかと同定すると判断した出現回数を算出する算出手段と、
前記複数の対象物のいずれかと同定すると判断された対象物と、前記複数の対象物のいずれとも同定しないと判断された対象物の双方を含む対象物画像が存在する場合に、
該同定すると判断された対象物の前記出現回数に基づいて、該同定されなかった対象物が前記複数の対象物のいずれと同定するかを推定する推定手段と
を備えることを特徴とする情報処理装置。
【請求項２】
前記複数の画像は、前記撮影手段で撮影された撮影日時が所定の範囲にあるメタデータが付属されていることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記格納手段が、存在していた対象物が存在しなくなった消失日時を格納し、
前記同定手段が、前記格納された消失日時が前記対象物画像の撮影日時より新しい場合に、前記存在しなくなった対象物と、該対象物画像に含まれる対象物とが同定しないとして判断し、
前記推定手段が、前記格納された消失日時が前記対象物画像の撮影日時より新しい場合に、前記存在しなくなった対象物と、該対象物画像に含まれる対象物とが同定しないとして推定することを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記格納手段が、存在していなかった対象物が存在しはじめる発生日時を格納し、
前記同定手段が、前記格納された発生日時が前記対象物画像の撮影日時より旧い場合に、前記存在しはじめた対象物と、該対象物画像に含まれる対象物とが同定しないとして判断し、
前記推定手段が、前記格納された発生日時が前記対象物画像の撮影日時より旧い場合に、前記存在しはじめた対象物と、該対象物画像に含まれる対象物とが同定しないとして推定することを特徴とする請求項２又は請求項３に記載の情報処理装置。
【請求項５】
前記複数の画像は、前記撮影手段で撮影された撮影場所が同じ場所を示すメタデータが付属されていることを特徴とする請求項１乃至請求項４の何れか１項に記載の情報処理装置。
【請求項６】
前記同定手段が、前記検出された対象物画像から抽出された画像特徴と前記格納された画像特徴とを比較することにより確信度を算出し、該算出された確信度が所定の閾値よりも高い場合に、該対象物画像に含まれる対象物が、該格納された画像特徴をもつ対象物と同定すると判断することを特徴とする請求項１乃至請求項５の何れか１項に記載の情報処理装置。
【請求項７】
前記抽出された対象物が前記対象物について前記対象物のいずれであるかを指定する情報を外部から受信する受信手段を更に備え、
前記同定手段が、前記検出された対象物画像について指定する情報を受信した場合には、該対象物画像に含まれる対象物と、該対象物画像を前記指定する情報により指定された対象物と同定すると判断することを特徴とする請求項１乃至請求項６の何れか１項に記載の情報処理装置。
【請求項８】
前記推定手段が、前記対象物画像に含まれる対象物の数が２つの場合に、前記対象物画像に含まれる対象物の数が３つ以上の場合よりも、重い重み付けを前記出現回数に与えて推定することを特徴とする請求項７に記載の情報処理装置。
【請求項９】
前記対象物が人物であることを特徴とする請求項１乃至請求項８の何れか１項に記載の情報処理装置。
【請求項１０】
前記格納手段は、前記複数の対象物がどの家族に属するかを識別する家族情報を格納し、
前記推定手段が、前記同定された対象物画像に、前記家族情報により同一の家族に属するとして識別される対象物が２人以上含まれる場合に、前記家族に属するとして識別されていない場合よりも、重い重み付けを前記出現回数に与えて推定することを特徴とする請求項９に記載の情報処理装置。
【請求項１１】
格納手段が、複数の対象物の画像特徴を格納する格納工程と、
検出手段が、撮影手段によって撮影された複数の画像の各々から画像特徴を抽出し、前記複数の対象物のいずれかを含む対象物画像を検出する検出工程と、
同定手段が、前記検出された対象物画像から抽出された画像特徴と前記格納された画像特徴とを比較することにより、該抽出した対象物画像に含まれる対象物が前記複数の対象物のいずれと同定するかを判断する同定工程と、
算出手段が、前記複数の対象物の各々ごとに、前記複数の画像で該複数の対象物のいずれかと同定すると判断した出現回数を算出する算出工程と、
推定手段が、前記複数の対象物のいずれかと同定すると判断された対象物と、前記複数の対象物のいずれとも同定しないと判断された対象物の双方を含む対象物画像が存在する場合に、該同定すると判断された対象物の前記出現回数に基づいて、該同定されなかった対象物が前記複数の対象物のいずれと同定するかを推定する推定工程と
を有することを特徴とする情報処理方法。
【請求項１２】
請求項１１に記載の情報処理方法をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像中の同定できない対象物を推定するための技術に関する。
【背景技術】
【０００２】
近年、デジタルスチルカメラなどの普及によって、大量の電子化された画像データが蓄積されるようになってきている。そのため、画像の検索や整理をより容易に行う技術に対する要求が高くなっている。
【０００３】
従来は、撮影時に撮影機器によって画像に付与された、日時や撮影機器のパラメータ等の関連情報（以下、「メタデータ」という）を使って、画像の検索や整理が行われてきた。しかしながら、このメタデータは覚えやすいものとは言い難く、そのためメタデータから画像を探しだすことは、しばしば難しくなる。したがって、もっと利用者にとってわかり易い、被写体名などを使ったメタデータをさらに画像に付与しておくことが望ましい。
【０００４】
これまでは、利用者自身が入力することにより、被写体名などのメタデータの入力が行われてきた。しかし、前述のとおり、蓄積される画像は増加しており、逐次手で入力していくには手間がかかる。
【０００５】
この背景から、近年、画像中の被写体、特に人物について、顔の特徴量を抽出して人物の同定を行う顔識別処理技術の開発が行われ、実用化されつつある。一般的な顔識別処理について、例えば、特許文献１には、あらかじめ同定したい人物の顔特徴量である（目、鼻、口など）を分離度フィルタとテンプレートパターンの照合から算出し、保持する。そして、入力された識別対象の顔特徴量と比較することで、個人を同定することが記載されている。これによって、画像中に写る人物の情報を自動でその画像に付与することが可能になる。
【０００６】
しかしながら、従来の一般的な顔識別処理においては、顔特徴量の算出に必要な顔の構成要素（目、鼻、口など）が正確に取り出せない場合に、十分な識別精度が得られず、顔識別が不能となっていた。例えば、顔の向きが横や後ろになり正面でない場合や、ポーズをとった手によって顔の一部が隠れた場合等に、この顔識別の不能が生じる。
【０００７】
さらに、顔特徴量の算出が正しく行われた場合でも、特徴量の差が大きいと、精度の低下や誤識別が起こり得る。例えば、経年変化によって顔の特徴量が変化した場合が考えられる。特に子供は大人に比べて成長による顔構成要素の変化量が大きいため、特徴量との差が生じ易い。
【０００８】
他にも、特徴量の求め方次第では、髪型の変化や眼鏡の有無などの日常的に、頻度の高い変化によっても、精度の低下が生じ、誤識別が起こり得る。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開平９−２５１５３４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
このように、人物で言えば、顔識別処理の精度が十分に得られなかった場合や、顔識別が不能だった場合、対象物の同定が行うことができず、人物情報を付与できない場合があった。
【００１１】
そこで、本発明は、上記の課題に鑑み、対象物の同定が行えなかった画像について、より正しいと推定できる対象物の情報を付与する情報処理装置およびその処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記課題は以下の装置によって解決する。
【００１３】
複数の対象物の画像特徴を格納する格納手段と、
撮影手段によって撮影された複数の画像の各々から画像特徴を抽出し、前記複数の対象物のいずれかを含む対象物画像を検出する検出手段と、
前記検出された対象物画像から抽出された画像特徴と前記格納された画像特徴とを比較することにより、該抽出した対象物画像に含まれる対象物が前記複数の対象物のいずれと同定するかを判断する同定手段と、
前記複数の対象物の各々ごとに、前記複数の画像で該複数の対象物のいずれかと同定すると判断した出現回数を算出する算出手段と、
前記複数の対象物のいずれかと同定すると判断された対象物と、前記複数の対象物のいずれとも同定しないと判断された対象物の双方を含む対象物画像が存在する場合に、
該同定すると判断された対象物の前記出現回数に基づいて、該同定されなかった対象物が前記複数の対象物のいずれと同定するかを推定する推定手段と
を備えることを特徴とする情報処理装置。
【発明の効果】
【００１４】
対象物の同定が行えなかった画像について、より正しいと推定できる対象物の情報を付与する情報処理装置を提供することが可能になる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施例における回路構成を示すブロック図。
【図２】本発明の実施例における基本構成を示すブロック図。
【図３】本発明の実施例における、人物の共起関係を求める処理の手順を示すフローチャート。
【図４】本発明の実施例における、同定できていない人物を、人物の共起関係から推定する処理の手順を示すフローチャート。
【図５】本発明の実施例における、人物の相互の共起関係を保持するテーブルを更新する様子の例を示した図。
【図６】本発明の実施例における、画像の撮影時間の切れ目を判定して、イベント毎の画像集合に分けた様子を示した図。
【図７】本発明の実施例における、人物の共起関係を登録する画像集合の例と、その一画像に着目した図。
【図８】本発明の実施例における、人物の推定を行う対象画像と、その画像と同一イベントの画像集合を示した図。
【図９】本発明の実施例における、人物を推定する対象画像と、該画像の推定結果の例を示した図。
【図１０】本発明の実施例における、対象物の共起関係に変化が生じる時期を考慮した推定を行う場合の基本構成を示すブロック図。
【発明を実施するための形態】
【００１６】
＜実施形態１＞
本実施形態の情報処理装置を示すコンピュータ装置の回路構成について、図１のブロック図を参照して説明する。本構成は単一のコンピュータ装置で実現してもよいし、必要に応じた複数のコンピュータ装置に各機能を分散して実現してもよい。複数のコンピュータ装置で構成される場合、複数のコンピュータ装置が互いに通信可能なＬＡＮなどで接続されている。
【００１７】
図１において、ＣＰＵ１０１は、コンピュータ装置１００全体を制御する。ＲＯＭ１０２は、変更を必要としないプログラムやパラメータを格納するメモリである。ＲＡＭ１０３は、外部記憶装置などから供給されるプログラムやデータを一時記憶する。外部記憶装置１０４は、コンピュータ装置１００に固定して設置されたハードディスクやメモリカードを含む。あるいは、外部記憶装置１０４は、コンピュータ装置１００から着脱可能なフレキシブルディスクやＣｏｍｐａｃｔ Ｄｉｓｋ等の光ディスク、磁気や光カード、ＩＣカード、メモリカードなどを含む。入力デバイスインタフェース１０５は、ユーザの操作を受けてデータをポインティングデバイスやキーボードなどの入力デバイス１０９から入力する。出力デバイスインタフェース１０６は、コンピュータ装置１００の保持するデータや供給されたデータやプログラムの実行結果をモニタなどの出力デバイス１１０へ出力する。システムバス１０７は、１０１〜１０６の各ユニットを通信可能に接続する。
【００１８】
次に、本実施形態の情報処理装置の基本構成について、図２のブロック図を参照して説明する。画像管理部２０１は、各画像にメタデータを付属して画像を保管し管理する。このとき、メタデータを画像データ中に決められたフォーマットで格納してもよいし、あるいは画像とメタデータの対応関係を管理して別のデータとして、外部記憶装置１０４に配置してもよい。
【００１９】
共起判定画像決定部２０２は、対象物の共起判定を行う画像を決定する。本実施形態においては、画像管理部２０１に格納されている画像から、旅行や運動会などの異なる撮影場所でのイベント別に撮影した一連の画像集合を見つける。そして、これを共起判定対象の画像として選択し決定する。この画像集合は、撮影時間や撮影位置といったメタデータの分布から自動的に求めることができる。例えば、撮影時間のメタデータは多くの画像に既に付与されている。このメタデータを利用するとき、撮影時間の間隔が所定の範囲の間は、一連のイベントについての共起判定対象の撮影である。
【００２０】
例えば、図６の６０１は、画像管理部２０１において管理されている画像を時系列順に並べた場合に、撮影日時の間隔が閾値を超えている箇所を示している。この箇所を切れ目として、見つかる一連の画像（６０２）を同一のイベントに属する画像の集合とする。他にも、時間だけでなく位置の情報が利用できる場合、地理的な撮影位置の分布の偏りを見つけたり、時間と併用して移動距離などを求めたりする。これらの情報から、まとまりや切れ目を判定することによりと共起判定対象の撮影を判定してもよい。
【００２１】
特に、画像管理部２０１において、別々のイベントにおいて、ほぼ同じ時間に行われたイベントの画像を管理することが起きる場合がある。この場合には、撮影時間だけではそれらのイベントを区別することは困難であるため、位置情報を利用して管理してもよい。ただし、現状では、位置情報は常に画像に付与されているとは限らない。したがって、上述の複数イベントの画像を混在して管理することが多い場合に、混同を防ぐための工夫を行う。例えば、画像には、メタデータとして撮影機器のモデルや型名の情報が付与されることが多いため、同一の撮影機器で撮影された画像に限定し、上述のイベント分割処理を行ってもよい。
【００２２】
なお、イベント毎の画像集合の分割は、必ずしも自動で行う必要はない。例えば、利用者は、イベント毎の画像の整理や、イベント名をメタデータとして画像にまとめて付与する目的で、画像のまとまりを示す入力を行うことができる。このように、利用者の手動によってまとまりを示す情報を入力した場合に、その入力された情報を利用してもよい。このように求めたイベントの情報は、各画像のメタデータとして保持される。
【００２３】
対象物検出部２０３は、画像中の対象物を検出する。なお、本実施形態においては、対象物は人物であるとし、画像中の特徴量を抽出して、人物と思われる部分を検出する。例えば、顔領域の検出処理によって人物と判定してもよいし、利用者によって指定された部分を人物として検出してもよい。なお、顔領域の検出方法は、既知の方法を利用してもよい。例えば、髪の毛や肌の色などの色情報や、目、鼻、口といった顔の構成要素間の位置関係などを利用して顔領域を検出する方法がある。あるいは、予め複数の顔画像から顔とそれ顔以外を区別し得る特徴量を抽出して学習し、画像中から特徴量を算出し得る部分を顔領域として発見する方法もある。画像中の対象物を検出するために、これらのいずれの方法を用いてもよい。
【００２４】
対象物同定部２０４は、対象物検出部２０３で検出した対象物についての対象物画像が、登録済みの対象物画像のいずれに該当するかの同定処理を行う。本実施形態において、検出する対象物を人物とした。ここでは、あらかじめ登録された人物毎の特徴画像における画像特徴量と、検出した人物の画像特徴量を比較し、その特徴量の差が所定の閾値以下の場合に同一と判断する同定を行う。同定の方法は、既知の特徴量以外の情報をもちいる方法でもよい。
【００２５】
本実施形態では、顔画像の特徴量から、人物の同定を行うものとして説明する。すなわち、同定したい人物の顔の構成要素（目・鼻・口・輪郭など）の特徴量を予め学習する。そして、検出された人物の顔画像から求めた特徴量とそれらの学習済み人物の特徴量とが、十分に近い値であった場合に同一人物と同定して同定対象物として出力する。予め設定された特徴量の近さをあらわす閾値よりも近くない場合には、同一人物ではないと判定し非同定対象物として出力する。また、閾値以内の近さを持つ人物が複数おり、一意に同定することが困難な場合についても、同定されないことを出力する。
【００２６】
共起管理部２０５は、対象物同定部２０４において同定された対象物同士を、共起判定対象が一連の画像の集合の中で相互に共起したものとし、共起した関係を保持して管理する。つまり、１つの画像に存在する同定された対象物画像（共起した対象物の画像）を要素として構成する集合を定義する。本実施形態においては、共起管理部２０５では、対象物が相互に共起した回数、すなわち、同定された対象物を含む集合が全ての同定処理をおこなった画像に出現する出現回数を記録しておく。
【００２７】
例えば、対象物の相互の共起回数をテーブルで管理する。このとき、人物Ａ、Ｂ、Ｃが、一連の画像集合中において同定できた場合は、この共起のテーブルは、図５の５０Ａから５０Ｂで示す図のように更新される。即ち、人物Ａと人物Ｂの共起頻度が２０から２１に、人物Ａと人物Ｃの共起頻度が１７から１８に、人物Ｂと人物Ｃの共起頻度が６４から６５に更新される。
【００２８】
対象物推定部２０６は、同定できた対象物があった場合に、対象物および対象物と共起しやすい対象物とから、同定できなかった対象物がいずれであるかを推定する。
【００２９】
同定できた対象物と共起しやすい対象物は、共起管理部２０５で管理している共起関係から導出する。本実施形態においては、対象物を人物とするため、同定できなかった人物が「誰」であるかを推定する。例えば、図５の（ｂ）に示す共起関係である場合に、相互の共起頻度から、人物Ａ、Ｂと最も共起しやすい人物は、人物Ｃであると推定する。
【００３０】
なお、推定結果としては、候補と考えられるものを複数列挙してもよい。あるいは、本実施形態のように共起の頻度を管理している場合、相互の共起のしやすさが頻度によって判定できるため、共起のしやすさの順に順番を付けて推定結果としてもよい。さらに、共起のしやすさに比例した値を信頼度として画像に付与して、これを推定結果としてもよい。
【００３１】
次に、本実施形態の情報処理装置における処理の手順について、図３〜図４のフローチャートを参照して説明する。なお、以下のフローにおいても、対象物は人物であると仮定して説明する。
【００３２】
図３に示すフローチャートでは、本実施形態における、人物の共起関係を求める処理手順を示す。Ｓ３０１では、共起判定画像決定部２０２が、画像管理部２０１に保管されている画像から、同一のイベントに属していると考えられる部分画像集合を取得する。この時点では、処理対象の画像にもよるが、複数の部分画像集合が見つかることがある。本実施形態では、見つかった部分画像集合をそれぞれ取得する。例えば、図６の６０２のように複数の画像集合が見つかった場合は、部分画像集合を逐次取得する。
【００３３】
Ｓ３０２では、Ｓ３０１で取得した画像集合が、すべて処理されたかを判定し、処理が済んでいれば、本フローを終了する。処理が済んでいない部分画像集合がある場合には、Ｓ３０３へ移行する。
【００３４】
Ｓ３０３では、Ｓ３０１で見つかった部分画像集合のうち、未処理の画像集合中の各画像を取得する。例えば、図７の７０Ａに示す図における７０１を部分画像集合の一つとすると、この画像集合が未処理である場合に、本画像集合に属する画像７０２〜７０５を取得する。
【００３５】
Ｓ３０４では、Ｓ３０３で取得した画像に全て処理を行ったか否かを判定し、処理が済んでいれば、Ｓ３０９へ移行する。処理が済んでいない画像がある場合、Ｓ３０５へ移行する。例えば、図７で言えば、７０２〜７０５の画像を逐次処理することに該当する。
【００３６】
Ｓ３０５では、Ｓ３０３で取得した画像のうち一つの未処理画像について、対象物検出部２０３が人物部分を検出する。例えば、図７の７０３の画像が未処理であれば、これを処理対象とし、この画像の人物部分を検出する。
【００３７】
Ｓ３０６では、Ｓ３０５で検出した人物について、対象物同定部２０４が、人物を同定する。図７の７０Ｂに示す図は、７０３の画像に対して人物部分の検出を行い、それぞれの同定を行った結果である。ここでは、７０６、７０７の人物部分については、人物Ａ、Ｂがそれぞれ同定でき、７０８の人物部分については、検出はできたが、同定できなかった様子を示している。
【００３８】
Ｓ３０７では、Ｓ３０６で人物が同定できたか否かを判定し、同定できた場合は、Ｓ３０８へ移行する。同定できなかった場合は、Ｓ３０４へ戻り、別の未処理画像についての処理を行う。図７の例で言えば、人物Ａ、Ｂが同定できたため、Ｓ３０８へ移行することになる。
【００３９】
Ｓ３０８では、Ｓ３０６で同定できた人物について、現在処理中の画像集合で同定できた人物であることを、画像集合中の画像を処理している間、保持する。その後、Ｓ３０４へ戻り、同画像集合中の別の未処理画像についての処理を行う。図７の例で言えば、図７の７０Ｂの画像７０３は、画像集合７０１の内の一画像であるため、７０３で人物Ａ、Ｂが同定できたことを、画像集合７０１の画像を処理中は保持しておくことになる。
【００４０】
Ｓ３０９では、上記Ｓ３０８で保持した人物を、現在処理中の画像集合で相互に共起した人物として、共起管理部２０５が、該共起の関係を保管・管理しておく。本実施形態では、既に述べたように、共起管理部２０５は、共起した頻度を保持しておく。例えば、図７の７０１の画像集合中の画像を全て処理し、その過程において人物Ａ、Ｂ、Ｃが同定できたとすると、これらの人物相互の共起頻度を、加算するように更新する（図５のテーブルに数値を加算することに相当する）。
【００４１】
図４に示すフローチャートでは、同定できていない人物を、人物の共起関係から推定する処理の手順を示す。この手順では、同定できない人物の画像の所属するイベントにおける画像集合の画像で同定できる人物が存在するかどうかを調べ、同定できた人物の共起関係を調査する。そのため、図４のフローでは、画像管理部２０１に保管されている、ある一つの画像に着目する。そして、その画像内に同定できない人物がいる場合に、その人物が「誰」であるか、よりもっともらしい人物を推定する場合の処理の手順を示す。
【００４２】
Ｓ４０１では、対象の画像と同一イベントの画像とを全て取得する。このときの同一イベントであるか否かの判定は、共起判定画像決定部２０２で行った処理と同等の判定処理によって行う。例えば、図８で、８０Ａにおける８０１が対象画像である場合、共起判定画像決定部２０２において、８０Ｂの図で、その画像が所属するイベントの画像集合８０６を見つける。そして、この画像集合中の対象画像８０１〜８０５のそれぞれを取得する。
【００４３】
Ｓ４０２では、Ｓ４０１で取得した画像を全て処理したか否かを判定する。全て処理が済んでいればＳ４０７へ移行する。済んでいない画像がある場合は、Ｓ４０３へ移行する。Ｓ４０３では、未処理画像中の一つの画像について、対象物検出部２０３が人物部分を検出する。Ｓ４０４では、Ｓ４０３で検出した人物について、対象物同定部２０４が人物を同定する。
【００４４】
Ｓ４０５では、Ｓ４０４で人物が同定できたか否かを判定し、同定できた場合は、Ｓ４０６へ移行する。同定できなかった場合は、Ｓ４０２へ戻り、別の未処理画像についての処理を行う。Ｓ４０６では、Ｓ４０４で同定できた人物について、対象画像と同一イベント中の画像集合において同定できた人物であることを、この画像集合を処理中だけ保持しておく。その後、Ｓ４０２へ戻り、別の未処理画像についての処理を行う。
【００４５】
Ｓ４０７では、Ｓ４０６で、対象画像と同一イベントの一連の画像集合において同定できた人物がいるか否かを判定し、同定できた人物がいた場合は、Ｓ４０８へ移行する。同定できた人物がいなかった場合には、推定に必要な情報が得られなかったことになるため、本フローを終了する。
【００４６】
Ｓ４０８では、対象物推定部２０６が、Ｓ４０６で保持した人物毎に、その共起関係を共起管理部２０５から取得し、この共起関係から、各人物と共起しやすい人物を抽出する。そして、以上の処理で得た人物をカウントする。すなわち、対象画像と同一イベントの各画像において、同定できなかった人物と共起した同定できた人物（第１共起同定対象物）、および、この同定できた人物と共起しやすい人物（第２共起同定対象物）の共起出現回数をカウントする。そして、この出現回数が、所定の回数を超える場合には、この第２共起同定対象物をこの対象画像で同定でなかった人物の候補として推定する。もし、この対象画像中において同定できた人物が含まれている場合は、この第２共起同定対象物である人物は候補から除外する。以下に、具体的な例を述べる。
【００４７】
例えば、対象画像８０１と同一イベントの一連の各対象画像８０１〜８０５において同定できた人物が、人物Ａ、Ｂであり、この人物らと共起しやすい人物が人物Ｃであったとする。これは、図５のテーブルで示す共起関係に相当する。このとき、対象画像８０１において、検出できた人物が１人で、かつ同定できていない場合に、この人物を推定することを考えると、次のようになる。
【００４８】
すなわち、対象画像８０１の画像中では他に同定できた人物がいないことから、この画像の場合は、人物Ａ、Ｂ、Ｃのいずれかである可能性が高いと考え、これを推定結果とする。これに対し、対象画像８０１と異なる対象画像８０５の場合で、同定できた人物と同定できなかった人物との双方を含む対象画像の場合は（図８の８０Ｃ）、この同定できている人物Ｂを除いて、同定できない人物を推定結果とする。ここでは、人物Ｂが同定できているため、Ｂを除いた人物Ａ、Ｃが推定結果となる。
【００４９】
なお、上記の実施形態においては、図４の共起関係を利用して人物を推定する処理手順の説明において、登録は行わずに、推定のみを行う場合について記載した。しかし、これに限るものでは無い。例えば、Ｓ４０８で、同定できた人物について、Ｓ３０９に記載の処理を行行って、同定できた人物は登録し、出来なかった人物について推定を行ってもよい。また、推定時の人物の同定は、上記の図４のフロー中で行われるように述べたが、これに限るものではない。
【００５０】
また、本推定処理や人手による入力などによって、同定できた人物が徐々に増えることが考えられる。この場合には、再度推定処理を行う際に、既に同定済みの人物について同定処理を行う必要はない。すなわち、Ｓ４０１による画像集合の取得を行った後、Ｓ４０７以降の処理を行えばよい。
【００５１】
以上述べた実施形態１により、イベント毎の画像における人物の共起の偏りを利用して、同定できない人物を推定できるようになる効果が得られる。
【００５２】
＜実施形態２＞
実施形態１においては、対象物同定部２０４で一意に同定できない場合についても、同定できなかったことを結果として出力するとした。しかし、この場合に、一意には決まらなかったことについての情報を残してもよい。これにより、次の推定が更に行うことができる。
【００５３】
例えば、対象画像８０１において、同定できなかった人物が、人物Ｃ、または人物Ｄのいずれかである可能性があり、いずれかには決定できないことを、対象物同定部２０４の結果として得たとする。この場合に、一意には決まらないため、同定できていないという結果になるが、人物ＣあるいはＤであるらしいことを示す情報を結果として残しておく。ここでの結果の残し方は、特に限定するものではない。例えば、図９の９０Ａのように、画像にメタデータとして付与し、同定の候補に上がった人物を列挙して保持しておけばよい。
【００５４】
この人物を推定対象とする場合に、対象物推定部２０６は、画像と同一イベントの画像集合中で同定できた人物の共起関係を共起管理部２０５から取得し、この人物と共起しやすい人物を抽出する。ここでの例では、同定できた人物が人物Ａ、Ｂであり、この人物と共起しやすい人物として人物Ｃが抽出できる。その後、本実施形態においては、推定対象の人物がＣあるいはＤであることを示す情報があるため、図９の９０Ｂに示すように、この情報を加味することで、Ｃであることを推定結果とする。
【００５５】
なお、対象物同定部２０４で、一意に決まらなかったことを示す情報として候補に挙がった人物を列挙して残すとした。また、他の方法として、同定処理が、推定に対する確信度を算出する場合には、図９の９０Ｃの対象画像８０１に示すように、更にその確信度の情報Ｘ、Ｙを残すようにしてもよい。
【００５６】
この場合には、上記の推定をするだけでなく、さらに、確信度に対して、ある一定の補正を行うようにして、それを加味した推定を行えるようにしてもよい。例えば、図９の９０Ｄでは、共起しやすい人物であるＣについては、確信度Ｙに対して１より大きい定数αを乗じた値を算出する。また、人物Ｄについては、人物Ａ、Ｂ、Ｃのいずれにも該当しないため、確信度Ｘに対して１に満たない定数βを乗じた値を算出する。その結果、Ｙ×α＞Ｘ×βの大小関係となった場合には、人物Ｃがより確からしいとする。
【００５７】
以上述べたように、同定の結果に曖昧さが残った場合に、ある対象物に対する確信度が、所定の閾値よりも高く、かつ、その確信度を持つ対象物が複数存在しない場合に、この対象物をもっともらしいものを推定することが可能となる。このようにして、同定結果の確信度に応じた推定を行うことが可能となる。
【００５８】
＜実施形態３＞
上記の実施形態１、２においては、共起判定画像決定部２０２が、あるイベントを撮影したと思われる一連の画像集合を共起判定対象として決定したが、本発明はこれに限るものではない。なぜなら、ある１枚の画像中の共起関係に着目することも考えられる。
【００５９】
この場合は、一連の画像という単位ではなく、単一の画像を共起判定対象としてもよい。例えば、ある複数の画像において、人物Ａ、Ｃが同定でき、共起管理部２０５は、両者が共起しやすい関係であることを保持している。このとき、対象画像において、人物Ａと同定できた人物と、同定できなかった人物がいた場合には、人物Ａと共起しやすい人物として、人物Ｃと推定するように動作するとよい。
【００６０】
以上述べた実施形態３においては、１枚の画像毎の共起関係を利用した、１枚の画像毎の推定も行うことができる。
【００６１】
＜実施形態４＞
これまでの実施形態においては、対象物同定部２０４において、同定できたと判定する方法について述べたが、これに限るものではない。例えば、対象物検出部２０３では、利用者が対象物を指定することがある点を指摘したが、さらにその対象物を識別可能な情報を、利用者が入力することもある。人物であれば「誰」であるかを示す情報に該当する。
【００６２】
すなわち、利用者の入力する特定の対象物に対する識別可能な同定情報を受信することで、対象物の特徴量によって同定した判定の結果よりも利用者からの識別可能な同定情報を優先する。そして、この識別可能な同定情報によりこの対象物を同定してよい。
【００６３】
以上述べた実施形態４においては、利用者の入力した結果を反映し、対象物の推定を行うことができる。
【００６４】
＜実施形態５＞
上記実施形態においては、対象物は人物であるとして主に説明してきたが、これに限定するものではない。共起のしやすさに偏りがあれば、いずれを対象物としてもよい。例えば、ペットであってもよい。ペットも、人物と同様に、共起のしやすい人物や他のペットが存在することが多い。例えば、少なくとも該ペットとその飼い主は相互に共起しやすいと言える。他にも、ペットどうしで仲の良いものがいれば、共起に偏りが生じる。また、飼い主の知人とペット等といった組み合わせにおいても、互いの好き嫌い等に起因して、共起のしやすさには偏りが生じると考えられる。
【００６５】
この場合、対象物検出部２０３では、ペット（例えば犬）をも検出するようにし、対象物同定部２０４では、このペットをも同定できる。同定できた場合は、ペットについても共起関係を管理する。そして、対象物推定部２０６では、このペットをも推定する。
【００６６】
なお、ペットの検出や同定についても、利用者からの入力があった場合は、これを利用するようにしてよい。あるいは、人物の場合と同様に、同定したいペットの画像の特徴量をあらかじめ学習しておき、対象画像中に特徴量と近い部位があるか否かによって、検出や同定を行ってもよい。
【００６７】
以上述べた実施形態５では、人物に限らずペットなどについても、同定および推定の対象にできる。
【００６８】
＜実施形態６＞
上記の実施形態において、対象物検出部２０３が検出した対象物の数に対する、対象物同定部２０４で同定できた対象物の数の割合を求める。そして、その割合があらかじめ設定された閾値よりも低い場合に、推定の仕方を制御してもよい。この場合は、未知の対象物に生じることが多い。つまり、従来の共起関係からは推定できない共起の偏りが生じている可能性が高い。あるいは、本来は共起関係を調べるべき対象物が同定処理できずに漏れているため、正しい共起関係とは言えない組み合わせを調べてしまう可能性が高い。
【００６９】
以上のことから、この場合には、推定を抑制するように制御してもよい。具体的には、推定結果についての信頼度をも提示するようにして、この信頼度を対象物同定部２０４で同定できた対象物の数の割合に比例して低くするようにすればよい。
【００７０】
＜実施形態７＞
上述の実施形態においては、共起管理部２０５は、共起した出現頻度を保持するようにしたが、これに限るものではない。共起管理部２０５は、対象物の共起のしやすさを管理することが目的であるため、各画像での写り方によって、保持する頻度に重み付けを行うなどしてもよい。
【００７１】
例えば、人物であれば、２人だけで写っている画像が存在する場合には、多人数で記念撮影のように写っているだけの共起よりも、共起のしやすさは高いと考えられる。この場合は、頻度にある一定の重みを付けて、保持する。二人だけであるか否かの判定については、例えば、画像から検出できた対象物の数が２つで、それぞれが同定できた場合に、２人として判定すればよい。他にも、笑顔の度合いを判定し、笑顔の度合いが高い画像内で共起しているものについて、重みを付けるなどしてもよい。
【００７２】
＜実施形態８＞
上述の実施形態に、さらに、同定対象の対象物のうち、ある対象物から見た共起関係の変化を考慮し、この変化に応じた共起関係の管理、および対象物を推定してもよい。以下、図を参照して説明を行う。
【００７３】
まず、本実施形態の情報処理装置を示すコンピュータ装置の回路構成は、図１と同じとする。次に、本実施形態の情報処理装置の基本構成については、図１０のようになる。ここでは、図２に対して追加あるいは更新のあった構成要素についてのみ説明し、図２で説明した要素については説明を省略する。
【００７４】
対象物情報登録部１００１は、同定対象の対象物の情報を登録する。本実施形態においては、ある対象物から見た共起関係の変化を考慮するため、対象物についての情報を入力する。
【００７５】
例えば、家族の画像を管理している場合、同定対象として登録済みの対象物のうち、家族についての情報を入力しておき、家族という集団とそれ以外における対象物との共起関係の変化を考慮する。なお、入力する対象物の情報については、例えば、人物であれば、生年月日や没年月日、結婚や離婚、引越しなどの大きなイベントの起きた年月日や、夫婦や親子といった人物間の関係などを入力する。そして、特に家族の構成については、登録された対象物がどの家族に属するかを識別する家族情報を入力する。また新たな対象物の登録した日時や、登録した対象物が死亡した日時についても入力する。
【００７６】
対象物情報管理部１００２は、対象物情報登録部１００１で登録された情報を格納し管理する。ここでは、対象物毎に、登録された情報を管理する。
【００７７】
関係変化時期抽出部１００３は、対象物情報管理部１００２で管理している情報から、過去の対象物間における共起関係に変化が生じる時期を抽出する。例えば、対象物の生年月日や没年月日、結婚や離婚の年月日といった日時情報があれば、対象物が相互に共起し得る時期が決まってくる。例えば、ある人物が生まれる前や死亡した後にはこの人物は出現しないことから、これらの時期は、関係変化の時期と考えることができる。
【００７８】
また、子供の生年月日を登録した場合は、小学校入学や中学校入学の時期が推定できる。一般的に、この時期の前後で、家族には新しい人間関係が生じる可能性が高く、共起の偏りが変化すると考えることができる。関係変化時期抽出部１００３では、この時期を抽出してもよい。なお、この時期の抽出に必要な知識については、あらかじめ知識情報として与えておく。例えば、日本の小学校の入学時期であれば、「満年齢で６歳になった誕生日以降の４月１日とする」等といった知識情報を保持しておく。
【００７９】
以上の構成を加えた上で、共起管理部２０５は、さらに、関係変化時期抽出部１００３において、変化が生じるとされた時期の前後で、共起関係を区別して管理する。
【００８０】
また、対象物推定部２０６においては、処理対象の画像の撮影時間情報や、家族の構成の情報から、該当する時期の共起関係を共起管理部２０５から取得し、推定を行う。更に、登録した家族に対しては、同定された対象物の画像を要素として含む集合に同一家族に属する登録対象物が２人以上含まれる場合には、前記推定手段は、該集合の出現回数に対して重み付けを増してもよい。
【００８１】
登録対象物が存在しない日時については、ある日以降に消失したの消失日時が当てはまる。例えば、人物の死亡が当てはまる。死亡については、対象物同定部２０４は、画像のメタデータに含まれる撮影日時とを比較し、撮影日時が死亡した消失日時より新しい場合には、同定手段は、その人物を同定結果として採用しないようにできる。また対象物推定部２０６も、その登録対象物を推定結果として採用しないようにできる。
【００８２】
登録対象物が存在しない日時については、ある日以前に発生した発生日時が当てはまる。例えば、人物の誕生が当てはまる。誕生した対象物に対しては、誕生の発生日時と画像のメタデータに含まれる撮影日時とを比較し、撮影日時が誕生の発生日時より旧い場合には、対象物同定部２０４は、その登録対象物を同定結果として採用しないようにできる。また対象物推定部２０６も、その登録対象物を推定結果として採用しないようにできる。
【００８３】
これにより、新しい共起関係の情報が十分に反映されることで徐々に推定の精度が上がるばかりではなく、共起関係の変化が生じた後の推定精度の向上が早くなる効果が期待できる。
【００８４】
なお、上述の共起関係を利用した推定を行う場合に、前後の時期の共起関係を利用するようにしてもよい。例えば、直前の共起関係は、ある程度その後の共起関係にも影響があると考えることができる。そこで、時間的に近い共起関係ほど考慮するように、各時期の共起関係に重みを付けて、推定を行ってもよい。
【００８５】
＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2011128992.tif 000003
【図２】
2011128992.tif 000004
【図３】
2011128992.tif 000005
【図４】
2011128992.tif 000006
【図５】
2011128992.tif 000007
【図６】
2011128992.tif 000008
【図７】
2011128992.tif 000009
【図８】
2011128992.tif 000010
【図９】
2011128992.tif 000011
【図１０】
2011128992.tif 000012