(57)【要約】【課題】複数の顔画像に対する照合処理に要する時間や計算量を低減する。【解決手段】顔画像照合部１２０は、入力された画像データに含まれる複数の対象顔画像２０１の各々について、当該対象顔画像２０１の特徴量と複数の人物の各々の顔画像の特徴量とを順次照合して、複数の人物の中から当該対象顔画像２０１の人物を特定する照合処理を実行する。顔画像照合部１２０は、複数の対象顔画像２０１の内の第１の対象顔画像についての照合処理において当該第１の対象顔画像の人物が特定された場合、第２の対象顔画像についての照合処理において、当該第２の対象顔画像と特定された第１の対象顔画像の顔画像が含まれていた画像データと同じ画像データに顔画像が含まれていたことがある他の人物である出現人物の顔画像との照合を優先的に行う。【選択図】図１
2014052726.tif 000002
【特許請求の範囲】
【請求項１】
複数の人物の各々の識別子対応に、当該人物の顔画像の特徴量を記憶する顔画像情報記憶手段と、
前記複数の人物の各々の識別子対応に、当該人物の顔画像が含まれていた画像データと同じ画像データに顔画像が含まれていたことがある他の人物である１以上の出現人物の識別子の集合を記憶する出現情報記憶手段と、
入力された画像データに含まれる複数の対象顔画像の各々について、当該対象顔画像の特徴量と前記複数の人物の各々の顔画像の特徴量とを順次照合して、前記複数の人物の中から当該対象顔画像の人物を特定する照合処理を実行し、前記複数の対象顔画像の内の第１の対象顔画像についての照合処理において当該第１の対象顔画像の人物が特定された場合、前記複数の対象顔画像の内の第２の対象顔画像についての照合処理において、当該第２の対象顔画像と前記特定された前記第１の対象顔画像の人物に対する前記１以上の出現人物の各々の顔画像との照合を優先的に行う、顔画像照合手段と、
を備えた顔画像照合装置。
【請求項２】
前記顔画像照合手段は、特定された前記複数の対象顔画像の各々の人物に対する前記１以上の出現人物の識別子の集合を、当該集合と前記特定された前記複数の対象顔画像の人物の識別子の集合との和集合で更新する、
請求項１に記載の顔画像照合装置。
【請求項３】
前記顔画像照合手段は、前記複数の対象顔画像の照合処理を並列に実行し、前記第１の対象顔画像についての照合処理において当該第１の対象顔画像の人物が特定された時に、前記第２の対象顔画像についての照合処理において、当該第２の対象顔画像と前記複数の人物の各々の顔画像との照合を中止し、当該第２の対象顔画像と前記特定された前記第１の対象顔画像の人物に対する前記１以上の出現人物の各々の顔画像との照合を行う、
請求項１または２に記載の顔画像照合装置。
【請求項４】
前記出現情報記憶手段は、さらに、前記複数の人物の各々の前記１以上の出現人物の各々の識別子対応に、当該出現人物が、当該人物の顔画像が含まれていた画像データと同じ画像データに含まれていた回数である出現回数を記憶し、
前記顔画像照合手段は、前記第２の対象顔画像と前記特定された前記第１の対象顔画像の人物に対する前記１以上の出現人物の顔画像との照合において、前記出現回数が他の出現人物よりも大きい出現人物との照合を優先的に行う、
請求項１乃至３のいずれかに記載の顔画像照合装置。
【請求項５】
前記顔画像照合手段は、前記第２の対象顔画像についての照合処理において当該第２の対象顔画像の人物が特定された場合、前記特定された前記第１の対象顔画像の人物に対する前記１以上の出現人物の識別子の集合と、前記特定された前記第２の対象顔画像の人物に対する前記１以上の出現人物の識別子の集合との積集合、または、和集合を算出し、前記複数の対象顔画像の内の第３の対象顔画像についての照合処理において、当該第３の対象顔画像と、当該算出した積集合、または、和集合に含まれる出現人物の各々の顔画像との照合を優先的に行う、
請求項１乃至４のいずれかに記載の顔画像照合装置。
【請求項６】
複数の人物の各々の識別子対応に、当該人物の顔画像の特徴量を記憶し、
前記複数の人物の各々の識別子対応に、当該人物の顔画像が含まれていた画像データと同じ画像データに顔画像が含まれていたことがある他の人物である１以上の出現人物の識別子の集合を記憶し、
入力された画像データに含まれる複数の対象顔画像の各々について、当該対象顔画像の特徴量と前記複数の人物の各々の顔画像の特徴量とを順次照合して、前記複数の人物の中から当該対象顔画像の人物を特定する照合処理を実行し、前記複数の対象顔画像の内の第１の対象顔画像についての照合処理において当該第１の対象顔画像の人物が特定された場合、前記複数の対象顔画像の内の第２の対象顔画像についての照合処理において、当該第２の対象顔画像と前記特定された前記第１の対象顔画像の人物に対する前記１以上の出現人物の各々の顔画像との照合を優先的に行う、
顔画像照合方法。
【請求項７】
さらに、特定された前記複数の対象顔画像の各々の人物に対する前記１以上の出現人物の識別子の集合を、当該集合と前記特定された前記複数の対象顔画像の人物の識別子の集合との和集合で更新する、
請求項６に記載の顔画像照合方法。
【請求項８】
複数の人物の各々の識別子対応に、当該人物の顔画像の特徴量を記憶し、
前記複数の人物の各々の識別子対応に、当該人物の顔画像が含まれていた画像データと同じ画像データに顔画像が含まれていたことがある他の人物である１以上の出現人物の識別子の集合を記憶し、
入力された画像データに含まれる複数の対象顔画像の各々について、当該対象顔画像の特徴量と前記複数の人物の各々の顔画像の特徴量とを順次照合して、前記複数の人物の中から当該対象顔画像の人物を特定する照合処理を実行し、前記複数の対象顔画像の内の第１の対象顔画像についての照合処理において当該第１の対象顔画像の人物が特定された場合、前記複数の対象顔画像の内の第２の対象顔画像についての照合処理において、当該第２の対象顔画像と前記特定された前記第１の対象顔画像の人物に対する前記１以上の出現人物の各々の顔画像との照合を優先的に行う、
処理をコンピュータに実行させるプログラム。
【請求項９】
さらに、特定された前記複数の対象顔画像の各々の人物に対する前記１以上の出現人物の識別子の集合を、当該集合と前記特定された前記複数の対象顔画像の人物の識別子の集合との和集合で更新する、
処理をコンピュータに実行させる請求項８に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔画像照合装置、顔画像照合方法、及び、プログラムに関する。
【背景技術】
【０００２】
近年、ＳＮＳ（Social Networking Service）やデジタル写真アルバムサービスのように、大量の写真が蓄積されるインターネットサービスが増えている。これらのサービスでは、利用者により入力された、写真に写っている人物の名前が、ラベルとして写真に付与され、ラベルを用いた写真の検索が可能である。さらに、利用者の利便性を高めるため、利用者が写真に写っている人物の名前を入力する代わりに、顔照合技術などを用いて、写真に写っている複数の人物を特定し、特定された人物の名前をラベルとして登録するシステムが登場している。
【０００３】
このようなシステムで利用可能な顔照合技術の一例が、例えば、特許文献１に記載されている。特許文献１に記載の画像処理装置では、入力画像内の複数の顔領域に対して、順番に認識（照合）の処理が行われる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−０７０５７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１の画像処理装置のように、入力画像内の複数の顔に対して、順番に照合を行うシステムでは、照合対象である登録済みの顔の数が膨大な場合、照合処理に時間がかかり、利用者に対するシステムのレスポンスが悪くなる。
【０００６】
これに対して、入力画像内の複数の顔の各々に対する照合処理を、並列分散で実行することで、システムのレスポンスを改善する方法がある。しかしながら、この方法を用いても、照合処理全体の計算量は変わらないため、サービス提供者は計算リソースを削減できない。
【０００７】
本発明の目的は、上述の課題を解決し、複数の顔画像に対する照合処理に要する時間や計算量を低減できる顔画像照合装置、顔画像照合方法、及び、プログラムを提供することである。
【課題を解決するための手段】
【０００８】
本発明の顔画像照合装置は、複数の人物の各々の識別子対応に、当該人物の顔画像の特徴量を記憶する顔画像情報記憶手段と、前記複数の人物の各々の識別子対応に、当該人物の顔画像が含まれていた画像データと同じ画像データに顔画像が含まれていたことがある他の人物である１以上の出現人物の識別子の集合を記憶する出現情報記憶手段と、入力された画像データに含まれる複数の対象顔画像の各々について、当該対象顔画像の特徴量と前記複数の人物の各々の顔画像の特徴量とを順次照合して、前記複数の人物の中から当該対象顔画像の人物を特定する照合処理を実行し、前記複数の対象顔画像の内の第１の対象顔画像についての照合処理において当該第１の対象顔画像の人物が特定された場合、前記複数の対象顔画像の内の第２の対象顔画像についての照合処理において、当該第２の対象顔画像と前記特定された前記第１の対象顔画像の人物に対する前記１以上の出現人物の各々の顔画像との照合を優先的に行う、顔画像照合手段と、を備える。
【０００９】
本発明の顔画像照合方法は、複数の人物の各々の識別子対応に、当該人物の顔画像の特徴量を記憶し、前記複数の人物の各々の識別子対応に、当該人物の顔画像が含まれていた画像データと同じ画像データに顔画像が含まれていたことがある他の人物である１以上の出現人物の識別子の集合を記憶し、入力された画像データに含まれる複数の対象顔画像の各々について、当該対象顔画像の特徴量と前記複数の人物の各々の顔画像の特徴量とを順次照合して、前記複数の人物の中から当該対象顔画像の人物を特定する照合処理を実行し、前記複数の対象顔画像の内の第１の対象顔画像についての照合処理において当該第１の対象顔画像の人物が特定された場合、前記複数の対象顔画像の内の第２の対象顔画像についての照合処理において、当該第２の対象顔画像と前記特定された前記第１の対象顔画像の人物に対する前記１以上の出現人物の各々の顔画像との照合を優先的に行う。
【００１０】
本発明のプログラムは、複数の人物の各々の識別子対応に、当該人物の顔画像の特徴量を記憶し、前記複数の人物の各々の識別子対応に、当該人物の顔画像が含まれていた画像データと同じ画像データに顔画像が含まれていたことがある他の人物である１以上の出現人物の識別子の集合を記憶し、入力された画像データに含まれる複数の対象顔画像の各々について、当該対象顔画像の特徴量と前記複数の人物の各々の顔画像の特徴量とを順次照合して、前記複数の人物の中から当該対象顔画像の人物を特定する照合処理を実行し、前記複数の対象顔画像の内の第１の対象顔画像についての照合処理において当該第１の対象顔画像の人物が特定された場合、前記複数の対象顔画像の内の第２の対象顔画像についての照合処理において、当該第２の対象顔画像と前記特定された前記第１の対象顔画像の人物に対する前記１以上の出現人物の各々の顔画像との照合を優先的に行う、処理をコンピュータに実行させる。
【発明の効果】
【００１１】
本発明の効果は、複数の顔画像に対する照合処理に要する時間や計算量を低減できることである。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１の実施の形態の特徴的な構成を示すブロック図である。
【図２】本発明の第１の実施の形態における、顔画像照合装置１００の構成を示すブロック図である。
【図３】本発明の第１の実施の形態における、顔画像照合装置１００の処理を示すフローチャートである。
【図４】本発明の第１の実施の形態における、図３のフローチャートのステップＳ３０１、Ｓ３２１の詳細を示すフローチャートである。
【図５】本発明の第１の実施の形態における、図３のフローチャートのステップＳ３１２の詳細を示すフローチャートである。
【図６】本発明の第１の実施の形態における、顔画像情報１３１の例を示す図である。
【図７】本発明の第１の実施の形態における、出現情報１４１（更新前）の例を示す図である。
【図８】本発明の第１の実施の形態における、画像データの例を示す図である。
【図９】本発明の第１の実施の形態における、出現情報１４１（更新後）の例を示す図である。
【図１０】特許文献１における照合処理時間の例と、本発明の第１の実施の形態における照合処理時間の例を示す図である。
【発明を実施するための形態】
【００１３】
（第１の実施の形態）
次に、本発明の第１の実施の形態について説明する。
【００１４】
ここでは、ＳＮＳのように、複数の利用者の顔写真が登録されているシステムにおいて、複数の利用者が写っている写真が投稿された時に、その写真に写っている各利用者を特定する場合を例に、実施の形態を説明する。
【００１５】
はじめに、本発明の第１の実施の形態の構成について説明する。図２は、本発明の第１の実施の形態における、顔画像照合装置１００の構成を示すブロック図である。
【００１６】
図２を参照すると、本発明の第１の実施の形態の顔画像照合装置１００は、顔画像検出部１１０、顔画像照合部１２０、顔画像情報記憶部１３０、及び、出現情報記憶部１４０を含む。
【００１７】
ここで、顔画像検出部１１０は、入力された画像データから、複数の人物の顔領域（対象顔画像２０１）を検出し、各対象顔画像２０１の特徴量を算出する。なお、画像データから複数の人物の顔画像についての特徴量を算出できれば、顔画像検出部１１０における顔領域の検出や特徴量の算出には、どのような技術を用いてもよい。
【００１８】
顔画像情報記憶部１３０は、複数の人物の各々の顔画像の特徴量を示す、顔画像情報１３１を記憶する。図６は、本発明の第１の実施の形態における、顔画像情報１３１の例を示す図である。顔画像情報１３１は、複数の人物の各々の識別子（人物ＩＤ）、及び、当該人物の顔画像の特徴量を含む。
【００１９】
出現情報記憶部１４０は、出現情報１４１を記憶する。出現情報１４１は、顔画像情報１３１に登録された複数の人物（登録人物）の各々について、当該人物の顔画像が含まれていた画像データと同じ画像データに顔画像が含まれていたことがある他の人物（出現人物）を示す。図７は、本発明の第１の実施の形態における、出現情報１４１（更新前）の例を示す図である。出現情報１４１は、複数の人物の各々の人物ＩＤ、及び、当該人物に対する１以上の出現人物の人物ＩＤの集合を含む。
【００２０】
顔画像照合部１２０は、入力された画像データに含まれる複数の対象顔画像２０１の各々について、照合処理を実行し、各対象顔画像２０１の人物を特定する。
【００２１】
顔画像照合部１２０は、制御部１２１、及び、複数の照合処理部１２２（１２２＿１、２、…、ｍ）を含む。
【００２２】
制御部１２１は、各照合処理部１２２における照合処理を制御する。
【００２３】
照合処理部１２２は、対象顔画像２０１についての照合処理を行う。ここで、複数の照合処理部１２２の各々は、例えば、複数のＣＰＵ（Central Processing Unit）上で動作する複数のプロセス等、複数の計算機リソースの各々で動作し、各対象顔画像２０１の照合処理を並列に実行する。照合処理部１２２は、対象顔画像２０１の特徴量と、顔画像情報１３１上の登録人物の各々の顔画像の特徴量とを順次照合して、登録人物の中から対象顔画像２０１の人物を特定する。
【００２４】
本発明の第１の実施の形態では、ある人物の顔画像が画像データに含まれている場合、出現情報１４１における当該人物に対する出現人物の顔画像が、当該画像データに含まれている可能性が高いと仮定する。
【００２５】
照合処理部１２２は、他の照合処理部１２２において、他の対象顔画像２０１の人物が先に特定された時は、特定された人物（特定済み人物）に対する出現人物の顔画像との照合を優先的に行う。
【００２６】
なお、対象顔画像２０１の特徴量と顔画像情報１３１上の登録人物の顔画像の特徴量とから、対象顔画像２０１の人物が特定できれば、顔画像照合部１２０における照合処理には、どのような技術を用いてもよい。
【００２７】
また、顔画像検出部１１０と顔画像照合部１２０とは、ＣＰＵとプログラムを記憶した記憶媒体を含み、プログラムに基づく制御によって動作するコンピュータであってもよい。また、顔画像検出部１１０と、顔画像照合部１２０とは、異なる装置に含まれていてもよい。また、複数の照合処理部１２２（１２２＿１、２、…、ｍ）が、異なる装置に含まれていてもよい。また、顔画像記憶部１３０と、出現情報記憶部１４０とは、それぞれ個別の記憶媒体でも、１つの記憶媒体によって構成されてもよい。また、顔画像記憶部１３０と、出現情報記憶部１４０とは、顔画像照合装置１００以外の他の装置内にあってもよい。
【００２８】
次に、本発明の第１の実施の形態における顔画像照合装置１００の動作について説明する。
【００２９】
ここで、顔画像情報記憶部１３０には、システムに登録された利用者ごとの顔写真（顔画像）を基に、図６の顔画像情報１３１が記憶されていると仮定する。また、出現情報記憶部１４０には、図７の出現情報１４１が記憶されていると仮定する。
【００３０】
図３は、本発明の第１の実施の形態における、顔画像照合装置１００の処理を示すフローチャートである。
【００３１】
はじめに、顔画像照合装置１００の顔画像検出部１１０は、利用者等から投稿（入力）された、写真等の画像データから、複数（ｎ個）の対象顔画像２０１を検出し、各対象顔画像２０１の特徴量を算出する（ステップＳ１０１）。
【００３２】
図８は、本発明の第１の実施の形態における、画像データの例を示す図である。例えば、顔画像検出部１１０は、図８の画像データから、３つの対象顔画像２０１（２０１＿１、２、３）を検出し、各対象顔画像２０１の特徴量を抽出する。
【００３３】
顔画像検出部１１０は、ｎ個の対象顔画像２０１の特徴量を、顔画像照合部１２０へ送信する（ステップＳ１０２）。
【００３４】
顔画像照合部１２０の制御部１２１は、ｎ個の対象顔画像２０１の特徴量を、それぞれ、各照合処理部１２２へ送信する（ステップＳ２０１）。
【００３５】
例えば、制御部１２１は、対象顔画像２０１＿１、２、３を、それぞれ、照合処理部１２２＿１、２、３へ送信する。
【００３６】
次に、照合処理部１２２（１２２＿１、…、ｍ）は、受信した各対象顔画像２０１についての照合処理を並列に実行する。
【００３７】
各照合処理部１２２の照合処理において、はじめに、照合処理部１２２は、受信した対象顔画像２０１と顔画像情報１３１上の登録人物の各々の顔画像との照合を行う（ステップＳ３０１）。
【００３８】
図４は、本発明の第１の実施の形態における、図３のフローチャートのステップＳ３０１、Ｓ３２１の詳細を示すフローチャートである。
【００３９】
照合処理部１２２は、顔画像情報１３１上の登録人物の人物ＩＤを、一つ選択する（ステップＳ３０１１）。
【００４０】
照合処理部１２２は、顔画像情報１３１から、選択した登録人物の顔画像の特徴量を取得する（ステップＳ３０１２）。
【００４１】
照合処理部１２２は、対象顔画像２０１の特徴量と登録人物の顔画像の特徴量とが、同じ人物の顔画像である度合（同一性スコア）を算出する（ステップＳ３０１３）。
【００４２】
照合処理部１２２は、同一性スコアが、所定の閾値を越えているかどうかを判定する（ステップＳ３０１４）。
【００４３】
ステップＳ３０１４において、所定の閾値を越えている場合（ステップＳ３０１４／Ｙ）、照合処理部１２２は、登録人物を、対象顔画像２０１の人物と特定し（ステップＳ３０１５）、処理を終了する。
【００４４】
一方、ステップＳ３０１４において、所定の閾値を越えていない場合（ステップＳ３０１４／Ｎ）、照合処理部１２２は、全ての登録人物に対して処理が行わるまで、ステップＳ３０１１からの処理を繰り返す（ステップＳ３０１６）。
【００４５】
次に、照合処理部１２２は、ステップＳ３０１において対象顔画像２０１の人物を特定できた場合、特定済み人物の人物ＩＤを、制御部１２１へ送信する（ステップＳ３０２）。
【００４６】
例えば、照合処理部１２２＿１、２、３の各々は、図６の顔画像情報１３１上の登録人物の人物ＩＤ「１」、「２」、…、の順番に、対象顔画像２０１と登録人物の各々の顔画像との照合を順次行う。ここで、照合処理部１２２＿１が、対象顔画像２０１＿１の人物を、人物ＩＤ「１００」の人物と特定したと仮定する。照合処理部１２２＿１は、特定済み人物の人物ＩＤ「１００」を制御部１２１へ送信する。
【００４７】
制御部１２１は、照合処理部１２２から特定済み人物の人物ＩＤを受信した場合、当該人物ＩＤを、当該特定済み人物を特定した照合処理部１２２以外の各照合処理部１２２へ送信する（ステップＳ２０２）。
【００４８】
例えば、制御部１２１は、特定済み人物の人物ＩＤ「１００」を、照合処理部１２２＿２、３へ送信する。
【００４９】
照合処理部１２２は、特定済み人物の人物ＩＤを受信した場合、ステップＳ３０１の処理（顔画像情報１３１上の登録人物の各々との照合の繰り返し）を中断し（ステップＳ３１１）、対象顔画像２０１と特定済み人物に対する出現人物の各々の顔画像との照合を行う（ステップＳ３１２）。すなわち、照合処理部１２２は、特定済み人物に対する出現人物の顔画像との照合を、優先的に行う。
【００５０】
図５は、本発明の第１の実施の形態における、図３のフローチャートのステップＳ３１２の詳細を示すフローチャートである。
【００５１】
照合処理部１２２は、出現情報１４１から、特定済み人物に対する出現人物の人物ＩＤの集合を取得する（ステップＳ３１２１）。
【００５２】
照合処理部１２２は、取得した出現人物の人物ＩＤを、一つ選択する（ステップＳ３１２２）。
【００５３】
照合処理部１２２は、ステップＳ３０１２〜３０１５と同様に、対象顔画像２０１と選択した出現人物との間の同一性スコアを算出し、同一性スコアが所定の閾値を越えている場合、当該出現人物を対象顔画像２０１の人物と特定する（ステップＳ３１２３〜３１２６）。所定の閾値を越えていない場合、照合処理部１２２は、ステップＳ３１２１で取得した全ての出現人物に対して処理が行わるまで、ステップＳ３１２２からの処理を繰り返す（ステップＳ３１２７）。
【００５４】
次に、照合処理部１２２は、ステップＳ３１２において対象顔画像２０１の人物を特定できた場合、特定済み人物の人物ＩＤを、制御部１２１へ送信する（ステップＳ３１３）。
【００５５】
例えば、照合処理部１２２＿２、３の各々は、登録人物の人物ＩＤ「１」、「２」、…、に対する、照合の繰り返しを中断する。そして、照合処理部１２２＿２、３の各々は、図７の出現情報１４１から、特定済み人物の人物ＩＤ「１００」に対する出現人物の人物ＩＤの集合｛２００，３５０，４００｝を取得する。そして、照合処理部１２２＿２、３は、取得した出現人物の人物ＩＤ「２００」、「３５０」、…、の順番に、対象顔画像２０１と出現人物の各々の顔画像との照合を順次行う。ここで、照合処理部１２２＿２が、対象顔画像２０１＿２の人物を、人物ＩＤ「２００」の人物と特定したと仮定する。照合処理部１２２＿２は、特定済み人物の人物ＩＤ「２００」を制御部１２１へ送信する。
【００５６】
一方、照合処理部１２２は、ステップＳ３１２において対象顔画像２０１の人物を特定できなかった場合、ステップＳ３１１にて中断したステップＳ３０１の処理（顔画像情報１３１上の登録人物の各々との照合の繰り返し）を再開する（ステップＳ３２１）。
【００５７】
照合処理部１２２は、ステップＳ３２１において対象顔画像２０１の人物を特定できた場合、特定済み人物の人物ＩＤを、制御部１２１へ送信する（ステップＳ３２２）。なお、ステップＳ３２１において対象顔画像２０１の人物を特定できなかった場合、照合処理部１２２は、対象顔画像２０１に対応する登録人物が無いことを示す応答を、制御部１２１へ送信してもよい。
【００５８】
例えば、照合処理部１２２＿３は、顔画像情報１３１上の登録人物の各々との照合の繰り返しを再開する。ここで、照合処理部１２２＿３が、対象顔画像２０１＿３の人物を、人物ＩＤ「３００」の人物と特定したと仮定する。照合処理部１２２＿３は、特定済み人物の人物ＩＤ「３００」を制御部１２１へ送信する。
【００５９】
制御部１２１は、各照合処理部１２２から受信した、ｎ個の特定済み人物の人物ＩＤを用いて、出現情報１４１を更新する（ステップＳ２０３）。ここで、制御部１２１は、出現情報１４１における、各特定済み人物に対する出現人物の人物ＩＤの集合を、当該集合とｎ個の特定済み人物の人物ＩＤの集合（但し、当該特定済み人物の人物ＩＤ除く）との和集合で更新する。
【００６０】
図９は、本発明の第１の実施の形態における、出現情報１４１（更新後）の例を示す図である。例えば、制御部１２１は、図７の出現情報１４１における、人物ＩＤ「１００」に対する出現人物の人物ＩＤの集合｛２００，３５０，４００｝を、当該集合と特定済み人物の人物ＩＤの集合｛２００，３００｝との和集合、｛２００，３００，３５０，４００｝で、図９のように更新する。同様に、制御部１２１は、人物ＩＤ「２００」、「３００」に対する出現人物の人物ＩＤの集合を、図９のように更新する。
【００６１】
また、制御部１２１は、ｎ個の特定済み人物の人物ＩＤを出力する（ステップＳ２０４）。
【００６２】
例えば、制御部１２１は、特定済み人物の人物ＩＤ「１００」、「２００」、「３００」を出力する。そして、例えば、システムは、投稿された写真（画像データ）に対して、人物ＩＤ「１００」、「２００」、「３００」をラベルとして付与する。
【００６３】
以上により、本発明の第１の実施の形態の動作が完了する。
【００６４】
なお、本発明の第１の実施の形態においては、複数の照合処理部１２２の各々が、各対象顔画像２０１の照合処理を並列に実行する場合を例に説明したが、１つの照合処理部１２２が、各対対象顔画像２０１の照合処理を順番に実行してもよい。この場合、最初の対象顔画像２０１に対する照合処理で、当該対象顔画像２０１の人物が特定された場合、以降の対象顔画像２０１に対する照合処理で、特定済み人物に対する出現人物の顔画像との照合が優先的に行われる。
【００６５】
次に、本発明の第１の実施の形態の特徴的な構成を説明する。図１は、本発明の第１の実施の形態の特徴的な構成を示すブロック図である。
【００６６】
図１を参照すると、顔画像照合装置１００は、顔画像情報記憶部１３０、出現情報記憶部１４０、及び、顔画像照合部１２０を含む。
【００６７】
ここで、顔画像情報記憶部１３０は、複数の人物の各々の識別子対応に、当該人物の顔画像の特徴量を記憶する。
【００６８】
出現情報記憶部１４０は、複数の人物の各々の識別子対応に、当該人物の顔画像が含まれていた画像データと同じ画像データに顔画像が含まれていたことがある他の人物である１以上の出現人物の識別子の集合を記憶する。
【００６９】
顔画像照合部１２０は、入力された画像データに含まれる複数の対象顔画像２０１の各々について、当該対象顔画像２０１の特徴量と複数の人物の各々の顔画像の特徴量とを順次照合して、複数の人物の中から当該対象顔画像２０１の人物を特定する照合処理を実行し、複数の対象顔画像２０１の内の第１の対象顔画像についての照合処理において当該第１の対象顔画像の人物が特定された場合、第２の対象顔画像についての照合処理において、当該第２の対象顔画像と特定された第１の対象顔画像の人物に対する１以上の出現人物の各々の顔画像との照合を優先的に行う。
【００７０】
次に、本発明の第１の実施の形態の効果を説明する。
【００７１】
図１０は、特許文献１における照合処理時間の例と、本発明の第１の実施の形態における照合処理時間の例を示す図である。
【００７２】
特許文献１の画像処理装置のように、ｎ個の対象顔画像２０１（２０１＿１、２、…、ｎ）について順番に照合を行うシステムにおいて、顔画像情報１３１上の登録人物の数がｚの場合、１つの対象顔画像２０１に対する照合処理における照合回数の平均値はｚ／２である。ここで、１回の照合の処理時間をｔと仮定すると、ｎ個の対象顔画像２０１に対する照合処理全体の時間の平均値は、ｎ×（ｚ／２）×ｔである（図１０の例（１））。また、ｎ個の対象顔画像２０１に対する照合処理が、n個の計算機リソースで並列に実行される場合、照合処理全体の時間の平均値は、（ｚ／２）×ｔである（図１０の例（２））。
【００７３】
図１０の例（２）において、ｎ個の対象顔画像２０１の内の対象顔画像２０１＿２に対する照合処理のように、最初に終了した照合処理における照合回数は、ｚ／２よりも小さい可能性がある。ここで、最初に終了した照合処理における照合回数がｚ／２−α回であり、また、その照合処理における特定済み人物に対する出現人物の数がδ個であると仮定する。また、終了していない照合処理における対象顔画像２０１の人物は、特定済み人物に対する出現人物に含まれると仮定する。
【００７４】
この場合、本発明の第１の実施の形態の顔画像照合装置１００では、ｎ個の対象顔画像２０１に対する照合処理全体の時間は、（ｚ／２−α＋δ）×ｔである（図１０の例（３））。ここで、δがｚに対して十分小さい場合、照合処理全体の照合回数、及び、時間が低減される。
【００７５】
このように、本発明の第１の実施の形態によれば、複数の顔画像に対する照合処理に要する時間や計算量を低減できる。その理由は、顔画像照合部１２０が、複数の対象顔画像２０１の内の第１の対象顔画像についての照合処理において人物が特定された場合、第２の対象顔画像についての照合処理において、当該第２の対象顔画像と特定済み人物に対する出現人物の顔画像との照合を優先的に行うためである。
【００７６】
（第２の実施の形態）
次に、本発明の第２の実施の形態について説明する。
【００７７】
本発明の第２の実施の形態では、出現情報１４１が、本発明の第１の実施の形態における出現情報１４１の内容に加えて、さらに、各出現人物の人物ＩＤに対する出現回数を含む。出現回数は、当該出現人物が、登録人物の顔画像が含まれていた画像データと同じ画像データに含まれていた回数（画像データの数）である。
【００７８】
本発明の第２の実施の形態では、ある人物の顔画像が画像データに含まれている場合、出現情報１４１における当該人物に対する出現人物の内、出現回数の大きい出現人物の顔画像が、当該画像データに含まれている可能性が高いと仮定する。
【００７９】
照合処理部１２２は、上述のステップＳ３１２において、対象顔画像２０１と特定済み人物に対する出現人物の各々の顔画像との照合を行うときに、出現回数が他の出現人物よりも大きい出現人物との照合を優先的に行う。
【００８０】
例えば、上述の具体例のように、照合処理部１２２＿２、３が、照合処理部１２２＿１における特定済み人物の人物ＩＤ「１００」を受信したと仮定する。また、出現情報１４１において、特定済み人物の人物ＩＤ「１００」に対する出現人物の人物ＩＤと出現回数の集合が｛２００（１０），３５０（２０），４００（３０）｝であると仮定する。ここで、（）は、出現人物の人物ＩＤに対する出現回数を示す。照合処理部１２２＿２、３は、取得した出現人物の人物ＩＤ「４００」、「３５０」、「２００」の順番に、対象顔画像２０１と出現人物の各々の顔画像との照合を順次行う。
【００８１】
本発明の第２の実施の形態によれば、第１の実施の形態に比べて、複数の顔画像に対する照合処理に要する時間や計算量を、さらに低減できる。その理由は、顔画像照合部１２０が、対象顔画像２０１と特定済み人物に対する出現人物の各々の顔画像との照合を行うときに、出現回数が他の出現人物よりも大きい出現人物との照合を優先的に行うためである。
【００８２】
（第３の実施の形態）
次に、本発明の第３の実施の形態について説明する。
【００８３】
本発明の第３の実施の形態では、複数の対象顔画像２０１の人物が特定された場合、照合処理部１２２は、複数の特定済み人物の各々に対する出現人物の集合の積集合、または、和集合に含まれる出現人物の顔画像との照合を優先的に行う。
【００８４】
制御部１２１は、上述のステップＳ３１３において照合処理部１２２から送信された特定済み人物の人物ＩＤを受信した場合、当該人物ＩＤを、対象顔画像２０１の人物が特定されていない照合処理部１２２へ送信する。
【００８５】
照合処理部１２２は、複数の特定済み人物の人物ＩＤを受信した場合、複数の特定済み人物の各々に対する出現人物の集合の積集合、または、和集合に含まれる出現人物の各々の顔画像との照合を優先的に行う。
【００８６】
例えば、上述の具体例のように、照合処理部１２２＿２、３が、照合処理部１２２＿１における特定済み人物の人物ＩＤ「１００」を受信し、当該特定済み人物に対する出現人物の顔画像との照合を優先的に行い、照合処理部１２２＿２が、特定済み人物の人物ＩＤ「２００」を制御部１２１へ送信したと仮定する。
【００８７】
制御部１２１は、照合処理部１２２＿２から受信した特定済み人物の人物ＩＤ「２００」を、照合処理部１２２＿３へ送信する。
【００８８】
照合処理部１２２＿３は、特定済み人物の人物ＩＤ「１００」に対する出現人物の人物ＩＤの集合｛２００，３５０，４００｝と人物ＩＤ「２００」に対する出現人物の人物ＩＤの集合｛１００，４００，５００，５８０｝の積集合、または、和集合に含まれる出現人物の顔画像との照合を優先的に行う。積集合を用いる場合、照合処理部１２２＿３は、積集合｛４００｝に含まれる出現人物の顔画像との照合を行う。また、和集合を用いる場合、照合処理部１２２＿３は、特定済み人物を除いた和集合｛３５０，４００，５００，５８０｝に含まれる出現人物の顔画像との照合を行う。
【００８９】
本発明の第３の実施の形態によれば、第１の実施の形態に比べて、複数の顔画像に対する照合処理に要する時間や計算量を、さらに低減できる。その理由は、顔画像照合部１２０が、複数の特定済み人物の各々に対する出現人物の集合の積集合、または、和集合に含まれる出現人物の顔画像との照合を優先的に行うためである。
【００９０】
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【符号の説明】
【００９１】
１００    顔画像照合装置
１１０    顔画像検出部
１２０    顔画像照合部
１２１    制御部
１２２    照合処理部
１３０    顔画像情報記憶部
１４０    出現情報記憶部
２０１    対象顔画像
【図１】
2014052726.tif 000003
【図２】
2014052726.tif 000004
【図３】
2014052726.tif 000005
【図４】
2014052726.tif 000006
【図５】
2014052726.tif 000007
【図６】
2014052726.tif 000008
【図７】
2014052726.tif 000009
【図８】
2014052726.tif 000010
【図９】
2014052726.tif 000011
【図１０】
2014052726.tif 000012