(57)【要約】      （修正有）【課題】画像中のオブジェクトの照合処理の精度を維持しつつ処理負荷を低減させる。【解決手段】画像処理装置は、撮像画像中に含まれるオブジェクトを検出する検出部と、検出されたオブジェクトと所定の登録オブジェクトとの類似度を算出し、類似度に基づいて、検出されたオブジェクトが、所定の登録オブジェクトであるか否かを判定する照合部と、撮像画像中の第１の領域において検出部により検出されたオブジェクトに対して照合部により算出した類似度に応じて、第１の領域に含まれる第２の領域を決定する最適領域算出部とを有し、第２の領域において検出部により検出されたオブジェクトに対して、所定の登録オブジェクトであるか否かの判定を行う。【選択図】図２
2020190850.tif 000002
【特許請求の範囲】
【請求項１】
撮像画像中に含まれるオブジェクトを検出する検出手段と、
前記検出されたオブジェクトと所定の登録オブジェクトとの類似度を算出する算出手段と、
前記算出手段により算出された前記類似度に基づいて、前記検出されたオブジェクトが、前記所定の登録オブジェクトであるか否かを判定する判定手段と、
前記撮像画像中の第１の領域において前記検出手段により検出されたオブジェクトに対して前記算出手段により算出した前記類似度に応じて、前記第１の領域に含まれる第２の領域を決定する決定手段と、
前記第２の領域において前記検出手段により検出されたオブジェクトに対して、前記所定の登録オブジェクトであるか否かの判定を行うように、前記判定手段を制御する制御手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記算出手段は、
前記検出手段により検出された前記オブジェクトの特徴量を求め、前記所定の登録オブジェクトの特徴量と比較することにより、前記類似度を算出する、
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記判定手段は、
前記算出手段が算出した前記類似度が所定の閾値より高い場合に、前記検出手段により検出された前記オブジェクトが、前記登録オブジェクトであると判定する、
ことを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記決定手段は、
前記検出手段が検出した前記オブジェクトの位置と、前記算出手段が算出した前記類似度を対応付けて蓄積し、前記蓄積した前記オブジェクトの位置と前記類似度に応じて前記第２の領域を決定する、
ことを特徴とする請求項１から請求項３のいずれか１項記載の画像処理装置。
【請求項５】
前記検出手段は、
第１の撮像範囲についての前記撮像画像中に含まれる前記オブジェクトを検出し、
第２の撮像範囲についての前記撮像画像中に含まれる前記オブジェクトを検出し、
前記算出手段は、
前記第１の撮像範囲についての前記検出された前記オブジェクトと前記登録オブジェクトとの前記類似度を算出し、
前記第２の撮像範囲についての前記検出された前記オブジェクトと前記第１の撮像範囲についての前記検出されたオブジェクトとの第２の類似度を算出し、
前記判定手段は、
前記類似度に応じて、前記第１の撮像範囲についての前記第２の領域を決定し、
前記第２の類似度に応じて、前記第２の撮像範囲についての前記第２の領域を決定する、
ことを特徴とする請求項１から請求項４のいずれか１項に記載の画像処理装置。
【請求項６】
前記撮像画像は複数のフレームを有し、
前記検出手段は、
前記撮像画像の複数のフレーム夫々について前記撮像画像中に含まれる前記オブジェクトを検出し、
前記算出手段は、
前記複数のフレームで検出された同一の前記オブジェクトの位置と当該フレームにおける前記類似度を対応付けて記憶し、
前記制御手段は、
前記オブジェクトの位置と対応付けて記憶した前記類似度に応じて、前記所定の登録オブジェクトであるか否かの判定を行うように、前記判定手段を制御する、
ことを特徴とする請求項１から請求項５のいずれか１項に記載の画像処理装置。
【請求項７】
前記制御手段は、
前記オブジェクトの位置と対応付けて記憶した前記類似度が所定の閾値を超えた前記オブジェクトについては、以降の前記所定の登録オブジェクトであるか否かの判定を行わないように、前記判定手段を制御する、
ことを特徴とする請求項６記載の画像処理装置。
【請求項８】
前記制御手段は、
前記オブジェクトの位置と対応付けて記憶した前記類似度が高い順に前記所定の登録オブジェクトであるか否かの判定を行うように、前記判定手段を制御する、
ことを特徴とする請求項６記載の画像処理装置。
【請求項９】
前記決定手段は、
前記撮像画像の画角が変更されたときに、前記第２の領域をリセットする、
ことを特徴とする請求項１から請求項８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記決定手段は、
前記撮像画像の画角が前記リセットの前と同じ画角に戻ったときに、前記リセットの前の前記第２の領域に戻す、
ことを特徴とする請求項９記載の画像処理装置。
【請求項１１】
前記決定手段は、
前記類似度の平均が所定の閾値を下回ったときに、前記第２の領域を拡大する、
ことを特徴とする請求項１から請求項１０のいずれか１項に記載の画像処理装置。
【請求項１２】
被写体を撮像して撮像画像を出力する撮像手段と、
前記撮像手段の撮像画像中に含まれるオブジェクトを検出する検出手段と、
前記検出されたオブジェクトと所定の登録オブジェクトとの類似度を算出する算出手段と、
前記算出手段により算出された前記類似度に基づいて、前記検出されたオブジェクトが、前記所定の登録オブジェクトであるか否かを判定する判定手段と、
前記撮像画像中の第１の領域において前記検出手段により検出されたオブジェクトに対して前記算出手段により算出した前記類似度に応じて、前記第１の領域に含まれる第２の領域を決定する決定手段と、
前記第２の領域において前記検出手段により検出されたオブジェクトに対して、前記所定の登録オブジェクトであるか否かの判定を行うように、前記判定手段を制御する制御手段と、
を備えることを特徴とする撮像装置。
【請求項１３】
撮像画像中に含まれるオブジェクトを検出するステップと、
前記検出されたオブジェクトと所定の登録オブジェクトとの類似度を算出するステップと、
前記算出された類似度に基づいて、前記検出されたオブジェクトが、前記所定の登録オブジェクトであるか否かを判定するステップと、
前記撮像画像中の第１の領域において前記検出されたオブジェクトに対して前記算出された類似度に応じて、前記第１の領域に含まれる第２の領域を決定するステップと、
前記第２の領域において前記検出されたオブジェクトに対して、前記所定の登録オブジェクトであるか否かの判定を行うように制御するステップと、
を有することを特徴とする画像処理方法。
【請求項１４】
コンピュータを、請求項１から１１のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、カメラからの映像から人物の領域を検出し、検出した領域から顔等の特徴量を取得し、登録画像の特徴量との比較により映像中の人物が同一であるかどうかを照合し、照合結果により登録画像に対応する人物と同一の人物か判定する技術が知られている。
このような技術を監視カメラに応用した場合は、人物の進行方向や速度等の影響により、常に人物から安定した特徴を得るように撮像し続けることは難しい。
【０００３】
特許文献１には、特徴量を安定的に取得できる領域か否かを判断し、精度向上を支援する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１７−７６２８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示された技術では、特徴量が安定的に取得できる領域に関する記載はあるが、人物を判定する照合の安定に関しての記載はない。すなわち、本人拒否率（本人として認識しない確率）、他人受入率（他人を本人として間違える確率）を安定的に下げる処理が含まれていないため、照合精度が下がる可能性がある。
【０００６】
また、監視用途の場合は、その場から人が遠く離れてしまう前に、照合結果の通知をする必要がある。照合の回数が多くなると処理時間が増加し、処理負荷が増加する。
【０００７】
本発明は上述の課題に鑑みて成されたものであり、画像中のオブジェクトの照合処理の精度を維持しつつ処理負荷を低減させることを目的とする。
【課題を解決するための手段】
【０００８】
上記の課題を解決するため、本発明に係る画像処理装置のある態様によれば、撮像画像中に含まれるオブジェクトを検出する検出手段と、前記検出されたオブジェクトと所定の登録オブジェクトとの類似度を算出する算出手段と、前記算出手段により算出された前記類似度に基づいて、前記検出されたオブジェクトが、前記所定の登録オブジェクトであるか否かを判定する判定手段と、前記撮像画像中の第１の領域において前記検出手段により検出されたオブジェクトに対して前記算出手段により算出した前記類似度に応じて、前記第１の領域に含まれる第２の領域を決定する決定手段と、前記第２の領域において前記検出手段により検出されたオブジェクトに対して、前記所定の登録オブジェクトであるか否かの判定を行うように、前記判定手段を制御する制御手段と、を備える画像処理装置が提供される。
【発明の効果】
【０００９】
本発明によれば、画像中のオブジェクトの照合処理の精度を維持しつつ処理負荷を低減させることができる。
【図面の簡単な説明】
【００１０】
【図１】実施形態１の画像処理システムの構成例を示す図。
【図２】実施形態１の画像処理装置の機能の例を示すブロック図。
【図３】実施形態１の画像処理装置のハードウェア構成例を示すブロック図。
【図４】最適領域算出処理の例を示すフローチャート。
【図５】フレーム画像の例を示す説明図。
【図６】メタデータの情報の例を示す図。
【図７】最適化レベルの例を示す図。
【図８】人物の移動の軌跡の例を示す図。
【図９】照合スコアの変化の例を示す図。
【図１０】フレーム画像中の領域毎の照合スコアの例を示す図。
【図１１】顔画像の照合処理の例を示すフローチャート。
【図１２】最適領域の例を示す図。
【図１３】実施形態２の画像処理システムにおける撮像装置の設置の例を示す図。
【図１４】実施形態２の画像処理システムの構成例を示すブロック図。
【図１５】フレーム画像の例を示す図。
【図１６】メタデータの情報の例を示す図。
【図１７】最適領域の例を示す図。
【図１８】実施形態３における処理を示す概念図。
【発明を実施するための形態】
【００１１】
以下、添付図面を参照して、本発明を実施するための実施形態について詳細に説明する。なお、以下に説明する各実施形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正または変更されるべきものであり、本発明は以下の実施形態に必ずしも限定されるものではない。また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の処理については、同じ符号を付して説明する。
【００１２】
（実施形態１）
図１は、実施形態１の画像処理システムの構成例を示している。
この画像処理システムは、画像処理を行う画像処理装置１と、撮像処理を行う撮像装置２と、ディスプレイ４を備えている。画像処理装置１と撮像装置２は、ネットワーク３を介して接続されている。ネットワーク３は、例えばＥｔｈｅｒｎｅｔ（登録商標）等の通信規格に準拠する複数のルータ、スイッチ、ケーブル等から構成されている。なお、ネットワーク３は、インターネットや有線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、無線ＬＡＮ（Ｗｉｒｅｌｅｓｓ  ＬＡＮ）、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）等により構成されてもよい。
【００１３】
画像処理装置１は、撮像装置２が撮像した画像データに予め登録されている人物等の所定のオブジェクトと同一のオブジェクトが映っているか否かを判定する認証処理を行うための画像処理を実行する装置である。なお、画像処理装置１は、例えば、後述する画像処理の機能を実現するためのプログラムがインストールされたパーソナルコンピュータ等によって実現される。撮像装置２は、当該撮像装置２の撮像範囲内の被写体を撮像する装置である。撮像装置２は、例えば所定の時間間隔毎に、撮像した映像に基づく画像データと、撮像装置２を識別する識別情報（装置ＩＤ）と、当該画像を撮像した時刻に関する情報（フレームＩＤ）と、を関連付けて、ネットワーク３を介して、画像処理装置１へ送信する。
【００１４】
ディスプレイ４は、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）等により構成されている。また、ディスプレイ４は、ＨＤＭＩ（登録商標）（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）等の通信規格に準拠したディスプレイケーブルを介して画像処理装置１と接続されている。また、ディスプレイ４は、表示手段として機能し、撮像装置２が撮像した画像や、後述する画像処理に係る設定画面等を表示する。なお、ディスプレイ４、画像処理装置１は、単一の筐体に設けられてもよい。
【００１５】
（画像処理装置１の構成）
図２は、画像処理装置１の機能の例を示すブロック図である。
図３は、画像処理装置１のハードウェア構成例を示すブロック図である。
画像処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）３１と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）３２と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）３３とを備えている。また、画像処理装置１は、プログラム、データ等を格納するハードディスク装置（ＨＤＤ）３４と、通信等の外部との入出力を行うインタフェース（Ｉ／Ｆ）３５とを備えている。ＲＡＭ３２は、プログラムやデータを一時記憶する。ＲＯＭ３３は、変更を必要としないプログラムやパラメタを格納する。ＣＰＵ３１は、画像処理装置１全体を制御する。ＣＰＵ３１は、メインメモリであるＲＡＭ３２をワークメモリとして、ＲＯＭ３３やＨＤＤ３４等の記憶媒体に格納された各種プログラムを実行する。なお、図２に示す各機能は、例えば画像処理装置１のＲＯＭ３３に格納されたコンピュータプログラムを画像処理装置１のＣＰＵ３１が実行することにより実現される。
【００１６】
図２に示すように、画像処理装置１は、ネットワーク３を介して撮像装置２と通信を行う通信部１１と、画像処理装置１全体の処理についての設定を行う設定部１２と、画像等を表示する表示部１３と、画像中のオブジェクトを検出する検出部１４とを備えている。なお、以下、オブジェクトとして人物を検出する例について説明する。また、画像処理装置１は、検出部１４が検出した人物の顔を含む画像から特徴量を算出す特徴量抽出部１５と、特徴量抽出部が抽出した顔画像と記憶部２０の登録画像の特徴量を照合し、同一の人物との類似度を表す照合スコアを算出する照合部１６とを備えている。また、画像処理装置１は、検出部１４によって得られた顔位置情報と照合部１６によって得られた照合スコアからメタデータを生成するメタデータ生成部１７と、メタデータ２４と照合スコアに基づいて最適領域を算出する最適領域算出部１８とを備えている。また、画像処理装置１は、ユーザの操作を入力する操作部１９と、処理に必要なデータ等を格納する記憶部２０とを備えている。
【００１７】
通信部１１は、図３のＩ／Ｆ３５によって構成されており、ネットワーク３を介して、撮像装置２と通信を行う。通信部１１は、例えば撮像装置２が撮像した画像の画像データを受信したり、撮像装置２を制御するための制御コマンドを撮像装置２へ送信したりする。なお、制御コマンドは、例えば、撮像装置２に対して撮像指示を行うコマンド等を含む。記憶部２０は、図３のＲＡＭ３２やＨＤＤ３４等によって構成されており、画像処理装置１による画像処理に関わる情報やデータを記憶する。操作部１９は、キーボードやマウス等の入力装置（不図示）を介して、ユーザが行った操作に関する情報を入力する。
【００１８】
設定部１２は、画像処理装置１による情報処理に関する設定を行う。設定部１２は、例えば操作部１９を介して入力したユーザの操作に基づき、ユーザによる操作によって指定された通過線（所定の領域の通過の判定に用いる線）等の設定を行う。表示部１３は、撮像装置２が撮像した画像や、画像処理に関する設定を行う設定画面、画像処理の結果を示す情報等をディスプレイ４に表示させる。
【００１９】
検出部１４は、画像中の人物を検出する検出処理を実行する。本実施形態における検出部１４は、照合パターン（辞書）を使用して、パターンマッチング等を行うことにより画像に含まれる人物を検出する。検出処理の検出結果には、画像のどの位置に顔画像があるかを示す顔位置情報が含まれる。なお、検出部１４に、検出された人物を追尾する機能（追尾機能）を設けてもよい。ここで、追尾機能とは、現在のフレームよりも１つ以上前のフレームの画像から検出部１４が検出した人物と同じ人物が現在のフレームの画像に存在する場合、それぞれのフレームにおける人物同士を対応付ける機能を意味する。すなわち、追尾機能とは、時間的に近い複数のフレームの画像間で人物を追尾する機能を意味する。追尾機能を設ける場合、検出部１４は、対応付けした同一の人物の各フレーム画像中の顔位置を、対応するフレーム画像を取得した時刻あるいは上述のフレームＩＤに対応付けて記録し、人物の移動の軌跡として記憶部２０に記憶する。すなわち、検出部１４は、複数のフレーム画像夫々について、同一の人物の顔位置を対応付けて記憶部２０に記憶する。
【００２０】
特徴量抽出部１５は、検出部１４により検出された人物の顔を含む画像（顔画像）を抽出し、人物の特徴量を算出する。照合部１６は、特徴量抽出部１５が抽出した顔画像と、記憶部２０が記憶する登録画像の特徴量を照合し、同一の人物であるかの類似度を表す照合スコアを算出する。照合部１６は、算出された照合スコアが、所定の閾値以上の場合に、当該人物と登録画像の人物とが同一の人物であると判定する。なお、所定の閾値は、記憶部２０に記憶される。また、所定の閾値は、撮像環境、登録画像、使用目的等に応じて適切に設定することが望ましい。
【００２１】
メタデータ生成部１７は、検出部１４によって得られた顔位置情報と、照合部１６によって得られた照合スコアとから、撮像画像のメタデータを生成し、当該メタデータを記憶部２０に記憶する。撮像装置が複数ある場合は、メタデータに撮像画像を撮像した撮像装置２の識別情報、すなわち装置ＩＤに対応付けて記録する。
【００２２】
最適領域算出部１８は、記憶部２０に記憶されているメタデータ２４中の顔位置情報と、照合部１６による照合スコアに基づいて、最適領域を算出し、算出した最適領域を記憶部２０に最適領域２２として記憶する。ここで、最適領域とは、撮像装置２により得られた撮像画像に対応する撮像範囲内における、同一の人物を照合し易い領域である。このような最適領域内の顔画像に対して照合処理を行うことにより、処理負荷を低減することができる。また、同一の人物の照合スコアが高くなる領域は、最適領域として適切であり、同一の人物における照合スコアが低くなる領域は、最適領域として不適切である。この適切さを示す例として、図７に示すような、照合スコアに応じた最適化レベルを定義する。ここでは、照合スコアは、数値が高い場合に、同一の人物が同一であると判定される本人一致度が高くなる数値とする。
【００２３】
最適領域の算出は、例えば図７に示すような最適化レベルを設定した場合、数値が高い最適化レベルＡ，Ｂを最適領域とする閾値とすることで、顔位置情報と照合スコアに基づいて、最適領域を算出することができる。なお、最適化レベルは、設定部１２で設定し、記憶部２０に最適化レベル２３として記憶される。最適領域算出部１８は、必要に応じて記憶部２０より最適化レベル２３を読み出して使用する。
【００２４】
また、最適領域は、所定時間毎に、過去に算出された照合スコアと顔位置情報に基づいて最適領域算出部１８が算出し、記憶部２０に最適領域２２として記憶する。なお、最適領域の算出は、時間帯毎に行ってもよいし、照明のＯＮ・ＯＦＦ等を条件に行ってもよい。なお、最適領域を算出する処理については、後述する。
【００２５】
図４は、画像処理装置１による最適領域算出処理の例を示すフローチャートである。なお、図４に示す処理は、所定の時間間隔毎に撮像装置２から撮像画像の画像データが供給される毎に実行される。
まず、Ｓ１において、通信部１１は、撮像装置２からの撮像画像の画像データをフレーム画像の単位で取得する。ここで、フレーム画像の例を図５（ａ）に示す。なお、各フレーム画像には、時間情報としてフレームＩＤが付与されているものとする。さらに、各フレーム画像には、対応する撮像装置２の装置ＩＤが付与されているものとする。
【００２６】
次に、Ｓ２において、検出部１４は、Ｓ１において通信部１１が取得したフレーム画像中の人物を検出する検出処理を実行する。Ｓ２においてフレーム画像から人物が検出された場合、Ｓ３に進む。一方、フレーム画像から人物が検出されなかった場合は、画像処理装置１は、現在のフレーム画像に対する処理を終了し、次のフレーム画像の取得を待機する。撮像装置２から次のフレーム画像が供給されると、画像処理装置１は、再度Ｓ１から処理を実行し、通信部１１が、次のフレーム画像を取得する。
【００２７】
なお、フレーム画像から人物を検出する場合において、人物が正面向きである場合と横向きである場合とで使用する照合パターンを両方使うことで検出精度の向上が期待できる。例えば、正面（背面）向きの人体の画像と照合させるための照合パターンと、横向きの人物の画像と照合させるための照合パターンとを記憶部２０に保持しておき、撮像装置２の設置状態やユーザの指定に基づいて両方の照合パターンを使うことができる。
【００２８】
また、照合パターンは、斜め方向からや上方向から等他の角度からのものを用意しておいてもよい。また、人物を検出する場合、必ずしも全身の特徴を示す照合パターン（辞書）を用意しておく必要はなく、上半身、下半身、頭部、顔、足等の人物の一部についての照合パターンを用意してもよい。なお、検出部１４が人物を検出処理は、画像から人物を検出する機能を有していればよく、例えば既知の動体検出や肌色検出等の処理でもよく、パターンマッチング処理にのみ限定されるものではない。
【００２９】
次に、Ｓ３において、検出部１４は、フレーム画像中の顔を検出する。具体的には、検出部１４は、Ｓ２で検出された人物の顔部分の画像（顔画像）の検出処理を実行する。ここで、顔画像が検出された位置を示す例を図５（ｂ）に示す。この例では、取得したフレーム画像に対し、顔画像が検出された位置を顔位置４１として表示している。なお、検出された顔位置には、各々の顔位置を識別可能なＩＤが付与されているものとする。また、検出部１４は、フレーム画像中に顔が検出された場合、Ｓ４に遷移する。一方、フレーム画像中に顔が検出されなかった場合は、画像処理装置１は、取得した現在のフレーム画像に対する処理を終了し、次のフレーム画像の取得を待機する。撮像装置２から次のフレーム画像が供給されると、画像処理装置１は、再度Ｓ１から処理を実行し、通信部１１が、次のフレーム画像を取得する。
【００３０】
Ｓ４において、特徴量抽出部１５は、Ｓ３で検出された顔画像に対して、人物の顔の特徴を示す情報である特徴量を抽出する。なお、人物の特徴量としては、色・エッジ・テクスチャ、髪の色、顔の器官の形状、サングラスの有無、髭の有無等といった情報がある。
【００３１】
Ｓ５において、照合部１６は、顔画像の照合処理を行う。具体的には、照合部１６は、特徴量抽出部１５より抽出された顔画像の特徴量と、記憶部２０に記憶されている登録画像特徴量２１とを比較し、当該人物と登録画像に対応する人物との類似度を示す照合スコアを算出する。なお、照合スコアが高いほど、類似度が高いことを示す。そして、照合部１６は顔画像の特徴量と、登録画像の特徴量とを比較して算出した照合スコアが所定の閾値を超えた場合、顔画像の人物と登録画像の人物とが同一の人物であると判定する。すなわち、照合部１６は、顔画像の特徴量と登録画像の特徴量とを比較した類似度が所定の閾値を超えた場合に、顔画像の人物と登録画像の人物とが同一の人物であると判定する。すなわち、照合部１６は、検出されたオブジェクトである顔画像の人物が、所定のオブジェクトである登録画像の人物であるか否かの判定を行う。
【００３２】
次に、Ｓ６において、メタデータ生成部１７は、検出部１４により得られた顔位置の情報と、照合部１６により得られた照合スコアに基づいて、メタデータ２４を生成する。メタデータ生成部１７は、生成したメタデータを記憶部２０に記憶する。なお、画像処理装置１は、操作部１９を介して、ユーザから終了指示を受けるまで、Ｓ１からＳ８までの処理を繰り返す。これにより、画像処理装置１は、撮像装置２から継続して受信する撮像画像の各フレーム画像のメタデータ２４の生成を続け、記憶部２０にメタデータ２４を蓄積していく。図６は、蓄積されたメタデータ２４の情報の例を示している。図６では、メタデータ２４として、照合スコアが高い順に顔位置を対応付けて蓄積した例を示している。顔位置は、例えばフレーム画像中の座標を示すＸ、Ｙと、顔位置のサイズを示すＷ、Ｈとを含んでいる。ここで、Ｘはフレーム画像中の顔領域の基準位置（例えば左上）のＸ座標をフレーム画像の画素単位で示しており、Ｙは顔領域の基準位置のＹ座標を示している。また、Ｗは顔領域の幅をフレーム画像の画素単位で示しており、Ｈは顔領域の高さを示している。また、メタデータ２４は、登録画像に対応する人物毎に蓄積しておき、特定の人物毎に後述のように最適領域を算出するようにしてもよい。あるいは、特定の人物に限定せずにメタデータ２４を蓄積しておき、特定の人物に限らず同一の最適領域を算出するようにしてもよい。また、メタデータ２４に、対応するフレーム画像を取得した時刻あるいは上述のフレームＩＤを対応付けて記憶しておいてもよい。
【００３３】
次に、Ｓ７において、最適領域算出部１８は、最適領域を算出する。
最適領域算出部１８は、記憶部２０に記憶されているメタデータ２４より、顔位置毎の照合スコアに基づいて最適領域を算出する。人物（被写体）が各フレーム画像中で移動すると、移動に従って照合スコアが変化する。これは、登録画像とフレーム画像から得られた顔画像の類似度の変化を示している。この変化は、人物（被写体）の移動方向、移動速度、照明等の影響及び照合アルゴリズムによるものである。
【００３４】
ここで、図８、図９を使用して照合スコアの変化について説明する。
図８（ａ）は、登録画像５０の例を示している。図８（ｂ）は、照合部１６が同一の人物の追尾を行った場合の登録画像５０と同一の人物の移動の軌跡５５の例を示している。なお、軌跡５５は、各フレーム画像で照合された同一の人物の顔位置により算出する。図８（ｂ）では、顔位置５１、５２、５３が顔画像の照合処理に使用した顔位置を示している。
【００３５】
図９は、図８（ｂ）に示した軌跡５５に対する照合スコアの変化の例を示している。
図９は、連続するフレーム画像毎の照合スコアを、フレーム画像のフレームＩＤに対応する照合スコアのグラフとして示している。同一の人物であっても、照合スコアは、フレーム画像毎に得られる顔位置により変化する。また、上述の照合スコアと顔位置の蓄積は、所定の閾値を示す境界値６１より上の照合スコアに対応するものを対象とする。境界値６１は、最適化レベルで決定する。例えば、図７の最適化レベルＢ以上としてもよい。
【００３６】
次に、最適領域の算出について説明する。
最適領域算出部１８は、上述のように蓄積された照合スコアと顔位置に基づいて最適領域を算出する。具体的には、最適領域は、照合スコアが境界値（所定の閾値）６１を超えた顔位置の場所の回数（出現率）としてもよいし、照合スコアの平均値としてもよい。図１０は、最適領域算出部１８が算出した最適領域の例を示している。なお、図１０では、網掛けが濃い部分が照合スコアが高い部分を示している。
【００３７】
次に、Ｓ８において、最適領域算出部１８は、Ｓ７で算出した最適領域を記憶部２０に最適領域２２として記憶する。なお、記憶部２０に既に最適領域２２が記憶されている場合には、記憶されている最適領域２２を今回得られた最適領域２２の値で上書きする。これにより、所定時間毎に最適領域が更新されることとなり、最適領域２２は、時間的な環境変化に対応し、常に処理時点に近い最適領域を記憶しておくことができる。画像処理装置１は、上述のように、最適領域算出処理を定期的に繰り返すことにより、最適領域を更新する。なお、上述の説明では、所定時間毎に最適領域を更新する例を示したが、使用する時間帯等毎に最適領域を用意しておき、適宜切り替えるようにしてもよい。
【００３８】
図１１は、最適領域を使用した顔画像の照合処理を示すフローチャートである。なお、以下、図４の処理と内容と同じ処理については同一の符号で示し、説明を省略する。
まず、Ｓ１０において、照合部１６は、記憶部２０より最適領域２２を取得する。
次に、Ｓ１１において、通信部１１が撮像装置２からのフレーム画像を取得すると、照合部１６は、取得した最適領域とフレーム画像から、顔画像の照合処理の対象となるフレーム画像中の領域（最適領域）を特定する。図１２は、顔画像の照合処理の対象となる最適領域を示している。続くＳ１２において、検出部１４は、Ｓ１１で得られたフレーム画像に対して最適領域の範囲のみ人物検出処理を実行する。これにより、照合スコアが低い領域に対する人物検出処理の実行回数を削減することが可能となる。Ｓ１２で人物を検出したならば、Ｓ３に進む。なお、Ｓ３からＳ５までの処理は図４と同等であるため省略する。Ｓ５の後に、Ｓ１６に進む。
【００３９】
次に、Ｓ１６において、照合部１６は、Ｓ５で求められた照合スコアに基づいて人物の判定を行う。具体的には、照合部１６は、登録画像と顔画像の類似度を示す照合スコアに基づいて登録画像に対応する人物と同一であるか否かを判定する。ここで、同一であるか否かの判定結果に応じて、照合スコアと顔位置の情報を記憶部２０にメタデータ２４として記憶し、最適領域算出部１８が、最適領域の算出を行って、最適領域を更新するようにしてもよい。すなわち、図１１の照合処理と図４の最適領域算出処理を認証処理の一連の流れの中で実行するようにしてもよい。また、最適領域内のフレーム画像に対してＳ１２（顔検出）からＳ１６（判定）までの処理を実行するようにしてもよい。これにより、処理負荷をさらに低減させることができる。
【００４０】
続くＳ１７において、画像処理装置１は、操作部１９を介してユーザから終了指示が入力されたか否かを判定する。終了指示が入力されていない場合は、現在のフレーム画像に対する処理を終了し、Ｓ１０に戻って、撮像装置２から次のフレーム画像が供給されるのを待機する。撮像装置２から次のフレーム画像が供給されると、画像処理装置１は、Ｓ１０以降の処理を繰り返す。一方、Ｓ１７において、終了指示が入力されている場合には、画像処理装置１は、図１１の顔画像の照合処理を終了する。
【００４１】
以上説明したように、本実施形態の画像処理装置では、照合スコアに基づいて求めた最適領域に応じて、登録画像と照合を行うフレーム画像中の領域を選択することにより、照合回数を制限する。すなわち、本実施形態では、まず、照合スコアに基づいて、フレーム画像で規定される領域（第１の領域）に含まれる領域（最適領域）を決定する。そして、第１の領域よりもサイズ（面積）が小さい最適領域を、照合を行う対象領域（第２の領域）とすることにより、フレーム画像全体を対象とする場合と比べて照合回数を制限することができる。これにより、本実施形態では、画像中のオブジェクトの照合処理の精度を維持しつつ処理負荷を低減させることができる。また、本実施形態では、照合スコアや照合させる最適領域の設定を自動化できるため、画像処理システムの設置負荷を軽減させることができる。
【００４２】
（実施形態２）
実施形態２では、店舗やテーマパーク等の施設に入場した人物の各々について、当該施設に滞留する時間である滞留時間を求める例について説明する。滞留時間の測定は、例えば入口用と出口用のカメラで撮像した２種類の画像から個々の人物の照合を取り、照合が取れた時刻の差分から滞留時間を求めることによって行う。なお、照合が取れた際に用いたフレーム画像の取得時刻の差分から滞在時間を求めるようにしてもよい。
【００４３】
図１３は、滞留時間を計測する画像処理システムにおける撮像装置の設置の例を示す図である。
入口用カメラ８１は、入口ゲート８２を通過する人物を撮像する。入場方向８３は、入口を通過する方向を示す。同様に出口用カメラ８６は、出口ゲート８７を通過する人物を撮像する。退場方向８８は、出口を通過する方向を示す。
【００４４】
図１４は、本実施形態の画像処理システムの構成例を示すブロック図である。この画像処理システムは、上述の図１に示す画像処理システムの構成に加え、さらに１つの撮像装置５を備えている。ここでは、撮像装置２を入口用カメラ８１とし、撮像装置５を出口用カメラ８６とした例について説明する。また、本実施形態では、画像処理装置１は、上述の図２の構成に加えて、滞留時間を計測する計測部を備えている。
【００４５】
図１５（ａ）は、入口用カメラ８１からのフレーム画像の例を示す図であり、図１５（ｂ）は、出口用カメラ８６からのフレーム画像の例を示す図である。
画像処理装置１の特徴量抽出部１５は、入口用カメラ８１からのフレーム画像から検出された顔画像の特徴量と顔位置情報及びカメラ識別子（装置ＩＤ）を関連付けて、記憶部２０にメタデータ２４、登録画像特徴量２１として保存する。一方、照合部１６は、出口用カメラ８６からのフレーム画像から検出された顔画像の特徴量と、入口用カメラ８１からのフレーム画像から検出された顔画像に応じて登録された登録画像特徴量２１との照合を実行し、照合スコアを算出する。照合部１６は、算出した照合スコアと顔位置をメタデータ２４として記憶する。図１６は、複数のフレーム画像に応じて蓄積されたメタデータ２４の情報の例を示している。なお、別途、照合部１６は、入口用と出口用とで、顔画像の照合が取れた時刻を記憶部２０に記憶しておく。なお、計測部は、記憶部２０に記憶されている入口用と出口用で顔画像の照合が取れた時刻の差分から滞留時間を求める。
【００４６】
最適領域算出部１８は、蓄積されたメタデータ２４の照合スコアと顔位置に基づいて最適領域を算出する。図１７は、算出された最適領域の例を示している。図１７（ａ）は、入口用カメラ８１からのフレーム画像に対する最適領域であり、図１７（ｂ）は、出口用カメラ８６からのフレーム画像に対する最適領域である。滞留時間を計測するための顔画像の照合処理では、入口用カメラ８１からのフレーム画像に対する最適領域から人物の顔画像を抽出し、出口用カメラ８６からのフレーム画像に対する最適領域から抽出した顔画像を用いて照合処理を実行する。
【００４７】
以上説明したように、本実施形態の画像処理装置では、滞留時間を計測するための複数の撮像装置を用いた場合において、画像中のオブジェクトの照合処理の精度を維持しつつ処理負荷を低減させることができる。
【００４８】
（実施形態３）
実施形態３は、実施形態２よりも処理負荷を軽減できる画像処理装置を説明する。実施形態３では、最適領域内で検出された顔に対して、照合の優先順位を使用した判定結果を用いることで、さらなる処理負荷の軽減を実現する。
図１８は、本実施形態における処理を示す概念図である。図１８には、検出部１４が同一の人物の追尾を行った場合の同一の人物の軌跡９５、異なるフレームのフレーム画像において最適領域で検出された顔画像９１、顔画像９２、顔画像９３の例が示されている。
【００４９】
ここで、照合部１６は、最適領域で検出された顔画像９１、顔画像９２、顔画像９３を、さらに照合スコアが高い領域順で並び替える。例えば、並び順が顔画像９２、顔画像９３、顔画像９１となったとする。
【００５０】
上述のように、顔画像の照合処理では、顔検出によって得られた顔画像に対して、図１１に示すような特徴量の抽出（Ｓ４）、顔画像の照合処理（Ｓ５）、判定（Ｓ１６）が実行される。本実施形態では、この処理を照合スコアが高い領域順の顔画像に対して実行する。上述の例では、まず顔画像９２に対し、Ｓ４、Ｓ５、Ｓ１６の処理を実行する。判定（Ｓ１６）により照合スコアが所定の閾値を超えた場合に、照合部１６は、同一の人物であると判定する。同一の人物であると判定された場合は、以降の当該人物の照合処理は実行しない。すなわち、同一の人物の画像である顔画像９３、顔画像９１に対してはＳ４、Ｓ５、Ｓ１６の処理を実行しない。これにより、本実施形態では、さらに処理負荷を低減させることができる。すなわち、本実施形態では、最適領域内の領域について照合スコアが高い順に優先的に照合処理を行うことにより、さらに照合処理の処理負荷を低減させることができる。
【００５１】
あるいは、本実施形態では、所定数の顔画像を照合し、最高の照合スコアで判定してもよい。例えば、所定数を２と設定した場合は、並び順に基づいて顔画像９２、顔画像９３に対して処理を実行する。例えば顔画像９２の照合スコアが７１、顔画像９３の照合スコアが６５であった場合、照合スコア７１を判定結果として用いる。
【００５２】
（実施形態４）
実施形態１〜３において、最適領域の修正を行ってもよい。最適領域の修正を行う場合を、実施形態４として以下に説明する。
例えば、撮像装置２から供給されるフレーム画像の画角がユーザによって変更された場合に、最適領域の情報をリセットする。最適領域の情報がリセットされた場合は、検出部１４は、最適領域に範囲を絞った顔検出は行わず、フレーム画像の全領域、あるいは予め指定した領域に対して顔検出を行う。これにより、撮像装置２の画角が変更された場合にも照合処理の精度を維持することができる。なお、リセット後に照合部１６によって得られる照合スコアとメタデータ生成部１７による顔位置のメタデータ２４が蓄積された場合に、再度最適領域を設定し照合処理を実行させてもよい。あるいは、以前の最適領域を記憶しておき、フレーム画像の画角が以前と同じ画角に戻ったときに、以前の最適領域に戻すようにしてもよい。
【００５３】
その他の最適領域の修正として、例えば最適領域の照合スコアの蓄積情報によって得られる照合スコアの平均がある一定値より下がった場合に、最適領域を修正する処理を実行する。具体的には、照合スコアの平均がある一定値より下がった場合に、例えば最適領域の範囲を広げることにより、照合スコアと顔位置のメタデータを蓄積する範囲を広げて最適領域を修正する。これにより、照合処理の精度を維持することができる。
【００５４】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、検出する対象（オブジェクト）は人物であるとしたが、人物以外のオブジェクトを検出対象としてもよい。
【００５５】
（その他の実施形態）
以上、各実施形態を詳述したが、本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体（記憶媒体）等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮像装置、ｗｅｂアプリケーション等）から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
【００５６】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。ＡＳＩＣはＡｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔの略である。
【符号の説明】
【００５７】
１…画像処理装置、２…撮像装置、３…ネットワーク、４…ディスプレイ、１１…通信部、１２…設定部、１３…表示部、１４…検出部、１５…特徴量抽出部、１６…照合部、１７…メタデータ生成部、１８…最適領域算出部、１９…操作部、２０…記憶部
【図１】
2020190850.tif 000003
【図２】
2020190850.tif 000004
【図３】
2020190850.tif 000005
【図４】
2020190850.tif 000006
【図５】
2020190850.tif 000007
【図６】
2020190850.tif 000008
【図７】
2020190850.tif 000009
【図８】
2020190850.tif 000010
【図９】
2020190850.tif 000011
【図１０】
2020190850.tif 000012
【図１１】
2020190850.tif 000013
【図１２】
2020190850.tif 000014
【図１３】
2020190850.tif 000015
【図１４】
2020190850.tif 000016
【図１５】
2020190850.tif 000017
【図１６】
2020190850.tif 000018
【図１７】
2020190850.tif 000019
【図１８】
2020190850.tif 000020