(57)【要約】【課題】精度良く人物判定ができるようにする。【解決手段】品質評価手段１１３が、入力人物画像の入力人物画質を評価する。粗構造照合手段１１５が、入力人物画像から粗構造特徴量を抽出して登録人物画像の粗構造特徴量との粗構造一致度を算出する。微細構造照合手段１１６が、入力人物画像から微細構造特徴量を抽出して登録人物画像の微細構造特徴量との微細構造一致度を算出する。人物判定手段１１７は、入力人物画質及び登録人物画質のいずれもが画質閾値以上の高品質であると粗構造一致度と微細構造一致度とを用いて当該入力人物画像に登録人物画像の人物が撮影されているか否かを判定する。【選択図】図２
2019164422.tif 000002
【特許請求の範囲】
【請求項１】
所定の領域を撮影した撮影画像を取得する画像取得手段と、
前記撮影画像から入力人物画像を検出する検出手段と、
人物を構成している粗い構造に関する画像特徴を表す粗構造特徴量、及び人物における細かい微細構造に関する画像特徴を表す微細構造特徴量であって、対象人物を撮影した登録人物画像から抽出された前記粗構造特徴量及び前記微細構造特徴量を前記対象人物ごとに記憶している記憶手段と、
前記入力人物画像の質の程度を表す入力人物画質を評価する品質評価手段と、
前記入力人物画像から前記粗構造特徴量を抽出して前記記憶手段に記憶されている粗構造特徴量との粗構造一致度を算出する粗構造照合手段と、
前記入力人物画像から前記微細構造特徴量を抽出して前記記憶手段に記憶されている微細構造特徴量との微細構造一致度を算出する微細構造照合手段と、
前記粗構造一致度を少なくとも用いて前記入力人物画像に前記対象人物が撮影されているか否かを判定する人物判定手段と、
を備え、
前記人物判定手段は、
前記入力人物画質及び前記登録人物画像の質の程度を表す登録人物画質のいずれもが画質閾値以上の高品質であると前記粗構造一致度と前記微細構造一致度とを用いて当該入力人物画像に前記対象人物が撮影されているか否かを判定する
ことを特徴とする人物照合装置。
【請求項２】
前記人物判定手段は、
前記入力人物画質と前記登録人物画質のいずれもが前記高品質である場合は前記粗構造一致度が第一閾値以上であり且つ前記微細構造一致度が第二閾値以上である場合に前記入力人物画像に前記対象人物が撮影されていると判定し、
前記入力人物画質が前記高品質であるが前記登録人物画像が前記画質閾値未満の低品質である場合は前記粗構造一致度が前記第一閾値よりも高い第三閾値以上である場合に前記入力人物画像に前記対象人物が撮影されていると判定する
ことを特徴とした請求項１に記載の人物照合装置。
【請求項３】
前記人物判定手段は、
前記入力人物画質と前記登録人物画質のいずれもが前記高品質である場合は前記粗構造一致度と前記微細構造一致度とを統合した統合一致度を算出し、当該統合一致度から当該入力人物画像に前記対象人物が撮影されているか否かを判定し、
前記入力人物画質が前記高品質であるが前記登録人物画像が前記画質閾値未満の低品質である場合は前記粗構造一致度から当該入力人物画像に前記対象人物が撮影されているか否かを判定する
ことを特徴とした請求項１に記載の人物照合装置。
【請求項４】
前記人物判定手段は、
前記入力人物画質と前記登録人物画質のいずれもが前記高品質である場合は前記登録人物画質が高いほど前記統合一致度に対する前記微細構造一致度の寄与を高くして前記統合一致度を算出する
ことを特徴とする請求項３に記載の人物照合装置。
【請求項５】
前記人物照合装置は、さらに、
順次取得される複数の前記撮影画像から検出された前記入力人物画像を同一人物について追跡し、追跡できた入力人物画像を対応付けた系列データを生成する追跡手段
を備え、
前記人物判定手段は、
前記系列データごとに、当該系列データに含まれる前記入力人物画像についての前記入力人物画質のうち最高の前記入力人物画質が前記画質閾値未満の低品質であると前記粗構造一致度が前記第一閾値よりも高い第三閾値以上である場合に当該系列データに含まれる入力人物画像に前記対象人物が撮影されていると判定する
ことを特徴とする請求項１から請求項４のいずれか１項に記載の人物照合装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人物照合装置に係り、特に、入力人物画像に対象人物が撮影されているか否かを判定する人物照合装置に関する。
【背景技術】
【０００２】
顔画像をはじめとする生体情報の照合技術では、予め登録された登録者以外の他人をその登録者として認証してしまう他人受理と、登録者本人の認証に失敗する本人棄却の両方を低減することが求められる。特許文献１には、顔画像照合向けに、照合精度向上を目的としてホクロやしみ、しわなどの微細構造を活用すべくその特徴量を抽出することが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−１８２６０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
顔画像照合技術では、解像度やコントラストの高低をはじめとする画像の質の程度である画質が登録顔画像と入力顔画像との類似の程度に大きな影響を与えることが知られている。
【０００５】
ここで、顔画像照合技術を応用し、事前登録した不審人物を監視画像から発見する監視カメラシステムにおいては、撮影された不審者らしき人物とカメラとが離れており、顔部分が小さく写って画素数が少ない場合や、帽子や建物の影が顔にかかって顔部分のコントラストが不足する場合がある。これはいわば顔画像照合においては顔画像の画質が低い状態であり、顔が不鮮明に写り込むあまり顔の微細構造に関する特徴量を正確に抽出するのが困難となる。すると微細構造の特徴量を用いて算出した類似度が低くなることが影響して検知性能が低下し、失報、即ち不審者の見逃しを招きかねない。
【０００６】
一方で不審者について鮮明に真正面から撮影した顔画像が得られるとは限らず、過去の監視画像から自動または手動で抽出した顔画像を登録人物画像として用いざるを得ないことがある。すると登録人物画像の画質が高い登録者（不審者）と、画質が低い登録者（不審者）が混在することになるが、後者は微細構造の特徴量を用いて算出した類似度が低くなるため、それを考慮して不審者の見逃しを防ぐべく閾値を低く設定してしまうと、不審者でない人物を不審者と判定して不要な警報を発する誤報が発生する畏れがあった。
【０００７】
本発明は、精度良く人物判定ができる人物照合装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の目的を達成するために本発明に係る人物照合装置は、所定の領域を撮影した撮影画像を取得する画像取得手段と、前記撮影画像から入力人物画像を検出する検出手段と、人物を構成している粗い構造に関する画像特徴を表す粗構造特徴量、及び人物における細かい微細構造に関する画像特徴を表す微細構造特徴量であって、対象人物を撮影した登録人物画像から抽出された前記粗構造特徴量及び前記微細構造特徴量を前記対象人物ごとに記憶している記憶手段と、前記入力人物画像の質の程度を表す入力人物画質を評価する品質評価手段と、前記入力人物画像から前記粗構造特徴量を抽出して前記記憶手段に記憶されている粗構造特徴量との粗構造一致度を算出する粗構造照合手段と、前記入力人物画像から前記微細構造特徴量を抽出して前記記憶手段に記憶されている微細構造特徴量との微細構造一致度を算出する微細構造照合手段と、前記粗構造一致度を少なくとも用いて前記入力人物画像に前記対象人物が撮影されているか否かを判定する人物判定手段と、を備え、前記人物判定手段は、前記入力人物画質及び前記登録人物画像の質の程度を表す登録人物画質のいずれもが画質閾値以上の高品質であると前記粗構造一致度と前記微細構造一致度とを用いて当該入力人物画像に前記対象人物が撮影されているか否かを判定することを特徴としている。
【０００９】
本発明に係る人物判定手段は、前記入力人物画質と前記登録人物画質のいずれもが前記高品質である場合は前記粗構造一致度が第一閾値以上であり且つ前記微細構造一致度が前記第二閾値以上である場合に前記入力人物画像に前記対象人物が撮影されていると判定し、前記入力人物画質が前記高品質であるが前記登録人物画像が前記画質閾値未満の低品質である場合は前記粗構造一致度が前記第一閾値よりも高い第三閾値以上である場合に前記入力人物画像に前記対象人物が撮影されていると判定する。
【００１０】
本発明に係る人物判定手段は、前記入力人物画質と前記登録人物画質のいずれもが前記高品質である場合は前記粗構造一致度と前記微細構造一致度とを統合した統合一致度を算出し、当該統合一致度から当該入力人物画像に前記対象人物が撮影されているか否かを判定し、前記入力人物画質が前記高品質であるが前記登録人物画像が前記画質閾値未満の低品質である場合は前記粗構造一致度から当該入力人物画像に前記対象人物が撮影されているか否かを判定する。
【００１１】
本発明に係る人物判定手段は、前記入力人物画質と前記登録人物画質のいずれもが前記高品質である場合は前記登録人物画質が高いほど前記統合一致度に対する前記微細構造一致度の寄与を高くして前記統合一致度を算出する。
【００１２】
本発明に係る人物照合装置は、さらに、順次取得される複数の前記撮影画像から検出された前記入力人物画像を同一人物について追跡し、追跡できた入力人物画像を対応付けた系列データを生成する追跡手段を備え、前記人物判定手段は、前記系列データごとに、当該系列データに含まれる前記入力人物画像についての前記入力人物画質のうち最高の前記入力人物画質が前記画質閾値未満の低品質であると前記粗構造一致度が前記第一閾値よりも高い第三閾値以上である場合に当該系列データに含まれる入力人物画像に前記対象人物が撮影されていると判定する。
【発明の効果】
【００１３】
以上説明したように、本発明の人物照合装置によれば、精度良く人物判定ができる、という効果が得られる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施の形態に係る画像監視装置を監視領域に設置し、運用している様子を示す模式図である。
【図２】本発明の実施の形態に係る画像監視装置の構成を示すブロック図である。
【図３】登録データの一例を示す図である。
【図４】（ａ）鮮鋭な顔画像の一例を示す図、及び（ｂ）ボケ気味の顔画像の一例を示す図である。
【図５】系列データの一例を示す図である。
【図６】系列データの入力人物画質の変化の一例を示す図である。
【図７】本発明の実施の形態に係る画像監視装置による画像監視処理の動作を示すフローチャートである。
【発明を実施するための形態】
【００１５】
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態では、顔照合装置に本発明を適用し、入力人物画像と登録人物画像との人物を照合する場合を例に説明する。
【００１６】
＜システム構成＞
図１には、本実施の形態における画像監視装置を監視領域１００に設置し、運用している様子を模式的に示している。
【００１７】
図１に示すように、監視領域１００には人物が写っており、その中に不審者が含まれる場合には外部へ、例えば警備センターなどに通報する。
【００１８】
図１には人物１０１と、人物１０２と、その２人を撮影するための撮像装置（撮影手段）２が示されている。
【００１９】
図２に、本実施例における画像監視装置２０の構成をブロック図として模式的に示す。
【００２０】
撮像装置２は、監視カメラであり、図１のように天井からやや下向きに設置するのが好適である。複数用意しても良いが、視野を確保するため望遠よりも広角レンズを用いるのが好適である。
【００２１】
通報装置３は、顔照合装置１から不審者の存在を示す信号を受け取ると、警報音鳴動や表示灯点灯などを行う。あるいは通報装置３は警備センターに設置されるものとして、出力部１３からの信号をネットワーク越しに受け取ることとしても良い。
【００２２】
顔照合装置１は、画像取得部１０、画像処理部１１、記憶部１２、及び出力部１３を備えている。なお、顔照合装置１は、人物照合装置の一例である。
【００２３】
画像取得部１０（画像取得手段）は、撮像装置２から入力画像を受け取るＩ／Ｆ回路である。
【００２４】
出力部１３は、画像処理部１１からの不審者の存在を外部の機器、通報装置３に出力するＩ／Ｆ回路である。
【００２５】
記憶部１２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の半導体メモリ、又は磁気記録媒体及びそのアクセス装置若しくは光記録媒体及びそのアクセス装置などを有する。記憶部１２は、顔照合装置１を制御するためのコンピュータプログラム及び各種データを記憶し、画像処理部１１との間でこれらの情報を入出力する。各種データには、事前にしかるべき権限を持つ者から情報を受けた不審者について、その人物画像をはじめとした登録者データ１２１、および後述する追跡手段１１４により同一人物についてまとめられた系列データ１２２が含まれる。
【００２６】
登録者データ１２１の内容を、図３を用いて説明する。
【００２７】
図３には、登録者データ１２１の内容がテーブル化して模式的に示されている。
【００２８】
登録者データ１２１は、ＩＤ１２１１、登録人物画像１２１２、粗構造特徴量１２１３、微細構造特徴量１２１４、及び登録人物画質１２１５から構成されている。このほか、個別具体的な事情に応じて他の要素、例えば判明しているならば名前や不審者と判定された理由などを追加してもよい。
【００２９】
ＩＤ１２１１は、不審者それぞれについて一意に付与された識別番号である。不審者１人について複数の人物画像が登録されていても良い。その場合、同じ不審者について複数の人物画像が登録されていることを示すべく枝番号を追加したり（例えばＩＤ１２１１が「１５０」に対して「１５０−１」「１５０−２」）、不審者についてのＩＤと人物画像についてのＩＤを別に付与して対応付けてもよい。
【００３０】
登録人物画像１２１２は、各不審者、例えば過去に万引きを行った人物について、その際の監視画像から画像監視装置２０の管理者が手動にて抽出した顔画像、または後述する画像処理部１１の顔検出手段１１１が抽出した顔画像である。
【００３１】
登録人物画像１２１２自体は、本実施の形態では画像監視装置２０の動作には直接使用されなくてもよいので、後述の粗構造特徴量１２１３や微細構造特徴量１２１４、登録人物画質１２１５が決定された後に記憶せずに削除されることとしても良い。
【００３２】
粗構造特徴量１２１３は、登録人物画像１２１２について、その登録時の作業において粗構造照合手段１１５が抽出した特徴量である。特徴量は画像照合の分野において各種のものが周知なので適宜採用すればよいが、例えば、人物画像を小領域に分割して得られるＨｏＧ特徴量や、特徴点を抽出してその周囲の局所領域から求められたウェーブレット特徴量などとすれば良く、それら特徴量を並べた特徴量ベクトルとして記憶しておけばよい。なお、特徴量自体を図示するのは困難であるので、図３では“＊”にて代用して示している。
【００３３】
微細構造特徴量１２１４は、登録人物画像１２１２について、その登録時の作業において微細構造照合手段１１６が抽出した特徴量である。特徴量は、シミ、ほくろ、しわなど肌の微細な特徴を参照して得られる特徴量とし、例えば特許文献１（特開2017-182606）に開示されている方法に倣い求めればよく、例えば、特徴量ベクトルとして記憶しておけばよい。なお、特徴量自体を図示するのは困難であるので、図３では“＊”にて代用して示している。
【００３４】
登録人物画質１２１５は、登録人物画像１２１２について、その登録時の作業において品質評価手段１１３が評価した画質である。登録作業を担当する管理者が目視確認により決定しても良い。
【００３５】
登録人物画質１２１５としては、図３に示すように、画質を判定してレベル化した数字が記憶される。他の画質に関する評価値を直接記憶してもよい。あるいは画質評価を３段階とする場合には“高”“中”“低”の文字列を記憶しても良い。
【００３６】
例えば、最低のレベル０は全く照合には用を成さない程度、最高のレベル１０は証明写真のような高品質であるとする。
【００３７】
図３では、ＩＤ１２１１が“１０１”の登録人物画像１２１２は、鮮鋭さや明るさなどの条件が照合処理には好適な状態であるので、登録人物画質１２１５として、品質評価手段１１３が評価した結果である“レベル９”が記憶されている。
【００３８】
同様にＩＤ１２１１が“１０２”の登録人物画像１２１２は、鮮鋭さが照合処理にはやや不適当な状態であるので、登録人物画質１２１５として、品質評価手段１１３が評価した結果である“レベル６”が記憶されている。
【００３９】
同様にＩＤ１２１１が“１０３”の登録人物画像１２１２は、鮮鋭さが辛うじて照合処理ができる程度の状態であるので、登録人物画質１２１５として、品質評価手段１１３が判定した結果である“レベル３”が記憶されている。
【００４０】
同様にＩＤ１２１１が“１０４”の登録人物画像１２１２は、コントラストが照合処理にはやや不適当な状態であるので、登録人物画質１２１５として、品質評価手段１１３が評価した結果である“レベル７”が記憶されている。
【００４１】
図２に戻り、顔検出手段１１１は、入力画像から入力人物画像として顔画像を検出して特徴点抽出手段１１２に出力する。
【００４２】
顔画像の検出には周知の方法を採用すれば良い。例えば、顔画像を学習した識別器と呼ばれるフィルタにて抽出する方法や、入力画像の二値化エッジ画像を生成し、当該エッジ画像において顔の形状である楕円形状部分を顔領域として、その内部を入力人物画像とすれば良い。
【００４３】
さらに、不審者の顔画像を登録人物画像として登録をする際、その顔画像について平均輝度や輝度の分散などを求めて顔画像のコントラストとして品質評価手段１１３に出力する機能を有する。
【００４４】
特徴点抽出手段１１２は、顔検出手段１１１にて抽出された入力人物画像から目、鼻、口、眉、顔の輪郭などの各部位に対応する複数の顔特徴点を抽出し、入力人物画像上の位置座標を求める手段である。なお、目、鼻、口、眉、顔の輪郭などの各部位が、粗構造の一例である。
【００４５】
顔特徴点の抽出方法は従来から多数提案されており、適宜公知の方法を採用すれば良い。例えば、顔特徴点周辺の画像を学習した識別器と呼ばれるフィルタにて抽出する方法や、入力画像の二値化エッジ画像を生成し、当該エッジ画像において顔特徴点周辺の特徴的な形状を検出する方法を採用すれば良い。
【００４６】
さらに、不審者の顔画像を登録人物画像として登録をする際、その顔画像について抽出された特徴点の座標情報を、登録人物画像の画質を評価するためのデータとして品質評価手段１１３に出力する機能を有する。
【００４７】
品質評価手段１１３は、登録作業時に顔検出手段１１１、特徴点抽出手段１１２から出力されたデータに基づいて、登録人物画像の質の程度である画質を評価し、記憶部１２の登録者データ１２１の登録人物画質１２１５に記憶させる手段である。また監視中に取得される入力人物画像の画質をその都度評価する。
【００４８】
画質の高低が、照合処理に微細特徴の活用の可否について影響を与えることを図４に示す模式図を用いて説明する。
【００４９】
図４（ａ）には、鮮鋭な顔画像３００が示されている。鮮鋭であるので、通常の顔照合に用いる目や口などの大きな部位のほか、目尻の皺３０３、顔のシミ３０１、ホクロ３０２などの微細構造もはっきりと写っており、個人性を表す情報として十分に活用できる。
【００５０】
図４（ｂ）には、ボケ気味の顔画像３１０が示されている。目や口などの大きな部位は、通常通りの顔照合に用いることができても、目尻の皺３１３、顔のシミ３１１、ホクロ３１２などの微細構造はボケてしまい、例えばエッジ抽出処理などによりそれらの微細特徴を照合に活用しようにも困難である。
【００５１】
上記では、鮮鋭さの有無として説明したが、実際には入力画像中での顔画像の解像度、即ち、大きさが問題となる。これは、画像監視においては視野内に存在する人物の大きさは事前には仮定できず、顔部分が小さくしか写らないこともあり得る。一方で照合処理においては大きさを揃えて処理を行うべく、いわゆる正規化処理を行うが、小さくしか写らなかった顔画像は拡大されることになる。その場合、拡大した結果は図４（ｂ）に示したようにボケた顔画像となってしまう。特に画像監視の分野では、少ないカメラで広い範囲を撮影対象とすべく広角レンズを使うのが一般的であるため、正規化するとボケた顔画像となることが多い。
【００５２】
コントラストについては、好適な照明条件の下で取得された顔画像からは微細構造の情報を活用でき、薄暗い条件下で取得されると活用が難しい。鮮鋭さの有無などの画像の画質の高低は照合処理に影響を与えるが、画像の画質の高低を考慮せずに照合処理を行うと精度低下を招きかねない。
【００５３】
そこで品質評価手段１１３は、不審者の登録人物画像の登録時において、顔検出手段１１１、特徴点抽出手段１１２から出力されたデータを基に登録人物画像の画質を評価して登録者データ１２１に記憶させる。入力人物画像については、得られるたびに画質評価をして、後述する系列データに記憶させる。
【００５４】
品質評価手段１１３は、例えば、登録人物画質として登録人物画像の解像度を推定して解像度が所定値以上である場合には高品質であるとして解像度に応じてレベル８〜１０、解像度が所定値よりも低い場合には中品質であるとして解像度に応じてレベル４〜７、解像度が更に低い場合には低品質として解像度に応じてレベル０〜４と評価して登録人物画質１２１５に記憶する。すなわち、登録人物画像における顔画像の検出サイズが大きければ、登録人物画像を高品質と評価し、登録人物画像における顔画像の検出サイズが小さければ、登録人物画像を低品質と評価する。
【００５５】
ここで、品質評価手段１１３は、特徴点抽出手段１１２から粗構造特徴量の特徴点の位置情報が入力された場合には、その特徴点のうち、例えば右目中心と左目中心の間の画素数（目間距離）を計数して解像度の推定に用いてもよい。即ち、特徴点どうしの間の画素数が一定以上である場合には高品質であるとして目間距離に応じてレベル８〜１０、それよりも少ない場合には中品質であるとしてレベル４〜７、さらに少ない場合には低品質としてレベル０〜３と評価して登録人物画質１２１５に記憶する。
【００５６】
解像度の推定に目間距離などの特徴点どうしの間の画素値を用いるのが好適なのは、顔の検出にあたり、例えば帽子をかぶっていたり背景となる壁や床の色や模様が髪や肌と類似していると顔の大きさが画像中での実際の大きさとは異なりかねず、解像度を推定するのが不適切になることも考えられるからである。その点、目の中心などはその周りが明るい肌色として写り込むことが多く、瞳の色とのコントラストが明確で安定して特徴点の抽出と解像度の推定が期待できる。
【００５７】
あるいは、品質評価手段１１３は、顔検出手段１１１から登録人物画像の平均輝度や輝度の分散の情報が入力された場合、それらが照合処理に十分適した範囲であれば、高品質であるとしてそれら情報に応じてレベル８〜１０、その範囲からやや外れれば、中品質であるとしてレベル４〜７、大きく外れるのであれば、低品質としてレベル０〜３と評価して登録人物画質１２１５に記憶する。
【００５８】
または、品質評価手段１１３は、登録人物画像に対して周知の鮮明度判定処理を行ってブレを推定し、推定されたブレに応じて画質を評価しても良い。
【００５９】
また、品質評価手段１１３は、上記の評価結果を組み合わせて、登録人物画像の画質を評価してもよい。例えば、上記のように解像度とコントラストを測る場合、それぞれのレベル数を平均すればよい。
【００６０】
あるいはそれぞれの評価結果を“高”“中”“低”とするならば、両者が“高”のときに“高”を登録人物画質１２１５に記憶して、両者が“低”のときに“低”を登録人物画質１２１５に記憶し、それ以外のときは“中”を記憶するようにしても良い。
【００６１】
また、品質評価手段１１３は、入力人物画像の質の程度を表す入力人物画質を、登録人物画質と同様に評価する。なお、登録人物画質については、手入力により与えるようにしてもよい。
【００６２】
追跡手段１１４は、顔検出手段１１１から抽出された時刻ごとの入力人物画像を同一人物について対応付けて記憶部１２の系列データ１２２として記憶させる手段である。対応付けのためには公知の顔画像の追跡処理を適宜採用すればよい。例えば連続する時刻において、画像取得部１０が取得した入力画像における入力人物画像の座標を参照し、重心座標同士が一定以上近いという条件で系列化できる。あるいはオプティカルフローやパーティクルフィルターなどの方法も用いても追跡可能であり、さらには入力人物画像同士を直接照合して同一人物のものであるとして追跡しても良い。
【００６３】
系列データ１２２の内容を図５の模式図を用いて説明する。
【００６４】
図５には系列データが表形式で示されている。各段が１つの系列データを示している。１つの系列データとは、顔検出手段１１１が入力画像からある人物について追跡を開始し、その人物が入力画像から外れるなどにより追跡終了となるまで追跡手段１１４が追跡して一まとめにするか、追跡途中で照合結果が確定したのでそれ以上の処理が不要になったデータ群である。
【００６５】
系列番号１２２１は、各系列データについて一意に付与されるＩＤである。
【００６６】
入力人物画像１２２２は、顔検出手段１１１により抽出された顔画像である。
【００６７】
追跡情報１２２３は、入力人物画像１２２２のそれぞれについての、入力画像における座標値、および品質評価手段１１３により判定された入力人物画質である。
【００６８】
このほか、追跡処理に用いるために、追跡中であることを示すフラグや、何らかの通報処理を行ったことを示すフラグなどを必要に応じて追加してもよい。
【００６９】
系列データにおける入力人物画質の参照方法について、図６を用いて説明する。
【００７０】
図６（ａ）には、図５における系列番号１２２１が“１２”の系列データの入力人物画質が模式的に示されている。当該系列データにおいて、符号６００に示す入力人物画像の入力人物画質は、いずれも画質閾値６２０を越えておらず、認証判定処理には不向きである。よって、それらの入力人物画像が得られている間は認証判定結果を出力しない。
【００７１】
入力人物画像６１０の入力人物画質は画質閾値６２０を超えているので、この入力人物画像を用い、後述する手段にて一致度（類似度）を算出するなどして認証判定結果を決定して出力する。
【００７２】
一方図６（ｂ）には、図５における系列番号１２２１が“２５”の系列データの入力人物画質が模式的に示されている。当該系列データでは、いずれの入力人物画像の入力人物画質も画質閾値６２０を超えず、追跡終了となった場合を示している。この場合はいずれも認証判定処理には不適であり、結果を出さないのが原則ではあるが、それでは不審者の検出漏れ（失報）を招きかねない。一方で、単純に画質が低いとして判定閾値を下げると似ていない他人を本人と誤判定する誤報の危険性がある。
【００７３】
そこで後述する手段では、その中でも最高の入力人物画質を示した入力人物画像６３０を用いて一致度（類似度）を求めて認証判定結果を求める。
【００７４】
粗構造照合手段１１５は、入力人物画像から抽出された各特徴点の相対的な位置や目、鼻、口等の顔の粗構造の構成要素の大きさや色等を特徴量化して、登録者データ１２１に記憶されている粗構造特徴量１２１３との類似の程度を表す粗構造一致度Ｓａを求める。特徴量は顔画像認証の分野で周知のものを適宜選択して用いることができ、並べて成分に持つ特徴量ベクトルとするが、粗構造一致度は特徴量ベクトルの差分のノルムについて、ゼロ割に留意しつつ最大値を設定して逆数とすることができる。
【００７５】
登録人物画像の登録時においては、登録人物画像から求めた粗構造特徴量を登録者データ１２１の粗構造特徴量１２１３に記憶させる。
【００７６】
微細構造照合手段１１６は、入力人物画像から抽出された皺などの顔の微細構造の特徴について特徴量化して、登録者データ１２１に記憶されている微細構造特徴量１２１４との類似の程度を表す微細構造一致度Ｓｍを求める。特徴量は、前述のように特許文献１（特開2017-182606）に開示されているものを用いればよく、並べて成分に持つ特徴量ベクトルとするが、微細構造一致度は特徴量ベクトルの差分のノルムについて、ゼロ割に留意しつつ最大値を設定して逆数とすることができる。
【００７７】
登録人物画像の登録時においては、登録人物画像から求めた微細構造特徴量を登録者データ１２１の微細構造特徴量１２１４に記憶させる。
【００７８】
人物判定手段１１７は、品質評価手段１１３が評価し、系列データ１２２に記憶されている入力人物画質と登録人物画質１２１５を参照して、粗構造一致度Ｓａ、微細構造一致度Ｓｍを用い、入力人物画像の人物がいずれの登録人物画像１２１２の不審者かを判定する。
【００７９】
入力人物画質が所定の画質閾値以上の高品質である場合（図６（ａ）における入力人物画像６１０に相当、例えば“レベル７”以上）、比較対象となる登録人物画像の登録人物画質１２１５を記憶部１２から読み出す。
【００８０】
そして登録人物画質１２１５も高品質である、例えば図３でいうと“レベル７”以上の場合には、入力人物画像も登録人物画像も高品質で照合には好適な条件であるので、粗構造一致度Ｓａと微細構造一致度Ｓｍの両方を用いる。即ち人物判定手段１１７は、粗構造一致度Ｓａが第一の閾値以上、かつ、微細構造一致度Ｓｍが第二の閾値以上の場合に、その登録人物画像の人物が入力人物画像に写っていると判定する。これは粗構造である部位のみならず、皺などの微細構造についても良好に情報が得られているので、微細構造についても一致の程度を調べることで本人棄却を防止する意図である。
【００８１】
複数の登録人物画像がその人物判定条件を満たした場合は２つの一致度が同時に最高の一致度を示した登録人物画像を、照合結果として採用する。１枚の登録人物画像が２つの一致度について同時に閾値の条件を満たしたものの、同時に最高値を示さなかった場合には、微細構造一致度Ｓｍの最高値のものを採用する。これは粗構造である部位について十分に類似しているという条件下、より個人性を表す微細構造についての類似を重視するのが好適という考えに基づく。
【００８２】
入力人物画質が高品質であるものの、比較対象の登録人物画像の登録人物画質１２１５が高品質ではなく、例えば図３でいうと“レベル５”の場合には、登録人物画像については照合には好適な条件ではない。この条件においては、登録人物画像から微細構造についての特徴量を求めても、登録人物画像がぼやけているがゆえに必要な情報が欠落しているため、微細構造一致度Ｓｍを使うのは不適切であるといえる。そこで、人物判定手段１１７は粗構造一致度Ｓａのみから判定することとして、粗構造一致度Ｓａが第三の閾値以上の場合に、その登録人物画像の人物が入力人物画像に写っていると判定する。ただし第三の閾値を、上記第一の閾値よりも高い値に設定し、判定条件を厳しくする。これは良好な条件で照合するよりも、より顔画像どうしが似ていることを厳しく要求する意図である。例えば粗構造一致度、微細構造一致度が取り得る値について、事前に実験で最大値を把握しておき、その８０％を第一の閾値とするならば、第三の閾値は同じく９０％とする。
【００８３】
一方で、ある時刻での入力人物画質が高品質ではない場合には、照合には好適な条件ではない。この場合には、その入力人物画像を用いて照合結果を求めるのは不適切であるので、図５の系列データ１２２に示すように入力人物画質を記憶しつつ、照合結果の出力はしないこととする。そして、ある人物についての入力人物画像の追跡が終了した後に、その人物の系列データ１２２に含まれる入力人物画質がいずれも画質閾値未満であると、その系列データ１２２の中でも最高の画質の入力人物画像を用い、粗構造一致度Ｓａと第三の閾値とを比較して照合結果を求める。また、入力人物画質のいずれかが画質閾値を超えるならば、高品質であるので、既述の場合に帰着される。
【００８４】
本来、入力人物画像の画質が確保されない場合には、照合不適とも考えられるが、ある程度の追跡がされる状況では、不審者が撮影領域を滞留する（うろつく）状況である場合もあり得る。そこで不審者が写っているにもかかわらず通報しないという状況（失報）を防ぐために、照合判定処理は敢行するものとしている。
【００８５】
ただし、判定条件としては既述の場合と同様に、粗構造一致度のみからとして第三の閾値を用いることとする。
【００８６】
統合一致度算出手段１１８は、上述の人物判定手段１１７における判定処理に代え、以下のように粗構造一致度Ｓａと微細構造一致度Ｓｍとから統合一致度を求める手段である。
【００８７】
この統合一致度算出手段１１８は、本発明の人物照合装置においては必須ではなく、別の実施形態を採用する際に用いられることになる。またこの場合には、人物判定手段１１７は、既述のような粗構造一致度Ｓａと微細構造一致度Ｓｍのそれぞれを独立に閾値処理するのではなく、求めた統合一致度を閾値処理して入力人物画像の人物がいずれの登録人物画像１２１２の不審者かを判定する。
【００８８】
統合一致度算出手段１１８は、読み出した登録人物画質１２１５を参照して、重みｗを決定する。登録人物画質１２１５が画質閾値である“レベル７”以上で高品質の場合には大きなｗを設定し、さもなくば小さなｗを設定する。
【００８９】
あるいは、登録人物画質１２１５が高いほど、大きなｗを決定しても良い。この場合、登録人物画質１２１５に対する重みの値は、グラフ化した場合に単純な直線形状（比例関係）として決定すればよいが、対数関数のように上に凸の曲線形状、指数関数のように下に凸の曲線形状として決定してもよい。なお、重みｗの最大値は、例えば、０．５である。
【００９０】
そして統合一致度算出手段１１８は、重みｗを用い、次式により統合一致度Ｓを求める。
【００９１】
（式１）  Ｓ＝（１−ｗ）×Ｓａ＋ｗ×Ｓｍ
【００９２】
即ち登録人物画像の画質が高いほど微細構造一致度の寄与を高くした統合一致度を求める。
【００９３】
そして人物判定手段１１７は、統合一致度Ｓを閾値処理して、その登録人物画像の人物が入力人物画像に写っていると判定する。閾値は統合一致度が取り得る値を事前に実験で最大値を把握しておき、その８０％とすることができる。
【００９４】
あるいは、入力人物画像の画質に応じて重みｗを設定してもよい。この場合は実際に撮影された入力人物画像の画質を直接反映させて統合一致度の値を算出することができる。
【００９５】
＜画像監視装置の動作＞
以下、図７（ａ）に示したフローチャートを参照しつつ、本発明を適用した画像監視装置２０による画像監視処理の動作を説明する。なお、以下に説明する動作は、入力画像を１つ取得するごとに実行される。
【００９６】
ステップＳ１００にて、撮像装置２は、監視領域１００を撮影して入力画像を取得し、画像取得部１０に入力する。
【００９７】
ステップＳ１１０にて、顔検出手段１１１は、入力画像から適宜周知な方法にて顔領域の検出を試みる。入力画像に人が写っておらず、顔領域が検出できない場合には（ステップＳ１２０のＮｏの分岐）、次の時刻の入力画像の取得を行うべくステップＳ１００に処理を戻す。
【００９８】
顔領域が存在した場合には（ステップＳ１２０のＹｅｓの分岐）、顔検出手段１１１は、検出された顔領域の内部から入力人物画像を抽出する（ステップＳ１３０）。
【００９９】
ステップＳ１４０にて、顔検出手段１１１が検出した顔画像の検出サイズを調べて入力人物画像の画質を判定してレベル分けをする。
【０１００】
画質の評価は、前述のように顔の検出サイズに限られず、他の特徴的な部位どうしの距離や、平均輝度と輝度分散を調べてコントラストを判定しても良い。
【０１０１】
ステップＳ１５０にて、追跡手段１１４は同一人物と判定できる顔画像を入力画像中で追跡して一まとめにし、系列データとして記憶部１２に記憶させる。
【０１０２】
ステップＳ１６０にて、ステップＳ１４０で求めた入力人物画質が閾値を越えずに低品質の場合には、その入力人物画像からは照合結果を出さずに前のステップでの系列データへの追加蓄積に留めることとする（Ｎｏの分岐）。
【０１０３】
ただし、図には示さなかったが、図６を用いて説明したように、その系列データの入力人物画質が高品質とならずに追跡が終了した場合には、その中でも最高の入力人物画質の入力人物画像を用いて、以下のステップＳ１７０〜Ｓ２００を行うものとする。
【０１０４】
なお、その場合でも不自然なほどに長時間追跡が継続し、入力人物画質が高品質とならないときは、例えば敢えて撮像装置２から遠い位置で周りの状況をうかがうなどのいわゆる不審行動を行う人物である可能性があるので、追跡終了を待たずに、それまでの最高の入力人物画質の入力人物画像を用いてステップＳ１７０〜Ｓ２００を行ってもよい。
【０１０５】
ステップＳ１７０〜Ｓ２００は、入力人物画像が高品質の場合に、照合対象となる登録人物画像ごとに繰り返し実行される。
【０１０６】
ステップＳ１７０にて、粗構造照合手段１１５は入力人物画像から粗構造特徴量を求め、微細構造照合手段１１６は入力人物画像から微細構造特徴量を求め、処理対象となっている登録人物画像について記憶部１２の登録者データ１２１から粗構造特徴量１２１３、微細構造特徴量１２１４を読み出し、類似の程度をあらわす粗構造一致度、微細構造一致度を求める。
【０１０７】
処理対象となっている登録人物画像の登録人物画質１２１５が高品質の場合には（ステップＳ１８０のＹｅｓの分岐）、人物判定手段１１７は粗構造一致度が第一の閾値以上であり、かつ微細構造一致度が第二の閾値以上である場合に不審者検知の判定をすることとする（ステップＳ１９０、Ｓ２１０、Ｓ２２０）。
【０１０８】
一方で、低品質の場合には（ステップＳ１８０のＮｏの分岐）、人物判定手段１１７は粗構造一致度が、第一の閾値より大きな第三の閾値以上の場合に不審者の判定をすることとする（ステップＳ２００、Ｓ２１０、Ｓ２２０）。
【０１０９】
ステップＳ１９０の代わりに図７（ｂ）に示す動作としても良い。これは統合一致度算出手段１１８による統合一致度を求める場合である。
【０１１０】
ステップＳ３００において、統合一致度算出手段１１８は、粗構造一致度と微細構造一致度とから（式１）により統合一致度を求めるために用いる重みｗを決定する。
【０１１１】
そしてステップＳ３１０において、統合一致度算出手段１１８は（式１）により統合一致度を求め、ステップＳ２１０において、求めた統合一致度を閾値処理して、不審者の判定をすることとし、統合一致度が閾値未満であれば、上記ステップＳ１００へ戻る。一方、統合一致度が閾値以上であれば、登録人物画像の不審者を検知した信号を通報装置３へ出力して、上記ステップＳ１００へ戻る（ステップＳ２２０）。
【０１１２】
以上説明してきたように、本発明の実施の形態に係る画像監視装置は、入力人物画質及び登録人物画像の質の程度を表す登録人物画質のいずれもが画質閾値以上の高品質であると粗構造一致度と微細構造一致度とを用いて当該入力人物画像に登録人物画像の人物が撮影されているか否かを判定することにより、精度良く人物判定ができる。
【０１１３】
また、各登録人物画像および入力人物画像についてその画質を評価して、照合の際に参照し、その画質の高低に応じて、粗構造一致度と微細構造一致度とを用いた統合一致度の算出方法を異ならせることで、他人受理と本人棄却を抑制して精度良く人物判定が出来る。これによって、登録人物画像の画質が低い場合であっても、精度良く人物判定が出来る。また、登録人物画像が低品質ならば微細構造一致度を使わずに、粗構造一致度だけを使って人物判定を行う。このため、人物判定の拠り所となる情報が少ないので、人物判定に用いる閾値として厳しい閾値を用いることにより、他人受理を抑制することができる。
【０１１４】
また、統合一致度を求める場合、登録人物画像および入力人物画像のそれぞれが高品質であるほど微細構造一致度の情報を有効活用できるため、他人受理を抑制することができる。
【０１１５】
また、入力人物画像で追跡している人物を表す入力人物画像がどこかの時点で高品質になることを想定して、高品質でない入力人物画像を用いた人物判定は行わないようにするが、高品質の入力人物画像が得られなかった場合、単純に人物判定をしないのは、それが目的の不審者であった場合には見逃しになる。そこで、系列データの中で最高の画質の入力人物画像を用いて人物判定を行うことにより、なるべく信用できる人物判定結果を得ることができる。
【０１１６】
＜変形例＞
以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、本実施形態では、顔の粗構造としての顔部位に関する粗構造特徴量と、顔部位より微細な構造に関する微細構造特徴量とを用いた顔照合を行う例について説明したが、これに限定されるものではない。
【０１１７】
例えば、入力人物画像、登録人物画像のそれぞれから、人物の全身を表す全身画像を検出し、全身の粗構造に関する粗構造特徴量とそれより微細な構造に関する微細構造特徴量とを抽出して、人物照合を行うようにしてもよい。具体的には、全身の粗構造としての、背格好、体型（肥満型、痩身型、スポーツマン型、など）、身長（小柄、中背、大柄）、服の色や上下の組み合わせなどに関する粗構造特徴量を抽出すると共に、それより微細な構造としての、顔つき（目鼻口の形、顔の輪郭（丸顔、面長））、服やネクタイの柄に関する微細特徴量を抽出して、人物照合を行ってもよい。
【０１１８】
以上のように、当業者は本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。
【符号の説明】
【０１１９】
１     顔照合装置
２     撮像装置
３     通報装置
１０   画像取得部
１１   画像処理部
１２   記憶部
１３   出力部
２０   画像監視装置
１１１ 顔検出手段
１１２ 特徴点抽出手段
１１３ 品質評価手段
１１４ 追跡手段
１１５ 粗構造照合手段
１１６ 微細構造照合手段
１１７ 人物判定手段
１１８ 統合一致度算出手段
【図１】
2019164422.tif 000003
【図２】
2019164422.tif 000004
【図３】
2019164422.tif 000005
【図４】
2019164422.tif 000006
【図５】
2019164422.tif 000007
【図６】
2019164422.tif 000008
【図７】
2019164422.tif 000009
【手続補正書】
【提出日】令和1年5月14日(2019.5.14)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
所定の領域を撮影した撮影画像を取得する画像取得手段と、
前記撮影画像から入力人物画像を検出する検出手段と、
人物を構成している粗い構造に関する画像特徴を表す粗構造特徴量、及び人物における細かい微細構造に関する画像特徴を表す微細構造特徴量であって、対象人物を撮影した登録人物画像から抽出された前記粗構造特徴量及び前記微細構造特徴量を前記対象人物ごとに記憶している記憶手段と、
前記入力人物画像の質の程度を表す入力人物画質を評価する品質評価手段と、
前記入力人物画像から前記粗構造特徴量を抽出して前記記憶手段に記憶されている粗構造特徴量との粗構造一致度を算出する粗構造照合手段と、
前記入力人物画像から前記微細構造特徴量を抽出して前記記憶手段に記憶されている微細構造特徴量との微細構造一致度を算出する微細構造照合手段と、
前記粗構造一致度を少なくとも用いて前記入力人物画像に前記対象人物が撮影されているか否かを判定する人物判定手段と、
を備え、
前記人物判定手段は、
前記入力人物画質及び前記登録人物画像の質の程度を表す登録人物画質のいずれもが画質閾値以上の高品質であると前記粗構造一致度と前記微細構造一致度とを用いて当該入力人物画像に前記対象人物が撮影されているか否かを判定する
ことを特徴とする人物照合装置。
【請求項２】
前記人物判定手段は、
前記入力人物画質と前記登録人物画質のいずれもが前記高品質である場合は前記粗構造一致度が第一閾値以上であり且つ前記微細構造一致度が第二閾値以上である場合に前記入力人物画像に前記対象人物が撮影されていると判定し、
前記入力人物画質が前記高品質であるが前記登録人物画像が前記画質閾値未満の低品質である場合は前記粗構造一致度が前記第一閾値よりも高い第三閾値以上である場合に前記入力人物画像に前記対象人物が撮影されていると判定する
ことを特徴とした請求項１に記載の人物照合装置。
【請求項３】
前記人物判定手段は、
前記入力人物画質と前記登録人物画質のいずれもが前記高品質である場合は前記粗構造一致度と前記微細構造一致度とを統合した統合一致度を算出し、当該統合一致度から当該入力人物画像に前記対象人物が撮影されているか否かを判定し、
前記入力人物画質が前記高品質であるが前記登録人物画像が前記画質閾値未満の低品質である場合は前記粗構造一致度から当該入力人物画像に前記対象人物が撮影されているか否かを判定する
ことを特徴とした請求項１に記載の人物照合装置。
【請求項４】
前記人物判定手段は、
前記入力人物画質と前記登録人物画質のいずれもが前記高品質である場合は前記登録人物画質が高いほど前記統合一致度に対する前記微細構造一致度の寄与を高くして前記統合一致度を算出する
ことを特徴とする請求項３に記載の人物照合装置。
【請求項５】
前記人物照合装置は、さらに、
順次取得される複数の前記撮影画像から検出された前記入力人物画像を同一人物について追跡し、追跡できた入力人物画像を対応付けた系列データを生成する追跡手段
を備え、
前記人物判定手段は、
前記系列データごとに、当該系列データに含まれる前記入力人物画像についての前記入力人物画質のうち最高の前記入力人物画質が前記画質閾値未満の低品質であると前記粗構造一致度が前記第一閾値よりも高い第三閾値以上である場合に当該系列データに含まれる入力人物画像に前記対象人物が撮影されていると判定する
ことを特徴とする請求項２に記載の人物照合装置。