(57)【要約】照合装置（１００）は、少なくとも１つのプロセッサ（１０１）と、複数の登録顔画像を記憶する記憶部（１０２）とを有し、プロセッサ（１０１）は、登録顔画像における一部の領域を除外した第１の対象領域の特徴量と、検索対象である検索顔画像における一部の領域を除外した第２の対象領域の特徴量とを照合する部分照合を実行し、部分照合の結果を表示させる。
2018030129.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１つのプロセッサと、複数の登録顔画像を記憶する記憶部とを有し、
前記プロセッサは、
前記登録顔画像における一部の領域を除外した第１の対象領域の特徴量と、検索対象である検索顔画像における一部の領域を除外した第２の対象領域の特徴量とを照合する部分照合を実行し、
前記部分照合の結果を表示させる、
照合装置。
【請求項２】
前記プロセッサは、前記検索顔画像における領域全体の特徴量と、前記登録顔画像における領域全体の特徴量とを照合する全体照合を実行し、
前記部分照合の結果と区別して前記全体照合の結果を表示させる、
請求項１に記載の照合装置。
【請求項３】
前記プロセッサは、
前記複数の登録顔画像のうち、前記全体照合の結果として表示させた前記登録顔画像以外の前記登録顔画像を、前記部分照合の結果として表示させる、
請求項２に記載の照合装置。
【請求項４】
前記第１の対象領域と前記第２の対象領域とは、同一の顔のパーツを含む、
請求項１に記載の照合装置。
【請求項５】
前記プロセッサは、
データセットとの比較に基づいて、前記登録顔画像における特徴量が異常値であるか否かを判定し、
前記登録顔画像における前記異常値を含む領域を除外する、
請求項１に記載の照合装置。
【請求項６】
前記プロセッサは、
前記登録顔画像の中で前記異常値を含まない領域を判定し、
前記異常値を含まないと判定された領域を最も多く含む領域を前記第１の対象領域として選択する、
請求項５に記載の照合装置。
【請求項７】
前記プロセッサは、前記部分照合の結果が示す類似度が高い順に前記登録顔画像を一列に表示させる、
請求項１に記載の照合装置。
【請求項８】
前記プロセッサは、前記第１の対象領域を示す表示を、前記部分照合の結果と共に表示させる、
請求項１に記載の照合装置。
【請求項９】
前記プロセッサは、前記登録顔画像を多くとも１回表示させる、
請求項１に記載の照合装置。
【請求項１０】
前記第１の対象領域は、顔の領域を上下に２分割した上部分の領域、前記顔の領域を上下に２分割した下部分の領域、前記顔の領域を左右に２分割した左部分の領域、および、前記顔の領域を左右に２分割した右部分の領域のうち、少なくとも１つの領域である、
請求項１に記載の照合装置。
【請求項１１】
登録顔画像における一部の領域を除外した第１の対象領域の特徴量と、検索対象である検索顔画像における一部の領域を除外した第２の対象領域の特徴量とを照合する部分照合を実行し、
前記部分照合の結果を表示させる、
照合結果表示方法。
【請求項１２】
前記検索顔画像における領域全体の特徴量と、前記登録顔画像における領域全体の特徴量とを照合する全体照合を実行し、
前記部分照合の結果と区別して前記全体照合の結果を表示させる、
請求項１１に記載の照合結果表示方法。
【請求項１３】
前記複数の登録顔画像のうち、前記全体照合の結果として表示させた前記登録顔画像以外の前記登録顔画像を、前記部分照合の結果として表示させる、
請求項１２に記載の照合結果表示方法。
【請求項１４】
前記第１の対象領域と前記第２の対象領域とは、同一の顔のパーツを含む、
請求項１１に記載の照合結果表示方法。
【請求項１５】
データセットとの比較に基づいて、前記登録顔画像における特徴量が異常値であるか否かを判定し、
前記登録顔画像における前記異常値を含む領域を除外する、
請求項１１に記載の照合結果表示方法。
【請求項１６】
前記登録顔画像の中で前記異常値を含まない領域を判定し、
前記異常値を含まないと判定された領域を最も多く含む領域を前記第１の対象領域として選択する、
請求項１５に記載の照合結果表示方法。
【請求項１７】
前記部分照合の結果が示す類似度が高い順に前記登録顔画像を一列に表示させる、
請求項１１に記載の照合結果表示方法。
【請求項１８】
前記第１の対象領域を示す表示を、前記部分照合の結果と共に表示させる、
請求項１１に記載の照合結果表示方法。
【請求項１９】
前記登録顔画像を多くとも１回表示させる、
請求項１１に記載の照合結果表示方法。
【請求項２０】
前記第１の対象領域は、顔の領域を上下に２分割した上部分の領域、前記顔の領域を上下に２分割した下部分の領域、前記顔の領域を左右に２分割した左部分の領域、および、前記顔の領域を左右に２分割した右部分の領域のうち、少なくとも１つの領域である、
請求項１１に記載の照合結果表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、照合装置および照合結果表示方法に関する。
【背景技術】
【０００２】
特許文献１は、入力画像と登録画像の撮影環境、条件等が異なる場合に、照合処理を行うことができる顔画像照合・検索システムを開示する。この顔画像照合・検索システムでは、予め利用者の登録画像を登録画像ＤＢに登録しておく。そして、認証処理では、カメラにより撮影された利用者の顔画像を解析し、環境パラメータ等を推定し、推定したパラメータに基づいて調整した照合画像と、登録画像を比較照合する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−３０６０９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本開示の一態様は、信頼度の高い検索結果を表示することができる照合装置および照合結果表示方法を提供する。
【課題を解決するための手段】
【０００５】
本開示の一態様に係る照合装置は、少なくとも１つのプロセッサと、複数の登録顔画像を記憶する記憶部とを有し、前記プロセッサは、前記登録顔画像における一部の領域を除外した第１の対象領域の特徴量と、検索対象である検索顔画像における一部の領域を除外した第２の対象領域の特徴量とを照合する部分照合を実行し、前記部分照合の結果を表示させる。【０００６】
本開示の一態様に係る照合結果表示方法は、登録顔画像における一部の領域を除外した第１の対象領域の特徴量と、検索対象である検索顔画像における一部の領域を除外した第２の対象領域の特徴量とを照合する部分照合を実行し、前記部分照合の結果を表示させる。
【発明の効果】
【０００７】
本開示の一態様によれば、信頼度の高い検索結果を表示することができる。【０００８】
本開示の一態様における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および／または効果は、いくつかの実施形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、１つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。
【図面の簡単な説明】
【０００９】
【図１】図１は、実施の形態に係る照合装置の全体構成を示すブロック図である。
【図２】図２は、照合処理の一例を示すフローチャートである。
【図３】図３は、顔登録処理の一例を示すフローチャートである。
【図４】図４は、特徴量計算処理の一例を示すフローチャートである。
【図５】図５は、異常値判定処理の一例を示すフローチャートである。
【図６】図６は、登録顔画像のデータベースの一例を示す図である。
【図７】図７は、検索顔特徴量計算処理の一例を示すフローチャートである。
【図８】図８は、領域パターンの一例を示す図である。
【図９】図９は、領域パターンと顔パーツとの対応関係の一例を示す図である。
【図１０】図１０は、顔検索処理の一例を示すフローチャートである。
【図１１】図１１は、顔検索結果の表示例の一例を示す図である。
【発明を実施するための形態】
【００１０】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【００１１】
なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより請求の範囲に記載の主題を限定することは意図されていない。
【００１２】
（実施の形態）
［１．構成］
図１は、実施の形態に係る照合装置１００の全体構成を示すブロック図である。照合装置１００は、例えば、施設等に設置された監視カメラが撮像した画像から取得される複数の顔画像（以下、母集団顔画像と呼ぶ）と、検索対象となる人物の顔画像（以下、検索顔画像と呼ぶ）とを照合し、母集団顔画像の中から検索顔画像を検索することにより、検索対象となる人物が当該施設に出入りしたか否かの管理を行う入退場管理システム等に適用される。
【００１３】
照合装置１００は、プロセッサ１０１、記憶部１０２、入力部１０３、表示部１０４及び撮影部１０５がバス１０６を介して接続された構成を有する。
【００１４】
記憶部１０２には、照合装置１００における照合処理を実行するための各種データが記憶される。記憶部１０２に記憶されるデータは、入力部１０３を介して取得される。
【００１５】
入力部１０３は、例えば、外部の機器に接続し、照合装置１００における照合処理を実行するための各種データを取得するインターフェースである。
【００１６】
表示部１０４は、例えば、液晶ディスプレイ等である。表示部１０４は、プロセッサ１０１により実行される照合処理の結果を表示する。
【００１７】
撮影部１０５は、例えば、顔画像を含む画像を撮像するカメラ等である。なお、本実施の形態における照合装置１００は、撮影部１０５を有していなくてもよい。
【００１８】
プロセッサ１０１は、照合装置１００における照合処理を含む照合装置１００の全体的な処理を実行する。
【００１９】
［２．照合処理の動作］
次に、照合装置１００のプロセッサ１０１によって実行される照合処理の流れについて図２を参照して説明する。図２は、照合処理の一例を示すフローチャートである。なお、図２を参照して説明する各処理の詳細については、後述する。
【００２０】
ステップＳ１にて、プロセッサ１０１は、顔登録処理を実行する。顔登録処理は、入力部１０３を介して取得する母集団顔画像を登録する処理である。なお、プロセッサ１０１は、撮影部１０５により撮影された母集団顔画像を取得してもよい。母集団顔画像の取得方法は、これらに限定されない。
【００２１】
ステップＳ２にて、プロセッサ１０１は、検索顔画像の特徴量（以下、検索顔特徴量と呼ぶ）を計算する処理を実行する。なお、プロセッサ１０１は、検索顔画像を入力部１０３を介して取得してもよいし、撮影部１０５により撮影された検索顔画像を取得してもよい。検索顔画像の取得方法は、これらに限定されない。
【００２２】
ステップＳ３にて、プロセッサ１０１は、領域パターン毎の反復処理を開始する。領域パターンは、予め用意されたパターンであり、照合の対象となる領域を表す。なお、領域パターンの詳細については、後述する。
【００２３】
ステップＳ３から開始される反復処理では、プロセッサ１０１は、インデックスｉの初期値を０に設定し、ｉに１ずつ加算しながら、ｉ＜Ｐという条件が成立している間、つまり、ｉがＰ以上になるまで、ステップＳ４、ステップＳ５を繰り返し実行する。そして、ｉがＰ以上になった場合に、ステップＳ６にて、反復処理のループが終了する。なお、Ｐは、領域パターン数であり、１以上の整数である。この反復処理により、プロセッサ１０１は、領域パターンＰ０からＰＰ−１までのＰ個の領域パターン毎にステップＳ４、ステップＳ５を実行する。
【００２４】
具体的に、ステップＳ４にて、プロセッサ１０１は、領域パターンＰｉ（ｉは、０以上Ｐ−１以下の整数）における顔検索処理を実行する。そして、ステップＳ５にて、プロセッサ１０１は、ステップＳ４にて実行された領域パターンＰｉにおける顔検索処理の結果を表示部１０４に表示させる。
【００２５】
つまり、ステップＳ３にて開始され、ステップＳ６にて終了する反復処理において、プロセッサ１０１は、領域パターンＰ０からＰＰ−１までのＰ個の領域パターン毎に、顔検索処理を実行し、実行した顔検索処理の結果を表示部１０４に表示させる。
【００２６】
ステップＳ６にて、反復処理のループが終了すると、照合処理が終了する。
【００２７】
［２−１．顔登録処理］
次に、図２のステップＳ１に示した顔登録処理について、図３を参照して説明する。図３は、顔登録処理の一例を示すフローチャートである。
【００２８】
ステップＳ１１にて、プロセッサ１０１は、母集団顔画像の中から、データベースに登録する顔画像（以下、登録顔画像と呼ぶ）を取得する。そして、ステップＳ１２にて、プロセッサ１０１は、取得した登録顔画像の特徴量を計算する処理を実行する。次に、ステップＳ１３にて、プロセッサ１０１は、計算した特徴量が異常値であるか否かを判定する異常値判定処理を実行する。なお、ステップＳ１２の特徴量計算処理、および、ステップＳ１３の異常値判定処理の詳細については後述する。
【００２９】
次に、ステップＳ１４にて、プロセッサ１０１は、母集団顔画像の中に次の登録顔画像が存在するか否かを判定する。
【００３０】
次の登録顔画像が存在する場合（ステップＳ１４：ＹＥＳ）、ステップＳ１１の処理へ移行する。
【００３１】
次の登録顔画像が存在しない場合（ステップＳ１４：ＮＯ）、顔登録処理は終了する。
【００３２】
図３に示す顔登録処理によって、プロセッサ１０１は、母集団顔画像のそれぞれに対して、特徴量計算処理、および、異常値判定処理を実行する。以下の説明において、顔登録処理によって登録された画像の枚数をＮ２（Ｎ２は、１以上の整数）とする。
【００３３】
［２−１−１．特徴量計算処理］
次に、図３のステップＳ１２に示した特徴量計算処理について図４を参照して説明する。図４は、特徴量計算処理の一例を示すフローチャートである。
【００３４】
まず、ステップＳ１２１にて、プロセッサ１０１は、画像全体の領域から顔の領域（顔領域）を検出する。プロセッサ１０１は、この検出処理を、画像に対して周知の顔検出アルゴリズムを適用することで実行する。例えば、プロセッサ１０１は、Haar-like特徴とboostingによる学習アルゴリズムを用いて顔領域検出処理を行う。
【００３５】
次に、ステップＳ１２２にて、プロセッサ１０１は、顔領域から顔パーツを検出する。顔パーツとは、顔を構成する要素であり、例えば、左目、右目、口、額等である。プロセッサ１０１は、顔パーツの平均的な形状や位置を示す平均パーツ画像と、ステップＳ１２１にて検出した顔領域とのテンプレートマッチングを実行することにより、顔パーツを検出する。検出した顔パーツは、顔画像においてパーツを囲む矩形領域を表す４点の座標値として表現される。なお、顔パーツの表現形式は、４点の座標値ではなく、他の表現形式であってもよい。
【００３６】
次に、ステップＳ１２３にて、プロセッサ１０１は、顔パーツの検出結果から画像を正規化する。例えば、プロセッサ１０１は、画像のクロッピング、拡大、縮小、アフィン変換等の処理を行い、ステップＳ１２１にて検出した顔領域が基準となるサイズに揃うように、そして、ステップＳ１２２にて検出した顔パーツが顔領域内の同じ位置に揃うように画像を正規化する。
【００３７】
次に、ステップＳ１２４にて、プロセッサ１０１は、顔領域毎に顔パーツの特徴量を計算する。例えば、プロセッサ１０１は、顔のパーツの位置を基準とし、その基準とした領域から特徴量を計算する。本実施の形態では画像を正規化しているので、規定の領域に所定の顔パーツが存在すると仮定して、当該規定の領域毎に特徴量を計算することで、各顔パーツの特徴量を計算することが可能である。特徴量の計算によって得られる特徴量の次元数について、右目のパーツを一例に挙げて説明する。右目のパーツから得られる特徴量をＤ＿ｒｅｙｅとし、右目を中心として高さｈ、横幅ｗの領域から１２８次元のＳＩＦＴ特徴量を計算すると、Ｄ＿ｒｅｙｅの特徴量の次元数は、ｗ×ｈ×１２８となる。上述したように本実施の形態では画像を正規化した。また、特徴量は各画像において共通の規則に従って計算される。よって「ｉ番目の特徴量」といえば各画像の中において同一の領域における特徴量を表すことになる。
【００３８】
そして、ステップＳ１２４にて、プロセッサ１０１が特徴量を計算した後、特徴量計算処理は終了する。なお、本実施の形態で用いられる特徴量はＳＩＦＴ特徴量に限定されない。特徴量は顔の特徴量を示す値であればよい。例えばＳＩＦＴ特徴量のほかＧａｂｏｒ特徴量などを用いても良い。
【００３９】
図４に示す特徴量計算処理によって、プロセッサ１０１は、画像の顔領域における顔パーツそれぞれの特徴量を計算する。以下の説明において、Ｎ１（Ｎ１は、１以上の整数）とは、顔パーツそれぞれの特徴量を直列に結合することで得られた特徴量の次元数とする。
【００４０】
なお、図４に示す特徴量計算処理では、ステップＳ１２３にて、プロセッサ１０１が画像の顔領域全体で正規化を行う例について説明したが、プロセッサ１０１は、顔領域全体で正規化する代わりに、顔のパーツ毎に正規化してもよい。
【００４１】
また、プロセッサ１０１がステップＳ１２３にて画像の正規化を行った後で、ステップＳ１２４にて特徴量を計算する例について説明したが、ステップＳ１２３にて画像の正規化を行わずに、ステップＳ１２４にて特徴量を計算する際に正規化を行ってもよい。その場合、例えば、プロセッサ１０１は、ステップＳ１２４にて画像のサイズに応じてＳＩＦＴ特徴量を計算する方法を変更してもよい。
【００４２】
［２−１−２．異常値判定処理］
次に、図３のステップＳ１３に示した異常値判定処理について図５を参照して説明する。図５は、異常値判定処理の一例を示すフローチャートである。図３を参照して説明したように、異常値判定処理は、特徴量計算処理の後に実行される。
【００４３】
まず、ステップＳ１３１にて、プロセッサ１０１は、特徴量計算処理によって計算された次元数Ｎ１の特徴量を取得する。
【００４４】
次に、ステップＳ１３２にて、プロセッサ１０１は、特徴量の次元毎の反復処理を開始する。詳細には、インデックスｊの初期値を１に設定し、ｊに１ずつ加算しながら、ｊ≦Ｎ１という条件が成立している間、つまり、ｊがＮ１より大きくなるまで、ｊ番目の特徴量に対して以下に説明するステップＳ１３３からＳ１３６までの処理を繰り返し実行する。そして、ｊがＮ１より大きくなった場合に、ステップＳ１３７にて、反復処理のループが終了する。
【００４５】
具体的に、ステップＳ１３３にて、プロセッサ１０１は、ｊ番目の特徴量の乖離度を計算する。乖離度とは、任意の基準との差を定量的に表した度合である。例えば、ｊ番目の特徴量の乖離度は、任意のデータセットのｊ番目の特徴量の平均との差分、または、偏差値としてもよい。ここで任意のデータセットとして撮影部１０５が使用される環境において取得した画像であってもよい。
【００４６】
本実施の形態では、データセットとして、多くの顔画像の集合を用いる。そして、プロセッサ１０１は、多くの顔画像の集合に対する学習により得られる、顔画像の特徴量の分布に基づいて、乖離度を計算する。
【００４７】
一例として、ｊ番目の特徴量の値をｆｊとし、学習により得られるｊ番目の特徴量の分布を分布Ｆｊとする。そして、分布Ｆｊの平均をｍｅａｎ（Ｆｊ）、分散をｖａｒ（Ｆｊ）とすると、特徴量ｆｊの乖離度Ｄｊは、式（１）によって計算される。
【００４８】
【数１】
2018030129.tif 000003
【００４９】
次に、ステップＳ１３４にて、プロセッサ１０１は、計算した乖離度Ｄｊが閾値以上か否かを判定する。例えば、プロセッサ１０１は、分布Ｆｊの標準偏差σｊを用いて、閾値３×σｊの値を閾値として設定しても良い。
【００５０】
ｊ番目の特徴量の乖離度Ｄｊが閾値以上の場合（Ｓ１３４にてＹＥＳ）、ステップＳ１３５にて、プロセッサ１０１は、ｊ番目の特徴量が異常値であることを記録する。ｊ番目の特徴量の乖離度Ｄｊが閾値以上では無い場合（Ｓ１３４にてＮＯ）、ステップＳ１３６にて、プロセッサ１０１は、ｊ番目の特徴量が正常値であることを記録する。
【００５１】
そして、ｊがＮ１より大きくなると、ステップＳ１３７にて、ループ処理が終了し、異常値判定処理が終了する。
【００５２】
図５に示す異常値判定処理によって、プロセッサ１０１は、１番目の特徴量からＮ１番目の特徴量までの次元数Ｎ１の特徴量それぞれに対して乖離度を計算し、乖離度に基づき異常値か否かを判定し、判定結果を記録する。
【００５３】
なお、特徴量の乖離度を次元毎に計算する例について説明したが、本開示はこれに限定されない。特徴量の乖離度は、次元毎ではなく、複数の次元毎、または、パーツ毎に計算されてもよい。
【００５４】
［２−１−３．顔登録処理結果］
前述した、顔登録処理により、プロセッサ１０１は、Ｎ２枚の登録顔画像それぞれにおいて、次元数Ｎ１の特徴量を計算し、次元数Ｎ１の特徴量それぞれにおいて、異常値であるか否かの判定を実行する。この顔登録処理によって得られるデータベースの一例について、図６を参照して説明する。図６は、登録顔画像のデータベースの一例を示す図である。
【００５５】
図６の例は、顔登録処理の結果が表形式で示される。具体的には、Ｎ２枚の登録顔画像それぞれに割り振られたＩＤ（登録顔ＩＤ）と、次元数Ｎ１の特徴量（特徴量１から特徴量Ｎ１）の値が示されている。また、特徴量１から特徴量Ｎ１までの各特徴量に対して、異常値判定処理にて得られた異常判定の結果と、その特徴量に対応する顔パーツが示されている。特徴量が正常値である場合（異常値では無い場合）、異常判定の結果として０が記録され、特徴量が異常値である場合、異常判定の結果として１が記録されている。
【００５６】
なお、図６では、登録顔ＩＤとして、１〜Ｎ２までの番号が割り振られる例を示したが、登録顔ＩＤには、例えば、撮影したカメラの識別番号、撮影した日時、画像のフレーム番号等が含まれていても良い。
【００５７】
また、図６では、異常判定の結果として、０または１が記録される例を示したが、異常判定処理の中で計算された各特徴量の乖離度が記録されてもよい。
【００５８】
［２−２．検索顔特徴量計算処理］
次に、図２のステップＳ２に示した検索顔特徴量計算処理について図７を参照して説明する。図７は、検索顔特徴量計算処理の一例を示すフローチャートである。
【００５９】
ステップＳ２１にて、プロセッサ１０１は、検索顔画像を取得する。次に、ステップＳ２２にて、プロセッサ１０１は、取得した検索顔画像の特徴量を計算する処理を実行する。ステップＳ２２における特徴量計算処理は、図４を参照して説明した特徴量計算処理と同様であるので、説明は省略する。
【００６０】
図７に示した検索顔特徴量計算処理によって、プロセッサ１０１は、検索顔画像の顔領域における、顔パーツの位置と複数の特徴量の値とを算出する。
【００６１】
［２−３．顔検索処理］
次に、図２のステップＳ４に示した顔検索処理について説明する。前述の通り、顔検索処理は、領域パターンＰｉ毎に実行される。まずは、領域パターンについて、図８、図９を参照して説明する。
【００６２】
図８は、領域パターンの一例を示す図である。前述の通り、領域パターンは、予め用意されたパターンであり、照合の対象となる領域（照合対象領域）を表す。照合の対象となる領域は、顔全体の領域、または、顔全体から一部の領域を除いた領域である。図８に示すように、領域パターンＰ０は、顔全体が照合対象領域である。そして、領域パターンＰ０以外の領域パターンは、それぞれ、顔全体から、それぞれ異なる領域を除いた領域である。
【００６３】
例えば、領域パターンＰ１は、顔全体の領域を上下に２分割した下部分の領域であり、領域パターンＰ２は、顔全体の領域を上下に２分割した上部分の領域である。また、領域パターンＰ３は、顔全体の領域を左右に２分割した右部分の領域であり、領域パターンＰ４は、顔全体の領域を左右に２分割した左部分の領域である。
【００６４】
図９は、領域パターンと顔パーツとの対応関係の一例を示す図である。図９に示すように、領域パターンＰ０以外の領域パターンは、顔全体から、それぞれ異なる領域を除いた領域である。例えば、領域パターンＰ１は、顔全体から、右目および左目の顔パーツの領域を除いた領域である。また、領域パターンＰ２は、領域パターンＰ１と異なり、右目および左目の顔パーツの領域を含む一方で、右口端および左口端の領域を除いた領域である。
【００６５】
図９に示す対応関係は、領域パターンＰｉにおける顔検索処理を実行する際に用いられる。なお、顔パーツと特徴量の次元とは対応関係があるため、図９に示す領域パターンと顔パーツとの対応関係の代わりに、領域パターンと特徴量の次元との対応関係であってもよい。
【００６６】
次に、顔検索処理について図１０を参照して説明する。図１０は、顔検索処理の一例を示すフローチャートである。
【００６７】
ステップＳ４１にて、プロセッサ１０１は、検索顔画像の特徴量を取得する。
【００６８】
次に、ステップＳ４２にて、プロセッサ１０１は、登録顔画像毎の反復処理を開始する。詳細には、インデックスｋの初期値を１に設定し、ｋに１ずつ加算しながら、ｋ≦Ｎ２という条件が成立している間、つまり、ｋがＮ２より大きくなるまで、ｋ番目の登録顔画像について、以下に説明するステップＳ４３からＳ４５までの処理を繰り返し実行する。そして、ｋがＮ２より大きくなった場合に、ステップＳ４６にて、反復処理のループが終了する。
【００６９】
具体的に、ステップＳ４３にて、プロセッサ１０１は、ｋ番目の登録顔画像の特徴量において、領域パターンＰｉを除く領域で異常値が存在するか否かを判定する。この判定は、図６に示した登録顔画像のデータベースと、図９に示した領域パターンと顔パーツとの対応関係とを参照して実行される。
【００７０】
領域パターンＰ１、ｋ＝２を例にとって、ステップＳ４３の処理を説明する。領域パターンＰ１は、図９に示したように、右目および左目の領域が照合の対象となる領域から除かれている。そして、図６に示した２番目の登録顔画像（登録顔ＩＤが２である登録顔画像）では、右目の領域の特徴量が異常値であることが示されている。つまり、この例では、プロセッサ１０１は、２番目の登録顔画像の特徴量において、領域パターンＰ１を除く領域で異常値が存在する、と判定する。
【００７１】
領域パターンＰｉを除く領域に異常値が存在する場合（Ｓ４３にてＹＥＳ）、ステップＳ４４にて、プロセッサ１０１は、ｋ番目の登録顔画像と検索顔画像との間の、領域パターンＰｉにおける類似度を計算する。そして、ステップＳ４６の処理へ移行する。
【００７２】
領域パターンＰｉを除く領域で異常値が存在しない場合（Ｓ４３にてＮＯ）、ステップＳ４５にて、プロセッサ１０１は、領域パターンＰｉが顔領域全体を表すパターンか否かを判定する。領域パターンＰｉは、予め用意されているものであるため、領域パターンＰｉが顔領域全体を示すパターンか否かは既知である。例えば、本実施の形態では、図８、図９に示したように、領域パターンＰ０が顔領域全体を示すパターンである。
【００７３】
領域パターンＰｉが顔領域全体を表すパターンである場合（Ｓ４５にてＹＥＳ）、ステップＳ４４にて、プロセッサ１０１は、ｋ番目の登録顔画像と検索顔画像との間の、領域パターンＰｉにおける類似度を計算する。
【００７４】
具体的には、プロセッサ１０１は、ｋ番目の登録顔画像と検索顔画像のそれぞれにおいて、領域パターンＰｉが示す照合対象領域に含まれる特徴量を用いて正規化相関により類似度を算出する。
【００７５】
一例として、領域パターンＰ０、つまり、顔領域全体を表すパターンの場合における、正規化相関の計算例を式（２）に示す。
【００７６】
【数２】
2018030129.tif 000004
【００７７】
なお、式（２）において、ｆｒ，ｋ（ｉ）は、ｋ番目の登録顔画像におけるｉ番目の特徴量であり、ｆｓ（ｉ）は、検索顔画像におけるｉ番目の特徴量である。
【００７８】
式（２）に示す正規化相関の計算例では、領域パターンが顔領域全体を表すパターンであるため、次元数Ｎ１の特徴量全ての総和が計算される。領域パターンが顔領域全体を表すパターンでは無い場合、正規化相関では、領域パターンが示す照合対象領域に含まれる特徴量の総和が計算される。
【００７９】
なお、類似度の計算は、正規化相関に限らず、２つの特徴量同士の距離など、他の公知の手法であっても良い。
【００８０】
領域パターンＰｉが顔領域全体を表すパターンでは無い場合（Ｓ４５にてＮＯ）、ステップＳ４６の処理へ移行する。
【００８１】
ステップＳ４２からＳ４６までの反復処理によって、領域パターンＰｉを除く領域で異常値が存在する登録顔画像の場合、または、領域パターンＰｉが顔領域全体を表す場合に、登録顔画像と検索顔画像との間の領域パターンＰｉにおける類似度を計算する。
【００８２】
そして、ステップＳ４７にて、プロセッサ１０１は、計算した類似度が高い順に、登録顔画像をソートし、領域パターンＰｉにおける顔検索処理が終了する。
【００８３】
図１０に示した顔検索処理により、プロセッサ１０１は、登録顔画像と検索顔画像との間の領域パターンＰｉにおける類似度を計算し、計算した類似度が高い順に登録顔画像をソートした顔検索結果を取得する。
【００８４】
この際、プロセッサ１０１は、ステップＳ４３にて、領域パターンＰｉを除く領域で異常値が存在するかを判定し、領域パターンＰｉを除く領域で異常値が存在しない登録顔画像については、検索顔画像との類似度を計算しない。これにより、プロセッサ１０１は、類似度を計算する対象となる登録顔画像を減らすことができるため、処理負荷を低減できる。
【００８５】
［２−４．表示例］
図２のステップＳ５に示したように、領域パターンＰｉにおける顔検索処理によって得られる領域パターンＰｉ毎の顔検索結果、つまり、類似度が高い順にソートされた登録顔画像は、領域パターンＰｉ毎に表示される。顔検索結果の表示例について、図１１を参照して説明する。
【００８６】
図１１は、顔検索結果の表示例の一例を示す図である。図１１の表示例では、左側に検索顔画像が表示され、右側に領域パターンＰｉ毎の顔検索結果が表示される。顔検索結果は、前述の通り、領域パターンＰｉ毎に類似度が高い順にソートされた登録顔画像である。図１１の表示例では、左側から順に、類似度が高い登録顔画像が横一列に表示されている。
【００８７】
また、図１１の表示例では、領域パターンＰ０の顔検索結果が一番上に表示される。また、領域パターンＰ０の顔検索結果の下に、順に、領域パターンＰ１の顔検索結果、領域パターンＰ２の顔検索結果が順に表示される。
【００８８】
領域パターンＰ０は、顔全体が照合対象領域であるため、領域パターンＰ０の顔検索結果は、顔全体を照合対象領域として照合した全体照合の結果である。一方で、領域パターンＰ１〜領域パターンＰ２は、顔全体から一部の領域を除いた領域が照合対象領域であるため、領域パターンＰ１の顔検索結果、領域パターンＰ２の顔検索結果は、顔全体から一部の領域を除いた領域を照合対象領域として照合した部分照合の結果である。
【００８９】
また、図１１では、領域パターンＰｉに対応する照合対象領域と、各登録顔画像において異常値を含む領域を示す異常値領域とが、異なる表示態様（例えば、異なる色）によって、各登録顔画像を透過させるように重畳して表示されている。プロセッサ１０１は、例えば、図６に示した登録顔画像のデータベースを参照して、各登録顔画像の異常値を含む領域を異常値領域として設定する。このような表示により、各登録画像において、照合の対象となった範囲と、異常値を含む範囲とが合せて表示できる。
【００９０】
なお、図１１では、照合対象領域と異常値領域とが、登録顔画像に重畳して表示される例を示したが、プロセッサ１０１は、照合対象領域と異常値領域とを登録顔画像に重畳して表示させなくてもよい。
【００９１】
なお、プロセッサ１０１は、図１１に示すような表示例を表示させる際に、領域パターンＰｍ（ｍは、０以上Ｐ−１以下の整数）における顔検索処理の結果として表示する登録顔画像と同じ登録顔画像を、領域パターンＰｎ（ｎは、ｍとは異なる０以上Ｐ−１以下の整数）における顔検索処理の結果として表示しないように表示制御してもよい。つまり、プロセッサ１０１は、１つの登録顔画像を多くとも１回表示させ、２回以上表示させないように表示制御してもよい。また、プロセッサ１０１は、例えば、１度表示させた登録顔画像に関するデータベースに、表示済であることを示す付加情報を追加し、付加情報を参照してこの表示制御を行っても良い。
【００９２】
また、図１１では省略されているが、プロセッサ１０１は、他の領域パターンの顔検索結果を更に表示させてもよい。また、プロセッサ１０１は、領域パターンＰ１〜領域パターンＰＰ−１のうち、少なくとも１つの領域パターンの顔検索結果を表示させてもよい。
【００９３】
［３．効果等］
従来、登録された顔画像と、検索対象である顔画像との間で行われる顔検索において、それぞれの顔画像から得られる顔全体の特徴量同士の類似度等の照合スコアの高さを基準に照合が行われる。しかしながら、サングラスおよび／またはマスク等の顔を遮蔽する物体（遮蔽物）の影響、あるいは、極端な照明環境による白飛びや黒つぶれ等の影響により、特徴量に異常値が発生する場合がある。このような場合、顔画像の一部の領域の情報が損なわれてしまうことにより照合スコアが適切に算出されないため、顔検索の精度が劣化してしまう可能性がある。
【００９４】
本実施の形態における照合装置１００は、顔画像における一部の領域を除外した領域を照合対象として照合する部分照合を実行し、部分照合の結果を表示させる。これにより、登録顔画像と検索顔画像との照合において、例えば、異常値を示す特徴量を照合から除外できるため、顔検索の精度の劣化を抑制し、信頼度の高い検索結果を表示することができる。
【００９５】
なお、本実施の形態では、領域パターンＰ０〜領域パターンＰＰ−１それぞれの顔検索処理を行う例について説明したが、本開示はこれに限定されない。プロセッサ１０１は、領域パターンＰ０〜領域パターンＰＰ−１の中で、少なくとも１つの領域パターンを選択し、選択した領域パターンの顔検索処理を実行してもよい。例えば、プロセッサ１０１は、入力部１０３を介して取得するユーザからの指示に基づいて、少なくとも１つの領域パターンを選択してもよい。
【００９６】
あるいは、プロセッサ１０１は、登録顔画像それぞれにおける異常値を含まない領域を判定し、判定した領域が、登録顔画像の中で最も多い領域に対応する領域パターンを選択してもよい。例えば、プロセッサ１０１は、右目と左目に対応する領域に異常値が存在する登録顔画像が最も多いと判定した場合、右目と左目に対応する領域を含まない領域、つまり、図９に示した領域パターンＰ１を選択する。
【００９７】
また、本実施の形態では、照合装置１００のプロセッサ１０１が顔登録処理を実行する例について説明したが、本開示はこれに限定されない。顔登録処理は、照合装置１００とは異なる装置等で実行されてもよい。この場合、照合装置１００のプロセッサ１０１は、例えば図６に示したような顔登録処理の結果を入力部１０３を介して取得し、取得した顔登録処理の結果に基づいて、顔検索処理を実行してもよい。
【００９８】
また、本実施の形態では、照合装置１００のプロセッサ１０１が検索顔特徴量計算処理を実行する例について説明したが、本開示はこれに限定されない。検索顔特徴量計算処理は、照合装置１００とは異なる装置等で実行されてもよい。この場合、照合装置１００のプロセッサ１０１は、検索顔特徴量計算処理によって得られる検索顔画像の特徴量を入力部１０３を介して取得し、検索顔の特徴量に基づいて、顔検索処理を実行してもよい。
【００９９】
また、本実施の形態では、登録顔画像の特徴量が異常値を含むか否かを判定していたが、本開示はこれに限定されない。例えば、検索顔画像の特徴量が異常値を含むか否かを判定しても良い。この場合、検索顔画像が異常値を含むか否かの判定は、登録顔画像の場合と同様、任意のデータセットとの比較によって行う。また、検索顔画像の特徴量が異常値を含むと判定された場合は、異常値が含まれる領域を除外して登録顔画像との照合を行うとしてもよいし、検索顔画像の再入力を促しても良い。検索顔画像の再入力を促す場合は、異常値の含まれる領域を提示することにより、異常値の発生原因が除かれた検索顔画像を用いるよう、照合装置１００のユーザに促しても良い。
【０１００】
なお、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【０１０１】
本開示は、登録顔画像と検索顔画像とを照合する照合装置及び照合結果表示方法に好適である。
【符号の説明】
【０１０２】
１００  照合装置
１０１  プロセッサ
１０２  記憶部
１０３  入力部
１０４  表示部
１０５  撮影部
１０６  バス
【図１】
2018030129.tif 000005
【図２】
2018030129.tif 000006
【図３】
2018030129.tif 000007
【図４】
2018030129.tif 000008
【図５】
2018030129.tif 000009
【図６】
2018030129.tif 000010
【図７】
2018030129.tif 000011
【図８】
2018030129.tif 000012
【図９】
2018030129.tif 000013
【図１０】
2018030129.tif 000014
【図１１】
2018030129.tif 000015
【手続補正書】
【提出日】平成29年12月14日(2017.12.14)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
少なくとも１つのプロセッサと、複数の登録顔画像を記憶する記憶部とを有し、
前記プロセッサは、
前記登録顔画像における一部の領域を除外した第１の対象領域の特徴量と、検索対象である検索顔画像における一部の領域を除外した第２の対象領域の特徴量とを照合する部分照合を実行し、
前記部分照合の結果を表示させる、
照合装置。
【請求項２】
前記プロセッサは、前記検索顔画像における領域全体の特徴量と、前記登録顔画像における領域全体の特徴量とを照合する全体照合を実行し、
前記部分照合の結果と区別して前記全体照合の結果を表示させる、
請求項１に記載の照合装置。
【請求項３】
前記プロセッサは、前記複数の登録顔画像のうち、前記全体照合の結果として表示させた前記登録顔画像以外の前記登録顔画像を、前記部分照合の結果として表示させる、請求項２に記載の照合装置。
【請求項４】
前記第１の対象領域と前記第２の対象領域とは、同一の顔のパーツを含む、
請求項１に記載の照合装置。
【請求項５】
前記プロセッサは、
データセットとの比較に基づいて、前記登録顔画像に特徴量が異常値である領域が含まれるか否かを判定し、
前記登録顔画像における前記異常値を含む領域を前記部分照合の対象から除外する、
請求項１に記載の照合装置。
【請求項６】
前記プロセッサは、
前記登録顔画像の中で前記異常値を含まない領域を判定し、
前記異常値を含まないと判定された領域を最も多く含む領域を前記第１の対象領域として選択する、
請求項５に記載の照合装置。
【請求項７】
前記照合装置は、
前記部分照合の対象領域の候補である領域パターンを予め複数保持しており、
前記複数の領域パターンは、それぞれ、前記顔全体から、異なる領域を除いた領域であり、
前記プロセッサは、
前記複数の領域パターンのうち、前記異常値を含む領域が除かれた領域パターンを前記第１の対象領域として選択することにより、前記異常値を含む領域を前記部分照合の対象から除外する、
請求項５に記載の照合装置。
【請求項８】
前記プロセッサは、
前記異常値を含む領域が除かれた領域パターンが複数ある場合、前記異常値を含まない領域が最も多い領域パターンを前記第１の対象領域として選択する、
請求項７に記載の照合装置。
【請求項９】
前記プロセッサは、
前記複数の領域パターンのどれを用いても前記異常値を含む領域を前記部分照合の対象から除外できない場合、前記顔全体について照合を行い、
前記顔画像全体についての照合の結果を表示させる、
請求項７に記載の照合装置。
【請求項１０】
前記複数の領域パターンは、それぞれ、少なくとも１つの顔のパーツを含む、
請求項７に記載の照合装置。
【請求項１１】
前記複数の領域パターンそれぞれにおいて除かれる領域は、少なくとも１つの顔パーツを含む所定の大きさの領域である
請求項１０に記載の照合装置。
【請求項１２】
前記複数の領域パターンは、顔の領域を上下に２分割した上部分の領域、前記顔の領域を上下に２分割した下部分の領域、前記顔の領域を左右に２分割した左部分の領域、および、前記顔の領域を左右に２分割した右部分の領域のうち、少なくとも１つを含む、
請求項１１に記載の照合装置。
【請求項１３】
前記プロセッサは、前記登録顔画像から顔のパーツを検出し、前記異常値を含む領域を前記部分照合の対象から除外する前に、前記顔のパーツの検出結果に基づいて前記登録顔画像を正規化し、
前記領域パターンは、前記正規化後の登録顔画像に対応する領域である、
請求項７に記載の照合装置。
【請求項１４】
前記プロセッサは、前記部分照合に用いた領域パターンごとに区分して、前記部分照合の結果が示す類似度が高い順に前記登録顔画像を一列に表示させる、
請求項７に記載の照合装置。
【請求項１５】
前記プロセッサは、前記部分照合に用いた領域パターンを示す情報を、前記登録顔画像と共に表示させる、
請求項１４に記載の照合装置。
【請求項１６】
前記プロセッサは、前記部分照合の結果が示す類似度が高い順に前記登録顔画像を一列に表示させる、
請求項１に記載の照合装置。
【請求項１７】
前記プロセッサは、前記第１の対象領域を示す表示を、前記部分照合の結果と共に表示させる、請求項１に記載の照合装置。
【請求項１８】
前記プロセッサは、前記登録顔画像を多くとも１回表示させる、請求項１に記載の照合装置。
【請求項１９】
前記第１の対象領域は、顔の領域を上下に２分割した上部分の領域、前記顔の領域を上下に２分割した下部分の領域、前記顔の領域を左右に２分割した左部分の領域、および、前記顔の領域を左右に２分割した右部分の領域のうち、少なくとも１つの領域である、
請求項１に記載の照合装置。
【請求項２０】
登録顔画像における一部の領域を除外した第１の対象領域の特徴量と、検索対象である検索顔画像における一部の領域を除外した第２の対象領域の特徴量とを照合する部分照合を実行し、
前記部分照合の結果を表示させる、
照合結果表示方法。
【国際調査報告】
2018030129.tif 000016
2018030129.tif 000017
2018030129.tif 000018