(57)【要約】      （修正有）【課題】高速に算出でき、メモリ効率がよく、また優れた正確度を維持する画像記述子の算出手段を提供する。【解決手段】ガボールフィルタがブロックガボールフィルタとして近似される。ガボールフィルタは数字のマトリックスによって表され、各数字は連続ガボール関数から導出されたサンプルである。ブロックガボールフィルタはブロックのセットに分割される。ガボールフィルタに基づき任意の特定のブロック内の全てのピクセルに同一のフィルタ値が割り当てられる。次に、ブロックガボールフィルタのセットを用いて画像をフィルタリングし、フィルタリングされた画像のセットを得ることにより、画像から特徴を抽出する。フィルタリングされた画像はピクセルの領域に分割され、ピクセルごとにＮビットシグネチャが求められる。各領域内のピクセルのＮビットシグネチャのヒストグラムが結合され、特徴を形成する。複数の画像の特徴を顔認識に用いることができる。【選択図】図３
2013012190.tif 000002
【特許請求の範囲】
【請求項１】
ガボールフィルターをブロックガボールフィルターとして近似する方法であって、該ガボールフィルターは数字のマトリックスであり、該マトリックスにおいて、各数字は連続ガボール関数から導出されたサンプルであり、該連続ガボール関数は連続ガウス関数とシヌソイド関数との積であり、前記方法は、
前記ガボールフィルターを、ピクセル化された長方形のブロックのセットに分割するステップと、
前記ガボールフィルターに基づいて、任意の特定のブロックの前記ピクセルに同一のフィルター値を割り当て、前記ガボールフィルターを近似する前記ブロックガボールフィルターを生成するステップと
を含み、
前記ステップはプロセッサにおいて実行される、方法。
【請求項２】
各ブロックは、長さ軸及び幅軸を有する長方形を近似し、前記ブロックは、前記長さ軸が前記シヌソイド関数の定数値の線上に位置するように該シヌソイド関数と位置合わせされる、請求項１に記載の方法。
【請求項３】
前記長さ軸は、前記シヌソイド関数の正のピーク及び負のピークに対応する、請求項２に記載の方法。
【請求項４】
前記ブロックの前記フィルター値は、該ブロックが前記シヌソイド関数の前記正のピークに対応するときに正であり、該ブロックが前記シヌソイド関数の前記負のピークに対応するときに負である、請求項３に記載の方法。
【請求項５】
前記シヌソイド関数は正弦関数である、請求項１に記載の方法。
【請求項６】
前記シヌソイド関数は余弦関数である、請求項１に記載の方法。
【請求項７】
前記ブロックガボールフィルターは２Ｄである、請求項１に記載の方法。
【請求項８】
前記ブロックガボールフィルターは３Ｄであり、前記ブロックはピクセル化された直方体である、請求項１に記載の方法。
【請求項９】
前記ピクセル化された長方形は基本グリッドの軸から４５度回転されている、請求項１に記載の方法。
【請求項１０】
各ブロックは前記セット内の他のブロックから独立している、請求項１に記載の方法。
【請求項１１】
前記方法は、ピクセルを含む画像の記述子を求めるステップを更に含み、
該求めるステップは、
前記画像を前記ブロックガボールフィルターのセットを用いてフィルタリングして、対応するフィルタリングされた画像のセットを得ることと、
各フィルタリングされた画像内の各ピクセルの付近の局所近傍からＮビットシグネチャを求めることと、
各フィルタリングされた画像を領域のセットに分割することと、
各領域ごとに前記Ｎビットシグネチャのヒストグラムを構築することと、
前記ヒストグラムを結合して、前記画像の前記記述子を形成すること、
を含む、請求項１に記載の方法。
【請求項１２】
前記ＮビットシグネチャはＮビットの勾配極性シグネチャであり、該Ｎビットの勾配極性シグネチャの各ビットは、Ｎ個の方向のうちの１つについて、前記ピクセルの前記局所近傍における方向性局所勾配の極性を示す、請求項１１に記載の方法。
【請求項１３】
前記方法は、前記画像から積分画像を生成するステップを更に含み、
前記フィルタリングは、該積分画像を用いて実行される、
請求項１１に記載の方法。
【請求項１４】
前記方法は、前記画像から４５度の積分画像を生成するステップを更に含み、
前記フィルタリングは、該４５度の積分画像を用いて実行される、
請求項１１に記載の方法。
【請求項１５】
各フィルタリングされた画像は、一対の前記ブロックガボールフィルターを、前記画像を用いて畳み込みすることによって求められる、請求項１１に記載の方法。
【請求項１６】
前記一対のブロックガボールフィルターは、２つの９０度位相がずれたガボールフィルターを近似する、請求項１５に記載の方法。
【請求項１７】
各ピクセルにおける前記一対のブロックガボールフィルターの出力はｖ１及びｖ２であり、前記方法は、
【数１】
2013012190.tif 000010
に従って前記出力を結合して、前記フィルタリングされた画像の前記ピクセルの大きさを求めるステップ
を更に含む、請求項１５に記載の方法。
【請求項１８】
前記ブロックガボールフィルターの異なる対は、スケール及び向きが異なる、請求項１５に記載の方法。
【請求項１９】
前記記述子は、下記数式により、ヒストグラムの交点を用いることによって、別の画像の前記記述子と比較され、
【数２】
2013012190.tif 000011
ここで、ベクトルｆ及びｇは前記２つの画像の前記記述子であり、ｆｉは該ベクトルｆのｉ番目の要素を表し、ｇｉは前記ベクトルｇのｉ番目の要素を表し、Ｂは各ベクトルｆ及びｇ内の要素数であり、Ｓ（ｆ，ｇ）は前記ベクトルｆと前記ベクトルｇとの間の類似度スコアであり、関数ｍｉｎは最小値を返す、請求項１１に記載の方法。
【請求項２０】
前記類似度スコアを用いて前記２つの画像の類似度を求める、請求項１９に記載の方法。
【請求項２１】
前記方法は、前記画像を正規化及びクロッピングするステップを更に含む、請求項１１に記載の方法。
【請求項２２】
前記画像は顔の画像である、請求項１１に記載の方法。
【請求項２３】
前記記述子は顔認識に用いられる、請求項１１に記載の方法。
【請求項２４】
前記結合は、前記ヒストグラムを連結し、前記記述子はベクトルである、請求項１１に記載の方法。
【請求項２５】
プロセッサ上で実行されているアプリケーションプログラムによるアクセスのためのデータ構造を格納するメモリであって、
該データ構造はガボールフィルターをブロックガボールフィルターとして近似し、
前記メモリは、
前記メモリ内に格納され、前記ガボールフィルターを表す数字のマトリックスであって、各数字は連続ガボール関数から導出されたサンプルであり、該連続ガボール関数は連続ガウス関数とシヌソイド関数との積である、数字のマトリックスと、
前記メモリ内に格納されたブロックのセットであって、該ブロックは前記ガボールフィルターから分割された、ピクセル化された長方形であり、前記ガボールフィルターに基づいて、任意の特定のブロックの前記ピクセルに同一のフィルター値が割り当てられる、ブロックのセットと
を含む、メモリ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は包括的にはデジタルフィルターに関し、より詳細には、物体認識、顔認識、及び物体追跡のために、画像内の顔等の物体の記述子を求めることに関する。
【背景技術】
【０００２】
物体認識及び顔認識は、多くのコンピュータービジョン用途において用いられている。顔は人物を認識するための最も好都合な生体情報（biometric）である。したがって、顔認識は、様々なセキュリティ用途、並びに画像検索用途及びビデオ検索用途において用いられている。
【０００３】
未知の顔の画像を取得し、画像を固定のサイズに正規化及びクロッピングし、顔を一意に特徴付ける役割を果たす記述子を求め、次に該記述子をデータベース（ギャラリー）内の既知の顔の記述子と比較して類似度スコアを得る、基本的な手法が登場した。類似度スコアが特定の既知の顔について所定の閾値を上回る場合、顔はその同じ人物と関連付けられるものとして分類される。
【０００４】
多くの物体認識システムが、画像に適用されたガボールフィルターを用いて顕著な特徴を抽出する。２Ｄガボールフィルターは、入力平面内の離散ロケーションのグリッド上で２Ｄガボール関数をサンプリングすることによって得られる数字の２Ｄマトリックスである。空間領域において、２Ｄガボール関数はガウス関数とシヌソイド関数との積である。実数領域及び虚数領域における一対の従来の２Ｄガボール関数の例がそれぞれ図１Ａ及び図１Ｂに示されている。関数値（図１Ａ及び図１Ｂにおいて高さで表される）が絶えず変動することに留意されたい。
【０００５】
図１Ｃ及び図１Ｄは、水平平面内で４５度回転されたガボール関数を示している。
【０００６】
従来技術において、ガボールフィルターは、エッジを検出し、向きを求めるために画像に通常適用される線形フィルターである。ガボールフィルターは、人間の視覚系におけるいくつかのニューロンの受容野に似ている。したがって、ガボールフィルターはテクスチャの表現及び識別に特に適している。
【０００７】
例えば、１つの従来技術の方法は、局所ガボール二値パターンヒストグラムシーケンス（ＬＧＢＰＨＳ）を求める。この方法は従来のガボールフィルターを用いる。しかしながら、従来のガボールフィルターを用いるＬＧＢＰＨＳ方法は求めるのが低速であり、大量のメモリを必要とする。さらに、ＬＧＢＰＨＳ法は局所二値パターン（ＬＢＰ）を用いて該ＬＧＢＰＨＳ法のヒストグラムをポピュレート（populate）する。ＬＧＢＰＨＳ記述子は、４０個のガボールフィルター対、３２ビンヒストグラム、及び８×１６＝１２８個のヒストグラム領域を用いる。このため、この方法は、記述子を格納するのに４０×３２×１２８＝１６３８４０バイトを必要とする。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
求めるのが高速で、メモリ効率がよく、また優れた正確度を維持する記述子が必要とされている。
【課題を解決するための手段】
【０００９】
画像の記述子が、該画像をブロックガボールフィルターのセットを用いてフィルタリングし、対応するフィルタリングされた画像のセットを得ることによって求められる。ブロックガボールフィルターは、従来のガボールフィルターを近似する。２Ｄガボールフィルターの入力空間において、フィルターの値が正である領域及びフィルターの値が負である領域は、ピクセルの長方形領域によって良好に近似される。ブロックガボールフィルターは、これらの領域を長方形を用いて近似し、各長方形内でブロックガボールフィルターの値は一定である。
【００１０】
ブロックガボールフィルターのセットを用いて入力画像をフィルタリングして、フィルタリングされた画像のセットを得た後、各フィルタリングされた画像はピクセルの領域に分割される。ピクセルごとに、フィルタリングされた画像内のピクセルの局所近傍に基づいてＮビットシグネチャが求められる。次に、領域ごとに、該領域内のピクセルのＮビットシグネチャのヒストグラムが構築され、記述子が形成される。好ましい実施の形態では、各ピクセルのＮビットシグネチャは勾配極性シグネチャ（gradient polarity signature）であり、Ｎビット勾配極性シグネチャの各ビットは、ピクセルの局所近傍内のフィルタリングされた画像の勾配値に基づく二進値である。
【００１１】
１つの実施の形態では、元の画像から積分画像が生成され、ブロックガボールフィルタリングされた画像を効率的に求めることが可能になる。いくつかの実施の形態では、ブロックガボールフィルターは０度、４５度、９０度、及び１３５度に向けられる。
【発明の効果】
【００１２】
本発明によるブロックガボールフィルター記述子は、従来技術の顔認識方法とほぼ同じ正確度を、約２桁少ない（約１００分の１の）時間で、メモリ要件を２０分の１に低減して達成する。
【図面の簡単な説明】
【００１３】
【図１Ａ】一対の従来のガボール関数のうちの、実数領域における従来のガボール関数の概略図である。
【図１Ｂ】一対の従来のガボール関数のうちの、虚数領域における従来のガボール関数の概略図である。
【図１Ｃ】ｘ軸及びｙ軸に対し４５度に向けられた一対の従来のガボール関数の概略図である。
【図１Ｄ】ｘ軸及びｙ軸に対し４５度に向けられた一対の従来のガボール関数の概略図である。
【図２Ａ】本発明の実施形態による一対のブロックガボールフィルターのうちの、実数領域におけるブロックガボールフィルターの概略図である。
【図２Ｂ】本発明の実施形態による一対のブロックガボールフィルターのうちの、虚数領域におけるブロックガボールフィルターの概略図である。
【図２Ｃ】本発明の実施形態による、ｘ軸及びｙ軸に対し４５度に向けられた一対のブロックガボールフィルターのうちの、実数領域におけるブロックガボールフィルターの概略図である。
【図２Ｄ】本発明の実施形態による、ｘ軸及びｙ軸に対し４５度に向けられた一対のブロックガボールフィルターのうちの、虚数領域におけるブロックガボールフィルターの概略図である。
【図３】本発明の実施形態による、画像の記述子を求める方法のフローチャートである。
【図４】本発明の実施形態による、積分画像、及び積分画像を用いて長方形領域内のピクセルの和を求めることの概略図である。
【図５】本発明の実施形態によるＮビット勾配極性シグネチャを求めるためのピクセルの局所領域の概略図である。
【図６】本発明の実施形態によるフィルタリングされた画像の分割の概略図である。
【図７】本発明の実施形態による、４５度の積分画像、及び４５度の積分画像を用いて、４５度回転されピクセル化された長方形領域内のピクセルの和を求めることの概略図である。
【図８Ａ】本発明の実施形態による、基本グリッド（underlying grid）に対し４５度の角度にあるピクセル化された長方形の概略図である。
【図８Ｂ】本発明の実施形態による、基本グリッド（underlying grid）に対し４５度の角度にあるピクセル化された長方形の概略図である。
【発明を実施するための形態】
【００１４】
本発明の実施形態は、当該技術分野において既知の最良の方法に等しい正確度が得られる画像の記述子を約１００分の１の時間量で求めることを可能にする、本発明者らによる実現化に基づいている。記述子は、ブロックガボールフィルターを用いて求められる。
【００１５】
ブロックガボールフィルターは従来のガボールフィルターを近似したものである。ガボールフィルターはブロックのセットに分割される。ここでブロックはピクセル化された長方形である。ガボールフィルターに基づいて、任意の特定のブロックのピクセルに同一のフィルター値が割り当てられ、ガボールフィルターを近似するブロックガボールフィルターが生成される。
【００１６】
ピクセル化された長方形は、基本グリッド（underlying grid）からのピクセルを用いた長方形に対する近似である。基本グリッドが長方形の軸と位置合わせされている場合、近似は正確であり、ピクセル化された長方形は単にピクセルの長方形ブロックである。基本グリッドが長方形の軸と位置合わせされていない場合、ピクセル化された長方形の４つの境界のそれぞれはピクセル化された線分である。図８Ａ及び図８Ｂはピクセル化された長方形の２つの例を示し、長方形の軸は基本グリッドの軸から４５度回転されている。
【００１７】
ブロックガボールフィルターは、入力画像のピクセルに適用される。本発明によるブロックガボールフィルターを入力画像の領域に適用した結果として得られる数値は、フィルターのフットプリントにわたって分布したピクセル化された長方形内のピクセルの和を用いて求められる。従来技術と対照的に、ブロックガボールフィルターは１つ又は複数のピクセル化された長方形ブロックを含む。ここで、ブロック内の全てのピクセルのフィルター値は同じ実数であり、この値はブロックごとに従来のガボールフィルターを近似するように選ばれる。
【００１８】
積分画像、又は「エリア総和テーブル」は、和が求められるピクセル数と無関係に、一定の時間内に長方形内のピクセルの和を求めることを可能にする。本発明者らは、参照より本明細書に援用される米国特許第７，５８３，８２３号、同第７，２１２，６５１号、同第７，０９９，５１０号、同第７，０２０，３３７号において積分画像を開示した。積分画像を用いることによって、本発明者らのブロックガボールフィルターが非常に効率的になる。
【００１９】
画像が、ブロックガボールフィルターを用いて、該画像の各ピクセル上にブロックガボールフィルターをセンタリングし、フィルターの各ピクセル化された長方形領域内のピクセルの加重和を求めることによってフィルタリングされる。結果として得られるスカラー値が、その中心ピクセルにおけるブロックガボールフィルターの出力である。好ましい実施形態では、各ピクセル化された長方形領域内のピクセルの和が、入力画像の積分画像表現を用いて効率的に求められる。このフィルタリングプロセスは、従来のガボールフィルターを用いた画像の畳み込みに類似している。
【００２０】
１つの実施形態では、同じスケール及び向きを有し、９０度位相がずれている従来の一対のガボールフィルターを近似する一対の２つの別個のブロックガボールフィルターを用いて画像をフィルタリングすることによって、各フィルター値が求められる。９０度位相がずれたフィルターは、複素ガボール関数の実数成分及び虚数成分から得られる。最終的なフィルタリングされた画像の各ピクセルにおける単一の値は、該ピクセルにおける２つのフィルタリングされた画像の値の二乗の和の平方根をとることによってそれらの値を結合することにより得られる。
【００２１】
標準的な２Ｄ畳み込み等、ブロックガボールフィルターを求める異なる方法を用いることが可能であり、この方法を、グラフィック処理ユニット等の専用ハードウェアを用いて加速することができることに留意されたい。また、ブロックガボールフィルターのうちのいくつかは４５度の角度にあり、付加的な４５度の積分画像を用いて、４５度の角度にあるブロックガボールフィルターを効率的に適用する。換言すれば、１つの実施形態では２つの積分画像が実際に求められる。
【００２２】
図２Ａ及び図２Ｂは、それぞれ実数領域及び虚数領域における、本発明による一対のブロックガボールフィルターの一例を示している。これらの図において、水平軸は基本グリッドの軸を示し、垂直軸はフィルター値を示す。各ブロックは、長さ軸及び幅軸を有する長方形を近似するピクセル化された長方形であり、ブロックは、長さ軸がシヌソイド関数の定数値の線上に位置するようにシヌソイド関数と位置合わせされている。これらの例では、基本グリッドは長方形の軸と位置合わせされているので、近似は正確であり、ピクセル化された長方形は単にピクセルの長方形ブロックである。
【００２３】
図２Ｃ及び図２Ｄは、それぞれ実数領域及び虚数領域における、ｘ軸及びｙ軸に対し４５度に向けられた本発明による一対のブロックガボールフィルターの一例を示している。これらの図において、水平軸は基本グリッドの軸を示し、垂直軸はフィルター値を示す。各ブロックは、長さ軸及び幅軸を有する長方形を近似するピクセル化された長方形であり、ブロックは、長さ軸がシヌソイド関数の定数値の線上に位置するようにシヌソイド関数と位置合わせされている。これらの例では、基本グリッドは長方形の軸と位置合わせされていないので、ピクセル化された長方形の４つの境界のそれぞれはピクセル化された線分である。
【００２４】
図３は、特に画像が顔の画像であるときの、本発明の一実施形態による画像の記述子を求める方法を示している。記述子は、物体（顔）認識のために用いることができる。しかしながら、本発明によるブロックガボールフィルターは、記述子を求めることが必要な他のコンピュータービジョン用途に用いることができることが理解される。また、本発明は顔を認識することに限定されないことも理解される。本方法のステップは、当該技術分野において既知であるようにメモリ及び入出力インターフェースに接続されたプロセッサ３００において実行することができる。
【００２５】
任意選択の前処理ステップにおいて、顔及び特徴の自動検出器を用いて、顔の画像３０１を固定サイズにクロッピング及び正規化する（３１０）。
【００２６】
図４に示すように、正規化された入力画像Ｉから任意選択の積分画像も生成することができる（３１５）。積分画像
【数１】
2013012190.tif 000003
は、入力画像内の、（ｘ，ｙ）の左上の全てのピクセルの和として規定される。
【００２７】
【数２】
2013012190.tif 000004
【００２８】
次に、エリアＤ（図４に示す）内のピクセルの和等、画像Ｉの長方形エリア内のピクセルの任意の和を、一定時間内に以下のように求めることができる。画像ＩのエリアＡ、Ｂ、Ｃ、及びＤ内のピクセル値の和を、それぞれＡ、Ｂ、Ｃ、及びＤによって表す。
【００２９】
【数３】
2013012190.tif 000005
【００３０】
積分画像を用いて、０度又は９０度に向けられた本発明によるブロックガボールフィルターを用いて画像を効率的にフィルタリングすることができる。
【００３１】
加えて、４５度又は１３５度に向けられたブロックガボールフィルターを効率的に求めるために、４５度の積分画像を用いることができる。４５度の積分画像
【数４】
2013012190.tif 000006
は以下のように規定される。
【００３２】
【数５】
2013012190.tif 000007
【００３３】
図７は、ロケーション（ｘ，ｙ）におけるピクセルの左対角方向（diagonally to the left）のピクセルを総和すること、及び本発明によるフィルターが４５度又は１３５度に向けられているときにエリアＤ内のピクセルの和を求めることを示している。
【００３４】
図８Ｂは、ピクセル化された長方形を示しており、該ピクセル化された長方形は、基本グリッドからのピクセルを用いた、長方形に対する近似である。基本グリッドが長方形の軸と位置合わせされている場合、近似は正確であり、ピクセル化された長方形は単にピクセルの長方形ブロックである。
【００３５】
一方、基本グリッドが長方形の軸と位置合わせされていない場合、ピクセル化された長方形の４つの境界８００のそれぞれはピクセル化された線分である。
【００３６】
図８Ａ及び図８Ｂは、ピクセル化された長方形の２つの例を示しており、該長方形の軸は基本グリッド８０１の軸から４５度回転されている。
【００３７】
ブロックガボールフィルターが３Ｄである場合、ブロックはピクセル化された長方形ではなくピクセル化された直方体である。
【００３８】
画像のＭ個のフィルタリングされたバージョンのセットが生成される（３２０）。各フィルタリングされた画像は、２つの９０度位相がずれた（従来の離散）ガボールフィルターを近似する２つのブロックガボールフィルターを、画像内の各ピクセルを用いて畳み込みすることによって求められる。任意選択で、フィルタリングされた画像の各ピクセルにおける値は、適切な積分画像を用いて効率的に求めることができる。
【００３９】
各ピクセルにおける２つのフィルター値ｖ１及びｖ２は、ピクセルごとに大きさ
【数６】
2013012190.tif 000008
を求めることによって結合される。ブロックガボールフィルターの異なる対はスケール及び向きが異なり、対の２つのフィルターは位相が異なり、すなわち、これらのフィルターは９０度位相がずれたガボールフィルターを近似する。
【００４０】
フィルタリングされた画像ごとに、各ピクセルにおいてＮビットシグネチャが求められる（３３０）。好ましい実施形態では、これはＮビット勾配極性シグネチャである。各勾配極性シグネチャは、Ｎ個の方向のそれぞれについて各ピクセルにおける方向性局所勾配（directional local gradient）の極性を示す。
【００４１】
図５に示すように、フィルタリングされた画像のピクセルごとに、該ピクセルを取り囲むピクセルの小さな近傍を用いて、該ピクセルにおけるＮ個の方向性勾配の極性（符号）を推定する。この例において、ピクセルの３×３の近傍を用いて、Ｎ個の二進値ｂ１，ｂ２，．．．，ｂＮ（ここではＮ＝３）を以下のように求める。
【００４２】
ｐ１＋ｐ５＋ｐ９＞ｐ２＋ｐ３＋ｐ６のとき、ｂ１＝１、
それ以外のとき、ｂ１＝０                                （対角勾配）
ｐ２＋ｐ５＋ｐ８＞ｐ３＋ｐ６＋ｐ９のとき、ｂ２＝１、
それ以外のとき、ｂ２＝０                                （垂直勾配）
ｐ１＋ｐ２＋ｐ３＞ｐ４＋ｐ５＋ｐ６のとき、ｂ３＝１、
それ以外のとき、ｂ３＝０                                （水平勾配）
【００４３】
ピクセルｐ５の最終的なＮビットの勾配極性シグネチャは、Ｎ個のビットを結合したもの、すなわちｂ１ｂ２ｂ３である。結合は、特徴ベクトルを求めるための連結とすることができる。代替的に、結合の結果、単一の整数又は実数を得ることができる。
【００４４】
別の実施形態では、Ｎビットシグネチャは局所二値パターン（ＬＢＰ）である。局所ガボール二値パターンヒストグラムシーケンス（ＬＧＢＰＨＳ）が顔認識に適用されてきた。しかしながら、ＬＢＰは、本発明によるブロックガボールフィルターとともには用いられてこなかった。ＬＢＰの最も単純な形態では、画像は領域に分割され、領域内のピクセルごとに、ピクセルが該ピクセルの８つの近傍のそれぞれと比較される。近傍ピクセルは円に沿って、又は反時計回りに辿られる。中心ピクセルが該ピクセルの近傍よりも大きい場合、該近傍ピクセルに対応するビットが１を割り当てられ、そうでない場合、０を割り当てられる。これによって、局所二値パターンと呼ばれる８ビットの値が得られる。領域内の局所二値パターンのセットを用いてヒストグラムをポピュレートし、該ヒストグラムを正規化し、記述子として結合することができる。例えば、米国特許出願公開第２００７／０１１２６９９号「Image verification method, medium, and apparatus using a kernel based discriminant analysis with a local binary pattern (LBP)」を参照されたい。
【００４５】
図６に示すように、フィルタリングされた画像はＲ個の領域のセット、例えばサイズ８×４のピクセルの長方形領域に分割される（３４０）。本発明の実施形態によって、他のサイズ及び形状の領域も適応（accommodate）させることができること、並びにこれらの領域は、好ましい実施形態におけるように重なっていないこともできるし、重なっていることもできることが理解される。
【００４６】
本発明においては、各画像領域内のＮビットシグネチャのヒストグラムを求める（３５０）。各ヒストグラムは２Ｎ個のビンを有する。全てのヒストグラムのビンを結合して記述子３０２を生成する。好ましい実施形態では、この結合は、ビンを連結してベクトルにしたものである。Ｒ個の領域が存在し、各領域は２Ｎ個のビンを有するヒストグラムを有するので、各記述子の長さはＢ＝２ＮＲである。
【００４７】
次に、ヒストグラムの交点を用いて、２つの画像の２つの記述子を比較することができる。
【００４８】
【数７】
2013012190.tif 000009
【００４９】
ここで、ｆ及びｇは２つの画像の記述子であり、これらの記述子のｉ番目の要素はそれぞれｆｉ及びｇｉによって表され、Ｓ（ｆ，ｇ）はベクトルｆとベクトルｇとの間の類似度スコアであり、関数ｍｉｎによって返される値は、該関数の入力引数の最小値である。類似度スコアを用いて、２つの画像内の顔が類似しているか否かを求めることができる。本発明の実施形態によって、ヒストグラムを比較するための他の類似度関数も適応（accommodate）させることができることが理解される。
【００５０】
本発明による記述子は、限定ではないが、プロセス制御、イベント検出、監視、情報の組織化、物体又は環境のモデリング、物体追跡、物体認識、機械学習、インデックス付け、動き推定、画像復元、コンテンツベースの画像検索、及び姿勢推定等の他の用途にも用いることができる。
【００５１】
従来のガボールフィルターを用いた従来技術による方法ＬＧＢＰＨＳは、記述子を格納するのに１６３８４０バイトを必要とする。対照的に、本発明によるブロックガボールフィルター記述子は、好ましい実施形態では、８個のブロックガボールフィルター対、８ビンヒストグラム、及び１２８個のヒストグラム領域を用い、本発明による記述子を格納するのに合計８×８×１２８＝８１９２バイトとなる。
【００５２】
発明の効果
本発明によるブロックガボールフィルター記述子は、従来技術の顔認識方法とほぼ同じ正確度を、約２桁少ない（約１００分の１の）時間で、メモリ要件を２０分の１に低減して達成する。
【図１Ａ】
2013012190.tif 000012
【図１Ｂ】
2013012190.tif 000013
【図１Ｃ】
2013012190.tif 000014
【図１Ｄ】
2013012190.tif 000015
【図２Ａ】
2013012190.tif 000016
【図２Ｂ】
2013012190.tif 000017
【図２Ｃ】
2013012190.tif 000018
【図２Ｄ】
2013012190.tif 000019
【図３】
2013012190.tif 000020
【図４】
2013012190.tif 000021
【図５】
2013012190.tif 000022
【図６】
2013012190.tif 000023
【図７】
2013012190.tif 000024
【図８Ａ】
2013012190.tif 000025
【図８Ｂ】
2013012190.tif 000026
【外国語明細書】
2013012190.tif 000027
2013012190.tif 000028
2013012190.tif 000029
2013012190.tif 000030
2013012190.tif 000031
2013012190.tif 000032
2013012190.tif 000033
2013012190.tif 000034
2013012190.tif 000035
2013012190.tif 000036
2013012190.tif 000037
2013012190.tif 000038
2013012190.tif 000039
2013012190.tif 000040
2013012190.tif 000041
2013012190.tif 000042
2013012190.tif 000043
2013012190.tif 000044
2013012190.tif 000045
2013012190.tif 000046
2013012190.tif 000047
2013012190.tif 000048
2013012190.tif 000049
2013012190.tif 000050
2013012190.tif 000051
2013012190.tif 000052
2013012190.tif 000053
2013012190.tif 000054
2013012190.tif 000055
2013012190.tif 000056
2013012190.tif 000057
2013012190.tif 000058
2013012190.tif 000059
2013012190.tif 000060
2013012190.tif 000061
2013012190.tif 000062