(57)【要約】【課題】画像から多様な特徴量を高速に取得することのできる技術を提供する。【解決手段】入力された画像から注視点における特徴量を取得する特徴量取得装置であって、注視点の周囲にレティナ構造にしたがって配置されたサンプリング点のそれぞれから、第１の領域と第２の領域の画素値の差として表されるＨａａｒ特徴量を取得し、これら複数のＨａａｒ特徴量の組み合わせを注視点における特徴量として取得する。各サンプリング点におけるＨａａｒ特徴量の特徴領域のパターンを適宜設計することで多様な特徴量を取得することができる。【選択図】図５
2007293438.tif 000002
【特許請求の範囲】
【請求項１】
入力された画像から注視点における特徴量を取得する特徴量取得装置であって、
注視点を基準に離散的に配置された複数のサンプリング点のそれぞれから、各サンプリング点に対して定められた第１の領域と第２の領域の画素値の差を取得し、これら複数のサンプリング点における画素値の差を前記注視点における特徴量として取得する、
ことを特徴とする特徴量取得装置。
【請求項２】
前記サンプリング点に対して定められた前記第１の領域および前記第２の領域のパターンは、全て同じパターンであることを特徴とする請求項１に記載の特徴量取得装置。
【請求項３】
前記複数のサンプリング点のうちの少なくとも１つのサンプリング点に対して定められた前記第１の領域および前記第２の領域のパターンは、他のサンプリング点に対して定められた前記第１の領域および前記第２の領域のパターンとは異なることを特徴とする請求項１に記載の特徴量取得装置。
【請求項４】
前記第１の領域および前記第２の領域は矩形領域または複数の矩形領域の組み合わせであることを特徴とする請求項１から３のいずれかに記載の特徴量取得装置。
【請求項５】
入力された画像から注視点における特徴量を取得する特徴量取得方法であって、
情報処理装置が、
注視点を基準に離散的に配置された複数のサンプリング点のそれぞれから、各サンプリング点に対して定められた第１の領域と第２の領域の画素値の差を取得し、
これら複数のサンプリング点における画素値の差を、前記注視点における特徴量として取得する、
ことを特徴とする特徴量取得方法。
【請求項６】
入力された画像から注視点における特徴量を取得するための特徴量取得プログラムであって、
情報処理装置に、
注視点を基準に離散的に配置された複数のサンプリング点のそれぞれから、各サンプリング点に対して定められた第１の領域と第２の領域の画素値の差を取得させ、
これら複数のサンプリング点における画素値の差を、前記注視点における特徴量として取得させる、
ことを特徴とする特徴量取得プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像から特徴量を取得するための技術に関する。
【背景技術】
【０００２】
コンピュータを用いた画像処理においては、画像についての情報をコンピュータで利用可能なように特徴量として数値化して利用している。従来、このような特徴量として、Ｇａｂｏｒ−Ｗａｖｅｌｅｔ特徴量と呼ばれる特徴量が広く使用されている。Ｇａｂｏｒ−Ｗａｖｅｌｅｔ特徴量は、画像に対して、数１で示されるＧａｂｏｒフィルタの解像度（ｋ）と方向（θ）を変化させたものを畳み込んだものである。
【０００３】
【数１】
2007293438.tif 000003
【０００４】
Ｇａｂｏｒ−Ｗａｖｅｌｅｔ特徴量によれば、画像上のある点（注視点）の周辺における濃淡変化の周期性と方向性を特徴量として取得することができる。このＧａｂｏｒ−Ｗａｖｅｌｅｔ特徴量は、人間の視覚特性に類似した特徴を持つため、特に顔認証等の分野で、有効な特徴量であることが知られている（非特許文献１）。
【０００５】
また、Ｇａｂｏｒ−Ｗａｖｅｌｅｔ特徴量とレティナ（Ｒｅｔｉｎａ）サンプリングと呼ばれる手法を組み合わせることで、より顔認証等に適した特徴量が得られることが知られている（非特許文献２，３）。なお、レティナサンプリングとは、注視点の周囲から離散的に特徴量を取得し、これら複数のサンプリング点における特徴量（の組み合わせ）を注視点における特徴量とする手法である。レティナサンプリングにおいては、サンプリング点の配置を、注視点に近いほど密に、注視点から離れるほど疎に配置することが一般的である。このようにＧａｂｏｒ−Ｗａｖｅｌｅｔ特徴量とレティナサンプリングを組み合わせることにより、注視点付近の局所的な特徴と、その周辺の大域的な周波数と方向性とをバランス良く取得することができる。これにより、画像の形状やテクスチャ情報などを効率的に得ることができる。
【非特許文献１】Ｃｈｅｎｇｊｕｎ  Ｌｉｕ  ａｎｄ  Ｈａｒｒｙ  Ｗｅｃｈｓｌｅｒ．  ”Ｇａｂｏｒ  Ｆｅａｔｕｒｅ  Ｂａｓｅｄ  Ｃｌａｓｓｉｆｉｃａｔｉｏｎ  Ｕｓｉｎｇ  ｔｈｅ  Ｆｉｓｈｅｒ  Ｌｉｎｅａｒ  Ｄｉｓｃｒｉｍｉｎａｎｔ  Ｍｏｄｅｌ  ｆｏｒ  Ｆａｃｅ  Ｒｅｃｏｇｎｉｔｉｏｎ  Ｅｎｈａｎｃｅｄ”，  ＩＥＥＥ  Ｔｒａｎｓ．  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ，  ｖｏｌ．１１，  Ｎｏ．４，  ｐｐ．４６７−４７６，  ２００２．
【非特許文献２】Ｓｍｅｒａｌｄｉ  ａｎｄ  Ｊ．  Ｂｉｇｕｎ，  ”Ｆａｃｉａｌ  ｆｅａｔｕｒｅ  ｄｅｔｅｃｔｉｏｎ  ｂｙ  Ｓａｃｃａｄｉｃ  Ｅｘｐｌｏｒａｔｉｏｎ  ｏｆ  ｔｈｅ  Ｇａｂｏｒ  Ｄｅｃｏｍｐｏｓｉｔｉｏｎ”，  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  １９９８  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ，  Ｃｈｉｃａｇｏ，  ｖｏｌ．３，  ｐｐ．１６３−１６７，  Ｏｃｔｏｂｅｒ  ４−７，  １９９８．
【非特許文献３】滝川えりな，細井聖，  ”顔画像による自動性別・年代推定”，  ＯＭＲＯＮ  ＴＥＣＨＮＩＣＳ，  Ｖｏｌ．４３，  Ｎｏ．１，  ２００３．
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記のような従来技術の場合には、下記のような問題が生じていた。すなわち、Ｇａｂｏｒ−Ｗａｖｅｌｅｔ特徴量を計算するためには非常に時間がかかるという問題点がある。フーリエ変換を用いることで畳み込み演算を直接行う場合より計算時間を低減することができるものの、特徴量抽出前にあらかじめ特徴量を取得する対象領域全体に対してフーリエ変換と逆フーリエ変換を行う必要がある。したがって、フーリエ変換を用いる計算手法でも、多大な計算時間が必要となる。
【０００７】
本発明は上記実情に鑑みてなされたものであって、その目的とするところは、画像から多様な特徴量を高速に取得できる技術を提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するために本発明では、以下の手段または処理によって画像から特徴量の取得を行う。
【０００９】
本発明は、入力された画像から注視点における特徴量を取得する特徴量取得装置である。本発明に係る特徴量取得装置は、注視点を基準に離散的に配置された複数のサンプリング点から各サンプリング点における特徴量を取得し、これら複数のサンプリング点における特徴量の組み合わせを注視点における特徴量として取得する。
【００１０】
次に、個々のサンプリング点における特徴量の抽出処理について説明する。まず、個々のサンプリング点ごとに、第１の領域と第２の領域とが定義されており、第１の領域と第２の領域の画素値の差が、そのサンプリング点における特徴量として取得される。領域内の画素値は、その領域内の画素の画素値の合計として算出することができる。
【００１１】
これらの第１および第２の領域は、任意の形状を有することができる。また、これらの領域は、連続する領域である必要もない。すなわち、第１および第２の領域は、それぞれ、複数のサブ領域の集合として構成されることもできる。また、第１の領域と第２の領域は、互いに重なり合わない領域であることが好ましい。また、第１の領域と第２の領域は、隣接する領域であることが好ましいが、必ずしも隣接する必要はない。
【００１２】
サンプリング点における第１の領域と第２の領域のパターン（以下、領域のパターン、または単にパターンという）は全て同一のものとすることができる。
【００１３】
また、サンプリング点ごとに、定義される領域のパターンは異なるものであって良い。すなわち、全てのサンプリング点で同一の領域パターンを用いる必要はなく、少なくとも１つのサンプリング点における領域のパターンが、他のサンプリング点における領域のパターンと異なるものであっても良い。サンプリング点ごとに異なる領域パターンを用いることで、多様な特徴量抽出を行うことができる。
【００１４】
さらに、第１の領域および第２の領域は矩形領域（または複数の矩形領域の集合）であることが好ましい。これらの領域を矩形とすることによって、積分画像を用いてこれらの領域における画素値を高速に求めることが可能となる。
【００１５】
このように構成された本発明によれば、まず第一に、サンプリング点における特徴量が画素値の差として算出されるため、高速な処理が可能となる。また、注視点周辺に離散的に配置されたサンプリング点から特徴量を取得しているため、注視点付近の局所的な特徴と、その周辺の大域的な特徴をバランス良く取得することができる。また、サンプリング点ごとに特徴領域のパターンを変化させることで、多様な特徴抽出が可能となる。Ｇａｂｏｒ−Ｗａｖｅｌｅｔ特徴量によれば同時には単一の周波数成分を有する特徴量しか取得できなかったが、本発明によれば異なる周波数成分を有する特徴量を同時に取得すること
が可能となる。
【００１６】
なお、本発明は、上記手段の少なくとも一部を含む特徴量取得方法、または、かかる方法を実現するためのプログラムとして捉えることもできる。上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。
【００１７】
たとえば、本発明の一態様としての特徴量取得方法は、入力された画像から注視点における特徴量を取得する特徴量取得方法であって、情報処理装置が、注視点を基準に離散的に配置された複数のサンプリング点のそれぞれから、各サンプリング点に対して定められた第１の領域と第２の領域の画素値の差を取得し、これら複数のサンプリング点における画素値の差を、前記注視点における特徴量として取得する、ことを特徴とする。
【００１８】
また、たとえば、本発明の一態様としての特徴量取得プログラムは、入力された画像から注視点における特徴量を取得するための特徴量取得プログラムであって、情報処理装置に、注視点を基準に離散的に配置された複数のサンプリング点のそれぞれから、各サンプリング点に対して定められた第１の領域と第２の領域の画素値の差を取得させ、これら複数のサンプリング点における画素値の差を、前記注視点における特徴量として取得させる、ことを特徴とする。
【発明の効果】
【００１９】
本発明によれば、画像から多様な特徴量を高速に取得することが可能となる。
【発明を実施するための最良の形態】
【００２０】
以下では、顔画像から特徴量を取得し目の位置を検出する特徴点検出装置について説明する。この特徴点検出装置は、特徴量取得装置を特徴量取得部として含み、特徴量取得部によって取得された特徴量に基づいて、顔画像から目の位置を検出する。
【００２１】
＜装置構成＞
特徴点検出装置１は、ハードウェア的には、バスを介して接続されたＣＰＵ（中央演算処理装置）、主記憶装置（ＲＡＭ）、補助記憶装置などを備えるように構成される。この場合、プログラムがＣＰＵにより実行されることによって、特徴点検出装置１が実現される。ここでいう補助記憶装置は、不揮発性記憶装置を用いて構成される。不揮発性記憶装置とは電源供給を停止しても記憶内容を保持可能なメモリであって、いわゆるＲＯＭ（Read-Only Memory：ＥＰＲＯＭ（Erasable Programmable Read-Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、マスクＲＯＭ等を含む
）、ＦｅＲＡＭ（Ferro-electric RAM）、ハードディスク等を指す。
【００２２】
図１は、特徴点検出装置１の機能ブロック例を示す図である。特徴点検出装置１は、補助記憶装置に記憶された各種のプログラム（ＯＳ，アプリケーション等）が主記憶装置にロードされＣＰＵにより実行されることによって、画像入力部２、顔検出部３、特徴量取得部４、識別部５として機能する。また、特徴点検出装置１の全部または一部は、専用のチップとして構成されても良い。次に、特徴点検出装置１が含む各機能部について説明する。
【００２３】
画像入力部２は、顔画像のデータを特徴点検出装置１へ入力するためのインタフェースとして機能する。画像入力部２によって、顔画像のデータが特徴点検出装置１へ入力される。画像入力部２は、特徴点検出装置１へ顔画像のデータを入力するためのどのような既存の技術を用いて構成されても良い。
【００２４】
たとえば、ネットワーク（ＬＡＮやインターネットなど）を介して顔画像のデータが特
徴点検出装置１へ入力されても良い。また、デジタルカメラやスキャナや記録装置（たとえばハードディスクドライブ）等から顔画像が特徴点検出装置１へ入力されても良い。また、特徴点検出装置１がデジタルカメラ等の撮像装置またはデジタルカメラ等の撮像装置を備える各種装置（携帯電話機やＰＤＡ（Personal Digital Assistant）等）の内部に含まれ、撮像された画像が特徴点検出装置１へと入力されても良い。
【００２５】
顔検出部３は、画像入力部２を介して入力された顔画像から、人の顔を検出する。顔検出部３は、たとえば、顔全体の輪郭に対応した基準テンプレートを用いたテンプレートマッチングによって顔を検出するように構成されても良い。また、顔検出部３は、顔の構成要素（目、鼻、耳など）に基づくテンプレートマッチングによって顔を検出するように構成されても良い。また、顔検出部３は、肌の色に近い領域を検出し、その領域を顔として検出するように構成されても良い。また、顔検出部３は、ニューラルネットワークを使って教師信号による学習を行い、顔らしい領域を顔として検出するように構成されても良い。また、顔検出部３は、その他既存のどのような技術が適用されることによって実現されても良い。
【００２６】
顔検出部３は、検出された顔の位置を特定し、その位置を特徴量取得部４へ渡す。このとき、顔検出部３は、顔の傾きや顔の大きさを取得し、その値を特徴量取得部４にさらに渡すように構成されても良い。
【００２７】
特徴量取得部４は、画像中の任意の点（注視点）から特徴量を取得する。注視点における特徴量は、注視点およびその周囲に離散的に配置されたサンプリング点における輝度値の差（明暗差）を一列に並べたベクトルとして算出される。特徴量取得部４が行う特徴量取得処理の詳細は後述する。
【００２８】
識別部５は、あらかじめ学習処理によって取得された識別関数と、特徴量取得部４が取得した特徴量を用いて注視点が目（特徴点）であるかを判定する。なお、識別部５は、複数の注視点についてその点が目である確率（スコア）を算出して、その確率が最も高い点の位置を目の位置として求めても良い。
【００２９】
＜特徴量取得処理＞
特徴量取得部４が行う特徴量取得処理について詳しく説明する。特徴量取得部４は、注視点の周囲に離散的に配置された複数のサンプリング点からＨａａｒ特徴量と呼ばれる特徴量を取得し、これら複数のサンプリング点におけるＨａａｒ特徴量の組み合わせを注視点における特徴量とする。すなわち、注視点における特徴量は、複数のサンプリング点におけるＨａａｒ特徴量を要素とするベクトル量として取得される。なお、以下では個々のサンプリング点において取得される特徴量をＨａａｒ特徴量と呼び、注視点における特徴量（複数のＨａａｒ特徴量からなるベクトル量）をサンプリング特徴量と呼ぶ。
【００３０】
［領域パターン］
まず、各サンプリング点において取得されるＨａａｒ特徴量について説明する。Ｈａａｒ特徴量は、そのサンプリング点周囲の２つの領域の輝度値の差として求められる。すなわち、サンプリング点の周囲に位置する第１の領域内の画素の輝度値の合計から、第２の領域内の画素の輝度値の合計を引いたものが、そのサンプリング点におけるＨａａｒ特徴量として算出される。
【００３１】
サンプリング点におけるＨａａｒ特徴量抽出処理において使用される領域のパターンを図２に示す。図に示すように、第１の領域１１と第２の領域１２（以下、「第一特徴領域」「第二特徴領域」という）の組み合わせは種々のパターンを用いることができる。Ｈａａｒ特徴量は第一特徴領域内の輝度値の合計から第二特徴領域内の輝度値の合計を引いた
ものとして算出されるので、図２（ａ）（ｂ）は、それぞれ横方向、縦方向の輝度変化に強く反応するパターンである。強く反応するとは、輝度値の差として算出されるＨａａｒ特徴量の値が大きいことを意味する。図２（ｃ）（ｄ）のパターンは横方向、縦方向の輝度変化であって特定の周波数を有するものに強く反応する。また、図２（ｅ）は、斜め方向の線に対して強く反応する。また、図２（ｆ）のは、中心が暗い特徴に強く反応するパターンである。
【００３２】
また、第一特徴領域および第二特徴領域は、図２（ａ）（ｂ）のように単一の領域として定義される必要はなく、図２（ｃ）（ｄ）（ｅ）に示すように複数の領域の集合として定義されてもよい。
【００３３】
このように、Ｈａａｒ特徴量は、第一特徴領域と第二特徴領域の組み合わせにより、多様な特徴を捉えることが可能である。領域の組み合わせ方により反応する輝度変化の方向性を変えることができ、各領域の大きさにより反応する輝度変化の周波数を変えることができる。特に、図２（ｃ）（ｄ）のパターンは、Ｇａｂｏｒ−Ｗａｖｅｌｅｔ特徴量を横方向および縦方向のパターンについて簡略化したものとみなすことができ、Ｇａｂｏｒ−Ｗａｖｅｌｅｔ特徴量に似た反応特性を有する。図２（ｃ）（ｄ）において、各領域の大きさを大きくすると低い周波数に反応する特徴量となり、各領域の大きさを小さくすると高い周波数に反応する特徴量となる。
【００３４】
また、第一特徴領域および第二特徴領域は矩形領域に限られず任意の形状を取ることができる。ただし、これらの領域を矩形とすることによって、高速に領域内の輝度値の合計を算出することができる。すなわち、図３（ａ）に示すように、画像内の全ての点に対して、原点（画像の左上とする）とその点を対角線とする矩形領域内の輝度値の合計をあらかじめ求めておく。点Ａにおけるこの輝度値の合計をＬＡとすると、図３（ｂ）に示す矩形領域ＡＢＣＤ内の輝度値の合計Ｌは数２のように表すことができ、高速に求めることが可能である。
【００３５】
【数２】
2007293438.tif 000004
【００３６】
［レティナサンプリング］
次に、サンプリング点の配置について説明する。特徴量のサンプリングは、注視点周辺のレティナ構造に従ったサンプリング点から行われる。レティナ構造は、注視点の周囲に放射状に離散的に配置されたサンプリング点の構造のことである。具体例は図４に示すような配置である。図４において、黒丸が注視点であり、白丸はその周囲に配置されるサンプリング点である。なお、注視点からもＨａａｒ特徴量を取得し、注視点におけるサンプリング特徴量の算出に用いる。
【００３７】
サンプリング点の配置は、図４（ａ）のように注視点から離れるにしたがって疎になるような配置であっても良く、図４（ｂ）のように注視点の周囲に等距離に配置されるものであっても良い。図４では、注視点を中心として点対称となるようにサンプリング点を配置しているが、このような対称な配置に限られるものではなく任意の配置を取ることができる。
【００３８】
このようなレティナ構造によるサンプリングを行うことにより、注視点周りの情報を、低次元で効率的にサンプリングすることが可能となる。
【００３９】
［特徴量取得］
各サンプリング点においては、異なるＨａａｒ特徴量を取得することができる。すなわち、あるサンプリング点に対して他のサンプリング点とは異なるＨａａｒ特徴量を用いることができる。Ｈａａｒ特徴量の組み合わせのパターンの具体例を図５に示す。図５（ａ）は、注視点とその周囲の６点をサンプリング点とし、全てのサンプリング点に同一のＨａａｒ特徴量を適用した例である。各サンプリング点（点ａ〜ｇとする）における、特徴領域間の輝度値の差をｆｉ（ｉ＝ａ〜ｇ）とすると、注視点におけるサンプリング特徴量ｐは、数３のように７次元のベクトルとして表されることになる。
【００４０】
【数３】
2007293438.tif 000005
【００４１】
なお、図５（ａ）に示すような特徴領域のパターン（Ｈａａｒ特徴量の組み合わせ）では、横方向の輝度変化に強く反応するサンプリング特徴量を得ることができる。このサンプリング特徴量は、注視点付近の局所的な情報と、その周辺の大域的な情報をバランス良く取ることができる。
【００４２】
また、図５（ｂ）に示すような特徴領域のパターンでは、注視点が周囲より暗く、かつ、注視点付近では左側の方が明るいパターンに強く反応するサンプリング特徴量を取得することができる。このように、異なる特徴領域のパターンをサンプリング点に適用することで、対象物に適応した複雑なパターンの特徴量抽出が可能となる。
【００４３】
また、図５（ｃ）に示すように、注視点以外のサンプリング点における特徴領域を、注視点における特徴領域よりも小さくすることで、注視点付近において低周波成分に反応し、注視点周辺において高周波成分に反応するサンプリング特徴量を抽出することができる。このように、特徴領域の大きさを変えることにより、異なる周波数に同時に反応するサンプリング特徴量を取得することが可能となる。
【００４４】
このように、Ｈａａｒ特徴量とレティナサンプリングとを組み合わせ、それぞれのサンプリング点における特徴量域を適宜設計することにより、多様な特徴に反応するサンプリング特徴量を取得することが可能となる。なお、図５におけるサンプリング点は、いずれも注視点から等距離に存在している（すなわち図４（ｂ）の構造）であるが、図４（ａ）に示すように注視点から異なる距離にサンプリング点が配置されても良い。
【００４５】
［特徴量取得処理の流れ］
上記で説明した特徴量取得処理の動作例を、図６のフローチャートを参照して説明する。まず、画像入力部２を介して画像を取得する（Ｓ１０）。次に、特徴量取得部４は、入力画像から積分画像を作成する（Ｓ１１）。積分画像とは、入力画像内の各点について、原点とその点とを結ぶ直線を対角線とする矩形領域内の画素値の合計を求めたものである。次に、注視点の周りに、レティナ構造に従ったサンプリング点を配置し（Ｓ１２）、これらのサンプリング点からＨａａｒ特徴量を取得する（Ｓ１３）。なお、Ｈａａｒ特徴量の取得は、Ｓ１２で作成した積分画像を利用することにより求める。このようにして求めたサンプリング点ごとのＨａａｒ特徴量をベクトル化して、注視点のおける特徴量が取得できる（Ｓ１４）。
【００４６】
＜学習処理＞
次に、画像から目を検出するために必要となる学習処理について、図７のフローチャートを参照して説明する。この学習処理は、識別部５によって顔画像から目を検出するためにあらかじめ実施しておく必要のある処理である。
【００４７】
学習処理では、まず、複数の学習用顔画像を用意し、顔画像における目の位置（座標）を定める。そして、この顔画像を読み込む（Ｓ２０）。顔画像における目の位置は、学習精度を高めるためにも、人間によって決定されることが好ましい。なお、顔画像と目の位置の組み合わせを正解データと呼び、正解データにおける目の位置を正解点と呼ぶ。
【００４８】
次に、顔画像の正規化を行う（Ｓ２１）。すなわち、顔の大きさと角度に応じて、顔画像の大きさと傾きを正規化する。たとえば、顔の幅（ピクセル幅）が所定の大きさになり、両目を結ぶ直線が水平になるように画像を変換する。さらに、画像の輝度値の正規化を行うことも望ましい。輝度値の正規化は、たとえば、輝度の平均が０、分散が１になるように輝度値の補正が行われることが望ましい。
【００４９】
次に、顔画像における正解点を注視点として、上記で説明したサンプリング特徴量を取得し（Ｓ２２）。取得したこれらのサンプリング特徴量を正解学習データセットに追加する（Ｓ２３）。正解学習データセットをＰとすると、Ｐは数４のように表される。
【００５０】
【数４】
2007293438.tif 000006
【００５１】
なお、ｐｉは、正解データごとのサンプリング特徴量を表し、Ｎｐは正解データの数を表す。また、ｆｐｉは、個々のサンプリング点におけるＨａａｒ特徴量であり、Ｒはサンプリング点の数を表す。
【００５２】
顔画像から、正解点以外の座標を注視点とした際の特徴量についても、同様にサンプリング（Ｓ２４）して保存し（Ｓ２５）、これを失敗学習データセットとする。失敗学習データセットをＮとすると、Ｎは数５のように表される。
【００５３】
【数５】
2007293438.tif 000007
【００５４】
なお、ｎｉは、失敗データごとのサンプリング特徴量を表し、Ｎｎは失敗データの数を表す。また、ｆｎｉは、個々のサンプリング点におけるＨａａｒ特徴量であり、Ｒはサンプリング点の数を表す。
【００５５】
用意したすべての学習用顔画像についてサンプリング特徴量の取得が終了したか判定し（Ｓ２６）、まだ学習用画像が残っている場合（Ｓ２６−ＮＯ）には、上記の処理を繰り返す。すべての学習用画像についてサンプリング特徴量の取得が完了した場合（Ｓ２６−ＹＥＳ）には、Ｓ２７に進む。
【００５６】
このようにして得られた、正解学習用データセットＰおよび失敗学習用データセットＮを用いて識別器の学習を行う（Ｓ２７）。たとえば、線形識別関数を用いる場合には、以下のようにしてその学習を行う。
【００５７】
まず、学習データセットの平均、分散を求める。正解学習データセットの平均・分散をそれぞれ、ｍｐ，Ｓｐとし、失敗学習データセットの平均・分散をｍｎ，Ｓｎとすると、これらは数６のように表される。
【００５８】
【数６】
2007293438.tif 000008
【００５９】
これらの統計値を用いて、識別関数ｇ（ｘ）は以下の数７のように定まる。
【００６０】
【数７】
2007293438.tif 000009
【００６１】
なお、ｋｐ，ｋｎは任意の定数であり、たとえば、ｋｐ＝ｋｎ＝１と設定しても良い。また、ｗについて定数倍した識別関数も元の識別関数と同一のものとみなすことができるので、たとえば、｜ｗ｜＝１であり、ｇ（ｍｐ）＞０、ｇ（ｍｎ）＜０となるものを選ぶと良い。
【００６２】
学習処理はこの他にも、ＳＶＭ等の任意の線形・非線型識別関数によっても可能である。
【００６３】
＜検出処理＞
次に、識別部５が行う、入力された画像（以下、入力画像と呼ぶ）から目の位置を検出する処理について、図８のフローチャートを参照して説明する。識別部５は、上記の学習処理によって得られた識別関数を用いて、以下の検出処理を行う。
【００６４】
まず、画像入力部２から入力画像を取得する（Ｓ３０）。そして、目の位置を検出するための前処理として、顔検出部３が入力画像から顔の位置を検出する（Ｓ３１）。顔の検出には、パターンマッチングなどの既存のいかなる技術が適用されても良い。
【００６５】
そして、学習処理と同様の画像の正規化を行う（Ｓ３２）。たとえば、顔の幅（ピクセル幅）が所定の大きさになり、両目を結ぶ直線が水平になるように入力画像を変換し、輝度値が平均０、分散１となるように正規化する。
【００６６】
正規化された入力画像から特徴量を取得する注視点を決定する（Ｓ３３）。次に、特徴量取得部４は、決定された注視点について、上記で説明した特徴量取得処理を実施する（Ｓ３４）。識別部５は、取得した特徴量を識別関数ｇ（ｘ）に代入し（Ｓ３５）、その出力が正となるか判定する（Ｓ３６）。ｇ（ｘ）＞０であれば（Ｓ３６−ＹＥＳ）、その注視点を目の位置として出力する（Ｓ３７）。ｇ（ｘ）＜０であれば（Ｓ３６−ＮＯ）、画像全体を走査したか判定し（Ｓ３８）、すべて走査していない場合（Ｓ３８−ＮＯ）には次の点について走査を行い、走査が完了している場合（Ｓ３８−ＹＥＳ）には画像から目が検出されなかったことになる。
【００６７】
上記の説明では、走査点のうち初めて識別器出力が正となる点を目の位置として検出しているが、全ての点について識別器出力を求め、最大値が得られた位置を目の位置として検出しても良い。
【００６８】
＜実施形態の効果＞
上記のように、本実施形態ではＨａａｒ特徴量とレティナサンプリングとを組み合わせて特徴量を取得して、目の位置を検出している。Ｈａａｒ特徴量を用いているため高速な処理で特徴量を取得できるとともに、レティナサンプリングによって注視点のみならずその周囲の情報も効率的に取得できる。また、Ｈａａｒ特徴量の組み合わせを適宜設計することで、多様な特徴量を取得することができるため、目の検出に適した特徴領域のパターンを用いることで精度の良い目検出を行うことができる。
【００６９】
＜変形例＞
本発明による特徴量取得装置は、顔画像から目以外の特徴点（口や耳や、顔全体）を検出するために用いられても良い。また、特徴点検出のためではなく、顔照合や顔認識のために用いられても良い。また、顔以外にも人の全体（全身）やレントゲン画像やＣＴ画像における臓器などを対象として行う検出・照合処理に用いられても良い。さらに、検出・照合処理以外にも、特定の画像に類似する画像を検索する処理、画像を所定の基準に従って分類する処理など、どのような画像処理に用いられても良い。すなわち、本発明に係る特徴量取得装置は、画像の特徴量が必要となるどのような処理のためにも用いることができる。
【図面の簡単な説明】
【００７０】
【図１】本実施形態にかかる特徴点検出装置の機能ブロックを示す図である。
【図２】本実施形態において用いられるＨａａｒ特徴量の例を示す図である。
【図３】積分画像を説明する図である。
【図４】レティナ構造の例を示す図である。
【図５】本実施形態において用いられる各サンプリング点におけるＨａａｒ特徴量の組み合わせの例を示す図である。
【図６】特徴量取得処理の流れを示すフローチャートである。
【図７】識別器学習処理の流れを示すフローチャートである。
【図８】特徴点検出処理の流れを示すフローチャートである。
【符号の説明】
【００７１】
１      特徴点検出装置
２      画像入力部
３      顔検出部
４      特徴量取得部
５      識別部
【図１】
2007293438.tif 000010
【図２】
2007293438.tif 000011
【図３】
2007293438.tif 000012
【図４】
2007293438.tif 000013
【図５】
2007293438.tif 000014
【図６】
2007293438.tif 000015
【図７】
2007293438.tif 000016
【図８】
2007293438.tif 000017