(57)【要約】    【課題】    入力画像における特徴領域の位置が未知の場合や、その撮影状況が変動する場合でも、誤差修正精度を向上させると共に、迅速に誤差を修正すること。    【解決手段】  画像入力部１１０が学習用の顔画像を入力し、特徴データ検出部１２０が、眼、鼻等の特徴点の座標を検出する。正解データ付与部１５０はユーザの操作により学習用の顔画像各特徴点の正解座標を付与する。学習用の全ての顔画像に対してこれらの処理が行われると、誤差統計量算出部１６０は、全ての顔画像から検出した各特徴点の検出座標と正解座標とから検出誤差を表す誤差統計量を算出し、誤差統計量データベース１７０に格納する。検出時には、画像入力部１１０が顔画像を入力すると、特徴データ検出部１２０がその入力画像から特徴点の座標を検出し、誤差補正部１３０が誤差統計量データベース１７０から誤差統計量を読み出して、入力画像における特徴点の検出座標を補正する。  【選択図】      図１
2005284394.tif 000002
【特許請求の範囲】
【請求項１】
学習画像における特徴データと、前記特徴データの正解データとの間の誤差統計量を記憶する記憶手段と、
入力画像における特徴データを検出する検出手段と、
前記入力画像における特徴データを、前記誤差統計量に基づいて補正する補正手段と、
を備えることを特徴とする特徴検出装置。
【請求項２】
前記検出手段は、さらに、前記学習画像における特徴データを検出し、
予め前記学習画像における特徴データの正解データを付与する付与手段と、
前記学習画像における特徴データと、前記学習画像における特徴データの正解データとの間の誤差統計量を算出する算出手段と、をさらに備える、
ことを特徴とする請求項１記載の特徴検出装置。
【請求項３】
前記学習画像および前記入力画像は、顔の画像であって、
前記特徴データは、顔における特徴領域の座標データである、
ことを特徴とする請求項１記載の特徴検出装置。
【請求項４】
前記学習画像および前記入力画像は、顔の画像であって、
前記特徴データは、顔における特徴領域の画像データである、
ことを特徴とする請求項１記載の特徴検出装置。
【請求項５】
前記算出手段は、前記学習画像における特徴データと、前記学習画像における特徴データの正解データとの間の誤差の平均を誤差統計量として算出し、
前記補正手段は、入力画像における特徴データから前記誤差の平均を減算して補正する、
ことを特徴とする請求項１記載の特徴検出装置。
【請求項６】
前記算出手段は、前記学習画像における特徴データの平均ベクトルと、前記学習画像における特徴データの正解データの平均ベクトルと、前記特徴データの自己相関情報と、前記特徴データと前記特徴データの正解データとの間の相互相関情報とを算出し、
前記補正手段は、前記平均ベクトル、前記自己相関情報および前記相互相関情報に基づいて入力画像における特徴データの誤差を補正する、
ことを特徴とする請求項１記載の特徴検出装置。
【請求項７】
前記相互相関情報は、前記学習画像における特徴データと前記学習画像における特徴データの正解データとの共分散行列であり、
前記自己相関情報は、前記学習画像における特徴データの共分散行列である、
ことを特徴とする請求項６記載の特徴検出装置。
【請求項８】
前記記憶手段に前記誤差統計量を撮影状況に応じて記憶させると共に、前記補正手段に前記誤差統計量に基づいて撮影状況に応じ前記入力画像の特徴データを補正させる撮影状況制御手段を、さらに有する、
ことを特徴とする請求項１記載の特徴検出装置。
【請求項９】
前記学習画像および前記入力画像は、顔の画像であって、
前記記憶手段に前記誤差統計量を検出対象に応じて記憶させると共に、前記補正手段に前記誤差統計量に基づいて検出対象に応じ補正させる検出対象制御手段を、さらに有する、
ことを特徴とする請求項１記載の特徴検出装置。
【請求項１０】
入力画像における特徴データを検出するステップと、
記憶しておいた学習画像における特徴データと、前記学習画像における特徴データの正解データとの間の誤差統計量に基づいて前記入力画像における特徴データを補正するステップと、
を有することを特徴とする特徴検出方法。
【請求項１１】
コンピュータに、
入力画像における特徴データを検出させる機能と、
記憶しておいた学習画像における特徴データと、前記学習画像における特徴データの正解データとの間の誤差統計量に基づいて前記入力画像における特徴データを補正させる機能とを実行させる機能と、
を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力画像から特徴点を検出する特徴検出装置に関する。
【背景技術】
【０００２】
従来の特徴検出装置として、例えば、カメラによりティーチング情報に基づいた所定範囲の位置から撮像したワーク等の対象物体毎に画像特徴点を演算して、その画像特徴点を色に基づいて修正し、空間探索領域を設定して各量子化空間点においてワークをカメラにより撮影したときに得られるべき推定画像特徴点を透視変換行列により求めて演算すると共に、画像特徴点と推定画像特徴点との誤差を誤差評価関数により演算するようにした装置がある（例えば、特許文献１参照）。
【特許文献１】特開平７−１０３７１５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、このような従来の特徴検出装置では、不特定の人の顔画像から目や鼻や口の位置を検出するなど、特徴領域の絶対位置が未知の場合や、物体を撮影する角度が変わったり、さらには肌の色などが照明条件等により変わる等、入力画像やその撮影状況が大きく変わる場合には、ティーチング情報に基づいた所定範囲の位置から撮像した画像を対象としているので、誤差修正精度が低い、という課題を有していた。
【０００４】
また、対象物体毎に推定画像特徴点を演算して、誤差を誤差評価関数により演算するようにしていたので、入力画像における特徴領域の位置が未知の場合や、その撮影状況が変動する場合などには、誤差の演算に時間を要し、誤差を修正するまで時間がかかる、という課題も有していた。
【０００５】
本発明はかかる点に鑑みてなされたものであり、入力画像における特徴領域の位置が未知の場合や、その撮影状況が変動する場合でも、誤差修正精度を向上させることができると共に、迅速に誤差を修正することができる特徴検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の特徴検出装置は、学習画像における特徴データと、前記特徴データの正解データとの間の誤差統計量を記憶する記憶手段と、入力画像における特徴データを検出する検出手段と、前記入力画像における特徴データを、前記誤差統計量に基づいて補正する補正手段と、を備える構成を採る。
【０００７】
この構成によれば、入力画像における特徴データを誤差統計量に基づいて補正するため、入力画像における特徴領域の位置が未知の場合や、その撮影状況が変動する場合でも、誤差修正精度を向上させることができると共に、迅速に誤差を修正することができる。
【０００８】
本発明の特徴検出装置は、前記構成において、前記検出手段は、さらに、前記学習画像における特徴データを検出し、予め前記学習画像における特徴データの正解データを付与する付与手段と、前記学習画像における特徴データと、前記学習画像における特徴データの正解データとの間の誤差統計量を算出する算出手段と、をさらに備える構成を採る。
【０００９】
この構成によれば、学習画像における特徴データが検出され、特徴データの正解データが付与され、学習画像における特徴データと、前記特徴データの正解データとの間の誤差統計量が算出されるため、入力画像における特徴領域の位置が未知の場合や、その撮影状況が変動する場合でも、誤差修正精度を向上させることができると共に、迅速に誤差を修正することができる。
【００１０】
本発明の特徴検出装置は、前記構成において、前記学習画像および前記入力画像は、顔の画像であって、前記特徴データは、顔における特徴領域の座標データである、構成を採る。
【００１１】
この構成によれば、学習画像および入力画像は顔の画像であって、特徴データが顔における特徴領域の座標データであるため、顔の画像やその撮影状況が大きく変動する場合でも、座標データの差修正精度を向上させることができると共に、迅速に誤差を修正することができる。
【００１２】
本発明の特徴検出装置は、前記構成において、前記学習画像および前記入力画像は、顔の画像であって、前記特徴データは、顔における特徴領域の画像データである、構成を採る。
【００１３】
この構成によれば、学習画像および入力画像は顔の画像であって、特徴データが顔における特徴領域の画像データであるため、顔の画像やその撮影状況が大きく変動する場合でも、画像データの誤差修正精度を向上させることができると共に、迅速に誤差を修正することができる。
【００１４】
本発明の特徴検出装置は、前記構成において、前記算出手段は、前記学習画像における特徴データと、前記学習画像における特徴データの正解データとの間の誤差の平均を誤差統計量として算出し、前記補正手段は、入力画像における特徴データから前記誤差の平均を減算して補正する、構成を採る。
【００１５】
この構成によれば、学習画像における特徴データと、前記特徴データの正解データとの間の誤差の平均を入力画像における特徴データから減算して補正するので、誤差をより迅速に修正することができる。
【００１６】
本発明の特徴検出装置は、前記構成において、前記算出手段は、前記学習画像における特徴データの平均ベクトルと、前記学習画像における特徴データの正解データの平均ベクトルと、前記特徴データの自己相関情報と、前記特徴データと前記特徴データの正解データとの間の相互相関情報とを算出し、前記補正手段は、前記平均ベクトル、前記自己相関情報および前記相互相関情報に基づいて入力画像における特徴データの誤差を補正する、構成を採る。
【００１７】
この構成によれば、学習画像における特徴データおよび前記特徴データの正解データの平均ベクトルや、その自己相関情報、相互相関情報に基づいて入力画像における特徴データの誤差を補正するので、誤差の出現分布を考慮した確率的な誤差統計量に基づき補正することが可能となり、より画像データの誤差修正精度を向上させることができる。
【００１８】
本発明の特徴検出装置は、前記構成において、前記相互相関情報は、前記学習画像における特徴データと前記学習画像における特徴データの正解データとの共分散行列であり、前記自己相関情報は、前記学習画像における特徴データの共分散行列である、構成を採る。
【００１９】
この構成によれば、相互相関情報は学習画像における特徴データと前記特徴データの正解データとの共分散行列であり、自己相関情報は学習画像における特徴データの共分散行列であるため、誤差の出現分布を考慮した確率的な誤差統計量に基づき補正することが可能となり、より画像データの誤差修正精度を向上させることができる。
【００２０】
本発明の特徴検出装置は、前記構成において、前記記憶手段に前記誤差統計量を撮影状況に応じて記憶させると共に、前記補正手段に前記誤差統計量に基づいて撮影状況に応じ前記入力画像の特徴データを補正させる撮影状況制御手段を、さらに有する、構成を採る。
【００２１】
この構成によれば、誤差統計量に基づいて撮影状況に応じて入力画像の特徴データが補正されるので、撮影状況が大きく変動する場合でも、修正精度をより向上させることができると共に、誤差をより迅速に修正することができる。
【００２２】
本発明の特徴検出装置は、前記構成において、前記学習画像および前記入力画像は、顔の画像であって、前記記憶手段に前記誤差統計量を検出対象に応じて記憶させると共に、前記補正手段に前記誤差統計量に基づいて検出対象に応じ補正させる検出対象制御手段を、さらに有する、構成を採る。
【００２３】
この構成によれば、誤差統計量に基づいて検出対象に応じ入力画像の特徴データが補正されるので、顔の画像の場合のように検出対象が大きく変動する場合でも、修正精度をより向上させることができると共に、誤差をより迅速に修正することができる。
【００２４】
本発明の特徴検出方法は、入力画像における特徴データを検出し、記憶しておいた学習画像における特徴データと、前記学習画像における特徴データの正解データとの間の誤差統計量に基づいて前記入力画像における特徴データを補正する、ようにした。
【００２５】
この方法によれば、学習画像から求めた補正量に基づき入力画像における特徴データを補正するので、入力画像における特徴領域の位置が未知の場合や、その撮影状況が変動する場合でも、誤差修正精度を向上させることができると共に、迅速に誤差を修正することができる。
【００２６】
本発明のプログラムは、コンピュータに入力画像における特徴データを検出させる機能と、記憶しておいた学習画像における特徴データと、前記学習画像における特徴データの正解データとの間の誤差統計量に基づいて前記入力画像における特徴データを補正させる機能とを実行させる、ようにした。
【００２７】
このプログラムによれば、学習画像から求めた補正量に基づき入力画像における特徴データを補正するので、入力画像における特徴領域の位置が未知の場合や、その撮影状況が変動する場合でも、誤差修正精度を向上させることができると共に、迅速に誤差を修正することができる。
【発明の効果】
【００２８】
以上のように、本発明によれば、入力画像における特徴領域の位置が未知の場合や、その撮影状況が変動する場合でも、誤差修正精度を向上させることができると共に、迅速に誤差を修正することができる。
【発明を実施するための最良の形態】
【００２９】
以下、本発明の実施の形態について、図面を参照して説明する。
【００３０】
（実施の形態１）
図１は、本発明の実施の形態１に係る特徴検出装置のブロック図である。
【００３１】
図１において、この特徴検出装置１００は、画像入力部１１０と、特徴データ検出部１２０と、誤差補正部１３０と、出力部１４０と、正解データ付与部１５０と、誤差統計量算出部１６０と、誤差統計量データベース１７０とを有している。
【００３２】
なお、実施の形態１では、画像入力部１１０が入力する画像は、人の顔の画像であり、顔画像における特徴データとして、眉、目、鼻、口等の顔における特徴点の座標を検出する場合を例に説明する。
【００３３】
図２は、顔の画像における特徴点を示す説明図である。
【００３４】
図２において、顔の画像では、例えば、右眉２０００、左眉２１００、右目２２００、左目２３００、鼻２４００、口の右端２５００、口の左端２６００が特徴点となる。オペレータは、正解データ付与部１５０を操作してポインタ２７００を移動させて各特徴点を指定する。なお、これらの特徴点は、一例であり、これ以上多くても、少なくても、また、他の特徴点でも勿論よい。
【００３５】
図３は、図２に示す顔画像において特徴データ検出部１２０が検出した特徴点の検出座標を示す説明図である。
【００３６】
つまり、特徴データ検出部１２０が、図２に示す顔画像において、右眉２０００、左眉２１００、右目２２００、左目２３００、鼻２４００等の顔の特徴点を検出し、そのｘ座標、ｙ座標を検出座標として出力する。例えば、右眉２０００の検出座標は、ｘ座標は「１５３」、ｙ座標は「１１７」である。
【００３７】
図４は、図２に示す顔画像において正解データ付与部１５０が付与した特徴点の正解座標を示す説明図である。
【００３８】
つまり、正解データ付与部１５０が、図２に示す顔画像において、ユーザ操作によりポインタ２７００を移動させて、右眉２０００、左眉２１００、右目２２００、左目２３００、鼻２４００等の顔の特徴点を指定し、そのｘ座標、ｙ座標を正解座標として出力する。例えば、右眉２０００の正解座標は、ｘ座標は「１６１」、ｙ座標は「１２７」である。
【００３９】
次に、この実施の形態１の特徴検出装置の動作を説明する。
【００４０】
図５は、この実施の形態１の特徴検出装置の動作を示すフローチャートである。
【００４１】
まず、この実施の形態１の場合、検出を開始する前に、予め多数の顔画像で眉、目、鼻、口等の特徴点の座標を検出し、検出誤差の傾向を学習しておく。つまり、画像入力部１１０が学習用の顔画像を入力すると（Ｓ１０１０）、特徴データ検出部１２０は、図２に示すように右眉２０００、左眉２１００、右目２２００、左目２３００、鼻２４００等の顔の特徴点を検出して、図３に示すように、各特徴点の検出座標であるｘ座標、ｙ座標を出力する（Ｓ１０２０）。なお、特徴データ検出部１２０が特徴点を検出する方法は何でも良い。例えば、右眉２０００、左眉２１００、右目２２００、左目２３００、鼻２４００等の特徴点のテンプレートによるマッチングでも良い。
【００４２】
それと同時に、正解データ付与部１５０は、画像入力部１１０から入力された学習用の顔画像を表示して、図４に示すように、ユーザの操作により、右眉２０００、左目２３００、鼻２４００等の特徴点をポインタ２７００により入力する。
【００４３】
次に、正解データ付与部１５０は、図４に示すように、ポインタ２７００の位置を、各学習用の特徴点の正解座標であるｘ座標、ｙ座標に変換して出力する（Ｓ１０３０）。
【００４４】
学習用の全ての顔画像に対してステップＳ１０１０からステップＳ１０３０までの処理が行われると（Ｓ１０４０；ＹＥＳ）、誤差統計量算出部１６０は、全ての顔画像から検出した各特徴点の検出座標と正解座標とから検出誤差を表す誤差統計量を算出する（Ｓ１０５０）。
【００４５】
ここで、この誤差統計量は、検出誤差を表すものであれば何でも良いが、好ましくは、例えば、一つの学習画像における各特徴点の検出座標、または、各特徴点の検出座標を１つの特徴点に対する相対的な位置で表した座標、を一列に並べて作った特徴点ベクトルの平均ベクトルと、一つの学習画像における各特徴点の正解座標、または、各特徴点の正解座標を１つの特徴点に対する相対的な位置で表した座標、を一列に並べて作った正解点ベクトルの平均ベクトルと、全ての学習画像の特徴点ベクトルと正解点ベクトルの相互相関情報である共分散行列と、全ての学習画像の特徴点ベクトルの自己相関情報である共分散行列である。また、例えば、特徴点ベクトルと正解点ベクトルの差の平均ベクトルを誤差統計量としても良い。
【００４６】
そして、誤差統計量算出部１６０は、前記のようにして算出した誤差統計量を、誤差統計量データベース１７０に格納しておく（Ｓ１０６０）。以上までが、学習時の処理であり、この実施の形態１では、オフライン処理により行っている。
【００４７】
さて、検出時には、画像入力部１１０が顔画像を入力すると（Ｓ１０７０）、特徴データ検出部１２０が学習時と同様に、その入力画像において目や鼻等の特徴点の座標を検出し、その検出座標を出力する（Ｓ１０８０）。
【００４８】
誤差補正部１３０は、特徴データ検出部１２０から検出用の顔画像における各特徴点の検出座標を入力すると共に、誤差統計量データベース１７０から学習時に算出し格納した誤差統計量を読み出して、その誤差統計量を用いて入力画像における特徴点の検出座標を補正する（Ｓ１０９０）。
【００４９】
補正は、例えば、学習時のステップＳ１０５０にて算出した学習画像における特徴点ベクトルの平均ベクトルと、学習画像の正解点ベクトルの平均ベクトルと、学習画像における特徴点ベクトルと正解点ベクトルの相互相関情報である共分散行列と、学習画像における特徴点ベクトルの自己相関情報である共分散行列を用いて、下記の（式１）の式に基づいて行う。なお、この（式１）による補正を行う際、入力画像における特徴点の検出座標は、特徴点ベクトルに換算してから補正する。
【００５０】
【数１】
2005284394.tif 000003
【００５１】
つまり、例えば、検出する特徴点を両目とし、学習画像データＣiにおける正解の右目の座標を（rxi，ryi）、学習画像データＣiにおける正解の左目の座標を（lxi，lyi）とした場合、学習画像データＣiにおける特徴点である両目の正解点ベクトルは、
【００５２】
【数２】
2005284394.tif 000004
【００５３】
となる。また、学習画像の数をｎ枚とすると、学習画像データＣiにおける正解点ベクトルの平均ベクトルは、
【００５４】
【数３】
2005284394.tif 000005
【００５５】
となる。同様に、学習画像において検出した特徴点ベクトルは、
【００５６】
【数４】
2005284394.tif 000006
【００５７】
とすると、学習画像において検出した特徴点ベクトルの平均ベクトルは、
【００５８】
【数５】
2005284394.tif 000007
【００５９】
となる。よって、学習画像における特徴点ベクトルと正解点ベクトルの相互相関情報である共分散行列は、
【００６０】
【数６】
2005284394.tif 000008
【００６１】
となる。また、学習画像における特徴点ベクトルの自己相関情報である共分散行列は、
【００６２】
【数７】
2005284394.tif 000009
【００６３】
となり、前記（式１）では、この共分散行列の逆行列を使用する。
【００６４】
よって、前記（式１）により補正すれば、複数の学習画像における特徴点ベクトルおよびその正解点ベクトルの平均ベクトルや、その自己相関情報および相互相関情報である共分散行列に基づいて入力画像の特徴点ベクトルの誤差を補正するので、複数の学習画像における誤差の出現分布を考慮した確率的な誤差統計量に基づき入力画像の特徴点ベクトルを補正することが可能となり、その誤差修正精度を向上させることができる。
【００６５】
なお、誤差補正部１３０は、上記（式１）の代わりに、例えば、学習画像における特徴点ベクトルと、正解点ベクトルとの差の平均のベクトルを、特徴データ検出部１２０から入力した入力画像における特徴ベクトルから減算するようにしても良い。
【００６６】
このように補正すれば、学習画像における特徴点ベクトルとその正解点ベクトルの自己相関情報および相互相関情報である共分散行列を求める必要がないので、簡単に誤差を補正することができ、誤差修正精度を向上させつつも、より迅速に誤差を修正することができる。
【００６７】
そして、以上のように誤差補正部１３０によって補正された特徴点の座標を、出力部１４０から出力する（ステップＳ１１００）。
【００６８】
このように、実施の形態１によれは、画像入力部１１０から入力した画像から特徴点の座標データを検出する際に、予めオフラインにて学習して誤差統計量データベース１７０に格納した誤差統計量に基づいて入力画像の特徴点の座標データを補正するので、入力画像における特徴点の位置が未知の場合や、その撮影状況が変動する場合でも、誤差修正精度を向上させることができると共に、迅速に誤差を修正することができる
【００６９】
なお、本実施の形態では、入力画像として顔の画像を一例に説明したが、本発明では、これに限るものではない。
【００７０】
また、本実施の形態では、図５に示すステップＳ１０１０〜Ｓ１０６０までの学習時の処理を、オフライン処理により行っているが、これらの学習時の処理をオンライン時、すなわち検出時にリアルタイムに行うようにしても良い。このようにすれば、オンライン時にも誤差統計量を学習して随時更新することが可能となるので、検出数が増えるほど、誤差修正精度をより向上させることができる。
【００７１】
また、本実施の形態では、入力画像における特徴点の座標データを検出するように説明したが、本発明では、これに限らず、例えば、特徴領域の座標データや画像データを検出する場合についても同様に実施可能である。つまり、特徴データとして特徴点の座標データを検出するのではなく、矩形等で囲まれた特徴領域における座標データや画像データ、すなわち入力画像が人の顔画像である場合は、目、鼻、口、眉等の顔の特徴領域を示す座標データや、特徴領域の形状、大きさ、色、明るさ等の画像データそのものを検出する。このようにすれば、入力画像から特徴領域の座標データや画像データを検出する際に、予め誤差統計量データベース１７０に格納されている誤差統計量に基づいて補正するので、入力画像における特徴領域の位置が未知の場合や、その撮影状況が変動する場合でも、特徴領域の座標データや画像データの誤差修正精度を向上させることができると共に、迅速にその誤差を修正できることになる。
【００７２】
また、このような画像データの補正を、前記座標データの補正と同時に行うようにしても良い。つまり、学習時に、特徴領域の座標データと画像データとを検出して、それらの正解データとの間の誤差を求めておき、実際に入力画像における特徴領域の座標データと画像データとを検出した際には、それらの誤差統計量に基づいて補正するようにしても良い。このようにすれば、特徴領域の座標データと画像データを求める際の誤差修正精度を向上させることができると共に、迅速にそれらの誤差を修正できることになる。
【００７３】
（実施の形態２）
実施の形態２の特徴検出装置は、肌の色等が蛍光灯の色等により変化したり、光の強弱や光の当たる角度によって顔画像が変化する等、照明の種類や、強弱、照射角度等の撮影状況毎に、誤差統計量を学習しておき、誤差修正精度をより向上させて誤差を補正するようにした装置である。なお、この実施の形態２では、対象物として、人の顔画像を用いて説明する。
【００７４】
図６は、実施の形態２の特徴検出装置の構成を示すブロック図である。
【００７５】
図６において、実施の形態２では、照明の種類や、強弱、照射角度等の撮影状況を識別して制御する撮影状況制御部２１０を備えたことを特徴としている。なお、その他の構成要素は、図１に示す実施の形態１の特徴検出装置の構成要素と同一であるので、同一構成要素には同一の符号を付して、その説明を省略する。
【００７６】
次に、実施の形態２の特徴検出装置の動作を説明する。なお、実施の形態１と同様の動作は省略して、実施の形態２特有の動作を説明する。
【００７７】
実施の形態２の場合、学習時に撮影状況毎に識別して誤差統計量を求め、検出時には撮影状況毎に識別して誤差統計量により補正する必要がある。
【００７８】
つまり、実施の形態２の場合、学習時に画像入力部１１０より学習画像が入力し、誤差統計量算出部１６０により学習用画像の特徴データと前記特徴データの正解データとの間の誤差統計量が算出されると、撮影状況制御部２１０は、その誤差統計量を学習画像の撮影状況毎に識別して誤差統計量データベース１７０に格納する。
【００７９】
誤差統計量を撮影状況毎に識別する方法としては、ユーザの手操作等により、照明の種類や、照射強度、照射角度等の各撮影状況を示す識別コードを入力して、その識別コード毎に誤差統計量を誤差統計量データベース１７０に格納する方法などが考えられる。なお、照明の種類としては「電球色」や「蛍光灯色」、照射強度としては「明るい」、「普通」、「暗い」、照射角度としては「斜め左上から」「真上から」等が考えられる。
【００８０】
そして、実際にある撮影状況の顔画像の特徴データを入力して検出する際には、ユーザが撮影状況制御部２１０を操作してその撮影状況を特定する識別コードを入力する。
【００８１】
このため、撮影状況制御部２１０からその識別コードが誤差統計量データベース１７０へ出力され、誤差統計量データベース１７０からその識別コードに対応した特徴データが誤差補正部１３０へ出力されることになる。これにより、誤差補正部１３０では、ある撮影状況の顔画像から前記特徴データを検出する場合には、その撮影状況の学習画像から求めた誤差統計量により補正することになる。なお、照明強度と照明角度は、画像の輝度情報から自動で求めるようにしてもよい。
【００８２】
このように、実施の形態２によれば、誤差補正部１３０は、入力画像をその撮影状況に応じた誤差統計量に基づいて補正するので、入力画像の撮影状況が大きく変動する場合でも、より誤差修正精度を向上させることができると共に、迅速に誤差を修正することができる。
【００８３】
（実施の形態３）
前記実施の形態２では、照明の種類や、明るさ、照射角度等の撮影状況毎に誤差統計量を学習して誤差を補正する装置について説明したが、この実施の形態３では、検出対象毎、例えば、人の顔毎に、誤差統計量を学習しておき、人の顔毎等の検出対象毎に誤差修正精度をより向上させて誤差を補正する装置について説明する。
【００８４】
図７は、実施の形態３の特徴検出装置の構成を示すブロック図である。
【００８５】
図７において、実施の形態３では、入力画像である顔画像を識別して制御する検出対象制御部３１０を備えることを特徴としている。なお、その他の構成要素は、図１に示す実施の形態１の特徴検出装置の構成要素と同一であるので、同一構成要素には同一の符号を付して、その説明を省略する。
【００８６】
次に、実施の形態３の特徴検出装置の動作を説明する。なお、実施の形態１と同様の動作は省略して、実施の形態３特有の動作を説明する。
【００８７】
実施の形態３の場合、学習時に顔画像毎に識別して誤差統計量を求め、検出時には顔画像毎に識別して誤差統計量により補正する必要がある。
【００８８】
つまり、実施の形態３の場合、学習時に画像入力部１１０よりある特定の人の顔画像が入力して、誤差統計量算出部１６０によりその特定の人の顔画像の特徴データと正解データとの間の誤差の統計量を求めて、検出対象制御部３１０がその誤差統計量を特定人毎に識別して誤差統計量データベース１７０に格納しておく。なお、誤差統計量を特定人毎に識別する方法としては、ユーザが手操作で自分の名前やニックネーム、あるいは識別番号等の識別コードを入れて、その識別コード毎に誤差統計量を誤差統計量データベース１７０に格納する方法などが考えられる。
【００８９】
そして、実際にある特定の人の顔画像の特徴データを入力して検出する際には、ユーザが検出対象制御部３１０を操作してその人を特定する識別コードを入力する。
【００９０】
このため、検出対象制御部３１０からその識別コードが誤差統計量データベース１７０へ出力され、誤差統計量データベース１７０からその識別コードに対応した特徴データが誤差補正部１３０へ出力されることになる。これにより、誤差補正部１３０では、ある特定の人の顔画像から前記特徴データを検出する場合には、その特定の人の学習画像から求めた誤差統計量により補正することになる。
【００９１】
このように、実施の形態３によれば、誤差補正部１３０は、入力画像を人毎等のその検出対象に応じた誤差統計量に基づいて補正するので、入力画像における特徴点の位置が未知の場合や、その撮影状況が変動する場合でも、誤差修正精度を向上させることができると共に、迅速に誤差を修正することができる。
【００９２】
その結果、この実施の形態３を、インターホンや顔画像により入出チェック等を行う個人認証装置に使用して、予め特定の人のみ特徴データの誤差統計量を記憶しておくようにすれば、予め記憶した特定の人のみ確実に特徴点の座標データや、特徴点の画像データを正確に補正することが可能となるので、個人認証の認識率を向上させることができる。
【００９３】
なお、この実施の形態３と実施の形態２とを組み合わせても勿論よい。つまり、人の顔毎等の検出対象毎に誤差統計量を記憶および読み出させて補正させる実施の形態３の検出対象制御部３１０と、撮影状況毎に誤差統計量を記憶および読み出させて補正させる実施の形態２の撮影状況制御部２１０とを同時に設ける。このようにすれば、例えば、人の顔毎に、かつ、照明の種類や、明るさ、照射角度等の撮影状況毎に誤差統計量を学習して補正することになるので、さらにより誤差修正精度をより向上させることが可能となる。
【００９４】
なお、前記実施の形態１〜３では、特徴検出装置をハードウエア構成により示して説明したが、本発明では、これに限らず、前述の機能をＣＰＵがプログラムの実行することにより、ソフトウエア的に実現するように構成しても勿論よい。
【産業上の利用可能性】
【００９５】
本発明に係る特徴検出装置は、入力画像における特徴データを誤差統計量に基づいて補正することにより、入力画像における特徴領域の位置が未知の場合や、その撮影状況が変動する場合でも、誤差修正精度を向上させることができると共に、迅速に誤差を修正することができるという効果を有し、顔を対象物として認証を行う個人認証装置や、顔画像の輪郭シミュレーション装置等における特徴検出方法等として有用である。
【図面の簡単な説明】
【００９６】
【図１】本発明の実施の形態１に係る特徴検出装置の構成を示すブロック図
【図２】顔画像における特徴点を示す説明図
【図３】顔画像における特徴点の検出座標を示す説明図
【図４】顔画像における特徴点の正解座標を示す説明図
【図５】実施の形態１に係る特徴検出装置の動作を示すフローチャート
【図６】本発明の実施の形態２に係る特徴検出装置の構成を示すブロック図
【図７】本発明の実施の形態３に係る特徴検出装置の構成を示すブロック図
【符号の説明】
【００９７】
１００，２００，３００  特徴検出装置
１１０  画像入力部
１２０  特徴データ検出部（検出手段）
１３０  誤差補正部（補正手段）
１４０  出力部
１５０  正解データ付与部（付与手段）
１６０  誤差統計量算出部（算出手段）
１７０  誤差統計量データベース（記憶手段）
２１０  撮影状況制御部（撮影状況制御手段）
３１０  検出対象制御部（検出対象制御手段）
【図１】
2005284394.tif 000010
【図２】
2005284394.tif 000011
【図３】
2005284394.tif 000012
【図４】
2005284394.tif 000013
【図５】
2005284394.tif 000014
【図６】
2005284394.tif 000015
【図７】
2005284394.tif 000016