(57)【要約】  本発明は、画像中でターゲットオブジェクトを識別する方法に関する。本方法は、テンプレートオブジェクトの複数の特徴のそれぞれについて傾向を示すテンプレート傾向フィールドを表すテンプレートデータを記憶するステップと、画像を表す画像データを受信するステップと、複数の画像特徴に対応する傾向を示す画像傾向フィールドを生成するために画像データを処理するステップと、テンプレート傾向フィールドの少なくとも一部と画像傾向フィールドの少なくとも一部との間のマッチングの程度を示すマッチメトリックを生成するために、テンプレート傾向フィールドを用いて画像傾向フィールドを処理するステップと、マッチメトリックを用いて、ターゲットオブジェクトが画像中で識別されたかどうかを判定するステップとを含む。画像及び／又はテンプレート信頼性データがマッチメトリックを生成するために使用される。【選択図】  図２
2010500677.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像特徴を含む画像中でターゲットオブジェクトを識別する方法であって、
ａ）テンプレートオブジェクトの複数の特徴のそれぞれの傾向を示すテンプレート傾向フィールドを表すテンプレートデータを記憶するステップと、
ｂ）前記画像を表す画像データを受信するステップと、
ｃ）前記複数の画像特徴に対応する傾向を示す画像傾向フィールドを生成するために前記画像データを処理するステップと、
ｄ）所与の画像中で前記ターゲットオブジェクトを識別するのに使用される少なくとも１つの特性に基づいて画像信頼性データを生成するために、前記画像データを処理するステップであり、前記特性が、前記所与の画像の少なくとも１つの部分が前記所与の画像の他の部分よりも、前記ターゲットオブジェクトの少なくとも一部を表している可能性が高いことを示しているステップと、
ｅ）前記テンプレート傾向フィールドの少なくとも一部と前記画像傾向フィールドの少なくとも一部との間のマッチングの程度を示すマッチメトリックを生成するために、前記テンプレート傾向フィールド及び前記画像信頼性データを用いて、前記画像傾向フィールドを処理するステップと、
ｆ）前記マッチメトリックを用いて、前記ターゲットオブジェクトが前記画像中で識別されたかどうかを判定するステップと
を含む方法。
【請求項２】
前記方法が、前記複数の画像特徴に対応する傾向と、前記画像傾向フィールドの少なくとも１つの部分が前記ターゲットオブジェクトの少なくとも一部を表している可能性とを共に示す変更された画像傾向フィールドを生成するために、前記画像信頼性データを前記画像傾向フィールドに適用するステップを含む、請求項１に記載の方法。
【請求項３】
前記画像信頼性データにより示される前記特性が、前記画像データ中で予測される画像データエラーの程度に関し、また前記方法が、画像データエラーの前記予測される程度に従って、前記マッチメトリックを生成するために前記画像信頼性データを使用するステップを含む、請求項１又は２に記載の方法。
【請求項４】
前記画像信頼性データにより示される前記特性が、前記画像中の前記ターゲットオブジェクトの一部の可能なオクルージョンに関し、前記方法が、前記可能なオクルージョンに従って前記マッチメトリックを生成するために前記画像信頼性データを使用するステップを含む、請求項１〜３のいずれかに記載の方法。
【請求項５】
前記画像データが、ビデオ画像データである、請求項１〜４のいずれかに記載の方法。
【請求項６】
前記特性が、前記ターゲットオブジェクトの可能な動きに関する、請求項５に記載の方法。
【請求項７】
前記方法が、前記テンプレートデータにより表される前記ターゲットオブジェクトの形状から変更された前記ターゲットオブジェクトの変更された形状を決定するために、前記ターゲットオブジェクトの識別された動きを用いるステップを含む、請求項６に記載の方法。
【請求項８】
前記画像データが前記画像を色で表し、また前記特性が、前記ターゲットオブジェクトを示す少なくとも１つの色に関する、請求項１〜７のいずれかに記載の方法。
【請求項９】
前記ターゲットオブジェクトが人の顔であり、また前記特性が、人の皮膚を示す色に関する、請求項８に記載の方法。
【請求項１０】
画像データに対するテンプレートデータの変形を示す変形データを用いて前記マッチメトリックを生成するステップを含む、請求項１〜９のいずれかに記載の方法。
【請求項１１】
前記変形データが、前記テンプレートデータの前記複数の特徴の少なくとも１つの位相を示すテンプレート位相データと、前記複数の画像特徴の少なくとも１つの位相を示す画像位相データとの間で得られた差を用いて決定される、請求項１０に記載の方法。
【請求項１２】
前記変形データが、前記テンプレートデータの前記複数の特徴の少なくとも１つの角度を示すテンプレート角度データと、前記複数の画像特徴の少なくとも１つの角度を示す画像角度データとの間で得られた差を用いて決定される、請求項１０又は１１に記載の方法。
【請求項１３】
前記画像データ、前記テンプレートデータ、前記画像信頼性データ、前記テンプレート位相データ、前記画像位相データ、前記テンプレート角度データ、前記画像角度データ、及び前記変形データのうちの少なくとも１つが、行列形式に従って構成される、請求項１〜１２のいずれかに記載の方法。
【請求項１４】
前記画像特徴のそれぞれが、前記画像中で、低い光強度の領域から高い光強度の領域を分離する境界を表す、請求項１〜１３のいずれかに記載の方法。
【請求項１５】
前記境界が、同様の光強度をそれぞれが有する２つの領域を互いに分離する、請求項１４に記載の方法。
【請求項１６】
請求項１〜１５のいずれかに記載の方法を実施するように構成された装置。
【請求項１７】
請求項１〜１５のいずれかに記載の方法を実施するように構成されたコンピュータソフトウェア。
【請求項１８】
請求項１７に記載のコンピュータソフトウェアを記憶するデータ担持体。
【請求項１９】
複数の画像特徴を含む画像中でターゲットオブジェクトを識別する方法であって、
ａ）テンプレートオブジェクトの複数の特徴のそれぞれの傾向を示すテンプレート傾向フィールドを表すテンプレートデータを記憶するステップと、
ｂ）前記テンプレートの少なくとも１つの部分が、前記ターゲットオブジェクトの少なくとも一部を正確に表している可能性を示すテンプレート信頼性データを受信するステップと、
ｃ）前記画像を表す画像データを受信するステップと、
ｄ）前記複数の画像特徴に対応する傾向を示す画像傾向フィールドを生成するために前記画像データを処理するステップと、
ｅ）前記テンプレート傾向フィールドの少なくとも一部と前記画像傾向フィールドの少なくとも一部との間のマッチングの程度を示すマッチメトリックを生成するために、前記テンプレート傾向フィールド及び前記テンプレート信頼性データを用いて、前記画像傾向フィールドを処理するステップと、
ｆ）前記マッチメトリックを用いて、前記ターゲットオブジェクトが前記画像中で識別されたかどうかを判定するステップと
を含む方法。
【請求項２０】
前記方法が、前記テンプレートオブジェクトの前記複数の特徴のそれぞれの傾向と、前記テンプレート傾向フィールドの少なくとも１つの部分が、前記ターゲットオブジェクトの少なくとも一部を表している可能性とを共に示す変更されたテンプレート傾向フィールドを生成するために、前記テンプレート信頼性データを前記テンプレート傾向フィールドに適用するステップを含む、請求項１９に記載の方法。
【請求項２１】
前記ターゲットオブジェクトが人の顔であり、また前記テンプレートオブジェクトのサイズが、前記人の顔の予測される半径に相当する、請求項１９又は２０に記載の方法。
【請求項２２】
画像データに対するテンプレートデータの変形を示す変形データを用いて前記マッチメトリックを生成するステップを含む、請求項１９〜２１のいずれかに記載の方法。
【請求項２３】
前記変形データが、前記テンプレートデータの前記複数の特徴の少なくとも１つの位相を示すテンプレート位相データと、前記複数の画像特徴の少なくとも１つの位相を示す画像位相データとの間で得られた差を用いて決定される、請求項２２に記載の方法。
【請求項２４】
前記変形データが、前記テンプレートデータの前記複数の特徴の少なくとも１つの角度を示すテンプレート角度データと、前記複数の画像特徴の少なくとも１つの角度を示す画像角度データとの間で得られた差を用いて決定される、請求項２２又は２３に記載の方法。
【請求項２５】
前記画像データ、前記テンプレートデータ、前記テンプレート信頼性データ、前記テンプレート位相データ、前記画像位相データ、前記テンプレート角度データ、前記画像角度データ、及び前記変形データのうちの少なくとも１つが、行列形式に従って構成される、請求項１９〜２４のいずれかに記載の方法。
【請求項２６】
前記画像特徴のそれぞれが、前記画像中で、低い光強度の領域から高い光強度の領域を分離する境界を表す、請求項１９〜２５のいずれかに記載の方法。
【請求項２７】
前記境界が、同様の光強度をそれぞれが有する２つの領域を互いに分離する、請求項２６に記載の方法。
【請求項２８】
請求項１９〜２７のいずれかに記載の方法を実施するように構成された装置。
【請求項２９】
請求項１９〜２７のいずれかに記載の方法を実施するように構成されたコンピュータソフトウェア。
【請求項３０】
請求項２９に記載のコンピュータソフトウェアを記憶するデータ担持体。
【発明の詳細な説明】
【発明の分野】
【０００１】
本発明は、画像処理を用いて画像中のターゲットオブジェクトを識別する方法に関する。本発明はさらに、本方法を実施する装置及びコンピュータソフトウェアに関する。
【発明の背景】
【０００２】
デジタル画像中で形状の平面投影を検出するための最も一般的な技法は、学習した画像のテンプレートが、画像中のすべての可能な位置と比較される（突き合わされる）、いわゆるテンプレートマッチング法である。簡単なテンプレートマッチング法は、テンプレート及び画像の輝度値に対して作用し、正規化された相互相関に基づいて距離メトリック（ｄｉｓｔａｎｃｅ  ｍｅｔｒｉｃ）を計算する。正規化された相互相関は、広範囲で線形な照度変化には不変であるが、局所的な不均一の変化に対して不変ではない。それはまた、オブジェクトの異なる領域間の相対的な輝度値など、オブジェクトのファミリのクラス内変動に対しても不変ではない。
【０００３】
重要な項目は、画像とテンプレート間を突き合わせるために使用される特性である。最も広く使用される技法は、画像の画素値それ自体を利用し、その形状の１つ又は複数の平均された例からの画像画素値を含むテンプレートとの間で相互相関を使用する。
【０００４】
画像と形状の２値のエッジマップ間のテンプレートマッチングは、単にその画素値を用いるものよりも、より高速で、選択的に形状の区別を行ってきた。
【０００５】
欧州特許出願番号ＥＰ１１９３６４２Ａ１は、画像内にユーザ定義のモデルオブジェクトを認識するための方法を述べている。そのモデルオブジェクトは、正規化された相互相関技法を用いてマッチメトリック（ｍａｔｃｈ  ｍｅｔｒｉｃ）を生成することにより画像中で探索される。
【０００６】
画像処理技法において、改良されたオブジェクト検出を提供することが本発明の一目的である。
【発明の概要】
【０００７】
本発明の一態様によれば、複数の画像特徴を含む画像中でターゲットオブジェクトを識別する方法が提供され、上記方法が、
ａ）テンプレートオブジェクトの複数の特徴のそれぞれの傾向を示すテンプレート傾向フィールドを表すテンプレートデータを記憶するステップと、
ｂ）上記画像を表す画像データを受信するステップと、
ｃ）上記複数の画像特徴に対応する傾向を示す画像傾向フィールドを生成するために上記画像データを処理するステップと、
ｄ）所与の画像中で上記ターゲットオブジェクトを識別するのに使用される少なくとも１つの特性に基づいて画像信頼性データを生成するために、上記画像データを処理するステップであり、上記特性が、上記所与の画像の少なくとも１つの部分が上記所与の画像の他の部分よりも、上記ターゲットオブジェクトの少なくとも一部を表している可能性が高いことを示しているステップと、
ｅ）上記テンプレート傾向フィールドの少なくとも一部と上記画像傾向フィールドの少なくとも一部との間のマッチングの程度を示すマッチメトリックを生成するために、上記テンプレート傾向フィールド及び上記画像信頼性データを用いて、上記画像傾向フィールドを処理するステップと、
ｆ）上記マッチメトリックを用いて、上記ターゲットオブジェクトが上記画像中で識別されたかどうかを判定するステップと
を含む。
【０００８】
本発明の方法は、静止画像であろうと、ビデオ画像であろうと、ターゲットオブジェクトが、画像中で速やかに且つ効率よく識別されることを可能にする。
【０００９】
画像信頼性データを使用することにより、ターゲットオブジェクトが、より大きな確実性で、したがって、さらに正確に識別されることを可能にする。画像信頼性データは、ターゲットオブジェクトに関係する１つ又は複数の特性に基づくことができ、したがって、より高品質のマッチングデータを生成することができる。
【００１０】
本発明の他の態様によれば、複数の画像特徴を含む画像中でターゲットオブジェクトを識別する方法が提供され、上記方法が、
ａ）テンプレートオブジェクトの複数の特徴のそれぞれの傾向を示すテンプレート傾向フィールドを表すテンプレートデータを記憶するステップと、
ｂ）上記テンプレートの少なくとも１つの部分が、上記ターゲットオブジェクトの少なくとも一部を正確に表している可能性を示すテンプレート信頼性データを受信するステップと、
ｃ）上記画像を表す画像データを受信するステップと、
ｄ）上記複数の画像特徴に対応する傾向を示す画像傾向フィールドを生成するために上記画像データを処理するステップと、
ｅ）上記テンプレート傾向フィールドの少なくとも一部と上記画像傾向フィールドの少なくとも一部との間のマッチングの程度を示すマッチメトリックを生成するために、上記テンプレート傾向フィールド及び上記テンプレート信頼性データを用いて、上記画像傾向フィールドを処理するステップと、
ｆ）上記マッチメトリックを用いて、上記ターゲットオブジェクトが上記画像中で識別されたかどうかを判定するステップと
を含む。
【００１１】
テンプレート信頼性データは、ターゲットオブジェクトに関係する既知のパラメータ及び／又は画像の他の特徴に基づくことができる。テンプレート信頼性データは、ターゲットオブジェクトが、画像中でより正確に且つ高い信頼性で識別され得るように、テンプレートデータを用いるマッチング品質を改良するために使用される。
【００１２】
本発明のさらに他の態様によれば、本発明の方法を実施するように構成された装置、本発明の方法を実施するように構成されたコンピュータソフトウェア、及び本発明のコンピュータソフトウェアを記憶するデータ担持体が提供される。
【００１３】
本発明のさらなる特徴及び利点は、例示のために過ぎないが、添付の図面を参照して行われる本発明の好ましい実施形態の以下の説明から明らかとなろう。
【図面の簡単な説明】
【００１４】
【図１】本発明の方法を実施するための装置を概略的に示す図である。
【図２】本発明の方法の概観を与える流れ図である。
【図３】本発明の実施形態に従って、テンプレート傾向フィールドを生成する方法を概略的に示す図である。
【図４】本発明の異なる実施形態に従って、テンプレート傾向フィールドを生成する方法を概略的に示す図である。
【図５ａ】本発明の実施形態による例示的なマスクを示す図である。
【図５ｂ】本発明の実施形態による例示的なマスクを示す図である。
【図５ｃ】本発明による例示的な傾向フィールドを示す図である。
【図５ｄ】本発明による例示的な傾向フィールドを示す図である。
【図５ｅ】本発明による例示的な傾向フィールドを示す図である。
【図６】本発明の実施形態に従って、テンプレート位相マップを生成する方法を概略的に示す図である。
【図７】本発明の実施形態に従って、マッチメトリックを生成する方法を概略的に示す図である。
【図８−１】本発明の異なる実施形態に従って、マッチメトリックを生成する方法を概略的に示す図である。
【図８−２】本発明の異なる実施形態に従って、マッチメトリックを生成する方法を概略的に示す図である。
【発明の詳細な説明】
【００１５】
本発明は、画像中でターゲットオブジェクトを識別する方法を提供する。説明される本発明の実施形態では、ターゲットオブジェクトは人間の顔であるが、ターゲットオブジェクトを代替のオブジェクトにすることも考えられる。
【００１６】
画像処理装置
説明される本発明の方法の実施形態では、本方法はコンピュータソフトウェアにより実施され、画像処理装置がそのソフトウェアを動作させるように構成される。コンピュータソフトウェアは、コンパクトディスク（ＣＤ）など適切なデータ担持体上に記憶することができる。
【００１７】
図１は、本発明の方法を実施するように構成された装置１を概略的に示す。装置１は、コンピュータ端末ＣＴを含み、それは、中央処理装置（ＣＰＵ）８、メモリ１０、ハードディスクドライブ１２などのデータ記憶デバイス、及び本発明に従って、画像データを記録するように構成されたカメラ１３などの任意選択の画像捕捉装置と、コンピュータＣＴを相互接続することを容易にする入／出力装置６を含む。代替的には、ＣＴは、画像データベースなどの遠隔の画像データソースから画像データを受信するように構成され得る。
【００１８】
入／出力装置６はさらに、画面入／出力装置３０を介して画面２８のディスプレイ要素３２の相互接続を容易にする。オペレーティングシステムプログラム１４は、ハードディスクドライブ１２上に記憶され、既知の手法で、コンピュータ端末ＣＴの低レベルオペレーションを制御する。プログラムファイル及びデータ２０はまた、ハードディスクドライブ１２上に記憶され、既知の手法で、関連する装置を介するオペレータへの出力を制御し、またハードディスクドライブ１２上に記憶されたデータを出力する。その関連する装置は、画面２８の一要素としてのディスプレイ３２、ポインティング装置（図示せず）、及びキーボード（図示せず）を含み、それは、さらなる入／出力装置（図示せず）を介して、オペレータから入力を受信し、またオペレータへ情報を出力する。ハードドライブ１２上に記憶されたプログラムファイル２０に含まれるものは、画像データ、及びさらに以下に述べる特性に関係するデータを含む、その画像データに関連するデータを記憶するためのデータベース２２と、テンプレートデータを含む、テンプレートデータに関係するデータを記憶するためのデータベース２４とである。
【００１９】
画像中でターゲットオブジェクトを識別する方法
本発明の方法の諸ステップを示す流れ図である図２を参照して、本発明の諸実施形態による方法の概観が最初に与えられる。その後に、本方法の異なる実施形態に関する本方法の諸ステップの説明が詳細に行われる。
【００２０】
図２を参照すると、ステップＳ１で、テンプレートデータが、テンプレートデータストア２４に記憶される。テンプレートデータは、テンプレートオブジェクトの複数の特徴のそれぞれの傾向を示すテンプレート傾向フィールドを表す。テンプレートデータのさらなる詳細は、後に述べることになる。
【００２１】
次に、ステップＳ２で、画像データが受信される。画像データは、カメラ１３により記録することができるが、或いは、遠隔の画像データソースから受信されたものでもよい。画像データは、複数の画像特徴を含むデジタル画像を表す。画像データは、色付きの画像又はグレースケール画像を表すことができる。
【００２２】
画像特徴のそれぞれは、画像中で、低い光強度の領域から高い光強度の領域を分離する境界を表す。各境界は、エッジに対応し、或いはいくつかの実施形態では、画像中の線に対応する。画像が人の顔を含む場合の例では、境界は、画像の背景から顔を分離するエッジを画定することができる。説明される本発明の実施形態では、境界はまた、２つの領域を互いに分離することもでき、これらの２つの領域はそれぞれ、同様の光強度を有しており、その境界は、これらの２つの領域とは異なる強度の線である。例えば、その境界は、人の顔の構造線を画定することができる。
【００２３】
ステップＳ３で、テンプレート信頼性データが受信され、それは、テンプレートの少なくとも１つの部分が、ターゲットオブジェクトの少なくとも一部を表している可能性を示す。テンプレート傾向フィールドと対応させたときに、ターゲットオブジェクトを十分に示していないテンプレートの部分では、テンプレート信頼性データは比較的低い。テンプレート傾向フィールドと対応させたときに、ターゲットオブジェクトを十分に示しているテンプレートの部分では、テンプレート信頼性データは比較的高い。
【００２４】
ステップＳ４では、複数の画像特徴のそれぞれの傾向を示す画像傾向フィールドを生成するために画像データを処理する。
【００２５】
次に、ステップＳ５では、所与の画像中でターゲットオブジェクトを識別するのに使用される少なくとも１つの特徴に基づく画像信頼性データを生成するために、画像データが処理される。特性又は特性（複数）のさらなる詳細は、後に述べることとする。
【００２６】
ステップＳ６で、画像傾向フィールドは、テンプレート傾向フィールド、画像信頼性データ、及びテンプレート信頼性データを用いて処理されて、ステップＳ７で、テンプレート傾向フィールドの少なくとも一部と、変更された画像傾向フィールドの少なくとも一部との間のマッチングの程度を示すマッチメトリックを生成する。
【００２７】
ステップＳ８で、マッチメトリックが使用されて、ターゲットオブジェクトが画像中で識別されているかどうかを判定する。
【００２８】
画像データ、テンプレートデータ、画像信頼性データ、及びテンプレート信頼性データのうちの少なくとも１つは、行列形式に従って構成される。
【００２９】
以下の説明では、除算的正規化関数が使用される。除算的正規化は、局所的なコントラスト正規化の改良である。画素の近隣にわたる局所的な画像コントラスト又は輝度により画像の画素を正規化するのではなく、画像勾配値が、それ自体の２乗値の合計により画素ごとに１つずつ正規化される。
【００３０】
テンプレートデータ
テンプレートデータのテンプレート傾向フィールドにより表されるテンプレートオブジェクトは、画像中で識別されるターゲットオブジェクトに対応する。説明される実施形態では、ターゲットオブジェクトは人の顔であるが、動物や、例えば車などの乗り物など、他のターゲットオブジェクトが望ましいこともあり得ることを理解されたい。テンプレートオブジェクトは、画像特徴に対して同様の特性を有する複数の特徴を有する。テンプレート傾向フィールドは、この実施形態では、長方形の格子形態を有することのできる行列形式で構成される傾向ベクトルのフィールドを備える。
【００３１】
図３は、本発明の実施形態に従って、テンプレート傾向フィールドを生成する方法を概略的に示す。訓練画像４０を表す訓練画像データは、テンプレート傾向フィールドを生成するのに使用される入力データである。テンプレートデータは、画像データと同様な特性を有する。訓練画像データは、例えば、式１に従って計算されるコンボリューション関数Ｃｋ，ｌなど、適切なコンボリューション関数４１を用いて畳込み演算される。
2010500677.tif 000003
式中、Ａｍ，ｎ及びＢｋ，ｌは、畳込み演算のための例示的なマスクであり、またコンボリューションは、ｋ及びｌのすべての値に対して結果を生成する。
【００３２】
本実施形態では、少なくとも１つのｘ軸勾配マスク４２及び少なくとも１つのｙ軸勾配マスク４４のそれぞれが、訓練画像データと畳込み演算される。このような勾配マスクは、代替的に、画像境界フィルタと呼ぶこともある。ｘ軸勾配マスク（複数可）４２及びｙ軸勾配マスク（複数可）４４は、訓練画像データに対して並列に、又は順次に適用することができる。訓練画像４０は、この実施形態では、複数の人の顔画像の平均画像である。このように、テンプレートデータ、したがって、テンプレートオブジェクトは、平均の人の顔画像に対応する。
【００３３】
少なくとも１つのｘ軸勾配マスク４２及び少なくとも１つのｙ軸勾配マスク４４のデータは、行列形式により構成される。勾配マスク（複数可）４２、４４は、画像中で識別され得る異なる可能な境界エッジに、ｘ軸及びｙ軸方向で適切に対応する。
【００３４】
複数の異なるｘ軸勾配マスク４２が、訓練画像データに適用される場合、各ｘ勾配マスク４２は、少なくとも部分的にｘ軸方向に走る境界によって分離された高い光強度領域と低い光強度領域の異なるパターンに対応することができる。
【００３５】
同様に、複数の異なるｙ軸勾配マスク４４が、訓練画像データに適用される場合、各ｙ勾配マスク４４は、少なくとも部分的にｙ軸方向に走る境界によって分離された高い光強度領域と低い光強度領域の異なるパターンに対応することができる。
【００３６】
ｘ軸及びｙ軸勾配マスク４２、４４を適用すると、ｘ軸特徴及びｙ軸特徴に対する勾配方向ベクトルがそれぞれ得られる。これらの勾配方向ベクトルは、その角度を−π／２からπ／２の範囲にラップする（ｗｒａｐ）ことにより傾向ベクトルへと変換される。代替的には、傾向ベクトルの生成における選択性を高めるために、倍角表現を使用することもできる。
【００３７】
これらの２つのコンボリューションのそれぞれの出力は、ｘ軸及びｙ軸に沿った訓練画像の複数の特徴に対応する複数の傾向ベクトルを含み、したがって、それは画像の特徴と同様のものである。これらのコンボリューション出力は、２乗関数４６を用いてそれぞれ２乗され、次いで、加算関数４８を用いて、画像データ中で識別された画像ノイズの量により決定される値である調整可能な一定のパラメータγと共に加算される。そのパラメータは、画像データの最大勾配の例えば１０％など、２５％未満の値に設定されることが好ましいはずである。
【００３８】
加算関数４８の出力に平方根関数４９が適用され、加算関数４８の結果は、除算的正規化関数５０を用いて、コンボリューション関数４１のそれぞれの出力データを除算的に正規化するために使用され、ｘ軸テンプレート傾向フィールド成分
2010500677.tif 000004
及びｙ軸テンプレート傾向フィールド成分
2010500677.tif 000005
を生成する。適切なテンプレート傾向フィールド成分における、勾配強度とも呼ぶことのできる各ベクトルの長さは、このように、それ自体とパラメータγの加算により正規化される。２つのテンプレート傾向フィールド成分は共に、テンプレート傾向フィールドｔｍ，ｎを形成するが、式中、ｍ及びｎは、テンプレートデータのベクトル行列の値を参照するテンプレート座標である。これらの座標は、テンプレート傾向フィールドの中心における原点で定義することができる。
【００３９】
図４は、本発明の異なる実施形態に従って、可変の直交フィルタを用いてテンプレート傾向フィールドを生成する代替の方法を概略的に示す。この代替方法の機能は、図３を用いて前に述べた方法と同様であり、またこのような機能は１００だけ増分された同じ番号を用いて参照されることになり、同じ説明が同様に適用されるべきである。
【００４０】
訓練画像１４０を表す訓練画像データは、コンボリューション演算関数５２を用いて、対称マスク及び反対称マスクからなる一対のマスクのそれぞれと、別々に畳込み演算が行われる。対称マスクは、境界のマスク方向に位置合わせされた軸に関して正確に対称であり、且つ大きさで、そのマスクの空間周波数に対して重複する空間周波数サポートを有する局所的な画像構造に最も強く応答する。関連する反対称マスクは、境界のマスク方向に位置合わせされた軸に関して正確に反対称であり、且つ大きさで、そのマスクの空間周波数に対して重複する空間周波数成分を有する局所的な画像構造に最も強く応答する。そのマスクは対で使用され、図５ａ及び５ｂで、例示的な０ラジアンで垂直に傾向付けられた対称マスク、及び反対称マスクが、それぞれ示されている。さらなる詳細は、「Ａ  Ｓｔｅｅｒａｂｌｅ  Ｃｏｍｐｌｅｘ  Ｗａｖｅｌｅｔ  Ｃｏｎｓｔｒｕｃｔｉｏｎ  ａｎｄ  Ｉｔｓ  Ａｐｐｌｉｃａｔｉｏｎ  ｔｏ  Ｉｍａｇｅ  Ｄｅｎｏｉｓｉｎｇ」、Ａ．Ｂｈａｒａｔｈ及びＪ．Ｎｇ、ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ、１４巻（７号）：９４８〜９５９ページ、２００５年７月、で見出すことができ、その内容は参照として本明細書に含まれる。
【００４１】
これらのコンボリューションのそれぞれの出力は、中間の倍角表現を用いてラップされる。各コンボリューションの出力は、次いで、２乗関数６３を用いて２乗され、加算関数６４を用いて共に加算される。図４を用いてこれまで述べたテンプレート傾向フィールドを生成する諸ステップは、方向チャネルの合計数Ｋのうちの１つに関して行われる。各方向チャネルは、訓練画像の特徴に対応する訓練画像の異なる光強度領域間の境界の識別に関する位相不変の情報を提供する。各方向チャネルは、方向位相不変のユニットに対応する。図４で示すように、第１の方向チャネル５４は０ラジアンに対応し、第２の方向チャネル５６は、（Ｋ−１）π／Ｋラジアンに対応し、また式ｋπ／Ｋラジアンに対応する破線で示されたさらなるＫ−２個の数の方向チャネル５８を利用することができ、式中、ｋはＫ−２個のさらなる方向チャネルの特定の１つを指す。
【００４２】
各方向チャネルは、訓練画像１４０中に存在する境界に関する位相不変の情報を提供することができ、また複数の方向チャネルは共に、訓練画像１４０中の局所的なエネルギーの方向を符号化する。チャネルが多ければ多いほど、シャープな曲率を有する訓練画像１４０の形状境界相互間をよく特徴付けることができる。
【００４３】
各方向チャネルからの出力は、第１の経路６０及び第２の経路６２を介して送られる。第１の経路６０に従うと、方向チャネルの出力は変更されず、加算関数６５を用いて、他の方向チャネルのそれぞれの変更されない出力と加算される。この加算の出力は、平方根関数６６を介して送られ、次いで、さらなる加算関数６７を用いて、前にさらに詳細に述べた定数γに加えられる。この加算結果は、以下に述べるように、ｘ軸及びｙ軸処理チャネルに対する除算的正規化のために使用される。
【００４４】
第２の経路６２に従うと、各方向チャネルの出力は、平方根関数６８を介して送られ、次いで、ｘ軸チャネルとｙ軸チャネルへと分けられる。ｘ軸チャネルの合計数Ｋは、式２により計算されるように、ゲイン関数
2010500677.tif 000006
で重み付けされ、ｋは１からＫまでの整数値をとる。
2010500677.tif 000007
【００４５】
同様に、ｙチャネルの合計数Ｋは、式３により計算されるように、ゲイン関数
2010500677.tif 000008
で重み付けされ、ｋは１からＫまでの整数値をとる。
2010500677.tif 000009
【００４６】
加算関数６９を用いて、重み付けられたｘチャネルが加算され、定数γで加算された後、除算的正規化関数７０を用いて、第１の経路６０の出力で除算的に正規化される。このように、テンプレートデータの変化させたエネルギーとも呼ばれる各ベクトルの長さは、テンプレート中のその位置の各基本フィルタのエネルギーと、調整可能なパラメータγの合計によって正規化されて、ｘ軸テンプレート傾向フィールド成分
2010500677.tif 000010
が生成される。除算的正規化関数の場合、各方向ユニットの出力は、画像中の各位置における２乗された大きさの出力の合計の平方根で除算することにより変更される。この目的は、その後の検出で使用される各特徴測定が、同様の特性を共用する他の特徴測定により正規化されることである。
【００４７】
重み付けされたｙチャネルは、加算関数６９を用いて加算され、また除算的正規化関数７０を用いて、定数γで加算された後、第１の経路６０の出力と除算的に正規化される。同様に、このように、各ベクトルの長さが、テンプレート中のその位置における各基本フィルタのエネルギーの合計により、また調整可能なパラメータγによって正規化されて、ｙ軸テンプレート傾向フィールド成分
2010500677.tif 000011
が生成される。
【００４８】
ｘ軸テンプレート傾向フィールド成分
2010500677.tif 000012
とｙ軸テンプレート傾向フィールド成分
2010500677.tif 000013
は組み合わされて、テンプレート傾向フィールドｔｍ，ｎを形成する。
【００４９】
この実施形態によれば、図５ｃは、平均の人の顔の訓練画像に対して適用された例示的なテンプレート傾向フィールドを示す。図５ｄは、図５ｃと同じものを示しているが、訓練画像がない。図５ｅは、フィールドの中心からのコサイン重み付けを有する例示的なテンプレート傾向フィールドを示す。
【００５０】
テンプレート信頼性データ
テンプレート傾向フィールドは、訓練画像データ中のターゲットオブジェクトの表現と、訓練画像中のターゲットオブジェクトの境界の近くの背景との両方に影響を受けることになる。テンプレートオブジェクトは、ターゲットオブジェクトに対応する。テンプレート傾向フィールド中の背景乱れ（ｃｌｕｔｔｅｒ）の影響は制御することができる。
【００５１】
テンプレート信頼性データは、テンプレートデータの他の部分よりもテンプレートオブジェクトを表している可能性が非常に高いテンプレートデータの部分を示す。テンプレート信頼性データは、例えば、人の顔の予測される範囲（例えば、半径方向範囲）に対応することのできるテンプレートオブジェクトのサイズなど、テンプレートオブジェクトの既知のパラメータを示すことができる。このように、テンプレート信頼性データは、ベクトルの位置とテンプレートオブジェクトの境界の間の距離に比例した測定値を用いて、例えば、背景の乱れによるものなど、テンプレート傾向フィールドにおける各ベクトルの信頼性を示す。このような測定値は、代替的には、ベクトル位置と、中心点などテンプレートの任意の特定の位置との間を使用することもできる。テンプレートオブジェクトに関係する他の既知のパラメータもまた、テンプレート信頼性データを生成するために使用することができる。
【００５２】
テンプレート位相マップ
本発明の実施形態によれば、図６は、テンプレート位相データ、すなわち、テンプレートデータの複数の特徴の少なくとも１つの位相を示すテンプレート位相マップ
2010500677.tif 000014
を生成する方法を概略的に示している。テンプレート位相マップ
2010500677.tif 000015
は、複数のテンプレート位相値を含み、それぞれの値は、テンプレートデータの複数の特徴の１つに対応し、各特徴は、特定のテンプレート座標ｍ，ｎ値を有する。テンプレート位相マップ
2010500677.tif 000016
の値は、この実施形態では行列形式で構成される。
【００５３】
可変の直交フィルタ法によるテンプレート位相マップ
2010500677.tif 000017
の生成を、次に、図６を参照して述べる。図６を用いて述べるいくつかの機能及び方法は、図４を参照して前に述べたものと同様であり、２００だけ増分された対応する参照番号が使用されることになり、またここでも、対応する説明が適用されるべきである。
【００５４】
訓練画像データ、例えば、訓練画像２４０は、前に述べたように、一対の対称及び反対称マスクのそれぞれに対して個別に、コンボリューション関数２５２を用いて畳込み演算される。このようなコンボリューションは方向チャネルのそれぞれに対して実施される。
【００５５】
テンプレート位相マップ
2010500677.tif 000018
を生成するために、訓練画像２４０の１つの特徴に対応するｘ軸テンプレート傾向フィールド成分
2010500677.tif 000019
及びｙ軸テンプレート傾向フィールド成分
2010500677.tif 000020
が、テンプレート角度データ、すなわち、１つの特徴のテンプレート角
2010500677.tif 000021
を決定するために使用される。テンプレート角
2010500677.tif 000022
は、複数の特徴の少なくとも１つ、好ましくはそれぞれに対して同様に決定され、例えば、テンプレート角
2010500677.tif 000023
値のテンプレート角行列を生成する。
【００５６】
補間重み関数７２を用いて、各テンプレート角
2010500677.tif 000024
値の大きさは、各方向チャネルに対するテンプレート座標ｍ，ｎにおける対称及び反対称マスクによるコンボリューションの結果の対応する特徴に適用される重み付けの大きさを決定するために使用される。したがって、補間重み関数７２は、対応するテンプレート角
2010500677.tif 000025
の大きさに従って、各方向チャネルのコンボリューション出力の各特徴の値を重み付けする。０ラジアンの方向位相不変ユニットを有する方向チャネルに対しては、これは、図６で格子７４として概略的に示された重み値の行列となる。
【００５７】
重み値の行列は、各方向チャネルに対して生成される。例えば、方向位相不変ユニット（Ｋ−１）π／Ｋラジアンを有する方向チャネル２５６の場合、重み値の行列７５が生成される。重み行列は、破線を用いて図６で示すように、他の方向チャネル２５８に対しても同様に生成される。
【００５８】
０ラジアンの方向位相不変ユニットを有する方向チャネルの場合、対称マスクで畳込み演算された訓練画像２４０が、乗算関数７６を用いて、重み値の行列７４により、要素単位で乗算される。乗算関数７６は、２つのデータ配列の要素単位の乗算である。同様に、方向位相不変ユニット（Ｋ−１）π／Ｋラジアンを有する方向チャネルを含む他の方向チャネルに対しても、対称マスクで畳込み演算された訓練画像２４０は、角度
2010500677.tif 000026
を用いて生成された重み値の行列で乗算７６される。
【００５９】
方向チャネルごとに、反対称マスクで畳込み演算された訓練画像２４０は、適切な補間重み付け関数を用いて生成された重み値の対応する行列で乗算７６される。
【００６０】
方向チャネルごとに、対称マスクを用いた各乗算関数７６の出力が加算関数７８を用いて加算されて、対称フィルタ出力を提供する。同様に、反対称マスクに対応する各乗算関数７６の出力が、加算関数８０を用いて加算されて、反対称フィルタ出力を提供する。
【００６１】
対称フィルタ出力に対する反対称フィルタ出力の比が決定され、アークタンジェント関数８２が、その比に適用され、テンプレート位相マップ
2010500677.tif 000027
が生成される。したがって、テンプレート位相マップ
2010500677.tif 000028
は、傾向フィールドにより提供されるものに対して直角をなす方向におけるテンプレートデータの特徴ごとの応答の対称性を表す。
【００６２】
画像傾向フィールド
図３又は図４を用いて前に述べたテンプレート傾向フィールドを生成する方法は、画像データから画像傾向フィールドを生成するために使用することができる。しかし、そうではあるが、画像傾向フィールドを生成するためには、入力データが、訓練画像データではなく、受信した画像データであるべきである。したがって、図３又は図４を用いて述べた方法のいずれの出力も、ｘ軸画像傾向フィールド成分
2010500677.tif 000029
及びｙ軸画像傾向フィールド成分
2010500677.tif 000030
であり、式中、ｋ及びｌは画像データの行列のベクトル値を参照する画像座標である。これらの２つの生成された画像傾向フィールド成分は共に、画像傾向フィールドｉｋ，ｌを形成する。
【００６３】
画像信頼性データ
生成された画像信頼性データは、複数の異なる特性に基づくことができる。各特性は、所与の画像の少なくとも一部、すなわち、この例では、受信した画像データにより表される画像の少なくとも一部が、その所与の画像の他の部分よりもターゲットオブジェクトの少なくとも一部を表している可能性が高いことを示している。
【００６４】
異なる特性による画像信頼性データの生成を、異なる実施形態に対して次に説明する。さらなる実施形態では、以下で述べる複数の異なる特性により生成される画像信頼性データを、代替的に使用することができる。
【００６５】
ｉ．画像エラー特性
本発明の実施形態では、画像信頼性データにより示される特性は、画像データ中に予測されるエラーの程度に関し、またその方法は、画像データエラーの予測される程度に従ってマッチメトリックを生成するために、その画像信頼性データを用いることを含む。
【００６６】
画像データは、例えば、装置１のＣＴへの画像データの送信中に受けるエラー、及び例えば、劣化した品質のカメラを使用することにより、又は正しい画像の記録を妨げるカメラ１３のレンズ上に存在するゴミ粒子により画像データを記録する際に受けるエラーを含むデータエラーを含む可能性がある。
【００６７】
本発明の実施形態では、予測される画像エラーの程度を示すエラー特性データは、装置１により受け取られる。エラー特性データは、カメラの品質データ、及び／又はコンピュータネットワークなど、所与の送信手段を介して送信されたとき、成功裡に受信された画像データの一部の統計データを含むことができる。さらに、画像エラー訂正アルゴリズム又は画像のノイズ除去アルゴリズムを、画像信頼性データを生成するために使用することができる。
【００６８】
画像信頼性データを使用することなく、画像傾向フィールドからターゲットオブジェクトを識別することは成功していない場合、エラー特性データを使用して画像信頼性データを生成することにより、この画像信頼性データを、画像データから成功裡にターゲットオブジェクトを識別するために使用することができる。
【００６９】
ｉｉ．画像オクルージョン特性
本発明の代替の実施形態では、画像信頼性データにより示された特性は、画像中のターゲットオブジェクトの一部の可能なオクルージョンに関し、その方法は、画像信頼性データを用いて、可能なオクルージョンに従ってマッチメトリックを生成することを含む。
【００７０】
画像がターゲットオブジェクトの画像を含む場合、画像データがターゲットオブジェクトの一部だけを表すように、ターゲットオブジェクトの一部を、画像中の他のオブジェクトにより遮蔽することが可能である。
【００７１】
本発明の一実施形態では、画像オクルージョン特性データは、装置１により受信される。画像オクルージョン特性データは、画像中のターゲットオブジェクトのオクルージョンの複数の可能な形態、例えば、ターゲットオブジェクトの中間部を水平に、及び／又は垂直に遮蔽する形状、又は画像中のターゲットオブジェクトの上部、底部、及び／又は側部を水平に、及び／又は垂直に遮蔽する形状を表す。さらに、画像中に記録された画像シーンに存在するオブジェクトのタイプの細部が知られている場合、ターゲットオブジェクトを遮蔽することのできる、このようなシーン中で共通に見出されるオブジェクトの形状のデータを利用することができる。
【００７２】
さらに、画像オクルージョン特性データは、ターゲットオブジェクトが、なお、テンプレートデータを用いて画像中で成功裡に識別されることを可能にしながら、遮蔽され得る画像中のオブジェクトのあるパーセンテージの領域のデータを含むことができる。
【００７３】
ｉｉｉ．オブジェクトの動き特性
本発明のさらなる代替の実施形態では、画像データはビデオデータであり、またその特性は、ターゲットオブジェクトの可能な動きに関する。本発明の方法は、例えば、画像背景減算アルゴリズムを用いて、又は学習した画像背景に関係するデータを用いて、画像中のターゲットオブジェクトの動きを識別することを含むことができる。
【００７４】
ビデオ画像データにより表されたターゲットの動きは、ビデオ画像データにより表されたターゲットオブジェクトの形状を変化させることもあり得る。ターゲットオブジェクトの識別された動きは、テンプレートデータによって表されたターゲットオブジェクトの形状から変更されたターゲットオブジェクトの変更形状を決定するために使用される。
【００７５】
オブジェクトの動き特性に基づく画像信頼性データを使用しない場合、結果的にターゲットオブジェクトの形状をテンプレートオブジェクトの形状とは異なる形状に変更するこのような動きは、ビデオ画像データ中のターゲットオブジェクトの成功裡の識別を妨げることになる。したがって、オブジェクトの動き特性に基づいて画像信頼性データを使用することにより、ターゲットオブジェクトをビデオ画像データ中で成功裡に識別できるようになる。
【００７６】
ｉｖ．オブジェクトの色特性
本発明の他の代替の実施形態では、画像データは、画像データが画像の色データを含むように、画像を色で表し、またその特性は、ターゲットオブジェクトを示す少なくとも１つの色に関する。この例では、その特性は人の皮膚を示す色に関する。
【００７７】
本発明の方法では、人の皮膚の少なくとも１つの色を示すオブジェクト色特性データが受信され、画像データに適用されて画像信頼性データを生成する。したがって、人の皮膚の色を有する画像の部分を示す画像データの部分が識別される。
【００７８】
画像傾向フィールドを有する色特性に基づいて、画像信頼性データを処理することにより、画像データの他の部分よりもターゲットオブジェクトを表す可能性が非常に高い画像データの部分を識別することが可能になる。このように、画像データの部分は、画像データの他の部分よりも、ターゲットオブジェクトを表している高い確度が割り当てられる。
【００７９】
画像位相マップ
図６を用いて前に述べたテンプレート位相マップ
2010500677.tif 000031
を生成する方法は、画像位相データ、すなわち、画像位相マップ
2010500677.tif 000032
を、画像データを用いて生成するために使用することができる。画像位相データは、複数の画像特徴の少なくとも１つの位相を示す。画像位相マップ
2010500677.tif 000033
を生成するために、訓練画像データに代えて、受信した画像データが使用される。さらに、ｘ軸及びｙ軸に対して、テンプレート傾向フィールド成分
2010500677.tif 000034
を入力する代わりに、ｘ軸及びｙ軸に対して、画像傾向フィールド成分
2010500677.tif 000035
が入力される。さらに、テンプレート角
2010500677.tif 000036
は決定されず、それに代えて、複数の画像特徴の少なくとも１つに対応する画像角度データ、すなわち、画像角
2010500677.tif 000037
が決定される。
【００８０】
マッチメトリックの生成
前に述べたように、マッチメトリックは、テンプレート傾向フィールド、画像信頼性データ、及びテンプレート信頼性データを用いて、画像傾向フィールドを処理することにより生成される。
【００８１】
テンプレートデータと画像データの間のマッチングは、テンプレートと画像ベクトルフィールドの間のマッチングへと一般化することができ、それは、各画素における線形空間演算子の出力の非線形関数の組合せによって正規化される。
【００８２】
マッチングは、正規化された傾向フィールド成分に対して並列に作用する相互相関器のバンクを用いて実施され得る。これは、様々なハードウェア及びソフトウェアプラットフォーム上で実施する速度及び容易さに対して有意義である。このような相関器の出力は、一般に、非線形関数を介してマップされ、次いで、重み付けされ且つ組み合わされて、アキュムレータ空間を作成する。アキュムレータ空間は、ハフ変換技法のものと趣旨が同じであるが、訓練の特定の形状に対してより選択的である。したがって、検出は、アキュムレータ空間における局所的な最大を閾値処理する、又は検出することを利用する。
【００８３】
説明される実施形態では、前に述べた画像信頼性データ及びテンプレート信頼性データの少なくとも一方が使用される。画像信頼性データＣＩｍ，ｎは、ｘ軸画像信頼性データ
2010500677.tif 000038
及びｙ軸画像信頼性データ
2010500677.tif 000039
を含む。テンプレート信頼性データＣＴｍ，ｎは、ｘ軸テンプレート信頼性データ
2010500677.tif 000040
及びｙ軸テンプレート信頼性データ
2010500677.tif 000041
を含む。ｘ軸及びｙ軸画像信頼性データ、並びにｘ軸及びｙ軸テンプレート信頼性データは、行列形式に従って配置され、その場合、この例では、信頼性データ行列の各値は、画像の一部がターゲットオブジェクトを表している可能性、又はテンプレートの一部がテンプレートオブジェクトを表している可能性を適切に表す。各行列の要素はベクトルである。
【００８４】
図７は、本発明の実施形態に従って、画像データ中の位置ｋ，ｌにおける相互相関マッチメトリック
2010500677.tif 000042
を生成する方法を概略的に示す。
【００８５】
マッチメトリック
2010500677.tif 000043
は、画像及びテンプレート信頼性データをまだ組み込んでいない式４による相互相関計算に基づいている。
2010500677.tif 000044
【００８６】
式４による、画像に対するマッチメトリック
2010500677.tif 000045
の計算は、２つのコンボリューション演算の和へと分解することができる。ＣＣＸは、２Ｄ反転されたｘ軸テンプレート傾向フィールド成分
2010500677.tif 000046
と、ｘ軸画像傾向フィールド成分
2010500677.tif 000047
のコンボリューションであり、またＣＣＹは、２Ｄ反転されたｙ軸テンプレートフィールド成分
2010500677.tif 000048
と、ｙ軸画像フィールド成分
2010500677.tif 000049
のコンボリューションである。
【００８７】
式４の演算子、すなわち、差の内積及び２つのノルムは、式５で定義されるカーネルＫ（ａ，ｂ）へと一般化することができる。
2010500677.tif 000050
画像信頼性マップ及びテンプレート信頼性マップとも呼ぶことのできる、画像信頼性データＣＩｍ，ｎ及びテンプレート信頼性データＣＴｍ，ｎは式５に導入されて、式６で定義されるようにマッチメトリックを改良する。
2010500677.tif 000051
【００８８】
したがって、ＣＣＸは、
2010500677.tif 000052
と
2010500677.tif 000053
のコンボリューションとなり、またＣＣＹは、
2010500677.tif 000054
と
2010500677.tif 000055
のコンボリューションになる。
【００８９】
ｘ軸又はｙ軸に対する画像信頼性データＣＩｋ，ｌと、ｘ軸又はｙ軸に対する画像傾向フィールドの積をそれぞれ計算することは、要素ごとの積を生成するために、画像信頼性データを画像傾向フィールドに適用することを含む。要素ごとの積は、変更された画像傾向フィールドＭＩｋ，ｌ（ｘ軸に対して
2010500677.tif 000056
及びｙ軸に対して
2010500677.tif 000057
を含む）とも呼ぶことができ、それは、複数の画像特徴のそれぞれの傾向と、画像傾向フィールドの少なくとも１つの部分が、ターゲットオブジェクトの少なくとも一部を表している可能性とを共に示す。
【００９０】
ｘ軸又はｙ軸に対するテンプレート信頼性データＣＴｍ，ｎと、ｘ軸又はｙ軸に対するテンプレート傾向フィールドの要素ごとの積をそれぞれ計算することは、要素ごとの積を生成するために、テンプレート信頼性データをテンプレート傾向フィールドに適用することを含む。要素ごとの積は、変更されたテンプレート傾向フィールドＭＴｍ，ｎ（ｘ軸に対して
2010500677.tif 000058
及びｙ軸に対して
2010500677.tif 000059
）とも呼ぶことができ、それは、テンプレートオブジェクトの複数の特徴のそれぞれの傾向と、テンプレート傾向フィールドの少なくとも１つの部分が、ターゲットオブジェクトの少なくとも一部を表している可能性とを共に示す。
【００９１】
２Ｄ反転することにより、コンボリューション演算をテンプレートマッチングに必要な相関へと変換する。その演算は、ｘ軸に沿って反転させた後にｙ軸に沿って反転させる、或いはその逆を含む。
【００９２】
マッチメトリックの計算をコンボリューション演算へと分解することの利点は、高速な最適化されたコンボリューションの実装形態が、すでにソフトウェアライブラリとハードウェア中に存在しており、これらの実装形態に対して最小の変更が必要であるに過ぎないことである。
【００９３】
図８は、本発明の異なる実施形態による、図７を用いて述べられた相互相関マッチメトリックを生成することの代替として、画像データ中のある位置におけるユークリッド距離に基づくマッチメトリック
2010500677.tif 000060
を生成する方法を概略的に示している。
【００９４】
図７を用いて述べた相互相関マッチメトリックは、非正規化傾向フィールドに対するテンプレートよりも比較的長いベクトル、又は正規化された傾向フィールドに対してその長さが単位に近づくベクトルを含む望ましくない画像傾向フィールドの近傍に高い値を与える可能性がある。
【００９５】
ユークリッド距離に基づくマッチメトリック
2010500677.tif 000061
は、テンプレート及び画像傾向フィールドの近傍が正確に同じであるときゼロ値のマッチメトリックを与えるに過ぎない非ユークリッド距離を用いることによるテンプレートデータのマッチングよりもさらに選択的である。そうではなくて、ユークリッド距離に基づくマッチメトリック
2010500677.tif 000062
は、負の値を生成する。画像及びテンプレート信頼性データを組み込まないユークリッド距離に基づくマッチメトリック
2010500677.tif 000063
は、式７により定義される。
2010500677.tif 000064
2010500677.tif 000065
【００９６】
全体の画像にわたってマッチメトリック
2010500677.tif 000066
を計算することは、式８で定義される非線形の内部カーネルを含み、それは、２つの一連の線形コンボリューションの和、ｍｄ＝ＣＤＸ＋ＣＤＹへと分解することができ、式中、ＣＤＸ及びＣＤＹは、２つのコンボリューション演算をそれぞれＣＣＸとＣＣＹに加えることによって得ることができる。
【００９７】
ＣＤＸは、式９により定義され、またＣＤＹは、式１０により定義される。
2010500677.tif 000067
2010500677.tif 000068
【００９８】
式５及び６を参照すると、ユークリッド距離に基づくマッチメトリックは、カーネルＫ（ａ，ｂ）へと一般化することができる。画像信頼性データＣＩｍ，ｎ及びテンプレート信頼性データＣＴｍ，ｎが式５に導入されて、以下のようにマッチメトリックを改良する。
【００９９】
ＣＣＸは、
2010500677.tif 000069
と
2010500677.tif 000070
のコンボリューションとなり、またＣＣＹは、
2010500677.tif 000071
と
2010500677.tif 000072
のコンボリューションとなる。
【０１００】
ＣＣＸＴは、ｘ軸の画像信頼性データ
2010500677.tif 000073
と、ｘ軸テンプレート信頼性データ
2010500677.tif 000074
と要素ごとに２乗されたｘ軸テンプレート傾向フィールド
2010500677.tif 000075
の２Ｄ反転された要素ごとの積とのコンボリューションとなる。ＣＣＸＩは、２Ｄ反転されたｘ軸テンプレート信頼性データ
2010500677.tif 000076
と、ｘ軸画像信頼性データ
2010500677.tif 000077
と要素ごとに２乗されたｘ軸画像傾向フィールド
2010500677.tif 000078
の要素ごとの積とのコンボリューションとなる。すなわち、ＣＣＸＴは、
2010500677.tif 000079
と
2010500677.tif 000080
のコンボリューションであり、ＣＣＸＩは、
2010500677.tif 000081
と
2010500677.tif 000082
のコンボリューションである。
【０１０１】
ＣＣＹＴは、ｙ軸の画像信頼性データ
2010500677.tif 000083
と、ｙ軸テンプレート信頼性データ
2010500677.tif 000084
と要素ごとに２乗されたｙ軸テンプレート傾向フィールド
2010500677.tif 000085
の２Ｄ反転された要素ごとの積とのコンボリューションとなる。ＣＣＹＩは、２Ｄ反転されたｙ軸テンプレート信頼性データ
2010500677.tif 000086
と、ｙ軸画像信頼性データ
2010500677.tif 000087
と要素ごとに２乗されたｙ軸画像傾向フィールド
2010500677.tif 000088
の要素ごとの積とのコンボリューションとなる。すなわち、ＣＣＹＴは、
2010500677.tif 000089
と
2010500677.tif 000090
のコンボリューションであり、ＣＣＹＩは、
2010500677.tif 000091
と
2010500677.tif 000092
のコンボリューションである。
【０１０２】
画像信頼性データを用いずにユークリッド距離に基づくマッチメトリックを生成したとき、ｘ軸又はｙ軸画像信頼性データ
2010500677.tif 000093
は、デフォルト値１に設定される。画像信頼性データを含む前述のコンボリューション演算は、入力マスクの境界（言い換えると、有効な格子値）の外側では０の値を使用する。上記で述べた加算関数は、入力マスクの境界の外側である座標ｋ＋ｍ及びｌ＋ｎを使用することができるので、これらの座標に対しては、境界処理技法に従って０の値が使用される。
【０１０３】
同様に、テンプレート信頼性データを用いずにユークリッド距離に基づくマッチメトリックを生成する場合、ｘ軸又はｙ軸テンプレート信頼性データ
2010500677.tif 000094
はデフォルト値１に設定される。
【０１０４】
本発明の他の実施形態によれば、ユークリッド距離マッチメトリック
2010500677.tif 000095
を変更して、代替のマッチメトリック
2010500677.tif 000096
を、前述のように生成されたテンプレート位相マップ
2010500677.tif 000097
及び画像位相マップ
2010500677.tif 000098
を用いることによって得ることができる。
2010500677.tif 000099
【０１０５】
式１１を用いると、テンプレート位相マップ
2010500677.tif 000100
と、座標ｋ，ｌを有する位置で中心化された画像位相マップ
2010500677.tif 000101
の一部との間の位相差の絶対値は、テンプレート傾向フィールドの各特徴のテンプレート角
2010500677.tif 000102
と、画像傾向フィールドの一部の各特徴の画像角
2010500677.tif 000103
との間の差のコサインの絶対値により乗算されて、変形データ
2010500677.tif 000104
が決定される。画像傾向フィールドの一部の特徴の角度が、テンプレートデータの特徴の対応する角度と同じである場合、傾向角の差のコサインは１に等しく、したがって、この場合は、特徴の位置におけるテンプレート位相と画像位相の差により提供される変位の全体の値が使用される。しかし、テンプレートと画像の角度が互いに直角をなす場合は、変形を解くことができず、この特徴の位置における変位がマッチメトリックに寄与することはない。
【０１０６】
変形データ
2010500677.tif 000105
は、この実施形態では、複数のスカラー変形値を含む行列であり、それぞれの値は、座標ｋ，ｌで中心化された画像データの一部からの特徴に対する、座標ｍ，ｎにおけるテンプレートデータの特徴の１つのマッチングに対応する。各変形値は、テンプレートデータと画像データの一部との間の位相差に対応する。変形データは、画像データに対するテンプレートの変形を示している。より大きな変形値は、テンプレートデータを画像データの一部に適合させるにはより大きく変形させることを示すことができ、その逆も同様である。このような変形値は、テンプレートデータと、画像データの一部との間の不整合を表していると見なすことができる。その値の大きさは、その不整合の程度を示している。
【０１０７】
これまで述べた変形データ
2010500677.tif 000106
は、テンプレートデータを静止画の画像データにマッチングすることに関する。変形データはまた、ビデオ画像データにも適用することができる。それに従って、変形データＤｋ，ｌは、ビデオ画像データの一連の画像フレームに対して決定することができ、連続するフレームからの画像データ間の不整合は、ビデオ画像データ中の座標ｋ，ｌにおける特徴の動きを示すために使用され得る。
【０１０８】
この実施形態では、また図８を用いて述べる同様の方法を用いると、変更されたユークリッド距離マッチメトリック
2010500677.tif 000107
が、変形データ
2010500677.tif 000108
を用いて生成される。それに従って、図８を参照して上記で述べた非線形内部カーネルが、式１２に変更される。
2010500677.tif 000109
【０１０９】
式１２の非線形内部カーネルでは、変形データ
2010500677.tif 000110
行列の各スカラー値の２乗の合計が、距離マッチメトリック
2010500677.tif 000111
から減算されて、変更されたユークリッド距離マッチメトリック
2010500677.tif 000112
が決定される。したがって、計算されたマッチメトリック
2010500677.tif 000113
は、テンプレートデータと画像データの間の任意の変形を考慮に入れて、ターゲットオブジェクトを、画像データ中でより正確に識別することが可能になるので有利である。したがって、変形データ
2010500677.tif 000114
は、固定されたマッチングに限定されるのではなく、画像データとテンプレートの変形可能な又はゆがむ（ｗａｒｐｉｎｇ）マッチングを提供する。特に、変形データ
2010500677.tif 000115
の使用は、ターゲットオブジェクトの位相特性が知られている場合、ターゲットオブジェクトの改良された識別を提供する。例えば、ターゲットオブジェクトが線画を表す画像データ中で探索される場合、知られている位相特性により、立体オブジェクトに対するよりも線画に対するシステムの応答性をさらによくすることができる。
【０１１０】
ターゲットオブジェクトの識別
上記で述べたマッチメトリックの１つは、行列座標により決定される画像データの行列の各ベクトルに対して、又はユーザ若しくはコンピュータビジョン（ｃｏｍｐｕｔｅｒ  ｖｉｓｉｏｎ）アルゴリズムによって画像データ中で決定される関心領域（ＲＩＯ）の各ベクトル値に対して計算され得る。
【０１１１】
ターゲットオブジェクトが画像データ中で識別されたかどうかを決定するために、計算されたマッチメトリックの各値は、ユーザにより、又は異なるオブジェクト検出器により設定され得る閾値によって、閾値処理される。例えば、計算されたマッチメトリックの１つが、閾値よりも大きい値を有する場合、ターゲットオブジェクトがその画像中で識別されていると判定され、ターゲットオブジェクトの中心が、そのマッチメトリック値により表される。しかし、マッチメトリック値が閾値よりも低い場合は、そのマッチメトリックは、ターゲットオブジェクトを識別していない。
【０１１２】
画像及び／又はテンプレート信頼性データの使用は、計算されたマッチメトリックの値に影響を与え、したがって、この例では、信頼性データにより示されるように、画像の対応する部分が、ターゲットオブジェクトを含む可能性が比較的高い場合、マッチメトリックの値は増加する。さらに、ターゲットオブジェクトを含む可能性が比較的低い画像の部分に対するマッチメトリックの値は減少する。このように、信頼性データは、画像中のターゲットオブジェクトの識別を向上させる。
【０１１３】
上記の実施形態は、本発明を説明するための例として理解されたい。本発明の他の実施形態も考えられる。例えば、ターゲットオブジェクトの他の特性を、画像信頼性データを生成するために使用することができる。さらに、ターゲットオブジェクトの他の既知のパラメータを、テンプレート信頼性データを生成するために使用することもできる。
【０１１４】
本発明の他の実施形態では、画像信頼性データ及びテンプレート信頼性データの一方が、マッチメトリックを生成するために使用されなくてもよい。例えば、テンプレート信頼性データだけを使用する、又は画像信頼性データだけを使用することができる。
【０１１５】
平均の人の顔画像である訓練画像を用いて傾向フィールドを決定することが上記で述べられてきた。代替の実施形態では、傾向フィールドは、例えば、異なる人の顔を表す複数の異なる訓練画像のそれぞれに対して決定することができ、その複数の決定された傾向フィールドから、平均の傾向フィールドを生成することができる。
【０１１６】
テンプレート及び／又は画像位相マップは、変形のパターンを検出することに基づいて、確度データを提供するために使用することができる。例えば、画像データの一部に対するテンプレートのマッチング中に、画像データの他の領域と比較して、画像データのある領域に局所化されたより高い変形値を、画像データ中のターゲットオブジェクトのオクルージョンを示すために使用することができる。
【０１１７】
画像傾向フィールド及びテンプレート傾向フィールドを生成する方法、マッチメトリックを生成する方法を含む画像処理法の諸例が述べられてきた。当技術分野で知られたさらなる画像処理法を、前述のものに追加して、又は代替的に、本発明の方法に適用することができる。さらに、前述の諸実施形態のいずれの画像データも、ビデオ画像データを含むことができる。このような実施形態では、本発明の方法は、例えば、アテンション演算子（ａｔｔｅｎｔｉｏｎ  ｏｐｅｒａｔｏｒ）の焦点を提供するために利用することができる。
【０１１８】
任意の１つの実施形態に関係して述べられたいずれの機能も、単独で使用することができるが、或いは前述の他の機能と組み合わせて使用することができ、またさらに、任意の他の実施形態、又は任意の他の実施形態の任意の組合せの１つ又は複数の機能と組み合わせて使用できることを理解されたい。さらに、上記で述べられていない均等な形態及び変更形態を、添付の特許請求の範囲で定義される本発明の範囲を逸脱することなく使用することもできる。
【図１】
2010500677.tif 000116
【図２】
2010500677.tif 000117
【図３】
2010500677.tif 000118
【図４】
2010500677.tif 000119
【図５ａ】
2010500677.tif 000120
【図５ｂ】
2010500677.tif 000121
【図５ｃ】
2010500677.tif 000122
【図５ｄ】
2010500677.tif 000123
【図５ｅ】
2010500677.tif 000124
【図６】
2010500677.tif 000125
【図７】
2010500677.tif 000126
【図８−１】
2010500677.tif 000127
【図８−２】
2010500677.tif 000128
【国際調査報告】
2010500677.tif 000129
2010500677.tif 000130
2010500677.tif 000131