(57)【要約】  顔に基づく画像クラスタリングシステム、方法を記載する。一態様では、顔領域58を画像20内で検出する。顔領域58のうちの各々から、少なくとも１つの各々のパラメータ値53を抽出する。顔領域58のうちの、クラスタシード述語を満たすパラメータ値53に関連付けられている顔領域をクラスタシード顔領域38として分類する。クラスタシード顔領域38を１つ又は複数のクラスタ44、48にクラスタリングする。クラスタ44、48のそれぞれに関して、各々の顔モデル24を構築する。顔モデル24を記憶する。別の態様では、顔領域58を画像20内で検出する。顔領域58の各々から、少なくとも１つの各々のパラメータ値53を抽出する。抽出されたパラメータ値53に基づいて顔領域58をランク付けする。顔領域58をランク順に１つ又は複数のクラスタ44、48にクラスタリングする。クラスタ44、48の各クラスタの表現をディスプレイ116上に表示する。
2010507139.tif 000002
【特許請求の範囲】
【請求項１】
画像（２０）内の顔領域（５８）を検出し、
前記顔領域（５８）のうちの各々から少なくとも１つの各々のパラメータ値（５３）を抽出し、
前記顔領域（５８）のうちの、クラスタシード述語を満たすパラメータ値（５３）に関連付けられている顔領域をクラスタシード顔領域（３８）として分類し、
前記クラスタシード顔領域（３８）を１つ又は複数のクラスタ（４４、４８）にクラスタリングし、
前記クラスタ（４４、４８）のうちの各々に関して、それぞれの顔モデル（２４）を構築し、
前記顔モデル（２４）を記憶することを含むことを特徴とする方法。
【請求項２】
前記抽出することは、
前記顔領域（５８）のうちの各々に関して、以下のパラメータ（５３）、すなわち前記顔領域（５８）の鮮鋭度の測度、前記顔領域（５８）のコントラストの測度、前記顔領域（５８）の彩度の測度、及び前記顔領域（５８）の露出の測度のうちの１つ又は複数のそれぞれの値を求め、
前記顔領域（５８）のサイズを指定するそれぞれのサイズパラメータ値を求めることを含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記分類することは、サイズ述語を満たさない１つ又は複数のサイズパラメータ値（５３）、輝度述語を満たさない輝度パラメータ値（５３）、及び鮮鋭度述語を満たさない鮮鋭度パラメータ値（５３）のうちの少なくとも１つに関連付けられている、前記顔領域（５８）のうちの各々を非クラスタシード顔領域（４２）として分類することを含み、
前記クラスタリングすることは、前記非クラスタシード顔領域（４２）と対応する顔モデル（２４）との間の近さの測度に基づいて、前記非クラスタシード顔領域（４２）のうちの各非クラスタシード顔領域を、前記クラスタ（４８）のうちの各々のクラスタに割り当てることを含むことを特徴とする請求項１に記載の方法。
【請求項４】
前記クラスタリングすることは、
（ａ）前記クラスタシード顔領域（３８）のうちの１つによってクラスタ（４８）を開始し、
（ｂ）各開始クラスタ（４８）と前記クラスタシード顔領域（３８）のうちの次のクラスタシード顔領域との間の近さの各々の測度を求め、
（ｃ）対応する近さ測度が第１の近さ述語を満たすという判断に応じて、前記次のクラスタシード顔領域（３８）を、前記開始クラスタ（４８）のうちの最も近い開始クラスタに割り当て、
（ｄ）対応する近さ測度が、前記第１の近さ述語とは異なる第２の近さ述語を満たすという判断に応じて、新しいクラスタ（４８）を前記次のクラスタシード顔領域（３８）によって開始し、
（ｅ）前記クラスタシード顔領域（３８）のうちの全ての連続するクラスタシード顔領域に関して（ｂ）〜（ｄ）を繰り返すことを含むことを特徴とする請求項１に記載の方法。
【請求項５】
（ａ）の前に、前記クラスタリングすることは、少なくとも１つのパラメータ（５３）に関して抽出される前記値に基づいて前記クラスタシード顔領域（３８）をランク付けすることを含み、（ｂ）は、最高ランクから最低ランクまでのランク順に前記次のクラスタシード顔領域（３８）を選択することを含むことを特徴とする請求項４に記載の方法。
【請求項６】
（ｂ）は、各開始クラスタ（４８）に関して、前記開始クラスタの構成要素であるクラスタシード顔領域（３８）から抽出される特徴に基づいて、それぞれの顔モデル（２４）を構築し、前記次のクラスタシード顔領域（３８）から抽出される特徴と前記顔モデル（２４）のうちのそれぞれから抽出される特徴との間の近さのそれぞれの測度を求めることを含むことを特徴とする請求項４に記載の方法。
【請求項７】
（ｅ）の後、前記クラスタリングすることは、（ｆ）前記開始クラスタ（４８）のうちの最も近い開始クラスタに、前記第１の近さ術語及び前記第２の近さ術語とは異なる第３の近さ述語を満たす近さ測度に関連付けられている、前記クラスタシード顔領域（３８）のうちの割り当てられていないクラスタシード顔領域を割り当て、
（ｆ）の後、前記クラスタシード顔領域（３８）のうちの、前記開始クラスタ（４８）のいずれにも割り当てられていないクラスタシード顔領域に関して（ａ）〜（ｅ）を繰り返すことを含むことを特徴とする請求項４に記載の方法。
【請求項８】
前記クラスタリングすることは、カウント閾値を満たさない、構成要素である顔領域（５８）をそれぞれの数だけ含むクラスタ（４４）を自動的に併合することを含むことを特徴とする請求項１に記載の方法。
【請求項９】
画像（２０）内の顔領域（５８）を検出するように動作可能な顔検出処理コンポーネント（１２）と、
前記顔領域（５８）のうちのそれぞれから少なくとも１つのそれぞれのパラメータ値（５３）を抽出するように動作可能なパラメータ抽出処理コンポーネント（１４）と、
前記顔領域（５８）のうちの、クラスタシード述語を満たすパラメータ値（５３）に関連付けられている顔領域をクラスタシード顔領域（３８）として分類するように動作可能なクラスタ処理コンポーネント（１６）であって、前記クラスタシード顔領域（３８）を１つ又は複数のクラスタ（４４、４８）にクラスタリングするようにさらに動作可能である、クラスタ処理コンポーネント（１６）と、
前記クラスタ（４４、４８）のうちのそれぞれに関して、それぞれの顔モデル（２４）を構築すると共に前記顔モデル（２４）を記憶するように動作可能なモデル処理コンポーネント（１８）とを備えることを特徴とする装置。
【請求項１０】
画像（２０）内の顔領域（５８）を検出し、
前記顔領域（５８）のうちのそれぞれから少なくとも１つのそれぞれのパラメータ値（５３）を抽出し、
前記抽出されたパラメータ値（５３）に基づいて前記顔領域（５８）をランク付けし、
前記顔領域（５８）をランク順に１つ又は複数のクラスタ（４４、４８）にクラスタリングし、
前記クラスタ（４４、４８）のうちの各クラスタの表現をディスプレイ（１１６）上に表示することを含むことを特徴とする方法。
【発明の詳細な説明】
【背景技術】
【０００１】
個人及び組織が急速に画像コンテンツの大規模なコレクションを蓄積し続けるにつれて、これらの個人及び組織はますます、自身のコレクション内の画像コンテンツを整理及び閲覧するためのシステム及び方法を必要とするであろう。多くのシステムによって、ユーザは、手動で画像及び他のデジタルコンテンツを特定のイベント又は主題との関連で分類すると共に、これらの分類に基づいてこのデジタルコンテンツを分割することができる。手動分類システムは、しかしながら、特にデジタルコンテンツコレクションのサイズが増大するにつれて、多くの時間を必要とし、扱いにくくなる傾向がある。幾つかのシステムは、色、形、又はテクスチャの特徴に基づいて、自動的に画像のようなデジタルコンテンツを分割するように構成されている。これらの自動分割システムは、しかしながら、多くの場合、色、形、又はテクスチャの特徴に基づく分類に関連付けられる固有の不正確さに起因して、デジタルコンテンツを誤って分類する傾向がある。
【０００２】
コンテンツに基づく幾つかの画像検索手法では、低レベルの視覚的特徴を使用して、画像を、意味あるカテゴリ内にグループ化し、次にこれらのカテゴリを使用して、画像を含むデータベースのためのインデックスを生成する。これらの手法によれば、画像は、色、テクスチャ、形、及びレイアウトのような低レベルの特徴によって表される。クエリ画像の特徴を使用して、類似の特徴を有する、データベース内の画像を検索することができる。概して、画像の自動カテゴリ化及びインデクシングの結果は、画像をカテゴリ化及びインデクシングするのに用いられる特徴が、より正確に画像のコンテンツの対象である一面を捉える場合に向上する。
【０００３】
近年、対象者の一面（たとえば、顔及び目）を検出及び分類するのに労力が注がれている。たとえば、１つの手法では、デジタル画像内の人間の顔をクラスタに整理する。この手法によれば、顔画像を使用して第１のクラスタを形成する。顔認識装置が、割り当てられていない顔画像と、任意の既存のクラスタ内の各顔画像との比較に基づいて類似性スコアを生成する。割り当てられていない顔画像に関する類似性スコアが閾値を上回る場合、この割り当てられていない顔画像を最高類似性スコアに対応するクラスタに追加する。割り当てられていない顔画像に関する類似性スコアが閾値を下回る場合、この割り当てられていない顔画像を使用して新しいクラスタを形成する。この処理を割り当てられていない顔画像ごとに繰り返す。クラスタごとに、当該クラスタ内に含まれている全ての顔画像をクラスタ検査画面において表示する。顔画像が特定のクラスタに属さない場合、ユーザは、この顔画像をそのクラスタから削除するか又は別のクラスタに割り当てなおすことができる。顔の２つのクラスタがグループを成す場合、ユーザはこれらのクラスタを併合することができる。
【０００４】
半自動顔クラスタリング手法では、顔検出器を使用して自動的に顔を写真から抽出する。顔認識装置を使用して、顔を、選択されたモデルに対するその類似性によって分ける。この処理では、１つ又は複数の顔が１人の人物に関連付けられている場合、これらの顔を表すモデルを作成して、このモデルに対する類似性順に分けられるラベリングされていない顔を表示する。ユーザは、ドラッグアンドドロップ対話技法によって、幾つかの顔を選択して適切な人物に割り当てることができる。モデルを、新たに識別された顔を組み込むように更新して、ラベリングされていない顔を、新しいモデルに対する類似性によって再び分ける。分けられた顔を、ユーザがこれらの顔をラベリングすることを可能にするユーザインタフェース内で候補として提示する。
【０００５】
既存の顔に基づく画像クラスタリング手法を使用して構築される顔モデルは典型的には、これらが表している人物の顔を正確には表していない。結果として、特定の顔モデルの最も近くにランク付けされる顔は多くの場合、そのモデルによって表される人物に対応していない。特に、１つの画像が誤って１つのクラスタ内に含まれている場合、この画像に類似している他の画像もこのクラスタ内に含まれてしまう。このように、各誤検出が伝播して、より多くの誤検出を生成するおそれがある。必要とされているのは、より正確且つより確固な顔モデルを構築することができる、顔に基づく画像クラスタリングシステム及び方法である。
【発明の概要】
【０００６】
本発明の一態様では、顔領域を画像内で検出する。顔領域のうちのそれぞれから、少なくとも１つのそれぞれのパラメータ値を抽出する。顔領域のうちの、クラスタシード述語を満たすパラメータ値に関連付けられている顔領域をクラスタシード顔領域として分類する。クラスタシード顔領域を１つ又は複数のクラスタにクラスタリングする。クラスタのうちのそれぞれに関して、それぞれの顔モデルを構築する。顔モデルを記憶する。
【０００７】
本発明の別の態様では、顔領域を画像内で検出する。顔領域のうちのそれぞれから、少なくとも１つのそれぞれのパラメータ値を抽出する。抽出されたパラメータ値に基づいて顔領域をランク付けする。顔領域をランク順に１つ又は複数のクラスタにクラスタリングする。クラスタのうちの各クラスタの表現をディスプレイ上に表示する。
【０００８】
本発明の他の特徴及び利点は、図面及び特許請求の範囲を含む以下の説明から明らかになる。
【図面の簡単な説明】
【０００９】
【図１】画像処理システムの一実施形態のブロック図である。
【図２】画像処理方法の一実施形態のフローチャートである。
【図３】図２の画像処理方法の実行中に生成される情報を示す概略図である。
【図４】顔領域の一実施形態の境界を定める境界線が重ね合わされている例示的な入力画像の概略図である。
【図５】クラスタリング方法の一実施形態のフローチャートである。
【図６】近さ測度次元に沿ってその距離によって画定されている領域に分割されている顔領域特徴空間の一実施形態の概略図である。
【図７】顔領域から特徴を抽出する処理の一実施形態の概略図である。
【図８】画像処理システムの一実施形態のブロック図である。
【図９】画像処理方法の一実施形態のフローチャートである。
【図１０】顔クラスタのユーザ検査及び変更のためにグラフィカルユーザインタフェースの一実施形態を提示するディスプレイの概略図である。
【図１１】顔クラスタのユーザ検査及び変更のためにグラフィカルユーザインタフェースの一実施形態を提示するディスプレイの概略図である。
【発明を実施するための形態】
【００１０】
以下の説明では、同様の参照符号を同様の要素を識別するために使用する。さらに、図面は、例示的な実施形態の主要な特徴を概略的に示すように意図されている。図面は、実際の実施形態の全ての特徴も、描写されている要素の相対寸法も描写するようには意図されておらず、また縮尺に従って描かれていない。
【００１１】
［Ｉ．序論］
本明細書に詳細に説明される実施形態は、画像内で検出される顔領域に基づいて画像をクラスタリングする。これらの実施形態は、より正確且つより確固なクラスタリング結果を提供すると予想される、クラスタの顔モデルを構築する方法を利用する。これらの実施形態のうちの幾つかでは、クラスタを、顔クラスタを確立するためのより正確且つ確固な基礎を提供するように選択されるクラスタシード顔領域によって開始する。加えて、幾つかの実施形態は、人物の顔のより正確な表現を含む可能性がある顔領域を強調すると予想される１つ又は複数のパラメータに従って顔領域をランク付けする。これらの実施形態では、顔領域を、最高ランクから最低ランクまでの順でクラスタリングして、クラスタリング結果の向上を達成する。幾つかの実施形態では、ユーザフィードバックを使用して、クラスタリング結果のクラスタ精度をさらに向上させる。
【００１２】
［ＩＩ．第１の画像処理システム及びそのコンポーネントの例示的な実施形態］
［Ａ．画像処理システムの概観］
図１は、顔検出処理コンポーネント１２、パラメータ抽出処理コンポーネント１４、クラスタ処理コンポーネント１６、及びモデル処理コンポーネント１８を備える画像処理システム１０の一実施形態を示す。
【００１３】
動作中、画像処理システム１０は、入力画像２０のコレクションを処理して、クラスタ仕様２２及びクラスタ顔モデル２４を生成し、これらは入力画像２０に関連付けられてデータベース２６内に記憶される。入力画像２０のうちのそれぞれは、任意のタイプの画像に対応することができ、画像センサ（たとえば、デジタルビデオカメラ、デジタル静止画像カメラ、若しくは光スキャナ）によって取り込まれた元の画像（たとえば、ビデオキーフレーム、静止画像、若しくはスキャン画像）、又はこのような元の画像の処理された（たとえば、サブサンプリングされた、トリミングされた、回転させられた、フィルタリングされた、再フォーマット化された、画質が向上した、若しくは他の様態で変更された）バージョンを含む。各クラスタ仕様２２は、関連付けられている入力画像２０内で検出される異なるそれぞれの顔に対応する。幾つかの実施形態では、各クラスタ仕様２２は、構成要素である顔を含む入力画像２０のうちの関連付けられている入力画像の位置の記述（たとえば、統一資源位置指定子（ＵＲＬ））を、これらの各入力画像内の、構成要素である顔の位置（たとえば、顔領域を含む境界ボックスの座標）と共に含む。幾つかの実施形態では、画像処理システム１０は、クラスタ仕様を、入力画像２０のうちの関連付けられている入力画像にリンクされるそれぞれのデータ構造（たとえば、表又はリスト）内に記憶する。幾つかの実施形態では、各入力画像２０を、入力画像２０内で検出される顔ごとのそれぞれのクラスタ仕様２２に関連付ける。したがって、これらの実施形態では、検出される顔を複数含む入力画像２０を、複数のクラスタ仕様２２に関連付ける。
【００１４】
図２は、画像処理システム１０の一実施形態によって実施される方法の一実施形態を示し、図３は、この方法の例示的な実施態様の実行中に生成される情報を示す。
【００１５】
この方法によれば、顔検出処理コンポーネント１２が顔領域を入力画像２０内で検出する（図２、ブロック２８）。各顔領域は、人物の顔の少なくとも一部を含む。このようにして、図３に示されているように、画像２０を、少なくとも１つの顔を含む画像のセット３０と、検出される顔を一切含まない画像のセット３２とに分割する。パラメータ抽出処理コンポーネント１４は、顔領域のうちのそれぞれから、少なくとも１つのそれぞれのパラメータ値３４を抽出する（図２、ブロック３６）。クラスタ処理コンポーネント１６は、顔領域のうちの、クラスタシード述語を満たすパラメータ値に関連付けられている顔領域をクラスタシード顔領域３８として分類する（図２、ブロック４０）。クラスタシード述語を満たさないパラメータ値に関連付けられている顔領域を、非クラスタシード顔領域４２として分類する。クラスタ処理コンポーネント１６はまた、クラスタシード顔領域を１つ又は複数のクラスタ４４にクラスタリングする（図２、ブロック４６）。幾つかの実施形態では、クラスタリング処理は、クラスタシード顔領域を最初のクラスタ４８のセットに分割すること、及び非クラスタシード顔領域４２のうちのそれぞれを最初のクラスタ４８に割り当てることを含み、それによってクラスタ４４の最終セットを生成する。モデル処理コンポーネント１８は、クラスタ４４のうちのそれぞれに関して、それぞれの顔モデル２４を構築する（図２、ブロック５０）。モデル処理コンポーネント１８は、顔モデル２４をデータベース２６内に記憶する（図２、ブロック５２）。幾つかの実施形態では、モデル処理コンポーネント１８はまた、入力画像２０のうちの各入力画像に関連付けられているクラスタ仕様２２をデータベース２４内に記憶する。
【００１６】
図２に示されている自動クラスタリング処理の最後において、画像２０を、「非顔」カテゴリと、「他の顔」カテゴリと、１人の特定の人物のそれぞれの顔に対応する領域を有する画像をそれぞれが含む複数の画像クラスタから成るセットとに分割する。２つ以上の顔を含む画像は、２つ以上の画像クラスタ及びカテゴリに現れ得る。
【００１７】
概して、画像処理システム１０は、任意の特定のハードウェア、ファームウェア、又はソフトウェアの構成に限定されない１つ又は複数の別個の処理コンポーネント（又はモジュール）によって実施することができる。図示されている実施形態では、処理コンポーネント１２〜１８は、デジタル電子回路（たとえば、デジタル信号プロセッサ（ＤＳＰ）のような特定用途向け集積回路）、又はコンピュータ内のハードウェア、ファームウェア、デバイスドライバ、若しくはソフトウェアを含む任意のコンピューティング又はデータ処理環境において実施することができる。この例示的な実施形態では、モデル処理コンポーネント１８を、顔認識エンジンによって実施する。幾つかの実施形態では、処理コンポーネント１２〜１８のうちの複数の処理コンポーネントの機能を、単一の処理コンポーネントに組み合わせる。他の実施形態では、処理コンポーネント１２〜１８のうちの１つ又は複数のうちのそれぞれの各機能を、複数の処理コンポーネントから成るそれぞれのセットによって実行する。
【００１８】
幾つかの実施態様では、画像処理システム１０によって実行される方法を実施するためのコンピュータ処理命令、及び画像処理システム１０が生成するデータを、１つ又は複数の機械可読媒体内に記憶する。これらの命令及びデータを明確に具体化するのに適している記憶装置は、たとえば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、及びフラッシュメモリ装置のような半導体メモリ装置、内蔵ハードディスク及び取り外し可能ハードディスクのような磁気ディスク、光磁気ディスク、ＤＶＤ−ＲＯＭ／ＲＡＭ、並びにＣＤ−ＲＯＭ／ＲＡＭを含む全ての形態の不揮発性メモリを含む。
【００１９】
［Ｂ．顔検出処理コンポーネントの例示的な実施形態］
上記で説明したように、顔検出処理コンポーネント１２は、入力画像２０内の顔を検出する。概して、顔検出処理コンポーネント１２は、入力画像２０内の各顔の存在及び位置を求める任意のタイプの顔検出処理を使用することができる。例示的な顔検出方法は、特徴に基づく顔検出方法、テンプレート照合顔検出方法、ニューラルネットワークに基づく顔検出方法、及び、機械システムがラベリングされている顔サンプルのコレクションを対象とする、画像に基づく顔検出方法を含むが、これらに限定されない。例示的な、特徴に基づく顔検出手法が、Viola及びJones著「Robust Real-Time Object Detection」（Second International Workshop of Statistical and Computation theories of Vision - Modeling, Learning, Computing, and Sampling, Vancouver, Canada (July 13, 2001)）に記載されており、これは参照として本明細書に援用される。例示的な、ニューラルネットワークに基づく顔検出方法が、Rowley他著「Neural Network-Based Face Detection」（IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 20, No. 1 (January 1998)）に記載されており、これは参照として本明細書に援用される。
【００２０】
典型的な顔検出処理では、顔検出処理コンポーネント１２がまず、入力画像２０のうちのそれぞれにおける各顔の存在及び大まかな位置を求める。顔の大まかな位置が検出された後、顔検出処理コンポーネント１２は、検出された顔を位置調整（又は位置合わせ）し、それによってこの顔を認識可能にする。この処理では、検出された顔における１つ又は複数の特徴点（たとえば、目、鼻先、及び口又は唇）を抽出する。概して、エッジ、直線、及び曲線に基づく特徴抽出方法、特定の特徴点（たとえば、目及び口）を検出するように設計されるテンプレートに基づく抽出方法、並びに構造照合方法を含むが、これらに限定されない任意のタイプの特徴抽出処理を使用することができる。検出された顔ごとに、顔検出処理コンポーネント１２は、抽出された特徴を、検出された顔の幾つか又は全ての部分を含むそれぞれの顔境界ボックスに対して位置調整する。幾つかの実施態様では、顔境界ボックスは、目、鼻、口を含むが、検出された顔の額又は顎又は頭頂部の全体は含まない長方形に対応する。
【００２１】
顔検出処理コンポーネント１２は、１つ又は複数の顔検出パラメータ値３４を出力する。顔検出パラメータ値３４の例示的なタイプは、顔の数及び顔境界ボックスの位置（たとえば、座標）を含む。顔検出処理コンポーネント１２は顔検出パラメータ値３４を、パラメータ抽出処理コンポーネント１４、クラスタ処理コンポーネント１６、及びモデル処理コンポーネント１８に送る。
【００２２】
［Ｃ．パラメータ抽出処理コンポーネントの例示的な実施形態］
図示されている実施形態では、パラメータ抽出処理コンポーネント１４は、顔領域のうちのそれぞれに関して、以下のパラメータ５３のうちの１つ又は複数のそれぞれの値を求める：顔検出処理コンポーネント１２によって報告された顔境界ボックスのサイズ（たとえば、垂直寸法及び水平寸法又は面積）、顔領域の鮮鋭度の測度、顔領域の露出の測度、顔領域のコントラストの測度、顔領域の彩度の測度、及び顔領域の輝度の測度。パラメータ抽出処理コンポーネント１４は、抽出したパラメータ値５３をクラスタ処理コンポーネント１６に送る。
【００２３】
［１．サイズパラメータ値を計算する］
パラメータ抽出処理コンポーネント１４は、検出された顔領域の線寸法及び面寸法を、顔検出パラメータ値３４において顔検出処理コンポーネント１２によって報告される顔境界ボックスの座標から求める。
【００２４】
図４は、人物６０の顔の領域に対応する顔領域５８の一実施形態の境界を定める境界線５６が重ね合わされている例示的な入力画像５４を示す。この例では、顔領域５８は、水平寸法ｗface及び垂直寸法ｈfaceを有する。顔領域５８の面寸法ＡfaceはＡface＝ｗface×ｈfaceによって与えられる。
【００２５】
［２．鮮鋭度パラメータ値を計算する］
パラメータ抽出処理コンポーネント１４は、様々な異なる方法で鮮鋭度測度を求めることができる。例示的な一実施形態では、鮮鋭度係数を、検出された顔領域における１次元強度勾配のハイパスエネルギーとローパスエネルギーとの間の平均比に対応する、局所的鮮鋭度の推定値から導出する。この実施形態によれば、強度勾配を、各顔領域内で各水平画素行及び垂直画素列に関して計算する。勾配が勾配閾値を超える各水平及び垂直画素方向に関して、パラメータ抽出処理コンポーネント１４は局所的鮮鋭度のそれぞれの測度を、勾配のハイパスエネルギーとローパスエネルギーとの比から計算する。鮮鋭度値を顔領域ごとに、顔領域内の全ての行及び列の鮮鋭度値を平均化することによって計算する。
【００２６】
［３．露出パラメータ値を計算する］
パラメータ抽出処理コンポーネント１４は、非常に様々な異なる方法で、顔領域ごとにそれぞれの露出の測度を求めることができる。例示的な一実施形態では、パラメータ抽出処理コンポーネント１４は、露出の測度を顔領域ごとに、顔領域内の露出過度の画素及び露出不足の画素の数のカウントに基づいて求める。この処理では、パラメータ抽出処理コンポーネント１４は、顔領域内の画素を、（ｉ）画素を中心とするウィンドウ内の過半数の画素の輝度値が２４９を超えるか、又は（ｉｉ）輝度勾配及び輝度分散のエネルギーの比がウィンドウ内で９００を超え且つウィンドウ内の平均輝度が２３９を超える場合、露出過度としてラベリングする。パラメータ抽出処理コンポーネント１４は、顔領域内の画素を、（ｉ）ウィンドウ内の過半数の画素の輝度値が６を下回るか、又は（ｉｉ）ウィンドウ内の輝度勾配及び輝度分散のエネルギーの比が９００を超え且つウィンドウ内の平均輝度が３０を下回る場合、露出不足としてラベリングする。パラメータ抽出処理コンポーネント１４は、セクション内の露出過度画素の平均数を１から減算することによって、それぞれの露出過度測度を顔領域ごとに計算する。同様に、パラメータ抽出処理コンポーネント１４は、セクション内の露出不足画素の平均数を１から減算することによって、それぞれの露出不足測度をセクションごとに計算する。結果的に得られる露出過度測度と露出不足測度とを乗算して、顔領域ごとのそれぞれの露出測度を生成する。
【００２７】
［４．コントラストパラメータ値を計算する］
パラメータ抽出処理コンポーネント１４は、非常に様々な異なる方法のうちの任意の方法を使用して、顔領域のうちのそれぞれに関するコントラストのそれぞれの測度を計算することができる。幾つかの実施形態では、パラメータ抽出処理コンポーネント１４は、コントラスト測度を、米国特許第５，６４２，４３３号に記載されている画像コントラスト測定方法に従って計算する。幾つかの実施形態では、局所的コントラスト測度Ωcontrastは式（１）によって与えられる。
【００２８】
【数１】
2010507139.tif 000003
【００２９】
ここでＬσは、所与のセクションの輝度の各分散である。
【００３０】
［５．輝度パラメータ値を計算する］
パラメータ抽出処理コンポーネント１４は、非常に様々な異なる方法のうちの任意の方法を使用して、顔領域のうちのそれぞれに関する輝度のそれぞれの測度を計算することができる。幾つかの実施形態では、輝度測度は、顔領域の平均輝度に対応する。
【００３１】
［Ｄ．クラスタ処理コンポーネントの例示的な実施形態］
クラスタ処理コンポーネント１６は、顔領域のうちの、クラスタシード述語を満たすパラメータ値５３に関連付けられている顔領域をクラスタシード顔領域３８として分類する（図２、ブロック４０；図１及び３を参照されたい）。クラスタシード述語を満たさないパラメータ値に関連付けられている顔領域を、非クラスタシード顔領域４２として分類する。
【００３２】
クラスタシード述語は、検出された顔領域からパラメータ抽出処理コンポーネント１４によって抽出されるパラメータ値５３に対する少なくとも１つの条件を規定する。
【００３３】
幾つかの実施形態では、クラスタシード述語は、各クラスタシード顔領域の最小サイズに対する閾値に対応する。例示的な一実施形態では、最小サイズ閾値は、顔領域を含む対応する入力画像２０に対する各顔領域の最小サイズを指定する。この実施形態では、クラスタシード述語Ｐseedは式（２）によって与えられる。
【００３４】
【数２】
2010507139.tif 000004
【００３５】
ここで、Ωfaceは顔領域のサイズであり、Ωimageは顔領域を含む入力画像のサイズであり、τseedは最小サイズ閾値である。幾つかの実施形態では、Ωfaceは顔領域の線寸法に、Ωimageは入力画像の線寸法に対応する。他の実施形態では、Ωfaceは顔領域の面寸法に、Ωimageは入力画像の面寸法に対応する。
【００３６】
幾つかの実施形態では、クラスタシード述語は、クラスタシード顔領域のパラメータ値５３に対する複数の条件を指定する。たとえば、幾つかの実施形態では、クラスタシード述語は、顔領域のサイズ、顔領域の鮮鋭度、顔領域の露出レベル、顔領域のコントラストレベル、顔領域の彩度レベル、及び顔領域の輝度レベルから選択されるパラメータのうちの２つ以上のパラメータの値に対する条件を指定する。これらの実施形態のうちの幾つかでは、クラスタ処理コンポーネント１６は異なるそれぞれの閾値を、選択されたパラメータのうちのそれぞれに適用し、閾値のうちのそれぞれを満たすパラメータ値を有する顔領域はクラスタシード顔領域として分類され、この一方で、閾値のうちのいずれも満たさないパラメータ値を有する顔領域は非クラスタシード顔領域として分類される。これらの実施形態のうちの他の実施形態では、クラスタ処理コンポーネント１６は、顔領域のうちのそれぞれに関するそれぞれの品質スコアを、選択されたパラメータに関する関連付けられている値から計算し、品質閾値を満たす品質スコアを有する顔領域は、クラスタシード顔領域として分類され、この一方で、品質閾値を満たさない品質スコアを有する顔領域は、非クラスタシード顔領域として分類される。これらの実施形態のうちの幾つかでは、品質スコアは、選択されたパラメータの値の重み付けされた平均に対応し、重み及び品質閾値は経験的に求められる。他の実施形態では、クラスタ処理コンポーネント１６は、鮮鋭度測度、露出測度、コントラスト測度、及び彩度測度からそれぞれの品質スコアを計算する。この処理では、クラスタ処理コンポーネント１６は、顔領域ごとにこれらの測度の積を計算すると共に、結果的に得られる積を指定のダイナミックレンジ（たとえば、０〜２５５）にスケーリングすることによってそれぞれの品質スコアを求める。結果的に得られるスケーリングされた値は、対応する顔領域に関するそれぞれの画像品質スコアに対応する。
【００３７】
クラスタ処理コンポーネント１６は、クラスタシード顔領域３６を１つ又は複数のクラスタ４４にクラスタリングする（図２、ブロック４６；図３を参照されたい）。概して、クラスタ処理コンポーネント１６は、クラスタシード顔領域を非常に様々な異なる方法でクラスタリングすることができ、これらの方法は、ｋ最近傍（ｋ−ＮＮ）クラスタリング、階層的凝集型クラスタリング、ｋ平均クラスタリング、及び適応的サンプルセット構成クラスタリングを含むがこれらに限定されない。
【００３８】
図５は、クラスタシード顔領域３６をクラスタリングするためにクラスタ処理コンポーネント１６によって実行される適応的サンプルセット構成クラスタリング方法の一実施形態を示す。この方法においてクラスタの複数の閾値及び反復改良を使用することは、誤検出の伝播に関連付けられている問題を克服し、それによってより良い結果を達成するものと予想される。
【００３９】
この方法によれば、クラスタ処理コンポーネント１６は、クラスタシード顔領域のうちの１つによってクラスタを開始する（図５、ブロック７０）。幾つかの実施形態では、クラスタ処理コンポーネント１６は、少なくとも１つのパラメータに関して抽出される値に基づいてクラスタシード顔領域をランク付けし、最高位クラスタシード顔領域を選択してクラスタを開始する。これらの実施形態のうちの幾つかでは、クラスタシード顔領域を、最大サイズ比（すなわち、顔領域サイズの、対応する入力画像サイズに対する比）から最低サイズ比までの順でランク付けする。これらの実施形態のうちの他の実施形態では、クラスタシード顔領域を、最高品質スコアから最低品質スコアまでの順でランク付けする。幾つかの実施形態では、クラスタ処理コンポーネント１６は、クラスタシード領域の開始をランダムに選択する。
【００４０】
クラスタ処理コンポーネント１６は、各開始クラスタとクラスタシード顔領域のうちの次のクラスタとの間の近さのそれぞれの測度（ΩNEARNESS）を求める（図５、ブロック７２）。概して、近さ測度は、各開始クラスタと次のクラスタシード顔領域との間の相対的近似性又は類似性を比較する任意のタイプの測度に対応することができる。幾つかの実施形態では、モデル処理コンポーネント１８は、クラスタごとに、構成要素である顔領域から抽出される顔特徴から導出されるそれぞれの顔モデルを構築する（以下のセクションＩＩ．Ｅを参照されたい）。これらの実施形態では、クラスタ処理コンポーネント１６は、情報７４（図１を参照されたい）をモデル処理コンポーネント１８に送り、情報７４はクラスタ及び次のクラスタシード顔領域を含む。モデル処理コンポーネントは、クラスタを表す顔モデルを構築し、次のクラスタシード顔領域から顔特徴を抽出し、顔モデル及び抽出された顔特徴に基づいて近さ測度７６を計算する（図１を参照されたい）。モデル処理コンポーネント１８は、近さ測度７６をクラスタ処理コンポーネント１６に送る。幾つかの実施態様では、近さ測度は、クラスタを表す特徴ベクトルと次のクラスタシード顔領域を表す特徴ベクトルとの間の類似性スコアに対応する。他の実施態様では、近さ測度を、これらの特徴ベクトル間の距離の測度（たとえば、Ｌ２ノルムのようなベクトルノルム）から導出する。
【００４１】
図６は、近さ測度ΩNEARNESSに対応すると共にゼロの近さ測度値から始まる半径寸法に沿って異なる距離の境界を定める境界線によって画定される領域８０、８２、８４、８６に分割される例示的な顔領域特徴空間７８を示す。
【００４２】
クラスタ処理コンポーネント１６は、対応する近さ測度が第１の近さ述語を満たすという判断に応じて、次のクラスタシード顔領域を、開始クラスタのうちの最も近い開始クラスタに割り当てる（図５、ブロック７８）。幾つかの実施態様では、第１の近さ述語は、最小近さ閾値（τ1、図６を参照されたい）に対応する。したがって、これらの実施態様では、クラスタ処理コンポーネント１６は、次のクラスタシード顔領域と最も近い既存のクラスタとの間の近さ測度が最小近さ閾値を満たす場合、次のクラスタシード顔領域を最も近い既存のクラスタに割り当てる。
【００４３】
クラスタ処理コンポーネント１６は、対応する近さ測度が、第１の近さ述語とは異なる第２の近さ述語を満たすという判断に応じて、新しいクラスタを次のクラスタシード顔領域によって開始する（図５、ブロック８０）。幾つかの実施態様では、第２の近さ述語は、最大近さ閾値（τ2、図６を参照されたい）に対応する。したがって、これらの実施態様では、クラスタ処理コンポーネント１６は、次のクラスタシード顔領域と最も近い既存のクラスタとの間の近さ測度が第２の近さ閾値（τ2、図６を参照されたい）を下回る場合、新しいクラスタを次のクラスタシード顔領域によって開始する。
【００４４】
クラスタ処理コンポーネント１６は、ブロック７２、７８、及び８０の処理を、クラスタシード顔領域のうちの全ての連続するクラスタシード顔領域に関して繰り返す（図５、ブロック８２）。幾つかの実施形態では、クラスタシード顔領域のうちの連続するクラスタシード顔領域を、最高ランクから最低ランクまでのランク順に処理する。
【００４５】
図５のブロック７０〜８２に従ってクラスタシード顔領域のうちの全てを処理した後、割り当てられていないクラスタシード顔領域が存在し且つクラスタ分布が前の繰り返しと同じでない場合（図５、ブロック８３）、各クラスタの顔モデルを更新する（図５、ブロック８５）。この処理では、クラスタ処理コンポーネント１６は、クラスタ内の１つ又は複数の顔を選択して顔モデルを更新する。たとえば、幾つかの実施形態では、クラスタ処理コンポーネントは、以下のタイプの顔領域のうちの１つ又は複数を使用して各顔モデルを更新する：（ｉ）既存の顔モデルと最も異なる顔領域（たとえば、最低顔認識スコアを有する顔領域、又は最も横方向を向いているか若しくは回転した顔に対応する顔領域）、（ｉｉ）既存の顔モデルを構築するのに使用された顔領域の顔角度とは異なる顔角度を示す顔領域、（ｉｉｉ）最高品質スコアを有する顔領域、及び（ｉｖ）最高近さスコアを有する顔領域。クラスタ処理コンポーネント１６は、選択された顔領域の特徴を使用して、顔モデルを更新する（図５、ブロック８５）。次に、クラスタ処理コンポーネント１６は、全ての割り当てられていない顔領域をランク付けし（図５、ブロック８５）、更新された顔モデルを使用して、ランク付けされて割り当てられていない顔領域に関してブロック７２〜８５の処理を繰り返す。
【００４６】
ブロック７２〜８５の繰り返しは、割り当てられていないクラスタシード顔領域がもはや存在しないとき、又は目下のクラスタ分布が前の繰り返しのクラスタ分布と同じ場合に停止する（図５、ブロック８３）。そして、割り当てられていないクラスタシード顔領域が依然として存在する場合、クラスタ処理コンポーネント１６は、開始クラスタのうちの最も近い開始クラスタに、第１の近さ術語及び第２の近さ術語とは異なる第３の近さ述語を満たす近さ測度に関連付けられている、クラスタシード顔領域のうちの割り当てられていないクラスタシード顔領域を割り当てる（図５、ブロック８４）。幾つかの実施態様では、第３の近さ述語は、近さ測定軸上で第１の近さ閾値τ1と第２の近さ閾値τ2との間に位置している最小近さ閾値（τ3、図６を参照されたい）に対応する。したがって、これらの実施態様では、クラスタ処理コンポーネント１６は、割り当てられていないクラスタシード顔領域と最も近い既存のクラスタとの間の近さ測度が第３の近さ閾値（τ3、図６を参照されたい）にあるか又はこの閾値を上回る場合、クラスタシード顔領域のうちの割り当てられていないクラスタシード顔領域を、開始クラスタのうちの最も近い開始クラスタに割り当てる。第１の近さ閾値、第２の近さ閾値、及び第３の近さ閾値の値は典型的には経験的に求められる。
【００４７】
クラスタ処理コンポーネント１６はその後、ブロック７０〜８６の処理を、全ての残っているクラスタシード顔領域に関して繰り返す（図５、ブロック８６）。幾つかの実施形態では、残っているクラスタシード顔領域を（たとえば、サイズ比の順又は品質スコアの順で）ランク付けし、最高ランクから最低ランクまでのランク順にクラスタリングする。
【００４８】
クラスタシード顔領域のうちの全てがそれぞれのクラスタに割り当てられた後（図５、ブロック８６）、クラスタ処理コンポーネント１６は、非クラスタシード顔領域４２（図３を参照されたい）のうちの各非クラスタシード顔領域を、非クラスタシード顔領域と、クラスタを表す対応する顔モデルとの間の近さの測度に基づいて、クラスタのうちのそれぞれのクラスタに割り当てる（図５、ブロック８８）。幾つかの実施形態では、クラスタ処理コンポーネント１６は、対応する近さ測度が第３の近さ述語を満たす場合、非クラスタシード顔領域のうちの各非クラスタシード顔領域を、クラスタのうちの最も近いクラスタに割り当てる。そうでない場合、クラスタ処理コンポーネント１６は、非クラスタシード顔領域を別個のカテゴリに割り当て、このカテゴリをたとえば「他の顔」とラベリングすることができる。
【００４９】
幾つかの実施形態では、クラスタ処理コンポーネント１６は、ほんの数枚の写真しか含まない小さなクラスタ（たとえば、Ｎ枚未満の写真を含むクラスタ、ここでNは２又は３であり得る）と、クラスタのうちのより大きなクラスタとを自動的に併合する。例示的な一実施形態では、小さなクラスタ内の全ての顔を、より大きなクラスタの各顔モデルと照合し、或る顔が顔モデルのうちの少なくとも１つとの照合に成功した場合、この顔を、この顔が最も良く一致するクラスタに割り当てる。そうでない場合、一致しない小さなクラスタを「他の顔」カテゴリに割り当てる。別の実施形態では、１つの小さなクラスタに関して、このクラスタ内の１つ又は複数の顔がより大きなクラスタとの照合に成功した（たとえば、小さなクラスタと最も近い大きなクラスタとの間の近さ測度が第３の近さ述語を満たす）場合、小さなクラスタをこのより大きなクラスタに併合する。そうでない場合、小さなクラスタを「他の顔」カテゴリに併合する。
【００５０】
幾つかの実施形態では、クラスタ処理コンポーネント１６は、知識及び規則を、図５のブロックによって表される処理のうちの１つ又は複数の処理の実行に組み込む。たとえば、幾つかの実施形態では、１つの写真から検出される顔が２つ以上の場合、これらの顔を異なるクラスタに割り当てる。これらの実施形態では、クラスタ処理コンポーネント１６は、クラスタが、画像のうちのそれぞれからの、構成要素である顔領域を２つ以上含むことを阻止する。クラスタ処理コンポーネント１６のこの特徴は、計算コストを低減し（たとえば、顔領域Ｘ１及びＸ２が同じ写真からのものであり且つＸ１をクラスタＺ１に割り当てる場合、顔領域Ｘ２とクラスタＺ１とを比較する必要はない）、誤分類に起因するエラーを低減する。
【００５１】
［Ｅ．モデル処理コンポーネントの例示的な実施形態］
モデル処理コンポーネント１８は、クラスタ４４のうちのそれぞれに関して、それぞれの顔モデル２４を構築する（図２、ブロック５０）。概して、任意のタイプの顔特徴抽出処理を使用して、顔検出処理コンポーネント１２によって出力される顔パラメータ値４２において報告される検出された顔領域から特徴を抽出することができる。例示的な顔特徴抽出処理は、エッジ、直線、及び曲線に基づく特徴抽出方法、特定の特徴点（たとえば、目及び口）を検出するように設計されるテンプレートに基づく抽出方法、並びに構造照合方法を含むが、これらに限定されない。幾つかの実施形態では、主成分分析（ＰＣＡ）を使用して、特徴空間を、わずかな第１の固有ベクトルが張る低次元部分空間と、この固有ベクトル空間に直交する部分空間とに分解する。
【００５２】
図７は、検出された顔領域９０から特徴を抽出するためにモデル処理コンポーネント１８の一実施形態によって実施される処理の一実施形態を示す。この処理によれば、顔特徴定義９２のセットに従って顔特徴値（ｆ0，ｆ1，…ｆN）が顔領域９０から抽出される。各顔特徴定義は、それぞれの顔特徴値（ｆ0，ｆ1，…ｆN）をどのように計算又は測定するかを記述する規則に対応する。各特徴値は、顔特徴９２のセットが張る特徴空間における顔領域９０の表現に対する対応する顔特徴の寄与を反映する。顔領域９０に関して計算される顔特徴値のセットは顔特徴ベクトル９４を構成する。
【００５３】
モデル処理コンポーネント１８は、顔モデル２４をデータベース２６内に記憶する（図２、ブロック５２）。幾つかの実施形態では、モデル処理コンポーネント１８はまた、入力画像２０のうちの各入力画像に関連付けられているクラスタ仕様２２をデータベース２４内に記憶する。
【００５４】
［ＩＩＩ．第２の画像処理システム及びそのコンポーネントの例示的な実施形態］
図８は画像処理システム１００の一実施形態を示し、この画像処理システム１００は図１に示されている画像処理システム１０に対応するが、ユーザが画像処理システム１０と対話するのに用いられるユーザインタフェース処理コンポーネント１０２をさらに備える点で異なる。動作中、ユーザインタフェース処理コンポーネント１０２は、クラスタ２２のうちの各クラスタの表現１０４、１０６をディスプレイ上に表示する。ディスプレイ２６は、たとえば、ＬＣＤ（液晶ディスプレイ）、プラズマディスプレイ、ＥＬディスプレイ（エレクトロルミネッセントディスプレイ）、及びＦＥＤ（電界放出ディスプレイ）のようなフラットパネルディスプレイとすることができる。幾つかの実施態様では、ユーザインタフェース処理コンポーネント１０２によって、ユーザは、自動的にディスプレイ上に生成される顔クラスタ１０４、１０６を対話的に閲覧することができる。ユーザインタフェース処理コンポーネント１０２によって、ユーザは、顔クラスタ仕様２２に対する編集を指定することもできる。所与の顔クラスタに対する、指定されたあらゆる編集はユーザインタフェース処理コンポーネント１０２によって解釈される。ユーザインタフェース処理コンポーネント１０２は、解釈されたユーザコマンド命令をクラスタ処理コンポーネント１６に送信する。クラスタ処理コンポーネント１６は、ユーザインタフェース処理コンポーネント１０２から受信した編集に従って所与の顔クラスタに関する変更された仕様を生成し、モデル処理コンポーネントは、変更されたクラスタ仕様２２に基づいて修正された顔モデル２４を生成する。ユーザインタフェース処理コンポーネント１０２は、修正された顔クラスタをユーザに提示し、ユーザは修正された顔クラスタを閲覧するか、修正された顔クラスタに対して編集を指定するか、又は画像処理システム１００に他の顔クラスタのうちの幾つか又は全てを表示するように命令することができる。
【００５５】
図９は、画像処理システム１００の一実施形態によって実施される方法の一実施形態を示す。
【００５６】
この方法によれば、顔検出処理コンポーネント１２は、画像２０内の顔領域を検出する（図９、ブロック１０８）。顔検出処理コンポーネント１２は、上述した顔検出方法のうちの任意の方法に従って顔を検出することができる。それぞれの境界ボックスは典型的には、検出された各顔の位置及びサイズを表すように生成される。
【００５７】
パラメータ抽出処理コンポーネント１４は、顔領域のうちのそれぞれから少なくとも１つのそれぞれのパラメータ値３４を抽出する（図９、ブロック１１０）。パラメータ抽出処理コンポーネント１４は、上述したパラメータ抽出方法のうちの任意の方法に従って顔領域からパラメータ値を抽出することができる。
【００５８】
クラスタ処理コンポーネント１６は、抽出されたパラメータ値に基づいて顔領域をランク付けすることができる（図９、ブロック１１２）。幾つかの実施形態では、クラスタ処理コンポーネント１６は、上述した方法のうちの任意の方法に従って、検出された顔ごとにそれぞれの品質スコアを計算する。品質スコアを、顔のサイズ、輝度、及び鮮鋭度のような顔の特徴に基づいて求めることができる。顔のサイズは、絶対サイズ又は対応する入力画像のサイズに相対的なサイズとすることができ、この相対的なサイズは、顔境界ボックスのサイズと入力画像のサイズとの間の比として表される。たとえば、相対的サイズを、境界ボックスの長辺の長さと、対応する入力画像の長辺の長さとの間の比として定義することができる。幾つかの実施形態では、以下の条件が満たされる場合、品質スコアは比較的高い：顔領域のサイズが入力画像のサイズと比較して大きく、顔領域が露出過度（明るすぎ）でも、露出不足（暗すぎ）でもなく、且つ顔領域が鮮明である（ぼやけてない）。これらの実施形態では、顔領域を、計算された品質スコアに従って、最高品質スコアから最低品質スコアまで降順でランク付けする。
【００５９】
顔領域をランク付けした（図９、ブロック１１２）後、クラスタ処理コンポーネント１６は、顔領域をランク順に１つ又は複数のクラスタにクラスタリングする（図９、ブロック１１４）。
【００６０】
クラスタリング処理中、クラスタ処理コンポーネント１６はモデル処理コンポーネント１８と協同して動作する。幾つかの実施形態では、モデル処理コンポーネント１８は顔認識エンジンによって実施される。これらの実施形態では、顔認識エンジンは、顔モデルを所与のクラスタ内の１つ又は複数の顔によってトレーニングする。顔認識エンジンは、顔特徴をクエリ顔領域（たとえば、クラスタリングされる次の顔領域）から抽出する。顔認識エンジンは抽出された特徴とクラスタの顔モデルとを照合し、クエリ顔領域と顔モデルとの間の類似性の度合いを示す０〜１の範囲内の近さスコアを生成する。典型的には、近さスコアが高ければ高いほど、クエリ顔領域及び顔クラスタが同じ人物の画像を表している可能性は高くなる。顔認識エンジンは、経験的に求められた閾値（Ｔ）を近さスコアに適用する。近さスコアがＴよりも大きい場合、顔認識エンジンは、クエリ顔領域が顔クラスタに一致することを報告し、そうでない場合、顔認識エンジンは、クエリ顔領域が顔クラスタに一致しないことを報告する。
【００６１】
概して、クラスタ処理コンポーネント１６は顔領域を非常に様々な異なる方法でクラスタリングすることができ、これらの方法は、ｋ最近傍（ｋ−ＮＮ）クラスタリング、階層的凝集型クラスタリング、ｋ平均クラスタリング、及び適応的サンプルセット構成クラスタリングを含むがこれらに限定されない。幾つかの実施形態では、クラスタ処理コンポーネント１６は顔領域を以下のようにクラスタリングする：
（１）ランキングリスト内の第１の顔Ｘ１を第１のクラスタの代表として選択する。顔モデルＭ１をＸ１の顔特徴を使用してこのクラスタに関してトレーニングする。
【００６２】
（２）ランキングリスト内の次の顔Ｘを選択し、全ての既存の顔モデルと照合する。Ｓj（Ｘ，Ｍｊ）がｊ番目の顔モデルに一致するＸのスコアであり、ｉ＝ａｒｇ  ｍａｘ（Ｓj（Ｘ，Ｍj））と仮定する。Ｓi＞Ｔの場合、Ｘをｉ番目のクラスタに割り当てる。そうでない場合、新しいクラスタをＸを代表として形成し、顔モデルをＸの顔特徴を使用してこのクラスタに関してトレーニングする。
【００６３】
（３）ステップ（２）は、ランク付けされているリスト内の全ての顔が処理されるまで継続する。
【００６４】
図１０を参照すると、顔領域がクラスタリングされた（図９、ブロック１１４）後、ユーザインタフェース処理コンポーネント１０２は、クラスタのうちの各クラスタの表現をディスプレイ１１６上にレンダリングする（図９、ブロック１１８）。ユーザインタフェース処理コンポーネント１０２によって、ユーザは顔クラスタに対する１つ又は複数の変更を指定することができる。クラスタ処理コンポーネント１６及びモデル処理コンポーネント１８は、ユーザ入力に応じてクラスタのうちの１つ又は複数を協同して変更する（図９、ブロック１１９）。ユーザは、ディスプレイ１１６を駆動するディスプレイコントローラにディスプレイ制御信号を出力する入力装置（たとえば、コンピュータマウス）の操作を通じて、ユーザインタフェース処理コンポーネント１０２に対するコマンドを指定することができる。ディスプレイ制御信号は典型的には、変位パラメータ値、速度パラメータ値、及び加速度パラメータ値のうちの１つ又は複数に典型的に対応する運動測度の形態をとる。ディスプレイコントローラはディスプレイ制御信号を処理して、たとえば、ディスプレイ１１６上のポインタ１２１の動きを制御する。
【００６５】
幾つかの実施形態では、ユーザインタフェース処理コンポーネント１０２は、クラスタ表現をマルチレベルグラフィカルユーザインタフェースにおいて表示する。図１０に示されているように、グラフィカルユーザインタフェースの第１のレベル１２０において、クラスタのうちの各クラスタの代表の顔を含む入力画像２０のサムネイル１２２を表示する。幾つかの実施形態では、クラスタをクラスタ内に含まれる入力画像の数に従ってランク付けし、サムネイル１２２をランク順に示す。したがって、最大クラスタを、図１０に示されているグラフィカルユーザインタフェースレベル１２０の最上の行において表示する。
【００６６】
動作中、ユーザがサムネイル１２２のうちの１つをグラフィカルユーザインタフェースレベル１２０において選択することに応じて、ユーザインタフェース処理コンポーネント１０２は、選択されたサムネイルによって表されている顔クラスタ内の画像のうちの全てに対応するサムネイルを表示する。図１１に示されているように、グラフィカルユーザインタフェースの第２のレベル１２４において、選択されたクラスタ内の入力画像を、その関連付けられている顔認識類似性スコア（すなわち、クラスタの顔モデルに一致する、入力画像の顔領域によって得られるスコア）に従ってランク付けし、写真のサムネイルを、最高類似性スコアから最低類似性スコアまでの類似性スコアに従って示す。したがって、図１１では、最上の行のサムネイルは、クラスタの顔モデルに最も類似していると判断される顔領域を含む。
【００６７】
このように、グラフィカルユーザインタフェースによって、ユーザは、最初のクラスタリング結果を検査することができる。この検査の最中、ユーザは、幾つかのクラスタが興味深く、他のクラスタはそうではないことに気付く場合がある。たとえば、グラフィカルユーザインタフェースの第１のレベル１２０に存在する第１の幾つかのクラスタ（すなわち、最大クラスタ）は家族の写真を含み、ユーザにとって最も重要である場合があり、一方、小さなクラスタのうちの幾つか（たとえば、１枚又は数枚の写真のみを含むクラスタ）はユーザにとって興味がない写真を含む場合がある。任意選択的に、ユーザは重要度が低い小さなクラスタを選択して、別個のカテゴリに併合することができ、このカテゴリを「他」とラベリングすることができる。幾つかの実施形態では、「他」カテゴリ内のクラスタは、後続の繰り返しにおいてはグラフィカルユーザインタフェースに示されない。
【００６８】
グラフィカルユーザインタフェースによって、ユーザは、１つの特定のクラスタを選択して、クラスタ内にある構成要素である画像を変更することができる。たとえば、クラスタの構成要素の検査時に、ユーザは、クラスタ内の幾つかの写真が誤検出されていること、又は幾つかの他のクラスタが同じ人物を表しているため、それらのクラスタを選択されたクラスタに併合すべきであることに気付く場合がある。グラフィカルユーザインタフェースによって、ユーザは、選択されたクラスタ内の誤検出を特定すると共に、他のクラスタを選択されたクラスタに併合することができる。
【００６９】
選択されたクラスタに対する任意の変更は画像処理システム１００に対するフィードバックとして機能する。フィードバックに基づいて、クラスタ処理コンポーネント１６は、変更されたクラスタの仕様を変更し、モデル処理コンポーネントは、変更されたクラスタに対応する顔モデルを再構築（又は再トレーニング）する。図１０に示されている例示的な例では、クラスタ＃７及び＃８はクラスタ＃１によって表される人物と同じ人物を表す。したがって、クラスタ＃７及び＃８のサムネイルのユーザの選択に応じて、画像処理システム１００はこれらの選択されたクラスタとクラスタ＃１とを併合し、モデル処理コンポーネント１８は、クラスタ＃７及び＃８の顔モデルからの顔特徴を追加することによってクラスタ＃１に関してモデルを再トレーニングする。この例では、クラスタ＃１の元の顔モデルと比較すると、クラスタ＃７は、より低い角度から観察した場合、人物の顔についてのより多くの情報を提供し、クラスタ＃８は、顔の輪郭についてのより多くの情報を提供する。この追加の情報は、人物の顔のより包括的なモデルを構築するのに役立つ。
【００７０】
同時に、ユーザによって識別及び補正された誤検出の顔特徴（ユーザは全ての誤検出を選ぶ必要はなく、サブセットのみでよい）は、再トレーニング処理において強調されなくなる。幾つかの実施形態では、１つのクラスタ内の指定された数（たとえば、１又は２）を超える誤検出が実際に同じ人物の顔を含む場合、クラスタ処理コンポーネント１６は、その人物に関して新しいクラスタを作成することができ、モデル処理コンポーネント１８は、誤検出の顔のうちの１つ又は複数を使用して新しい顔モデルをトレーニングすることによってそのクラスタに関して新しい顔モデルを構築することができる。
【００７１】
概して、グラフィカルユーザインタフェースによって、ユーザは、（１）１つのクラスタが複数の人物のうちの各人物の複数の画像を含む場合、このクラスタを２つ以上のクラスタに分け、（２）２つ以上のクラスタを、これらのクラスタが同じ人物に関するものである場合に併合し、（３）幾つかのクラスタからの１つ又は複数の画像を別のクラスタに追加し、且つ（４）クラスタから１つ又は複数の画像を除去することができる。ユーザは、上記の選択を、コンピュータマウスのような入力装置によってクラスタのサムネイルをクリックし且つ／又はドラッグすることによって行う。これらクラスタ変更のそれぞれに応じて、クラスタ処理コンポーネント１６はクラスタ仕様２２を更新し、モデル処理コンポーネント１８は、幾つかの顔特徴を強調するか若しくはそれらを強調するのを止めることによって、新しい顔モデルをトレーニングするか又は既存の顔モデルを再トレーニングする。
【００７２】
ユーザによって選択されたクラスタの顔モデルの再トレーニングの第１の過程後、調整された顔モデル及び顔認識エンジンに基づいて、上述したクラスタリング方法のうちの任意の方法に従って画像をクラスタに再び割り当てる。新しいクラスタリング結果を、図１０及び図１１に示されているようにディスプレイ１１６上にレンダリングする。その後、ユーザは、結果を検査し、より多くのフィードバックを提供して、クラスタリング精度を向上させることができる。これらの繰り返しは、ユーザが結果に満足するまで継続することができる。
【００７３】
顔検出、顔特徴抽出、並びに最初の照合及びクラスタリングを含むほとんどの計算を、画像処理システム１００によって自動的に実行する。ユーザはシステムを、これらの処理ステップの実行中、単独で動作させておくことができる。ユーザが関与する対話的部分においては、クラスタリング方法によって課される計算コストはかなり小さい（たとえば、顔モデルの再トレーニング及びクラスタへの写真の再割当）。したがって、クラスタリング方法のユーザと機械との対話部分は比較的効率的であり、実施に必要な計算資源が比較的少ない。
【００７４】
［ＩＶ．結論］
本明細書に詳細に説明される実施形態は、画像内で検出される顔領域に基づいて画像をクラスタリングする。これらの実施形態は、より正確且つより確固なクラスタリング結果を提供すると予想される、クラスタの顔モデルを構築する方法を利用する。これらの実施形態のうちの幾つかでは、クラスタを、顔クラスタを確立するためのより正確且つロバストな基礎を提供するように選択されるクラスタシード顔領域によって開始する。加えて、幾つかの実施形態は、人物の顔のより正確な表現を含む可能性がある顔領域を強調すると予想される１つ又は複数のパラメータに従って顔領域をランク付けする。これらの実施形態では、顔領域を、最高ランクから最低ランクまでの順でクラスタリングして、クラスタリング結果の向上を達成する。幾つかの実施形態では、ユーザフィードバックを使用して、クラスタリング結果のクラスタ精度をさらに向上させる。
【００７５】
他の実施形態は特許請求の範囲の範囲内にある。
【図１】
2010507139.tif 000005
【図２】
2010507139.tif 000006
【図３】
2010507139.tif 000007
【図４】
2010507139.tif 000008
【図５】
2010507139.tif 000009
【図６】
2010507139.tif 000010
【図７】
2010507139.tif 000011
【図８】
2010507139.tif 000012
【図９】
2010507139.tif 000013
【図１０】
2010507139.tif 000014
【図１１】
2010507139.tif 000015
【国際調査報告】
2010507139.tif 000016
2010507139.tif 000017
2010507139.tif 000018