(57)【特許請求の範囲】
【請求項１】
属性スコアを修正する方法であって、
第１の複数の被写体画像中の被写体画像ごとに、被写体画像の画像特徴に基づいて複数の属性の各属性スコアを生成するステップと、
前記第１の複数の被写体画像中の被写体画像の画像特徴または前記生成した属性スコアの少なくとも一方に基づいて、前記第１の複数の被写体画像中の被写体画像の対ごとに各被写体類似性尺度を生成するステップと、
前記第１の複数の被写体画像中の被写体画像の対の前記被写体類似性尺度及び前記複数の属性の属性相関のうち１つ以上と、前記第１の複数の被写体画像中の被写体画像の前記属性スコアと、に基づいて、前記被写体画像の修正された属性スコアを生成するステップと
を有することを特徴とする方法。
【請求項２】
前記各被写体類似性尺度を生成するステップは、被写体類似性グラフを生成するステップを含み、
前記修正された属性スコアを生成するステップは、前記被写体類似性グラフに沿ったランダムウォークを実行するステップを含む
ことを特徴とする請求項１に記載の方法。
【請求項３】
前記修正された属性スコアに基づき、前記第１の複数の被写体画像における被写体の対ごとの修正された被写体類似性尺度を生成するステップを更に有することを特徴とする請求項１に記載の方法。
【請求項４】
前記被写体画像の修正された属性スコアと、前記修正された被写体類似性尺度に基づき、前記被写体画像の更なる修正された属性スコアを生成するステップを更に有することを特徴とする請求項３に記載の方法。
【請求項５】
前記修正された属性スコアに基づき、前記第１の複数の被写体画像ごとに第１の群属性スコアを生成するステップと、
前記第１の複数の被写体画像における被写体画像の画像特徴に基づき、前記第１の複数の被写体画像ごとの第１の群特徴を生成するステップと、
前記第１の群特徴と、第２の複数の被写体画像の第２の群特徴とに基づく群類似性尺度を生成するステップと、
前記第１の複数の被写体画像の第１の群属性スコア、前記第２の複数の被写体画像の第２の群属性スコア、前記群類似性尺度、及び、前記複数の属性の相関に基づき、前記第１の複数の被写体画像ごとの修正された群属性スコアを生成するステップと
を更に有することを特徴とする請求項１に記載の方法。
【請求項６】
前記第１の群属性スコアを生成するステップは、
前記第１の複数の被写体画像における被写体画像の修正された属性スコアの加重平均または中央値を発見するステップ、前記第１の複数の被写体画像の中で最も信頼性の高い推定値を使用するステップ、属性統計モデルに基づいて修正された属性スコアの最大尤度又は最大事後評価を使用するステップの１以上を含むことを特徴とする請求項５に記載の方法。
【請求項７】
属性スコアを修正するシステムであって、
コンピュータ可読記憶媒体と、
前記コンピュータ可読記憶媒体と結合される１以上のプロセッサとを有し、
前記１以上のプロセッサは前記システムに、
複数の被写体画像における被写体画像ごとに、当該被写体画像の画像特徴に基づき、複数の属性の各属性スコアを生成させ、
前記複数の被写体画像中の被写体画像の対ごとに、当該複数の被写体画像中の被写体画像の画像特徴または前記生成した属性スコアの少なくとも一方に基づいて、対被写体類似性尺度を生成させ、
前記複数の被写体画像中の被写体画像の前記属性スコア、前記複数の被写体画像中の被写体画像の対の前記被写体類似性尺度に基づいて、前記被写体画像の修正された属性スコアを生成させる
ことを特徴とするシステム。
【請求項８】
前記１以上のプロセッサは、前記システムに、前記複数の属性の属性相関に基づき、更に修正した属性スコアを生成させることを特徴とする請求項７に記載のシステム。
【請求項９】
前記１以上のプロセッサは、前記システムに、前記修正された属性に基づき前記複数の被写体画像における被写体画像の対ごとに、修正された対被写体類似性尺度を生成させることを特徴とする請求項８に記載のシステム。
【請求項１０】
前記１以上のプロセッサは、前記システムに、前記被写体画像の前記修正された属性スコアと、前記被写体画像の対の前記修正された被写体類似性尺度に基づき、前記被写体画像の更なる修正された属性スコアを生成させることを特徴とする請求項９に記載のシステム。
【請求項１１】
前記１以上のプロセッサは、前記システムに、収束条件が満たされるまで、更なる修正された属性スコア、及び、更なる修正された被写体類似性尺度を生成させることを特徴とする請求項１０に記載のシステム。
【請求項１２】
前記１以上のプロセッサは、前記システムに、前記被写体類似性尺度に基づき被写体類似性グラフを生成させることを特徴とする請求項７に記載のシステム。
【請求項１３】
前記１以上のプロセッサは、前記システムに、前記被写体画像の前記修正された属性スコアに基づき、前記複数の被写体画像中の被写体画像を検索させることを特徴とする請求項７に記載のシステム。
【請求項１４】
前記被写体画像の前記修正された属性スコアに基づき前記複数の被写体画像中の被写体画像を検索させるため、前記１以上のプロセッサは、前記システムに、前記被写体画像の修正された属性スコアに重みを割り当てることを特徴とする請求項１３に記載のシステム。
【請求項１５】
１以上の演算デバイスによって実行されたとき、前記１以上の演算デバイスに以下の演算を行なわせるための命令を記憶した１以上のコンピュータが読み取り可能な記憶媒体であって、前記１以上の演算デバイスに、
複数の被写体画像における被写体画像ごとに、当該被写体画像の画像特徴に基づき、複数の属性の各属性スコアを生成させ、
前記複数の被写体画像中の被写体画像の対ごとに、当該複数の被写体画像中の被写体画像の画像特徴または前記生成した属性スコアの少なくとも一方に基づいて、対被写体類似性尺度を生成させ、
前記複数の被写体画像中の被写体画像の対の前記被写体類似性尺度及び前記複数の属性の属性相関の１以上と、前記複数の被写体画像中の被写体画像の前記属性スコアと、に基づき、前記被写体画像の修正された属性スコアを生成させる
演算処理を実行させるための命令を記憶した１以上のコンピュータ可読記憶媒体。
【請求項１６】
前記属性相関は、不変の属性又は持続性の属性の相関であることを特徴とする請求項１５に記載の１以上のコンピュータ可読記憶媒体。
【請求項１７】
前記属性相関は、属性アフィニティマトリクスで定義されることを特徴とする請求項１５に記載の１以上のコンピュータ可読記憶媒体。
【請求項１８】
前記演算処理は、被写体画像ごとに、前記複数の属性の各属性スコアの確率を生成することを含むことを特徴とする請求項１５に記載の１以上のコンピュータ可読記憶媒体。
【請求項１９】
前記演算処理は、
前記複数の被写体画像における、少なくとも前記被写体画像の前回の属性スコアに基づき前記被写体画像の更なる修正された属性スコアを反復して生成させることを含み、
前記前回の属性スコアは、更なる修正された属性スコアを生成する第１の繰り返しにおける修正された属性スコアであることを特徴とする請求項１５に記載の１以上のコンピュータ可読記憶媒体。
【請求項２０】
前記更なる修正された属性スコアを反復して生成させる演算処理は、属性スコア部分区間に投影する演算処理を含むことを特徴とする請求項１９に記載の１以上のコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
この出願は、２０１２年１１月１６日出願の米国仮出願第６１／７２７５６４号、２０１２年１１月１６日出願の米国仮出願第６１／７２７６０２号、及び、２０１３年１１月１１日出願の米国出願第１４／０７７０７９号の優先権を主張するものである。
【０００２】
そして本発明は、一般に画像の視覚的解析に関する。
【発明の背景】
【０００３】
画像解析の分野では、画像データ中の人物及び物体を認識可能なシステムの設計が試みられてきた。画像データは、例えばビデオシーケンス、複数のカメラで撮影した画像、人間の目には見えない光のスペクトルに含まれるデータ及びコンピューテーショナルカメラから取得された多次元データなどの多くの形態をとることができる。
【発明の概要】
【０００４】
一実施形態において、方法は、第１の複数の被写体画像中の被写体画像ごとに複数の属性の各属性スコアを生成するステップと、前記第１の複数の被写体画像中の被写体画像の画像特徴に基づいて、前記第１の複数の被写体画像中の被写体画像対ごとに各被写体類似性尺度を生成することと、前記第１の複数の被写体画像中の被写体画像の前記属性スコア、前記第１の複数の被写体画像中の被写体画像対の前記被写体類似性尺度及び前記複数の属性の属性相関のうち１つ以上に基づいて、前記被写体画像の修正された属性スコアを生成することとを含む。
【０００５】
一実施形態において、システムは、コンピュータ可読記憶媒体と、前記コンピュータ可読記憶媒体と結合される１以上のプロセッサとを有し、前記１以上のプロセッサは前記システムに、複数の被写体画像における各被写体画像ごとに、当該被写体画像に基づき、複数の属性の各属性スコアを生成させ、前記複数の被写体画像中の被写体画像の対ごとに、対被写体類似性尺度を生成させ、前記複数の被写体画像中の被写体画像の前記属性スコア、前記複数の被写体画像中の被写体画像の対の前記被写体類似性尺度に基づいて、前記被写体画像の修正された属性スコアを生成させることを特徴とする。
【０００６】
一実施形態において、１以上のコンピュータ可読記憶媒体は、１以上の演算デバイスによって実行されたとき、前記１以上の演算デバイスに以下の演算を行なわせるための命令を記憶した１以上のコンピュータが読み取り可能な記憶媒体であって、前記１以上の演算デバイスに、複数の被写体画像における各被写体画像ごとに、当該被写体画像に基づき、複数の属性の各属性スコアを生成させ、前記複数の被写体画像中の被写体画像の対ごとに、対被写体類似性尺度を生成させ、前記複数の被写体画像中の被写体画像の前記属性スコア、前記複数の被写体画像中の被写体画像の対の前記被写体類似性尺度、及び、前記複数の属性の属性相関の１以上に基づき、前記被写体画像の修正された属性スコアを生成させる演算処理を実行させる。
【図面の簡単な説明】
【０００７】
【図１】画像属性を修正するシステムにおける動作の流れの例示的な一実施形態を示す図。
【図２】重み付き領域に分割された顔画像の例示的な一実施形態を示す図。
【図３】被写体類似性グラフの例示的な一実施形態を示す図。
【図４】属性スコアの修正動作の流れの例示的な一実施形態を示す図。
【図５】画像属性を修正するシステムにおける動作の流れの例示的な一実施形態を示す図。
【図６】被写体類似性尺度を修正するシステムにおける動作の流れの例示的な一実施形態を示す図。
【図７】属性スコアを修正する動作の流れの例示的な一実施形態を示す図。
【図８】協調被写体検証システムにおける動作の流れの例示的な一実施形態を示す図。
【図９】協調被写体検証の動作の流れの例示的な一実施形態を示す図。
【図１０】修正された属性スコアを生成するシステムの例示的な一実施形態を示す図である。
【図１１Ａ】修正された属性スコアを生成するシステムの例示的な一実施形態を示す図である。
【図１１Ｂ】修正された属性スコアを生成するシステムの例示的な一実施形態を示す図である。
【図１２】属性の例を示す図である。
【図１３】属性の例を示す図である。
【図１４】画像属性を修正するシステムにおける動作の流れの例示的な一実施形態を示す図である。
【図１５】属性スコアを修正する動作の流れの例示的な一実施形態を示す図である。
【発明を実施するための形態】
【０００８】
以下の開示は、説明のための特定の実施形態を説明する。他の実施形態は、代替構成、同等の構成及び変形を含んでもよい。更に、以下の説明のための実施形態は、いくつかの新規な特徴を含むが、本明細書において説明される装置、システム及び方法のいくつかの実施形態では、特定の特徴が不可欠ではない場合もある。
【０００９】
図１は、視覚的属性を修正（refine）するシステムにおける動作の流れの例示的な一実施形態を示す。説明の便宜上、図１は、いくつかの特定のモジュールのみを示すが、システムは他の構成要素も含む。モジュールは、論理、コンピュータ可読データ又はコンピュータ実行可能命令を含み、ソフトウェア（例えば、Ａｓｓｅｍｂｌｙ、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ、ＢＡＳＩＣ、Ｐｅｒｌ、Ｖｉｓｕａｌ  Ｂａｓｉｃ）、ハードウェア（例えば、カスタマイズ回路）及びソフトウェアとハードウェアとの組み合わせで実現されてもよい。いくつかの実施形態では、システムのモジュールの数はこれより多いか又は少ない場合もあり、モジュールは更に少数のモジュールとして組み合わされるか、あるいは更に多くのモジュールに分割される。モジュールを実行する１つ以上の演算デバイスが動作を実行するが、説明の便宜上、１つのモジュールが１つ以上の動作を実行するものとして説明する。
【００１０】
また、本明細書において説明される例示的な実施形態のうちいくつかにおいて、被写体は顔であるが、いくつかの実施形態では、被写体は他の被写体（例えば、建物、車両、動物、植物、ランドマーク、岩石、ファブリック）である。
【００１１】
視覚的属性は、機械により検出可能であり、人間により理解可能であり且つ複数のカテゴリにわたり共有可能な表現であり、視覚的属性はシーン、カテゴリ又は被写体を記述できる。また、視覚的属性は、画像認識、画像分類、属性利用画像検索及び画像記述を含む多様な用途で有用である。視覚的属性スコア１９３（本明細書においては「属性スコア」とも呼ばれる）は、被写体画像１９２中で発見される対応する属性の信頼性を示す。視覚的属性の例を表１に挙げる。
【００１２】
表１：属性の例
-------------------------------------------------------------------------
「男性」「巻き髪」「弓形の眉」「顎ひげなし」「口を大きく開けている」
「アジア人」「ウェーブ」「茶色い瞳」「眼鏡類なし」「歯は見えない」
「白人」「直毛」「涙袋」「眼鏡」「微笑み」
「黒人」「生え際が後退」「大きい鼻」「サングラス」「しかめ面」
「インド人」「前髪あり」「先が尖った鼻」「ネクタイ着用」「目を引く男性」
「乳児」「額が完全に見える」「大きな唇」「ネックレス着用」「目を引く女性」
「小児」「額の一部が見える」「高い頬骨」「イアリング着用」「ぼやけている」
「青少年」「額は見えない」「赤い頬」「帽子着用」「強い照明」
「中年」「つや肌」「丸い顎」「口紅使用」「フラッシュ」
「高齢者」「青白い肌」「二重顎」「濃い化粧」「ソフトな照明」
「禿げている」「卵形の顔」「深い人中」「赤ら顔」「屋外」
「黒髪」「四角い顔」「口ひげ」「目を細めている」「カラー写真」
「金髪」「丸顔」「長いもみあげ」「目を見開いている」「ポーズ写真」
「茶色の髪」「丸ぽちゃ」「ヤギひげ」「口を閉じている」 
「白髪混り」「濃い眉毛」「目立つ無精ひげ」「口を少し開けている」 
-------------------------------------------------------------------------
また、図１２及び図１３は、属性の更なる例を示す。
【００１３】
システムは、例えば、１対の顔を成す２つの顔が同一の人物に属する場合は被写体類似性スコアを増加し且つ１対の顔を成す２つの顔が異なる人物に属する場合は類似性スコアを減少することにより、視覚的属性スコア１９３及び被写体類似性尺度１９６（例えば、被写体類似性スコア、被写体類似性グラフ）の正確度を修正又は改善しようと試みる。また、視覚的属性スコア１９３は被写体類似性尺度１９６を生成するのに有用であり且つ被写体類似性尺度１９６は視覚的属性スコア１９３を生成するのに有用であると思われるので、例えば共同学習により、視覚的属性スコア１９３の改善と被写体類似性尺度１９６の改善とを互いに連携させてもよい。
【００１４】
第１に、視覚的属性スコア１９３は、被写体類似性尺度１９６を生成するのに有用である。例えば、２つの顔の見かけが似ている場合でも、性別属性により２つの顔を容易に判別できるので、ある人物の見かけが環境変化によって変わってしまったとしても、いくつかの視覚的属性スコアにより、同一の人物の被写体画像を互いに結び付けることができる。
【００１５】
第２に、被写体類似性尺度１９６は、視覚的属性スコア１９３を生成するのに有用である。例えば、１人の人物の顔の数枚の画像から抽出されたいくつかの属性の属性スコア１９３は一致しているべきであり（例えば、性別、民族性）、属性スコア１９３の不一致は、何らかの誤りがありうることを示すと考えられる。従って、システムは、被写体類似性尺度１９６（例えば、被写体画像から学習された固有空間における被写体類似性グラフ中のユークリッド距離）により示される類似する被写体画像の属性スコア１９３に基づいて、１つの被写体画像の属性スコア１９３を修正することができる。従って、属性スコア１９３のうち１つ以上のスコアに従って目標顔の性別が女性であると予測される場合、最も類似性の高い近傍の顔の大半が属性スコア１９３のうち１つ以上に従って男性であると予測されるのであれば、その目標顔は男性である確率がより高いはずである。
【００１６】
更に、属性スコアを修正するために、属性間の相関が使用できる。例えば、アジア人の髪の色は通常黒く、女性及び乳児には通常は口ひげ、顎ひげがない。同様に、口ひげ又は顎ひげのある顔は通常は大人の男性とすべきであり、これは、属性「口ひげ」と属性「男性」との強い相関及び「口ひげ」と「年齢」との強い相関を示す。
【００１７】
更に、時間に関する属性の感度を、属性の記述から解析できる。例えば、性別、民族性などのいくつかの属性は、その人物の寿命が尽きるまで変化することはないので安定している。年齢、眼鏡の有無、顔の特徴及び髪の特徴などのいくつかの属性は、短期間のうちは安定しているので一貫した属性であり、表情のようないくつかの属性は、一瞬で数値が変化してしまう可能性があるので一時的属性である。従って、多くの場合、一時的属性は顔の類似性を判定するのに有効ではない。また、同一の人物の画像では、安定した属性及び一貫した属性は強い相関を持つと考えるべきである。従って、本明細書において説明されるシステム、装置及び方法のいくつかの実施形態においては、同一人物に関して、ある関連時間フレームの中で安定した属性及び一貫した属性のスコアは一致すると想定するので、安定した属性又は一貫した属性のいずれか、あるいはその双方のみが考慮される。そのため、システムのいくつかの実施形態は、属性相関に基づいて属性スコア絞り込みを実行する。
【００１８】
従って、ｍ個の被写体画像（ｆ１，ｆ２，…，ｆｍ）が取得された場合、実施形態のシステムは、次の一般的タスクの１つ以上を実行する。そのタスクは、（１）属性分類器１９１を使用して当初生成された属性スコア１９３（例えば、属性スコアベクトルＡfpの中の）品質を改善するタスク、及び（２）被写体類似性尺度１９６（例えば、各対の顔ｆp及びｆqに含まれる２つの顔の被写体類似性スコアＳpq）の品質を改善するタスクである。
【００１９】
図１のシステムは、被写体検出モジュール１００、属性スコア生成モジュール１０５、特徴抽出モジュール１１０、被写体比較モジュール１１５及び属性修正モジュール１２０を含む１つ以上の演算デバイスを含む。被写体検出モジュール１００は、１つ以上の取得画像１９０から１つ以上の被写体画像１９２を検出し且つ抽出する。被写体検出モジュール１００のいくつかの実施形態は、画像１９０中の顔及びそれらの顔の基準点を検出し、アフィンアライメントを形成する。例えば、いくつかの実施形態は顔検出器ツールキットを適用し、このツールキットは目の中心及び口などのいくつかの基準位置の場所を返送する。それらの基準点を使用して、被写体画像を位置合わせできる。
【００２０】
また、特徴抽出モジュール１１０は、被写体画像１９２を取得し且つそれらの被写体画像１９２から被写体特徴１９４を抽出する。被写体特徴１９４は、低レベルの視覚的特徴であってもよく、ガボールフィルタ特徴、ＨＳＶ特徴、ローカルバイナリパターン（ＬＢＰ）特徴、ＳＩＦＴ特徴、ＳＵＲＦ特徴などであってもよい。多くの低レベル視覚的特徴の次元数は高いので、特徴の次元数を減少するために、次元数減少技術（例えば、ＰＣＡ）を適用できる。
【００２１】
特徴抽出モジュール１１０のいくつかの実施形態は、各画素に隣接する３×３個の画素を中心画素値と比較し且つその結果を８ビットバイナリストリングであると考えることにより画像の画素ごとにラベルを割り当てるＬＢＰ演算子（LBP operator）を使用する。８ビットバイナリストリングは、［０，２５５］の範囲内に入る１０進値に変換される。この１０進値をラベルと考えることができ、ラベルのヒストグラムをテクスチャ記述子として使用可能である。顔を記述するためにＬＢＰ演算子を使用する実施形態において、被写体画像１９２はｎ×ｎ個の矩形領域に分割され、各領域でＬＢＰ記述子が抽出される。顔の類似性を検出する場合、各領域の重大度はそれぞれ異なるので、いくつかの実施形態は、異なる領域にそれぞれ異なる重みを割り当てる。図２は、複数の重み付き領域に分割された被写体画像１９２の例示的な実施形態を示す。図２に示されるように、被写体画像１９２は７×７個の領域に分割され、異なる領域の重みは多様である（色が明るいほど、その領域に割り当てられる重みは高くなる）。
【００２２】
更に、属性スコア生成モジュール１０５は、被写体画像１９２を取得し、被写体画像１９２及び属性分類器１９１に基づいて各被写体画像１９２の属性スコア１９３を生成する。属性分類器１９１は、視覚的属性のスコアを生成するためにトレーニングされる。例えば、いくつかの実施形態において、「黒髪」、「大きな鼻」、「眼鏡着用」などの人間の顔の視覚的属性のスコアを生成するために、属性分類器１９１はトレーニングされる。属性分類器１９１は、例えば視覚的属性（例えば、民族性、顔特徴、アクセサリー、画質）を予測するＳＶＭ分類器、神経回路分類器又は決定木分類器であってもよい。いくつかの実施形態は、収集された大量の被写体画像データをダウンロードし且つ手動操作によりそれらの画像のグラウンドトゥルースにラベル付けすることによって大規模なトレーニングデータセットを構成することにより、属性ごとにＳＶＭ分類器をトレーニングする。その後、被写体の低レベル視覚的特徴が抽出され、ＳＶＭ分類器をトレーニングするために入力として使用される。属性分類器１９１のトレーニングが終了した後、新たな被写体画像１９２に対して属性スコア１９３を生成するために、トレーニング済み属性分類器１９１を使用できる。
【００２３】
被写体比較モジュール１１５は、被写体特徴１９４及びいくつかの実施形態においては属性スコア１９３を取得し、取得した被写体特徴１９４及び視覚的属性スコア１９３のうち１つ以上に基づいて被写体類似性尺度１９６（例えば、被写体類似性グラフ、被写体類似性スコア）を生成する。被写体類似性尺度１９６を生成するために、被写体比較モジュール１１５は、被写体対に含まれる２つの被写体（例えば、顔、建物、車両）の間の対ごとの類似性をそれらの被写体の視覚的特徴の類似性又は他の情報に基づいて判定する。例えば、被写体画像１９２の被写体特徴１９４がＬＢＰ記述子の集合により表現される実施形態では、２つの被写体に関する被写体類似性スコア（被写体類似性尺度１９６の一例である）は、被写体画像１９２のＬＢＰ記述子の間の重み付き距離を計算することにより取得される。また、いくつかの実施形態は別の類似性尺度、例えば余弦距離を使用する。更に、被写体画像１９２の被写体類似性尺度１９６を計算するために、コンテクスト情報（例えば、撮像時間、場所、画像シーケンス、被写体共起性、追跡情報）も使用可能である。例えば、バースデーバーティーの連続写真のように短い時間フレーム内で撮影された連続写真は、同一の被写体を表す確率が高いだろう。従って、被写体特徴１９４並びに他の情報（例えば、コンテクスト情報）に基づいて、被写体類似性尺度１９６を生成できる。
【００２４】
被写体類似性尺度１９６に関して、いくつかの実施形態は、被写体類似性スコア（例えば、顔類似性スコア）及び被写体類似性グラフＧ（例えば、顔類似性グラフＧ）を生成する。また、行列Ｓは、すべての被写体対（例えば、顔対）の間の類似性を規定し、各要素Ｓpqは、被写体画像ｆpと被写体画像ｆqとの類似性を示す。被写体類似性グラフＧはｍ個のノードを含み、各ノードは、ｍ個の被写体画像１９２のうち１つの画像を表し且つ各エッジは、対応する被写体対に含まれる被写体の間の類似性を表す。
【００２５】
図３は、被写体類似性グラフＧの例示的な一実施形態を示す。被写体画像１９２を表す被写体ノードｆp３９２間のエッジ値は、それらの画像の類似性を示す。また、各被写体ノードｆp３９２には、対応する被写体画像１９２の属性スコアを含む属性スコアベクトルＡfp３９９がそれぞれ割り当てられている。属性スコアベクトルＡfp３９９における属性スコアの初期値は、属性分類器１９１から取得される。一実施例において、属性スコアベクトルＡfp３９９は７３次元のベクトル（７３の属性）であり、属性スコアベクトルＡifpの各要素は、被写体ノードｆp３９２に対応する被写体画像１９２のｉ番目の属性の値を示す。また、いくつかの実施形態は、被写体類似性グラフＧを明示して生成するのではなく、被写体類似性グラフＧを生成せずに被写体類似性スコアを使用する。
【００２６】
再び図１を参照して説明すると、属性修正モジュール１２０は、被写体類似性尺度１９６、属性相関１９５及びいくつかの実施形態においては属性スコア１９３を取得する。属性相関１９５は、１つの画像中の１つの属性と別の画像中の同一の属性（例えば、１つの画像中の人物の性別と別の画像中の同一の人物の性別、１つの画像中の人物の顔の表情と別の画像中の同一の人物の顔の表情）との相関、１つの画像中の１つの属性と同一の画像中の他の属性（例えば、１つの画像中の１人の人物の性別とひげ）との相関及び１つの画像の１つの属性と他の画像の他の属性（例えば、１つの画像中の１人の人物の性別及びひげと別の画像中の同一の人物の性別及びひげ）との相関のうち１つ以上の相関を記述する。属性修正モジュール１２０は、被写体類似性尺度１９６のうち１つ以上（例えば、被写体類似性グラフＧ中で特定の範囲又は閾値内のエッジ値を有する類似被写体ノード３９２の属性スコアベクトル３９９）、属性スコア１９３及び属性相関１９５に基づいて、被写体画像１９２の修正された属性スコア１９７を生成する（例えば、被写体ノード３９２の属性スコアベクトル３９９を修正する）。
【００２７】
例えば、いくつかの実施形態において、特定の被写体ｆpのｉ番目の属性の視覚的属性スコアＡifpは、他方の被写体ｆq（１≦ｑ≦Ｎ）のｉ番目の属性のスコアＡifqにより影響を受ける。別の被写体ｆqの影響は、他方の被写体ｆqと特定の被写体ｆpとの類似性により判定される。別の被写体ｆqの類似性スコアＳqpが高いほど、影響は強くなる。いくつかの実施形態において、他方の被写体ｆqは、影響を及ぼすための閾値に適合するか又はそれを超える類似性スコアＳqpを有していなければならない。類似性スコアＳqpは正規化されてもよく、この場合の正規化類似性スコア^Ｓqpは次の通りである。
【数１】
0006041996.tif 000002
【００２８】
いくつかの実施形態において、類似性スコアＳqp又は正規化類似性スコア^Ｓqpは、被写体類似性グラフＧのエッジ値を定義するために使用される。更に、属性修正モジュール１２０のいくつかの実施形態は、以下の式に従って特定の被写体画像ｆpのｉ番目の属性のスコアＡifpを修正する。
【数２】
0006041996.tif 000003
式（２）において、被写体画像ｆpの属性スコアＡifpは、２つの部分で更新される。一方の部分は、他の被写体画像ｆqにより他の被写体画像ｆqの正規化類似性スコア^Ｓqpに基づいて影響を受け、他方の部分は、他の被写体画像ｆqとは無関係な属性スコアＡifpの値である。パラメータαは、交差検証によって選択可能なそれら２つの部分の重みを判定する。パラメータαは、１つの被写体画像ｆpの属性スコアＡifpと他の被写体画像ｆqの属性スコアＡifqとの相関の強さを選択するために使用されてもよい。
【００２９】
異なる画像の同一の属性のスコアの関係（例えば、属性スコアＡifpと属性スコアＡifqとの関係）に加えて、いくつかの異なる属性は、従ってそれらの属性スコアも、強く相関している。例えば、アジア人の髪の色は通常黒い。そのため、「アジア人」の属性スコアが大きい顔は、高い「黒髪」属性スコアを持つ傾向にある。また、例えば「乳児」と「高齢者」のように互いに矛盾する属性もいくつかある。１つの顔が同時に乳児と高齢者であることは不可能なので、一方の属性のスコアが大きい場合、それは他方の属性が低いか又はマイナスであることを示唆する。属性修正モジュール１２０は、属性相関１９５に含まれるこれらの相関を使用して、修正された属性スコア１９７を生成することも可能である。
【００３０】
被写体画像１９２（又はその被写体ノード３９２）の属性スコア１９３（例えば、属性スコアベクトル３９９）をＡとし、各要素Ａiがｉ番目の属性のスコアを示し、且つ属性間のアフィニティマトリクスをＰとし（「属性アフィニティマトリクスＰ」ともいう）、各要素Ｐijがｊ番目の属性が存在する場合のｉ番目の属性の存在の確率を示す場合、Ｐij＝Ｐｒｏｂ（Ａi＞０｜Ａj＞０）と表すことができる。Ｐijの値は、例えばベイズの原理を使用する統計的解析により学習されてもよいが、例えばドメイン知識（例えば、小児には口ひげがない）を考慮することにより事前に定義されてもよい。
【００３１】
属性修正モジュール１２０は、属性アフィニティマトリクスＰを使用し、以下の反復式に従って、相関する属性の属性スコアＡjに基づいてｉ番目の属性の属性スコアＡiを修正してもよい。式中、βは、相関する属性の影響係数を示すパラメータである。一般に、
【数３】
0006041996.tif 000004
【００３２】
これは、ｉ番目の属性スコアＡiがそれと相関する属性のスコア並びにその属性スコア自体の値により判定されることを示す。パラメータβ及γは、それら３つの部分の重みを判定する。従って、被写体画像ｆpごとに、属性修正モジュール１２０は、その被写体画像ｆpの属性スコア１９３（例えば、属性スコアベクトルＡ３９９）を修正するために式（３）を実行できる。この処理は、ｔの値に従って１回以上繰り返されてもよい。いくつかの実施形態において、上記の演算を以下の式に従って実現することが可能である。
【数３ｂ】
0006041996.tif 000005
【００３３】
上記の実施形態において、項（１−β−γ）Ａi(t-1)は項Ｐiiに組み込まれる。例えば、Ｐii＝（１−β−γ）／β。また、いくつかの実施例において、アフィニティマトリクスＰのエントリは、正の値及び負の値の双方を含む。更に、属性アフィニティマトリクスＰの対角線上にない要素は、１つの属性スコアをその他の属性スコアを使用して推定する回帰係数として、属性ラベル付けデータの集合体から学習されることが可能だろう。更に、上記の線形属性修正の実施形態に加えて、同一の画像の他の属性スコアに基づき且つ類似する画像の属性スコアに基づいて属性スコアを修正するために、非線形方法が使用されることも可能だろう。
【００３４】
いくつかの実施形態において、属性の相関によって属性スコア（例えば、属性スコアベクトルＡ３９９）は、まず属性部分空間に投影され（例えば、ＰＣＡ又はＩＣＡを使用して）、次に当初の属性空間に戻されて再構成される。これにより、属性間雑音が除去されると共に、再構成後の属性スコアの一貫性が向上する。
【００３５】
従って、属性修正モジュール１２０は、修正された属性スコア１９７を生成するために被写体類似性及び属性相関を活用してもよい。また、属性修正モジュール１２０のいくつかの実施形態は、被写体類似性尺度１９６及び属性相関１９５の双方を、例えば以下の式に従って考慮に入れる属性修正演算を実現することにより、修正された属性スコア１９７を生成する。
【数４】
0006041996.tif 000006
【００３６】
これらの演算は、特定の被写体ｆp（例えば、顔）のｉ番目の属性のスコアＡifpを繰り返し修正する。最初に、第１の部分式に従って属性分類器から取得される原属性スコア：
0006041996.tif 000007
に従って、初期スコアＡifp（０）が割り当てられる。これに続くｔ回の反復の中で（各回の反復ｔは１回以上の反復を表してもよい）、特定の被写体画像ｆpのｉ番目の属性の属性スコアＡifpは改訂属性スコアＡifp（１）に更新される。この改訂属性スコアは、初期属性スコアＡifp（０）及び特定の被写体画像ｆpに類似する他の被写体画像ｆqのｉ番目の属性の属性スコアＡifqに基づいて、第２の部分式により記述される。また、次の反復回において、第３の部分式は、属性スコアＡifpを修正するために相関する属性スコアＡjfpを使用する（いくつかの実施形態において、第２の部分式及び第３の部分式を実行する順序は変更されてもよい）。第２の部分式及び第３の部分式を実現する演算は、例えばｔ＝２，３，…，ｎに対して繰り返されてもよい（合わせてｔ回の反復）。従って、被写体類似性尺度及び属性相関に基づいて、特定の被写体ｆpのｉ番目の属性スコアＡifpを繰り返し修正することができる。対応する修正された属性スコア１９７を生成するために、これらの演算を属性ごとに実行できる。
【００３７】
属性部分空間Ｘ内で動作する属性修正モジュール１２０のいくつかの実施形態は、以下の式に従って修正された属性スコア１９７を生成する。
【数４ｂ】
0006041996.tif 000008
式中、Ｆは投影属性スコアＸifpを生成するために属性スコア：
0006041996.tif 000009
を属性部分空間Ｘに投影する部分空間投影行列であり、投影された部分空間Ｘ属性スコアを更新するために、投影行列に沿って反復が実行される。ｎ回の反復の後の最後の演算において、原空間で修正された属性スコアＡifp（ｎ）１９７が再構成される。
【００３８】
しかし、例えば顔検証、属性利用被写体検索などの他の用途では、異なる属性スコア１９３又は修正された属性スコア１９７が多様に分布しているために、状況によっては、属性スコア１９３及び修正された属性スコア１９７を直接活用できないこともある。そこで、例えば属性修正モジュール１２０により、属性スコア１９３又は修正された属性スコア１９７が正規化されてもよい。また、属性スコア１９３又は修正された属性スコア１９７は、属性スコア確率にマッピングされてもよい。例えば、被写体ごとの修正された属性スコア１９７がワイブル分布（Weibull distribution）に当てはめられ、属性スコア確率を定義するために累積密度関数（ＣＤＦ）が直接使用されてもよい。ワイブル当てはめからパラメータｋ及びλが発見されたならば、ＣＤＦを計算できる。そこで、被写体ｆpのｉ番目の属性スコア確率ＡＰifpを以下の式に従って計算できる。
【数５】
0006041996.tif 000010
【００３９】
属性スコア１９３又は修正された属性スコア１９７をワイブル分布に当てはめることにより、正規化属性スコア１９３又は正規化され修正された属性スコア１９７としてＣＤＦを使用できる。また、取得された属性スコア確率ＡＰfpは、被写体ｆpに関する修正された属性スコア確率であってもよい。従って、いくつかの実施形態において、修正された属性スコア１９７は属性スコア確率ＡＰを含む。
【００４０】
従って、システムは、原属性スコア１９３の修正と校正とを組み合わせてもよい。修正は、被写体類似性グラフに沿ったランダムウォークを含んでもよく且つ属性スコアを活用してもよい。修正により、属性スコア１９３の正確度を改善できると共に、１つ以上の属性スコア１９３が欠落している被写体画像１９２に関する推定属性スコアを改善できる。システムは、属性スコア１９３を分布（例えば、ワイブル分布）にマッピングし且つそれらの属性スコアの属性スコア確率としてＣＤＦを計算してもよい。実数値スコアから確率への変換により、属性スコアは視覚的類似性の計算に更に適する形になる。
【００４１】
図４は、属性スコアを修正する動作の流れの例示的な一実施形態を示す。この動作流れ及び本明細書において説明される他の動作流れのブロックは、例えば本明細書において説明されるシステム及び装置のような１つ以上の演算デバイスにより実行されてもよい。また、この動作流れ及び本明細書において説明される他の動作流れは特定の順序でそれぞれ提示されるが、いくつかの実施形態は、それらの動作のうち少なくともいくつかを提示される順序とは異なる順序で実行してもよい。実行可能な異なる順序の例は、並列、重複、再配列、同時、増補及び交換配列による順序付けを含む。従って、この動作流れ及び本明細書において説明される他の動作流れの他の実施形態では、ブロックの省略、ブロックの追加、ブロックの順序の変更、ブロックの組み合わせ又はより多くのブロックへの分割があってもよい。
【００４２】
流れはブロック４００から開始され、ブロック４００において、画像の集合から被写体画像が抽出される。例えば、画像の集合から、顔、鳥又は家の画像が抽出されてもよい。次に、ブロック４１０において、被写体画像及び属性分類器に基づいて、それらの被写体画像の各属性スコアが生成される。流れは次にブロック４２０へ進み、被写体画像から被写体特徴（例えば、低レベル被写体特徴）が抽出される。いくつかの実施形態は、更に被写体特徴の次元数を減少させる。次に、ブロック４３０において、被写体特徴及び属性スコアのうち１つ以上に基づいて、被写体類似性尺度が生成される。最後に、ブロック４４０において、被写体類似性尺度、属性スコア及び属性相関のうち１つ以上に基づいて、属性スコア及びいくつかの実施形態においては被写体類似性尺度が修正される。
【００４３】
図５は、画像属性を修正するシステムにおける動作の流れの例示的な一実施形態を示す。説明の便宜上、図５は特定のモジュールのみを示すが、システムは他の構成要素を含む。システムは、被写体検出モジュール５００、属性スコア生成モジュール５０５、特徴抽出モジュール５１０、被写体比較モジュール５１５、属性修正モジュール５２０及び比較修正モジュール５２５を含む１つ以上の演算デバイスを含む。
【００４４】
被写体検出モジュール５００は、１つ以上の取得画像５９０から１つ以上の被写体画像５９２を検出し且つ抽出する（画像５９０は２つ以上の被写体を示す場合もある）。属性スコア生成モジュール５０５は、取得された被写体画像５９２ごとに属性スコア５９３（例えば、属性スコアベクトル）をそれぞれ生成し、いくつかの実施形態は、属性スコア５９３に含まれる属性スコア確率を生成する。特徴抽出モジュール５１０は、被写体画像５９２から被写体特徴５９４（例えば、低レベル特徴）を抽出する。
【００４５】
被写体比較モジュール５１５は、被写体特徴５９４及びいくつかの実施形態においては属性スコア５９３に基づいて被写体類似性尺度５９６を生成する。各被写体画像５９２を最も確率の高い近傍の画像と連携させるために、厳密類似性閾値が選択されてもよい。被写体比較モジュール５１５は、例えば従来の方法を使用することにより、被写体類似性スコアを生成するか又は被写体類似性グラフを生成してもよい。一般に、被写体類似性スコアを計算するために、被写体を表現するように、ＶＦfpと示される特定の被写体ｆpの低レベル視覚的特徴が抽出される（例えば、ＬＢＰ特徴、ＨＳＶ特徴）。低レベル視覚的特徴ＶＦfpの次元数を減少させるために、次元数減少技術（例えば、ＰＣＡ）を適用できる。その後、被写体対に含まれる被写体の間の被写体類似性スコアをその低レベル視覚的特徴ＶＦに基づいて計算するために、類似性測定値（例えば、余弦類似性）を使用できる。更に、被写体類似性尺度を計算するために、コンテクスト情報を使用可能である。
【００４６】
被写体類似性スコアが生成された後、被写体類似性グラフＧが生成されてもよい。行列Ｓは、すべての被写体対に含まれる２つずつの被写体の間の類似性を記述し、各要素Ｓpqは、被写体画像ｆpと被写体画像ｆqとの類似性を示す。従って、被写体類似性グラフＧはｍ個のノードを含み（ｍは被写体画像５９２の数である）、各ノードは１つの被写体画像を表し、各エッジは対応する被写体対の類似性を表す。また、いくつかの実施形態において、関連する被写体の属性スコア５９３を含む属性スコアベクトルが各被写体ノードに割り当てられる。
【００４７】
次に、属性修正モジュール５２０は、被写体類似性尺度５９６、属性スコア５９３及び属性相関５９５に基づいて修正された属性スコア５９７を生成する。その後、比較修正モジュール５２５は、修正された属性スコア５９７を取得し且つ少なくとも一部で修正された属性スコア５９７に基づいて、修正された類似性尺度５９８を生成する。例えば、比較修正モジュール５２５は、識別能力を向上させた低次元部分空間に高次元特徴データを投影するために修正された属性スコア確率（属性修正モジュール５２０により生成されてもよい）に対して確率的Ｒ‐ＬＤＡモデルを使用し、次に低次元特徴データを使用して、被写体類似性を再計算し且つ修正された類似性尺度５９８を生成してもよい。
【００４８】
続いて、次の反復回において、属性修正モジュール５２０は、修正された類似性尺度５９８を使用して修正された属性スコア５９７を生成し、比較修正モジュール５２５は、最新の修正された属性スコア５９７を使用して修正された類似性尺度５９８を生成する。属性修正モジュール５２０及び比較修正モジュール５２５は、収束条件（例えば、最新の反復回と比較した場合に属性スコア又は類似性スコアの変化が閾値より少ない）に適合するまで、又は定義された最大回数の反復が実行され終わるまで、又は別の基準が満たされるまで、上記の演算（破線のブロックの中に示される）を繰り返す。
【００４９】
更に、システムのいくつかの実施形態は、被写体の属性の間の識別情報を最もよく捕捉する被写体画像の低次元表現を生成する目的で低レベル特徴と属性スコア確率とを組み合わせるために、正規化線形判別解析（regularized linear discriminant analysis: Ｒ‐ＬＤＡ）又は他の技術を使用する。
【００５０】
図６は、被写体類似性尺度を修正するシステムにおける動作の流れの例示的な一実施形態を示す。このシステムは他の構成要素も含むが、説明の便宜上、図６は、比較修正モジュール６２５、Ｒ‐ＬＤＡモジュール６２６及び類似性モジュール６２８のみを示す。いくつかの実施形態において、システムは、被写体画像の属性の間の判別情報を捕捉する被写体画像の低次元表現を生成するために、Ｒ‐ＬＤＡ又は他の技術を使用して、低レベル特徴と属性スコア確率とを組み合わせる。異なる被写体画像間の判別情報を含む低次元部分空間へ高次元特徴を投影するために、Ｒ‐ＬＤＡが使用されてもよい。一般に、ＬＤＡモデル又はＲ‐ＬＤＡモデルの入力は高次元入力データ及びクラスラベルであり、出力は低次元部分空間への高次元空間の投影である。
【００５１】
本実施形態の比較修正モジュール６２５は、クラスラベルとして修正された属性スコア６９７（又は修正前の属性スコア）を使用し、抽出された高次元低レベル被写体特徴６９４を入力として使用して、最適変換を学習する。Ｒ‐ＬＤＡモジュール６２６は、修正された属性スコア６９７を取得し、属性スコア６９７が属性スコア確率を含まない場合、それらの属性スコアを使用して属性スコア確率を生成する。従って、Ｒ‐ＬＤＡの本実施形態は、ソフト属性ラベル（例えば、０から１の範囲内に入る確率を有する属性ラベル）と共に機能する。Ｒ‐ＬＤＡモジュール６２６は、被写体特徴６９４を更に取得し、属性スコア確率及び被写体特徴６９４に基づいて改訂被写体特徴６２７を生成する。次に、類似性モジュール６２８は、改訂被写体特徴６２７に基づいて改訂被写体類似性スコア６２９を生成する。また、比較修正モジュール６２５は、少なくとも改訂被写体類似性スコア６２９に基づいて修正された類似性尺度６９８を生成してもよい。
【００５２】
例えば、被写体特徴６９４は、被写体画像ｆpから抽出されたｎ次元視覚的特徴ベクトルＶＦfp（ＶＦ1fp,ＶＦ2fp,…,ＶＦnfp ）を含んでもよい。被写体画像ｆｐの修正された属性スコア６９７に基づいて、比較修正モジュール６２５は、被写体画像ｆpがｉ番目の属性を示す確率を表す修正された属性スコア確率ＡＰifp(1≦i≦c)を生成する。ここでｃは属性の総数である。
【００５３】
次に、Ｒ‐ＬＤＡモジュール６２６のいくつかの例示的な実施形態は、次元数を減少させた視覚的特徴ベクトルのバージョンＶＦfp（ＶＦ1fp,ＶＦ2fp,…,ＶＦnfp）を生成するための最適変換を計算する。１つのサンプルが「ハード」割り当ての方式で１つのクラスラベルのみと連携する従来のＬＤＡとは異なり、本実施形態は、一種の「ソフト」ラベル情報として属性スコア確率ＡＰifp (1≦i≦c)を使用する。対応する属性スコア確率ＡＰifpにより割り当てられた強さを有する複数の属性と１つの被写体画像ｆpを連携させることができる。いくつかの実施形態は、被写体特徴６９４及び修正された属性スコア６９７が既に取得されているｍ個の被写体画像に対して以下の式に従ってｃ個の属性すべての平均ベクトルｕi（１≦ｉ≦ｃ）を計算する。
【数６】
0006041996.tif 000011
また、ｍ個の被写体画像に対してｃ個の属性の平均ベクトルｕを以下の式に従って計算されてもよい。
【数７】
0006041996.tif 000012
【００５４】
更に、Ｒ‐ＬＤＡモジュール６２６のいくつかの実施形態は、クラス間散乱行列Ｓb及びクラス内散乱行列Ｓwを生成する。それらの行列は次のように計算されてもよい。
【数８】
0006041996.tif 000013
【００５５】
また、Ｒ‐ＬＤＡモジュール６２６のいくつかの実施形態は、クラス内散乱を最小限に抑える一方でクラス間散乱を最大化する変換を計算する。
【数９】
0006041996.tif 000014
【００５６】
更に、Ｒ‐ＬＤＡモジュール６２６の実施形態は、以下の一般固有値問題を解くことにより最適変換を求めてもよい。
0006041996.tif 000015
クラス内散行列Ｓwが非特異ではない場合、いくつかの実施形態は、行列Ｓw-1Ｓbの固有値を計算し、ｄ個の最大固有値（１≦ｄ≦ｃ−１）に対応するｄ個の固有ベクトル（ψ1,ψ2,…,ψd）を取得する。従って、最適変換は、ψ＝[ψ1,ψ2,…,ψd ]であってもよい。被写体認識において時折見られる状況のようにクラス内散乱行列Ｓwが特異である場合、部分空間分解技術によって最適変換φを発見できる。被写体画像の視覚的特徴ベクトルＶＦfpが与えられれば、低次元特徴表現ＬＦfpを次のように計算できる。
0006041996.tif 000016
低次元特徴表現ＬＦfpは、改訂被写体特徴６２７として使用されてもよい。
【００５７】
次に、類似性モジュール６２８は、改訂被写体特徴６２７（低次元特徴表現ＬＦfp及び低次元特徴表現ＬＦfq）に基づいて改訂被写体類似性スコア６２９（例えば、被写体ｆpと被写体ｆqとの間の被写体類似性Ｓpq）を計算する。例えば余弦類似性、ユークリッド距離などの多くの類似性測定値を使用可能だろう。次に、比較絞り込みモジュール６２５は、改訂被写体類似性スコア６２９に基づいて修正された類似性尺度６９８を生成する。
【００５８】
従って、Ｒ‐ＬＤＡモデルを使用することにより、比較修正モジュール６２５は、被写体特徴６９４中の高次元特徴データを、判別属性情報を維持する更に低次元の部分空間へ投影し、次に、取得された低次元特徴データに基づいて改訂被写体類似性スコア６２９を生成する。最後に、比較修正モジュール６２５は、改訂被写体類似性スコア６２９に基づいて修正された類似性尺度６９８を生成する。
【００５９】
図７は、属性スコアを修正動作の流れの例示的な一実施形態を示す。流れはブロック７００で開始され、ブロック７００において、被写体画像から被写体特徴（例えば、高次元被写体特徴、低次元被写体特徴）が抽出される。流れは次にブロック７１０へ進み、被写体画像及び属性分類器に基づいて被写体画像の各視覚的属性スコアが生成される。次に、ブロック７２０において、被写体特徴及びいくつかの実施形態においては属性スコアに基づいて被写体類似性尺度（例えば、被写体類似性グラフ、被写体類似性スコア）が生成される。
【００６０】
流れは次にブロック７３０へ進み、最新の被写体類似性尺度、最新の属性スコア又は属性相関に基づいて修正された属性スコアが生成される。従って、ブロック７３０の演算が最初に実行される場合、最新の被写体類似性尺度は、ブロック７２０で生成された被写体類似性尺度になり、且つ最新の属性スコアは、ブロック７１０で生成された属性スコアになる。
【００６１】
流れは次にブロック７４０へ進み、被写体類似性尺度が修正されるか否かが判定される。これは、例えば、所定の最大回数の反復が実行されたか否か又は収束条件が満たされているか否かを判定することを含んでもよい。実行されていないか又は満たされていない場合（ブロック７４０＝ＮＯ）、流れはブロック７７０へ進む。実行されたか又は満たされている場合（ブロック７４０＝ＹＥＳ）、流れはブロック７５０へ進み、ブロック７３０で生成された最新の属性スコアに基づいて修正された被写体類似性尺度が生成される。
【００６２】
次に、ブロック７６０において、属性スコアが修正されるか否かが判定される。これも、所定の最大回数の反復が実行されたか否か又は収束条件が満たされているか否かを判定することを含んでもよい。実行されていないか又は満たされていない場合（ブロック７６０＝ＮＯ）、流れはブロック７７０へ進む。実行されたか又は満たされている場合（ブロック７６０＝ＹＥＳ）、流れはブロック７３０に戻り、最新の被写体類似性尺度及びいくつかの実施形態においては最新の属性スコアに基づいて修正された属性スコアが生成される。流れがブロック７３０に戻る場合、最新の被写体類似性尺度は、ブロック７５０で生成された修正された被写体類似性尺度になり、且つ最新の属性スコアは、ブロック７３０の直前の反復回で生成された修正された属性スコアになる。
【００６３】
最後に、流れがブロック７７０へ進んだ時点で、ブロック７３０で生成された最新の属性スコア、あるいはブロック７２０又はブロック７５０で生成された最新の被写体類似性尺度が出力される。
【００６４】
図８は、２つの被写体画像が同一の被写体の画像であるか否か（すなわち同一の被写体の異なる画像であるか否か）を判定する協調被写体検証システムにおける動作の流れの例示的な一実施形態を示す。説明の便宜上、図８は特定のモジュールのみを示すが、システムは図示される構成要素以外の構成要素を含む。図８のシステムは、属性スコア生成モジュール８０５、特徴抽出モジュール８１０、被写体比較モジュール８１５、属性修正モジュール８２０、比較修正モジュール８２５及び検証モジュール８３０を含む１つ以上の演算デバイスを含む。特徴抽出モジュール８１０は、被写体画像８９２を取得し且つ被写体画像８９２から被写体特徴８９４を抽出する。属性スコア生成モジュール８０５は、被写体画像８９２を取得し且つ被写体画像８９２及び属性分類器８９１に基づいて被写体画像の各属性スコア８９３を生成する。
【００６５】
被写体比較モジュール８１５は、被写体特徴８９４及びいくつかの実施形態においては視覚的属性スコア８９３を取得し、且つ被写体特徴８９４及びいくつかの実施形態においては視覚的属性スコア８９３に基づいて被写体類似性尺度８９６（例えば、被写体類似性スコア、被写体類似性グラフ）を生成する。属性修正モジュール８２０は、被写体類似性尺度８９６、属性相関８９５及びいくつかの実施形態においては属性スコア８９３を取得する。属性修正モジュール８２０は、属性スコア８９３、被写体類似性尺度８９６及び属性相関８９５のうち１つ以上に基づいて被写体合像８９２の修正属性スコア８９７を生成する。
【００６６】
次に、比較修正モジュール８２５は、修正された属性スコア８９７を取得し且つ修正された属性スコア８９７に基づいて修正された被写体類似性尺度８９８（例えば、修正された被写体類似性スコア、修正された類似性グラフ）を生成する。続いて、次の反復回において属性修正モジュール８２０は、修正された類似性尺度８９８を使用して修正された属性スコア８９７（属性スコア確率を含んでもよい）を生成し、且つ比較修正モジュール８２５は、最新の修正された属性スコア８９７を使用して修正された類似性尺度８９８を生成する。属性修正モジュール８２０及び比較修正モジュール８２５は、収束条件（例えば、最前の反復回と比較して、属性スコア又は類似性スコアの変化が閾値より小さい）が満たされるまで、定義された最大回数の反復が実行され終わるまで、検証モジュール８３０により報知されるまで又は別の基準が満たされるまで、上記の動作を繰り返してもよい（破線のブロックに示されるように）。
【００６７】
検証モジュール８３０は、目標被写体画像８９２及び１つ以上の参照被写体画像８９２を示す選択画像８３１を取得し、且つ修正された類似性尺度８９８に基づいて検証結果８３２を生成する。検証結果８３２は、目標被写体画像８９２が１つ以上の参照被写体画像８９２と同一の被写体を示すか否かを示し、同一の被写体画像を示す場合、目標被写体画像は検証される。例えば、検証結果８３２は、目標被写体画像が検証されるか否かを示す２進標識（例えば、肯定又は否定、１又は０）を含んでもよく、目標被写体画像が検証される確率を示すスコア（例えば、０から１までの数）を含んでもよく、あるいは目標被写体画像と１つ以上の他の参照被写体画像との間の最新の被写体類似性スコアを含んでもよい。検証モジュール８３０は、属性修正モジュール８２０及び比較修正モジュール８２５の反復動作中に生成される修正された類似性尺度８９８を受信してもよい。検証モジュール８３０は、修正された類似性尺度８９８が検証条件、例えば収束条件を満たすか否か、あるいは目標被写体画像と１つ以上の参照被写体画像との間の修正された類似性尺度８９８が閾値に満たないか又は閾値を超えるかを判定する。条件が満たされれば、検証モジュール８３０は検証結果８３２を出力する。
【００６８】
図９は、協調被写体検証の動作の流れの例示的な一実施形態を示す。流れはブロック９００で開始され、ブロック９００において、被写体画像及び属性分類器に基づいて被写体画像の各属性スコアが生成される。流れは次にブロック９１０へ進み、被写体画像から被写体特徴（例えば、低レベル被写体特徴）が抽出される。いくつかの実施形態は被写体特徴の次元数を更に減少させる。次に、ブロック９２０において、被写体特徴及び属性スコアのうち１つ以上に基づいて被写体類似性尺度（例えば、被写体類似性グラフ、被写体類似性スコア）が生成される。続いて、ブロック９３０において、被写体類似性尺度、属性スコア及び属性相関に基づいて、属性スコア及び被写体類似性尺度が修正される。次に、ブロック９４０において、目標被写体画像の選択肢が取得される。また、いくつかの実施形態は１つ以上の参照被写体画像の選択肢を取得する。最後に、ブロック９５０において、修正された被写体類似性尺度に基づいて被写体検証結果が生成される。検証結果は、例えば目標画像に最も類似している被写体画像（例えば、参照被写体画像の選択肢を含まない実施形態の場合）、１つ以上の参照画像に対する目標被写体画像の類似性が閾値を超えるか否か、あるいは目標被写体画像が１つ以上の参照被写体画像と同一の被写体を示す確率を含んでもよい。
【００６９】
図１０は、修正された属性スコアを生成するシステムの例示的な一実施形態を示す。システムは、修正デバイス１０１０及び画像記憶デバイス１０２０を含む。修正デバイス１０１０は、１つ以上のプロセッサ（ＣＰＵ）１０１１、入出力（Ｉ／Ｏ）インタフェース１０１２及び記憶装置／メモリ１０１３を含む。ＣＰＵ１０１１は、マイクロプロセッサ（例えば、シングルコアマイクロプロセッサ、マルチコアマイクロプロセッサ）又は他の回路を含む１つ以上の中央処理ユニットを含み、ＣＰＵ１０１１は、記憶装置又はメモリ（例えば、記憶装置又はメモリに記憶されたモジュール）に記憶された命令などのコンピュータ実行可能命令を読み取り且つ実行するように構成される。コンピュータ実行可能命令は、本明細書において説明される動作を実行するための命令を含んでもよい。Ｉ／Ｏインタフェース１０１２は、キーボード、ディスプレイ、マウス、印刷装置、タッチスクリーン、ライトペン、光記憶デバイス、スキャナ、マイク、カメラ、ドライブ及びネットワーク（有線又は無線のいずれか）を含む入力デバイス及び出力デバイスに対する通信インタフェースを含む。
【００７０】
記憶装置／メモリ１０１３は、１つ以上のコンピュータ可読媒体又はコンピュータ書き込み可能媒体、例えばコンピュータ可読記憶媒体を含む。単なる一時的な伝搬信号とは異なり、コンピュータ可読媒体は、例えば磁気ディスク（例えば、フロッピーディスク、ハードディスク）、光ディスク（例えば、ＣＤ、ＤＶＤ、Ｂｌｕ‐ｒａｙ）、光磁気ディスク、磁気テープ及び半導体メモリ（例えば、不揮発性メモリカード、フラッシュメモリ、ソリッドステートドライブ、ＳＲＡＭ、ＤＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ）のような有形製造物品を含む。記憶装置／メモリ１０１３は、コンピュータ可読データ（例えば、属性アフィニティマトリクスＰ、属性分類器）又はコンピュータ実行可能命令を記憶するように構成される。修正デバイス１０１０の各構成要素は、バスを介して通信する。
【００７１】
修正デバイス１０１０は、被写体検出モジュール１０１４、特徴抽出モジュール１０１５、属性スコア生成モジュール１０１６、被写体比較モジュール１０１７及び修正モジュール１０１８を更に含む。いくつかの実施形態において、修正デバイス１０１０は、これより多い又は少ない数のモジュールを含むか、モジュールがより少ない数のモジュールとして組み合わされるか、あるいはモジュールが更に多くの数のモジュールに分割される。被写体検出モジュール１０１４は、実行された場合、１つ以上の演算デバイスに画像の集合体の中から被写体画像（例えば、ボートの画像、自動車の画像、顔の画像、帽子の画像、犬の画像）を検出させるコンピュータ可読命令を含む。特徴抽出モジュール１０１５は、実行された場合、１つ以上の演算デバイスに被写体画像を含む画像から特徴を抽出させる。
【００７２】
属性スコア生成モジュール１０１６は、実行された場合、１つ以上の演算デバイスに画像及び属性分類器に基づいて画像（例えば、被写体画像）の属性スコア及びいくつかの実施形態においては属性スコア確率を生成させるコンピュータ可読命令を含む。被写体比較モジュール１０１７は、実行された場合、１つ以上の演算デバイスに被写体の画像（例えば、被写体の画像から抽出された特徴）及びいくつかの実施形態においては属性スコアに基づいて被写体類似性尺度（例えば、被写体類似性スコア、被写体類似性グラフ）を生成させるコンピュータ可読命令を含む。
【００７３】
最後に、修正モジュール１０１８は、実行された場合、１つ以上の演算デバイスに修正された属性スコアを生成させる（被写体類似性尺度、属性相関及び以前の属性スコアのうち１つ以上に基づいて）か、又は修正された被写体類似尺度を生成させる（以前の被写体類似性尺度、属性相関及び修正された属性スコアのうち１つ以上に基づいて）コンピュータ可読命令を含む。いくつかの実施形態において、修正モジュール１０１８は、図１の属性修正モジュール１２０、図５の属性修正モジュール５２０、図５の比較修正モジュール５２５、図６の比較修正モジュール６２５、図８の属性修正モジュール８２０及び図８の比較修正モジュール８２５のうち１つ以上のモジュールの機能を実現する。
【００７４】
画像記憶デバイス１０２０は、ＣＰＵ１０２２、記憶装置／メモリ１０２３、Ｉ／Ｏインタフェース１０２４及び画像記憶装置１０２１を含む。画像記憶装置１０２１は、画像を記憶するように構成された１つ以上のコンピュータ可読媒体を含む。画像記憶デバイス１０２０及び修正デバイス１０１０は、ネットワーク１０９０を介して通信する。
【００７５】
図１１Ａは、修正された属性スコアを生成するシステムの例示的な一実施形態を示す。システムは、画像記憶デバイス１１２０、被写体検出デバイス１１１０及び修正デバイス１１４０を含み、これらのデバイスはネットワーク１１９０を介して通信する。画像記憶デバイス１１２０は、１つ以上のＣＰＵ１１２１、Ｉ／Ｏインタフェース１１２２、記憶装置／メモリ１１２３及び画像記憶装置１１２４を含む。被写体検出デバイス１１１０は、１つ以上のＣＰＵ１１１１、Ｉ／Ｏインタフェース１１１２、記憶装置／メモリ１１１３、被写体検出モジュール１１１４、特徴抽出モジュール１１１５及び属性スコア生成モジュール１１１６を含む。修正デバイス１１４０は、１つ以上のＣＰＵ１１４１、Ｉ／Ｏインタフェース１１４２、記憶装置／メモリ１１４３、被写体比較モジュール１１４４、属性修正モジュール１１４５及び比較修正モジュール１１４６を含む。
【００７６】
図１１Ｂは、修正された属性スコアを生成するシステムの例示的な一実施形態を示す。システムは修正デバイス１１５０を含む。修正デバイス１１５０は、１つ以上のＣＰＵ１１５１、Ｉ／Ｏインタフェース１１５２、記憶装置／メモリ１１５３、画像記憶モジュール１１５４、被写体検出モジュール１１５５、特徴抽出モジュール１１５６、属性スコア生成モジュール１１５７、比較モジュール１１５８及び属性修正モジュール１１５９を含む。比較モジュール１１５８は、実行された場合、１つ以上の演算デバイスに被写体の画像及びいくつかの実施形態においては属性スコアに基づいて被写体類似性尺度を生成させ且つ以前の被写体類似性尺度、属性相関及び修正された属性スコアのうち１つ以上に基づいて修正された被写体類似性尺度を生成させるコンピュータ可読命令を含む。いくつかの実施形態において、比較モジュール１１５８は、図１の被写体比較モジュール１１５、図５の被写体比較モジュール５１５、図５の比較修正モジュール５２５、図６の比較修正モジュール６２５、図８の被写体比較モジュール８１５及び図８の比較修正モジュール８２５のうち１つ以上のモジュールの機能を実現する。従って、修正デバイス１１５０の例示的な本実施形態の場合、単一のデバイスで上記のすべての動作を実行し且つ適用可能なすべての情報を記憶する。更に、修正デバイスのいくつかの実施形態は、検証モジュールを含む。
【００７７】
図１４は、画像属性を修正するシステムにおける動作の流れの例示的な一実施形態を示す。システムは、複数の被写体画像群１４７１、例えば被写体画像１〜４を含む第１の被写体画像群１４７１Ａと、被写体画像Ａ〜Ｄを含む第２の被写体画像群１４７１とに対して動作する。いくつかの実施形態において、被写体画像群１４７１は、複数の画像から取り出されたトラック、例えばビデオである。トラック中の被写体画像は、カメラの視野全体にわたる被写体（例えば、人間、自動車）の動きを示す。群属性スコア自体は、被写体画像群の中の個別の被写体画像のフレームごとの被写体画像属性スコアから推定可能である。
【００７８】
これらの被写体画像群１４７１（例えば、トラック）の個別の被写体画像中の被写体は同一の被写体であると想定できるので、連続する被写体画像中の被写体は同一の被写体であるという仮定に基づいて、１つの被写体画像群に含まれる個別の被写体画像の被写体類似性尺度１４７２を生成できる。例えば、第１の被写体画像群１４７１Ａ中の個別の被写体画像に対して、被写体類似性尺度１４７２Ａが生成され、図示される実施形態の被写体類似性尺度１４７２Ａは、被写体類似性グラフを含む。被写体画像群１４７１Ａ中の連続する被写体画像は、同一の被写体を示すと想定され、従って、被写体類似性グラフにおけるエッジ値は、隣接する被写体画像間で強い類似性を示す。これにより、システムは、個別の被写体画像の属性スコア推定値に影響を及ぼす可能性がある被写体のビューの変化（例えば、被写体が回転する、通り過ぎる、表情を変える）を考慮に入れることができる。
【００７９】
被写体画像群１４７１中の個別の被写体画像ごとに属性スコアがそれぞれ生成される。次に、例えば図１及び図４〜図９に示されるシステム及び動作を使用して、被写体画像群１４７１中の個別の被写体画像ごとに、修正された属性スコア１４７３が生成される。従って、第２の被写体画像群１４７１Ｂ中の個別の被写体画像の修正された属性スコア１４７３Ｂは、画像Ａの修正された属性スコア１４７３、画像Ｂの修正された画像スコア１４７３、画像Ｃの修正された属性スコア１４７３及び画像Ｄの修正された属性スコア１４７３を含む。
【００８０】
群属性スコア生成モジュール１４３５は、修正」された属性スコア１４７３を取得し、修正された属性スコア１４７３に基づいて群属性スコア１４７５を生成する。群属性スコア１４７５は、１つの被写体画像群１４７１中の個別の被写体画像の属性スコアを１つのまとまりとして示す。従って、第１の被写体画像群１４７１Ａ中の被写体画像の群属性スコア１４７５は、第１の被写体画像群１４７１Ａの属性スコアを１つのまとまりとして含むが、第１の被写体画像群１４７１Ａ中の個別の被写体画像ごとの属性スコアを含むのではない。群属性スコア１４７５は、例えば、１つの被写体画像群１４７１中の個別の被写体画像の修正された属性スコア１４７３の加重平均又は中央値を発見すること、その群の中で最も信頼性の高い推定値を使用すること及び属性統計モデルに基づいて属性の最大尤度又は最大事後評価を使用することにより生成されてもよい。例えば、第１の被写体画像群１４７１の属性「金髪」の群属性スコア１４７５は、画像１〜４の「金髪」属性スコアを平均することにより生成されてもよい。従って、群属性スコア１４７５は、ある被写体画像群１４７１が１つの被写体画像であるかのようにして計算された、その被写体画像群１４７１の属性スコアを表すと考えてもよい。例えば、被写体画像群１４７１中の個別の被写体画像の属性スコアベクトルに基づいて、その被写体画像群１４７１の単一の属性スコアベクトルが生成されてもよい。
【００８１】
更に、システムは、被写体画像群ごとに群特徴１４７４をそれぞれ生成する。群特徴１４７４は低レベル特徴であってもよく、対応する被写体画像運１４７４中の個別の被写体画像の低レベル特徴の重心を発見すること、低レベル特徴の１つ以上の重心に最も近接する低レベル特徴を選択すること、低レベル多重画像特徴（例えば、人間の歩容記述子）を使用すること、トラック中の被写体画像の個別の低レベル特徴から作成されたフィッシャーベクトルを使用することなどの方法により生成されてもよい。従って、群特徴１４７４は、１つの被写体画像群１４７１が１つの被写体画像であるかのようにして計算された、その被写体画像群１４７１の被写体特徴を表すと考えてもよい。また、被写体比較モジュール１４１５は、群特徴１４７４及びいくつかの実施形態においては群属性スコア１４７５に基づいて群類似性尺度１４１５を生成する。例えば、群属性尺度１４１５は、少なくとも一部でトラッカー信頼性、画質及び視覚的類似性のうち１つ以上に基づいて生成されてもよい。
【００８２】
更に、属性修正モジュール１４２０は、被写体画像群１４７１の修正された群属性スコア１４９７を生成し、比較修正モジュール１４２５は、被写体画像群１４７１の修正された群類似性尺度１４９８を生成する。従って、図１４のシステムは、各被写体画像群が１つの被写体画像であるかのようにして計算された複数の被写体画像群（例えば、ビデオ、連続写真）の群属性スコア及び群類似性尺度を修正することができる。例えば、群属性スコア１４７５は、図１の属性スコア１９３、図５の属性スコア５９３及び図８の属性スコア８９３として使用可能である。更に、群特徴１４７４は、例えば図１の被写体特徴１９４、図５の被写体特徴５９４及び図８の被写体特徴８９４として使用可能である。
【００８３】
図１５は、属性スコアを修正する動作の流れの例示的な一実施形態を示す。ブロック１５００において、被写体画像群中の個別の被写体画像及び属性分類器に基づいて、個別の被写体画像の属性スコアがそれぞれ生成される。次に、ブロック１５１０において、被写体画像群中の個別の被写体画像の被写体特徴に基づいて、個別の被写体画像の被写体類似性尺度が生成される。流れは次にブロック１５２０へ進み、被写体画像群中の個別の被写体画像の属性スコア、個別の被写体画像の被写体類似性尺度及び属性相関に基づいて、個別の被写体画像の修正された属性スコアが生成される。
【００８４】
続いて、ブロック１５３０において、被写体画像群中の個別の被写体画像の修正された属性スコアに基づいて、被写体画像群の群属性スコアが生成される。更に、ブロック１５４０において、被写体画像群中の個別の被写体画像の被写体特徴に基づいて、被写体画像群の群特徴が生成される。次に、ブロック１５５０において、被写体画像群の群特徴に基づいて、被写体画像群の群類似性尺度が生成される。流れは次にブロック１５６０へ進み、被写体画像群の各群属性スコア、被写体画像群の群類似性尺度及び属性相関に基づいて、被写体画像群の修正された群属性スコアがそれぞれ生成される。更に、本明細書において説明された他の実施形態（例えば、図５図７及び図８の実施形態）と同様に、図１５の動作流れのいくつかの実施形態は、被写体画像群の修正された群類似性尺度を更に生成し、被写体画像群に対して修正された群属性スコア及び修正された群類似性尺度を繰り返し生成する。
【００８５】
以上説明した装置、システム及び方法は、以上説明した動作を実現するためのコンピュータ実行可能命令を含む１つ以上のコンピュータ可読媒体をそのコンピュータ実行可能命令を読み取り且つ実行するように構成された１つ以上の演算デバイスに提供することにより実現可能である。従って、システム又は装置は、そのコンピュータ実行可能命令を実行する場合、以上説明した実施形態の動作を実行する。また、１つ以上のシステム又はデバイスにおけるオペレーティングシステムは、以上説明した実施形態の動作のうち少なくとも一部の動作を実現してもよい。従って、コンピュータ実行可能命令又はコンピュータ実行可能命令を含む１つ以上のコンピュータ可読媒体は、１つの実施形態を構成する。
【００８６】
適用可能なコンピュータ可読媒体（例えば、磁気ディスク（フロッピーディスク、ハードディスクを含む）、光ディスク（ＣＤ、ＤＶＤ、Ｂｌｕ‐ｒａｙディスクを含む）、光磁気ディスク、磁気テープ及び半導体メモリ（フラッシュメモリ、ＤＲＡＭ、ＳＲＡＭ、ソリッドステートドライブ、ＥＰＲＯＭ、ＥＥＰＲＯＭを含む））は、いずれもコンピュータ実行可能命令を記憶するコンピュータ可読媒体として使用可能である。コンピュータ実行可能命令は、デバイスに差し込まれる機能拡張ボード又はデバイスに接続される機能拡張ボードで提供されるコンピュータ可読記憶媒体に記憶されてもよく、且つ機能拡張ボード又はユニットで提供されるＣＰＵは、以上説明した実施形態の動作の少なくとも一部を実現してもよい。
【００８７】
特許請求の範囲の範囲は、以上説明した実施形態に限定されず、種々の変形及び同等の構成を含む。また、本明細書において使用される場合の接続詞「又は」は、一般に包括的な意味の「又は」を表すが、「又は」は排他的な意味の「又は」を表してもよく、明示される場合又は文脈上そう解釈される場合、「又は」は排他的な意味の「又は」でなければならない。
【図１】
0006041996.tif 000017
【図２】
0006041996.tif 000018
【図３】
0006041996.tif 000019
【図４】
0006041996.tif 000020
【図５】
0006041996.tif 000021
【図６】
0006041996.tif 000022
【図７】
0006041996.tif 000023
【図８】
0006041996.tif 000024
【図９】
0006041996.tif 000025
【図１０】
0006041996.tif 000026
【図１１Ａ】
0006041996.tif 000027
【図１１Ｂ】
0006041996.tif 000028
【図１２】
0006041996.tif 000029
【図１３】
0006041996.tif 000030
【図１４】
0006041996.tif 000031
【図１５】
0006041996.tif 000032