(57)【特許請求の範囲】
【請求項１】
コンピュータ装置が、画像の集合における個人間の社会的関係を分類して、可能性のある行動指針を提案する方法であって、前記画像は、デジタル静止画像データまたはビデオ画像データであり、
前記コンピュータ装置が、前記画像の集合をサーチして個人を識別し、識別された個人の性別及び年齢の範囲を決定するステップと、
前記コンピュータ装置が、前記識別された個人の決定された性別及び年齢の範囲を使用して、前記識別された個人間の少なくとも１つの社会的関係を推定するステップであって、前記少なくとも１つの社会的関係を推定することは、
前記画像に写っている少なくとも２つの顔に関して、性別と年齢の形跡および特定の人物との対応関係を推定する動作、
学習用データを使用して異なる複数の年齢区分、性別および社会的関係の種類について最適化された推論規則とその重み係数を学習する動作と、
重み付けされた前記推論規則および前記形跡の上で推論を実行することにより、画像内に写っている複数の人物に関する年齢、性別及び社会的関係の周辺確率を見出す動作と、を含むことを特徴とする、ステップと、
前記コンピュータ装置が、推定された少なくとも１つの社会的関係を使用して、可能性のある行動指針を提案するステップと、
を含み、
前記推論規則は、一階述語論理を使用して表現された複数の論理式から成る集合体であり、前記論理式においては、年齢や性別、画像に写っている人物との間の社会的関係および制約条件が定められており、前記周辺確率は、前記重み係数によってそれぞれ重み付けされた全ての前記論理式に跨って多数の真値基礎を重み付け合計することによって算出され、前記重み付け係数の各々は、前記論理式の各々の重要度に対応している、ことを特徴とする方法。
【請求項２】
コンピュータ装置が、画像の集合からファミリー・ツリーを生成する方法であって、前記画像は、デジタル静止画像データまたはビデオ画像データであり、
前記コンピュータ装置が、前記画像の集合をサーチして個人を識別し、識別された個人の性別及び年齢の範囲を決定するステップと、
前記コンピュータ装置が、前記識別された個人の性別及び年齢の範囲を使用して、前記識別された個人間の少なくとも２つの社会的関係を推定するステップであって、前記少なくとも１つの社会的関係を推定することは、
前記画像に写っている少なくとも２つの顔に関して、性別と年齢の形跡および特定の人物との対応関係を推定する動作、
学習用データを使用して異なる複数の年齢区分、性別および社会的関係の種類について最適化された推論規則とその重み係数を学習する動作と、
重み付けされた前記推論規則および前記形跡の上で推論を実行することにより、画像内に写っている複数の人物に関する年齢、性別及び社会的関係の周辺確率を見出す動作と、を含むことを特徴とする、ステップと、
前記コンピュータ装置が、推定された少なくとも２つの社会的関係を使用して、ファミリー・ツリーを生成するステップと、
前記コンピュータ装置が、生成されたファミリー・ツリーが前記画像の集合に関連されるように、前記生成されたファミリー・ツリーを記憶するステップと、
を含み、前記推論規則は、一階述語論理を使用して表現された複数の論理式から成る集合体であり、前記論理式においては、年齢や性別、画像に写っている人物との間の社会的関係および制約条件が定められており、前記周辺確率は、前記重み係数によってそれぞれ重み付けされた全ての前記論理式に跨って多数の真値基礎を重み付け合計することによって算出され、前記重み付け係数の各々は、前記論理式の各々の重要度に対応している、ことを特徴とする方法。
【請求項３】
コンピュータ装置が、画像の集合における個人間の社会的関係を分類して、前記画像の集合をサーチする方法であって、前記画像は、デジタル静止画像データまたはビデオ画像データであり、
前記コンピュータ装置が、前記画像の集合をサーチして個人を識別し、識別された個人の性別及び年齢の範囲を決定するステップと、
前記コンピュータ装置が、前記識別された個人の性別及び年齢の範囲を使用して、前記識別された個人間の少なくとも１つの社会的関係を推定するステップであって、前記少なくとも１つの社会的関係を推定することは、
前記画像に写っている少なくとも２つの顔に関して、性別と年齢の形跡および特定の人物との対応関係を推定する動作、
学習用データを使用して異なる複数の年齢区分、性別および社会的関係の種類について最適化された推論規則とその重み係数を学習する動作と、
重み付けされた前記推論規則および前記形跡の上で推論を実行することにより、画像内に写っている複数の人物に関する年齢、性別及び社会的関係の周辺確率を見出す動作と、を含むことを特徴とする、ステップと、
前記コンピュータ装置が、推定された少なくとも１つの社会的関係に基づいて画像の集合をサーチするステップと、
を含み、前記推論規則は、一階述語論理を使用して表現された複数の論理式から成る集合体であり、前記論理式においては、年齢や性別、画像に写っている人物との間の社会的関係および制約条件が定められており、前記周辺確率は、前記重み係数によってそれぞれ重み付けされた全ての前記論理式に跨って多数の真値基礎を重み付け合計することによって算出され、前記重み付け係数の各々は、前記論理式の各々の重要度に対応している、ことを特徴とする方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、個人の画像の集合から社会的関係を推定し、行動指針を提案することに関する。
【背景技術】
【０００２】
消費者の画像のコレクションが普及している。係るコレクションから意味的に重要な情報を発見することは、マシンラーニング及びコンピュータビジョンコミュニティにおいて盛んに研究が行われている領域である。オブジェクト認識の問題に焦点を当て、顔、車両、ガラス、水、空等のような所定のタイプのオブジェクトを検出する多くの作品が存在する。この作品の大部分は、画像で利用可能な（色、テクスチャ及びラインのような）低レベルの視覚特性に依存する。近年では、シーン検出及び行動の認識のような意味的に更に複雑な情報を抽出することに焦点を当てることが増加している。たとえば、画像が屋外で撮影されたか又は屋内で撮影されたかに基づいて画像を集めてグループ化するか、レジャーでの画像から仕事での画像を分離したい場合がある。係る問題に対する解決策は、画像に存在する人物、画像における所定の種類のオブジェクトの有無、等のような導出された特性を使用することに主に依存する。典型的に、集合的な推定の能力は、係るシナリオで使用される。たとえば、特定の画像について、それが仕事での画像なのかレジャーでの画像なのかを見分けるのことは困難であるが、場所及び時間的に類似の他の画像を見ると、同じ予測を行うことは容易になる場合がある。この一連の研究は、画素値の集まりから、情報について問い合わせされたか、又はユーザにとって意味のあるやり方で自動的に編成された非常に複雑且つ意味のあるオブジェクトまで、人々がデジタル画像の集合を知覚するやり方を改革するのを狙いとする。
【０００３】
あるステップを更に意味的に理解するため、彼等が家族なのか、友人なのか、単なる知人なのか、又は同じ場所且つ同じ時間で居合わせた単なる見知らぬ人なのか、人間は、十分な数の画像を観察した後に同じ画像に表れる人物間の関係を推定する能力を有する。言い換えれば、消費者の写真は、通常は、見知らぬ人と撮影されず、友人及び家族と撮影される。係る関係を検出又は予測することは、知的画像管理システムと同様に、インテリジェントカメラを構築することに向けて重要なステップである。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
画像を分析して人物を検出し、検出された人物の年齢及び性別を推測することが知られている。さらに、幾つかのシステムは、人口学的情報に基づいて広告の提案を提供する。たとえば、米国特許第7362919号では、画像はテーマ別のアルバムページで配置され、この場合、グラフィカルエレメントは、画像における人物の年齢及び性別に基づく。同様に、米国特許第7174029号では、環境を監視し、人物を検出し、人物の人口統計的プロファイルを決定し、人口統計的プロファイルに基づいて人物に広告を給仕する。これらの方法が１人の人物に訴える広告について有効である一方、１人の人物ではなく、多数の人物間で共有される社会的関係に関連する製品を広告するためには有効ではない。
【課題を解決するための手段】
【０００５】
本発明によれば、可能な行動方針を提案するため、画像の集合における個人間の社会的関係を分類する方法が提供される。本方法は、（ａ）集合をサーチして個人を識別し、それらの性別及びそれらの年齢の範囲を決定するステップ、（ｂ）識別された個人の性別及び年齢の範囲を使用して、それら個人間の少なくとも１つの社会的関係を推定するステップ、（ｃ）少なくとも１つの推定される社会的関係を使用して、可能な行動方針を提案するステップを含む。
【０００６】
本発明の特徴は、個人のアイデンティティ、年齢及び性別の情報に関連する個人の画像の集合を使用して、個人の画像で現れる個人間の社会的関係のタイプを自動的に発見し、従って、製品の提案、活動、共有される機会、又は社会的ネットワークのリンクのような可能性のある行動方針をシステムが提案するのを可能にする。
【図面の簡単な説明】
【０００７】
【図１】本発明を利用するシステムを例示する図である。
【図２】本発明の実施の形態を実施するフローチャートである。
【図３】社会的関係のタイプの存在論的構造を示す表である。
【図４ａ】画像と画像から推定される対応する社会的関係の例を示す図である。
【図４ｂ】画像と画像から推定される対応する社会的関係の例を示す図である。
【図５】ファミリーツリーを形成する画像の集合で発見される社会的関係を使用して、画像の集合において画像をサーチし、ユーザに提案を提供するシステムを例示する方法である。
【図６】例示的な画像の集合及び発見された社会的関係を与える図である。
【図７】ファミリーツリーを例示する図である。
【図８】社会的関係に基づいて提案される製品を例示する図である。
【発明を実施するための形態】
【０００８】
本発明は、消費者の画像の集合における社会的な関係を自動的に検出する方法を提供するものである。たとえば、ある画像に現れる２つの顔が与えられると、単なる友人であるのとは対照的に、彼等は互いに配偶者であることが推定できるであろう。年齢、性別及び様々な顔のアイデンティティに関する更なる情報の存在においてさえ、このタスクは、極端に困難であるように見える。「友人」と「配偶者」の関係との間を区別するため、画像はどのような情報を有するのか？しかし、関連する画像のグループが集合的に見られたとき、このタスクは、より扱いやすくなる。特に、（画像における被写体及び写真撮影者以外の）第三者の人物は、ａ）グループで典型的に表れる友人とは対照的に、カップルは彼等自身だけで撮影される傾向がある、ｂ）幼児をもつカップルは写真においてそれらの子供と現れる、ような経験則（rules  of  thumb）に基づいて上記タスクについてよい憶測を有することができる。このアプローチの利点は、所与の集合において互いに写真撮影されない（又は滅多に写真撮影されない）人々の間の関係について意味のあることを言うことができる。たとえば、Ａ（男性）が写真の集合において子供と現れ、Ｂ（女性）が他の写真で同じ子供と現れ、且つＡ及びＢが幾つかの他の写真で一緒に現れた場合、おそらく、彼等は配偶者の関係を共有しており、彼等と撮影された子供の親である。
【０００９】
本発明は、意味のあるやり方で上述された経験則を捕捉する。係る経験則を確立するときに考慮する必要がある幾つかの重要な問題がある。  
（ａ）これらは、結局は経験則であって、常に正しくはない。  
（ｂ）多くの経験則は、同時に利用され、慎重に結合される必要がある。  
（ｃ）多数の経験則は、所定のシナリオで互いにコンフリクトする可能性がある。
【００１０】
これらの問題を扱う良好な方法は、マルコフロジック（Markov  Logic  Networks;  by  M.  Richardson  and  P.  Domingos,  Machine  Learning,  62:  107-136,  pp.1-43,  01/26/2006.6）であり、このロジックは、数学的に正しいやり方で一階論理ルールを結合するフレームワークを提供する。それぞれのルールは、（ロジックにおける硬制約とは対照的に）軟制約（soft  constraint）として見られ、この軟制約の重要性は、それに関連する実数値の重みにより決定される。重みが高くなると、より重要なルールとなる。言い換えれば、２つのコンフリクトするルールが与えられると、高い重みを持つルールは、他の条件が同じであれば、高い確かさをもつと考えられる。重みは、トレーニングデータから学習される。さらに、マルコフロジックは、専門家により供給されるルールに加えて、データを使用して新たなルールを学習する能力を提供し、これにより、背景的知識をエンハンスする。これら学習されたルールは、可能性のある関係のセットを通した集合的な推定を実行するために使用される。後に記載されるように、システムへの入力として（年齢及び性別について）雑音のある予測子を使用して、関係、年齢及び性別を予測することに対する集団モデルを構築することができる。１つのコンポーネントを予測することは、他のコンポーネントを予測することに役立ち、逆も然りである。たとえば、２人が同じ性別であることを認識することで、配偶者の関係を除くことに役立ち、逆も然りである。１つのピクチャに対して行われる推定は、他のピクチャに対して実行され、これにより全体の精度が改善される。
【００１１】
統計的な関係モデルは、一階論理のようなリレーショナル言語の能力をマルコフネットワークのような確率モデルと結合する。これは、（たとえば本発明における様々な社会的関係といった）ドメインにおける関係を明示的にモデル化する能力を提供し、また、（たとえば経験則が常に正しくないといった）不確かさを明示的に考慮する。近年、この分野において大規模に行われた研究がある。最も能力が高い係るモデルのうちの１つは、マルコフロジック（Markov  Logic  Networks;  by  M.  Richardson  and  P.  Domingos,  Machine  Learning,  62:  107-136,  pp.1-43,  01/26/2006.）である。このロッジクは、一階論理のパワーをマルコフネットワークと結合し、（たとえば本発明のドメインでは年齢、性別、顔の特徴といった）基礎となるオブジェクトの特性及び（たとえば本発明のドメインでは様々な社会的な関係といった）それらの間の関係にわたる分布を定義する。これは、実数値の重みを一階理論におけるそれぞれの式に割り当てることで達成され、この場合、重みは、式の重要度を（おおよそ）表す。形式的に、マルコフロジックネットワークLは、ペア（Fi，wi）として定義され、Fiは一階論理における式である、wiは実数値である。定数Cのセットが与えられると、グランドプレディケート（ground  predicates）Xのセットの特定のコンフィギュレーションxの確率は、以下のように与えられる。
【００１２】
【数１】
0005639065.tif 000002
ここで総和は、Lにおいて現れる全ての式に対して行われ、wiはi番目の式の重み、ni(x)は、アサインメント（assignment）xの下でのそのトゥルーグラウンディング（true  grounding）の数である。Zは、正規化定数である。更なる詳細について、先に引用されたRichardson  &  Domingosを参照されたい。
【００１３】
図１では、コンピュータ装置１２、インデックスサーバ１４、イメージサーバ１６及び通信ネットワーク２０を含む本発明を実施するために必要なエレメントを持つシステム１０が示される。コンピュータ装置１２は、画像を記憶するパーソナルコンピュータとすることができ、この場合、画像は、静止画像及び動画像の両者を含むことが理解される。コンピュータ装置１２は、デジタルカメラや携帯電話のカメラのような様々な装置（図示せず）と、これらの装置により捕捉された画像を記憶するために通信する。これら捕捉された画像は、（音声注釈又はカメラ内のタグ付けの何れかにより）捕捉装置による画像における人物名のような個人の識別情報を更に含む。また、コンピュータ装置１２は、通信ネットワーク２０を通して、識別情報なしに捕捉された画像を使用するインターネットサービスと通信し、ユーザ又はトレーニングされた自動アルゴリズムが個人の識別情報を画像に付加するのを可能にする。何れのケースにおいても、個人の識別情報をもつ画像が当該技術分野において知られている。
【００１４】
インデックスサーバ１４は、個人のアイデンティティ、年齢及び性別並びに社会的関係のような意味的な情報について画像の内容を分析するコンピュータ命令の形式でアルゴリズムを実行するため、通信ネットワーク２０で利用可能な別のコンピュータ処理装置である。インデックスサーバ１２を介してウェブサーバとしてシステム１０にこの機能を設けることは、本発明を制限するものではない。また、コンピュータ装置１２は、索引付けのために設けられる画像の分析に関与するアルゴリズムを実行する。
【００１５】
イメージサーバ１６は、通信ネットワーク２０を介して他の通信装置と通信し、要求に応じて、イメージサーバ１６は、人物を含まない、１人の人物を含むか又は多数の人物を含むスナップショットの画像を提供する。イメージサーバ１６で記憶される画像は、デジタルカメラ及び内臓カメラをもつ携帯電話を含む様々な装置により捕捉される。また、係る画像は、手動又は自動で原画像が捕捉される前後に個人の識別情報を既に含むことができる。
【００１６】
図２では、本発明を実施するために必要な一連のステップを示すフローチャートが例示される。ステップ２２では、社会的に潜在的に関連する複数の人物を含む個人の画像の集合が取得される。個人の識別情報は、メタデータの形式で画像に関連付けされることが好ましいが、本発明の範囲から逸脱することなしに、画像と関連して単に供給することができる。画像は、コンピュータ装置１２により、その内部ストレージから又は任意のストレージ装置から、ローカルネットワークストレージデバイス又はオンラインイメージストレージサイトのようなコンピュータ装置１２によりアクセス可能なシステムから供給される。個人の識別情報が利用可能ではない場合、ステップ２２で提供された画像の集合を使用して、コンピュータ装置１２は、ステップ２４でインデックスサーバ１４に個人の識別情報を提供し、自動顔検出及び顔認識、又は手動による注釈の何れかを通して、画像のそれぞれに関連する個人の識別情報を取得する。
【００１７】
ステップ２４の取得された画像の使用して、コンピュータ装置１２は、以下のやり方で分類子を使用し、ステップ２６でそれぞれの画像における人物、人物の年齢及び性別の一致を含む証拠を抽出する。顔年齢分類子は、たとえばA.Lantis,  C.Taylor及びT.Cootesによる“Toward  automatic  simulation  of  aging  effects  on  face  images”,  PAMI  Vol.14,  No.4,  2002及びX.Geng,  Z-H.Zhou,  Y.Zhang,  G.Li及びH.Daiによる“Learning  from  facial  aging  patterns  for  automatic  age  estimation”  in  ACM  MULTIMEDIA,  2006及びA.Gallagherによる米国特許出願公開2006/0045352といった当該技術分野で知られている。また、性別は、M.-H.Yang及びG.Moghaddamによる“Support  vector  machines  for  visual  gender  classification”,  Proc.  ICPR,  2000、並びにS,Baluja及びH.Rowleyによる“Boosting  sex  identification  performance”  in  IJCV71(2),  2007に記載されるように顔画像から推定することができる。
【００１８】
年齢の分類について、これら消費者からの画像の集合が取得され、全体で１１７の固有な個人について、それぞれの画像における個人はラベル付けされる。それぞれの個人の生まれた年は、集合の所有者により分かるか又は推定される。EXIF情報及び個人の誕生日からの画像の捕捉日を使用して、それぞれの画像におけるそれぞれの人物の年齢が計算される。これにより、対応するグランドトルース（ground  truth）の年齢をもつ２８５５の顔からなる個々のトレーニングセットが得られる。それぞれの顔は、スケール的（49×61画素）に正規化され、（P.N.Belhumeur,  J.Hespanha及びD.JKriegmanによる“Eigenfaces  vs  fisherfaces:  Recognition  using  class  specific  linear  projection.”  PAMI  Vol.19,  No.7,  1997に記載される）フィッシャーフェースのセットの投影される。新たな問合せの顔の年齢の推定は、そのスケールを正規化し、フィッシャーフェースのセットに投影し、投影空間における近隣（本発明は２５を使用）を発見することで発見される。問合せの顔の推定される年齢は、これら近隣の年齢の中間である。推定される性別について、サポートベクトルマシンを使用した顔の性別の分類子が実現される。本発明では、アクティブシェープモデル（T.Coote,  C.Taylor,  D.Cooper及びJ.Grahamによる“Active  shape  models-their  training  and  application.”  CVIU  Vol.61,  No.1,  1995）を使用してはじめに顔の特徴を抽出することで、特徴は次元的に低減される。消費者の画像のデータベースからの3546の顔のトレーニングセットは、確率密度の推定値を出力するサポートベクトルマシンを学習させるために使用される。
【００１９】
次いで、識別された人物及び関連される証拠は、推論作業に備えて集合におけるそれぞれの画像についてステップ２８で記憶される。コンピュータ装置１２又はインデックスサーバ１２は、作業のスケールに依存して推論作業を実行する。ステップ３０で、個人の画像の集合で発見された個人に関連する社会的関係は、抽出された証拠から推定される。最後に、個人の画像の集合における個人の社会的関係を推定することで、コンピュータ装置１２は、ステップ３２で推定された社会的関係について画像の集合を編成又はサーチすることができる。係るプロセスは、新たな画像、新たな個人、新たな関係を適切に扱うことができるように、インクリメンタルなやり方で実行することができることを当業者であれば明らかであろう。さらに、このプロセスは、外観の変化に観点で個人の成長、及びたとえば新たな家族のメンバ及び新たな友人といった拡大の関係で社会的関係を追跡するために使用される。
【００２０】
本発明の好適な実施の形態では、ステップ３０で、モデル、すなわち個人の画像の集合から予測可能な社会関係のルールの集合は、マルコフロジックで表現される。以下は、関心のある関与しているオブジェクト、プレディケート（オブジェクトの特性及びオブジェクト間の関係）、及びそれらプレディケートを通して所定の制約を課すルールを記載する。後に、学習及び推論作業の説明が提供される。
【００２１】
図３は、（個人の画像の集合の所有者に対する）社会的関係のタイプの存在論的な構造３５を示すテーブルである。本発明の本質から逸脱することなしに、任意の個人間の任意の関係を定義することができる。
【００２２】
図４Ａ及び図４Ｂは、個人の画像の例（４０及び５０）並びに画像から推定される対応する社会的関係（４２及び５２）を示す。
【００２３】
以下は、本発明の好適な実施の形態のより詳細な説明を提供する。本発明の領域において３種類のオブジェクトが存在する。  
・人物：世界における実在の人物。  
・顔：ある画像におけるある顔の特定の外観。  
・画像：集合における画像。
【００２４】
関心のあるオブジェクトに対して２種類のプレディケートが定義される。これらプレディケートの値は、データを通した推定時に既知である。例となる証拠のプレディケートは、OccursIn（face,img）であり、このプレディケートは、特定の顔が所与の画像に現れるか否かに関する真偽値を示す。本発明は、以下の特性／関係について証拠となるプレディケートを使用する。  
ある画像における人物の数：HasCount(img,cnt)
ある画像に現れる顔の年齢：HasAge(face,age)
ある画像に現れる顔の性別：HasGender(face,gender)
特定の顔がある画像に表れるか：OccursIn(person,face)
ある人物と彼／彼女の顔の間の対応関係：hasFace(person,face)。
【００２５】
ある顔の年齢（性別）は、ある画像で現れる顔と関連される推定される年齢（性別）の値である。これは、問合せのプレディケートとしてモデル化された人物の実際の年齢（性別）とは異なる。ある顔に関連する年齢（性別）は、先に記載された様々な顔の特徴を使用して顔の集合に関して個別にトレーニングされたモデルから推定される。なお、同じ人物に関連する異なる顔は、外観における違いによる予測誤差又は画像が撮影されたときの時間差のため、異なる年齢／性別の値を有する。本発明は、５つの離散的なビンである、子供、十代、青年、中年及び高齢者を使用して年齢をモデル化する。
【００２６】
本発明では、顔の検出及び顔の認識は自動又は手動で事前に行われているものとする。従って、どの顔がどの人物に対応するかを正確に知られる。この仮定を緩和して、アルゴリズムの顔検出及び顔認識をモデルの一部として組み合わせることは、同じマルコフロジックに基づいたモデルと関連する推定方法により適切に扱うことができる当然の拡張である。
【００２７】
これらのプレディケートの値は、推定時に未知であり、推定される必要がある。この種のプレディケートの例は、２人は所与の関係を共有するかに関する真偽値を示すHasRelation(person1,person2,relation)である。以下の問合せのプレディケートが使用される。  ・ある人物の年齢：HasAge(person,age)。  
・ある人物の性別：HasGender(person,gender)。  
・２人の間の関係：HasRelation(person1,person2,relation)。
【００２８】
本発明の好適な実施の形態は、親戚、友人、知人、子供、親、配偶者、子供の友達である７つの異なる種類の社会的関係をモデル化する。親戚は、親／子供の関係によりカバーされない血縁者を含む。友人は、血縁者ではない人物であって、友情関係の直感的な定義を満たす人物である。親戚者でなく、友人でもない者は知人として扱われる。子供の友人は、子供の友人をモデル化する。子供の友人の関係をモデル化することは重要である。子供は、消費者の画像の集合において広範囲にわたり、子供の友人と現れることがあるためである。係るシナリオでは、子供と子供の友人を区別することが重要となる。
【００２９】
硬ルールと軟ルールという２種類のルールが存在する。全てのルールは、一階論理における式として表現される。
【００３０】
硬ルールは、ドメインにおける硬制約を示し、すなわち硬ルールは、真を常に当てはまる。硬ルールの例は、OccursIn(face,img1)及びOccursIn(face,img2)→(img1=img2)であり、これは、それぞれの顔が集合において多くとも１つの画像で現れることを単に示す。
【００３１】
親は、彼等の子供よりも年をとっている。  
配偶者は、反対の性別である。  
２人の人物は、それらの間に固有の関係を共有する。
【００３２】
なお、本発明では、２人の人物間に固有の関係が存在する。（たとえば２人の人物が友人であるのと同様に親戚（すなわち「いとこ」）である、といった）この仮定を緩和することは、現在のモデルの拡張となる。
【００３３】
軟ルールは、より関心のある制約のセットを示し、殆どの場合に真であると考えられるが、常に当てはまるものではない。軟ルールの例は、OccursIn(person1,img)及びOccursIn(person2,img)→!HasRelation(person1,person2,acquaintance)である。このルールは、ある画像に互いに表れる２人の人物は、単なる知人である可能性が低いことを示す。（異なる画像において）彼等が一緒に現れるそれぞれの更なる例は、この確率を更に減少させる。ここで、本発明で使用される他の軟ルールの幾つかを示す。  
・子供及び彼等の友人は、類似した年齢である。  
・ある子供と一人で現れる若年成人は、親／子供の関係を共有する。  
・（彼等だけで）一緒に現れる類似の年齢及び反対の性別の２人の人物は、配偶者の関係を共有する。  
・友人及び親戚は、写真にわたりクラスタリングされる。２人の友人がある写真に一緒に現れた場合、同じ写真に現れた三番目の人物は、友人である可能性が高い。同じことが親戚にも当てはまる。
【００３４】
一般に、大部分の数（重み付けされた）の軟制約を満たし、全ての硬制約を同時に満足させるソリューションが好まれる。最後に、シングルトンプレディケート（singleton  predicate）HasRelation(person1,person2,+relation)（＋はそれぞれの関係について異なる重みを学習する）から構成されるルールが存在する。このシングルトンプレディケートは、集合における任意の２人のランダムな人物間で保持される特定の関係の事前確率を表すと考えられる。たとえば、親又は子供の関係に比較して、友人の関係を有する可能性が非常に高い。同様に、シングルトンルールHasAge(person,+age)及びHasGender(person,+gender)が存在する。これらは、（直感的に）特定の年齢及び性別をそれぞれ有する事前確率を表す。たとえば、ルールHasAge(person,child)に高い重みを与えることで、より頻繁に子供が撮影される傾向があるという事実を捉えることは容易である。
【００３５】
モデル（ルール及びそれらの重み）が与えられると、推定は、全ての証拠のプレディケートを与えた問合せプレディケートHasRelation,HasGender及びHasAgeの周辺確率を発見することに対応する。硬（決定的）及び軟制約の結合を扱う必要のため、本発明の好適な実施の形態において、Poon  &  DomingosのMC-SATアルゴリズム（Poon  &  Domingos,  Sound  and  efficient  with  probabilistic  and  deterministic  dependencies.  Proceedings  of  AAAI-06,  458-463.  Boston,  MA:  AAAI  Press.）が使用される。
【００３６】
硬制約と軟制約が与えられると、ラーニングは、軟制約のそれぞれについて最適な重みを発見することに対応する。はじめに、MAP重みは、ゼロに事前にセンタリングされたガウス分布で設定される。次に、Lowd  &  Domingosのラーナー（learner）が採用される（Lowd  &  Domingos.  Efficient  weight  learning  for  Marcov  logic  networks.  In  proc.  PKDD-07,  200-211.  Warsaw,  Poland:  Springer.）。目標とする関係を予測するに役立つルールをリファインする（及び、新たなインスタンスを学習する）ため、Kok  &  Domingosの構造ラーニングアルゴリズム（Kok  &  Domingos,  Learning  the  structure  of  Marcov  networks.  Proceedings  of.  ICML-05,  441-448.  Bonn,  Germany:  ACM  Press）が使用される。彼等により記載されるオリジナルのアルゴリズムは、パーシャルグランデッドクローズ（partially  grounded  clause）の発見を可能にしない。これは、異なる関係について異なるルールを学習する必要があるので、本発明にとって重要である。また、ルールは、（子供のような）特定の年齢のグループ又は性別（たとえば男性及び女性はそれらの社会的なサークルにおいて撮影される傾向があることを想像することができる。）について異なる。この特徴を有するためにアルゴリズムで必要とされる変更は簡単である。あるクローズの拡張のサーチの間に、あるプレディケートの全ての可能なパーシャルグランディング（partial  grounding）の追加が可能である。所定の変数（すなわち、関係、年齢及び性別）のみが、サーチスペースを拡大するのを回避するため、これらのプレディケートにおいて基礎とされる（grounded）。アルゴリズムの残りは、従来通り進む。
【００３７】
図５は、画像のコレクションの所有者、画像のコレクションの閲覧者或いは別の人物又はパーティに行動指針１１０の提案を行うために、推定された社会的関係を使用するシステムを例示する。本システムは、製品の広告を提案し、製品を提案し、行動を提案し、共有する機会を提案し、又は決定された社会的関係に基づいたオンラインの社会ネットワークにおけるリンクを提案する。さらに、システムは、社会的関係に基づいて画像のコレクションをサーチするために使用され、ファミリーツリーを生成するために使用される。
【００３８】
図５を参照して、画像の集合１０２は、社会的関係検出器１０４に入力される。画像の集合１０２は、デジタル画像及びビデオを含む。社会的関係検出器１０４は、個人の顔及び画像の集合における他の特徴を検出し、たとえば母親と子供、夫と妻、父親と息子、友人、祖父と祖母のような社会的関係１０６を検出する。社会的関係検出器１０４の１実施の形態は、図２及び関連する記載で説明される。社会的関係を判定するために使用される特徴は、顔、検出された年齢及び税別、人々の相対的な態度（画像における人々の並置）を含む。顔が１を超える画像で検出されたとき、たとえばM.Turk及びA.Pentlandによる“Eigenfaces  for  Recognition”,  Journal  of  Cognitive  Neuroscience,  vol.3,  no.1,  pp.71-86,  1991で記載されるような、顔が同じ個人である可能性を判定するために顔認識が使用される。発見される社会的関係１０６は、１つの画像又はビデオで現れる２人の間の社会的関係、異なる画像で現れる２人の社会的関係、或いは、写真撮影者又は画像の集合の所有者とある画像又はビデオにおけるある人物との間の社会的関係である。また、社会的関係１０６は、たとえば家族又は友人のグループといった、３以上の人物について発見することもできる。図６は、５つの画像１３０，１３２，１３４，１３６及び１３８をもつ例となる画像の集合１０２と、発見される例となる社会的な関係１０６を示す。３つの画像は、２人の人物を含んでおり、社会的な関係１０６である弟−姉及び娘−母が発見される。画像１３０，１３２及び１３４における少女は同じ個人であることを認識し、且つ（たとえば少年の姉の母もまた少年の母であるといった）社会的関係の推移的な特性を使用することで、弟と母は画像の集合におけるある画像において一緒に現れないが、息子−母の社会的関係１４０が発見される。
【００３９】
図５を参照して、結婚（親）がツリーのノードを形成し、子供が枝であるという一般的な表記を使用することで、社会的関係１０６からファミリーツリー１１４が構成される。図７は、発見された社会的関係１０６に基づいた、例となるファミリーツリー１１４を個人の画像と合わせて例示する。ファミリーツリーは、ある画像又はXMLスキーマのようなデジタルストレージ１１２で記憶される。
【００４０】
図５を参照して、画像の集合１０２からの画像を、社会的関係の検出器１０４からの社会的関係１０６とともにユーザに表示するために、LCDスクリーンのようなディスプレイ１２２が使用される。ユーザは、ユーザ入力１２４を供給して、（たとえば正確でない社会的関係、又は顔認識におけるエラーから生じる間違いといった）間違いを訂正するか、欠けている社会的関係を提供することができる。
【００４１】
社会的関係１０６は、社会的関係１０６に基づく可能性のある行動指針１１０の提案を行うために、提案手段１０８に入力される。可能性のある一連の行動１１０の提案は、製品の広告、画像の製品の提案、活動の提案、供給する機会の提案、又は社会ネットワークの提案に関連する。可能性のある行動指針は、画像の集合の所有者又は（画像の集合を閲覧する人物、又は友人或いは親戚といった）画像の集合の所有者以外の人物、或いは、目標とする人口統計学による所定の社会的関係を有する製品を販売する企業といった別のパーティ、の何れかのために意図される。提案手段１０８は、ユーザの人口統計学的な位置１２６又は画像の集合１０２からの画像の人口統計学的な位置を考慮する。
【００４２】
可能性のある行動指針１１０は、好ましくはディスプレイを介してユーザに表示されるが、電子メール、ファクシミリ、インスタントメッセージ、手紙又は電話のような別の形式で提案を送出することができる。製品の広告は、消費者からの画像を包含しない既存の製品であって、購入することができる既存の製品の広告である。提案が製品の広告であるとき、製品の広告は、社会的関係に基づいた可能性のある製品の広告のデータベースから選択される。たとえば、画像の集合が若い兄弟のペアを含むとき、子供のボードゲームの製品の広告が選択され、画像の集合の所有者、ユーザ、或いは閲覧者に表示される。この可能性のある一連の行動１００の広告は、贈り物を与えるアイデアを提供するので、（たとえばクリスマスについて姪及び甥のために購入するために画像の集合を閲覧している叔母といった）ユーザにとって有効である。提案手段１０８は、広告を選択するとき、社会的関係に関する他の人口統計学的な情報を考慮する。社会的関係における人物の年齢及び顔は関連する可能性がある。たとえば、人形のゲームである広告の可能性のある一連の行動１１０は、若い兄弟について選択される場合があり、高度なストラテジゲームである広告の可能性のある行動指針１１０が、十代後半の人達に選択される場合がある。母親と子供の社会的関係１０６について広告の可能性のある行動指針１１０は、高い安全格付けをもつミニバンである。母親、父親及び息子並びに娘のために広告の可能性のある行動指針１１０は、家族を収容するために正しい数の寝室をもつ住居である。
【００４３】
別の可能性のある行動指針１１０は、潜在的な顧客を提案することである。このシナリオでは、画像の集合における社会的関係に基づいて、システムは、特定の製品について潜在的な顧客を決定する。たとえば、特定の画像の集合の画像及びビデオから社会的関係を検出することに基づいて、ミニバンの製品の潜在的な顧客は、数人の小さい子供の親であることが決定される。潜在的な顧客に関する情報は、製品の広告主に販売される。多くの画像の集合が調べられたとき、多くの製品のそれぞれについて、多くの潜在的な顧客が発見される。潜在的な顧客及びそれらの連絡先のリストは、製品の広告主に販売される。次いで、製品の広告主は、製品の広告を１以上の潜在的な顧客に送出する。
【００４４】
画像の製品の可能性のある行動指針１１０は、画像の集合からの少なくとも１つの画像又はビデオを、画像の集合の所有者又は画像の集合の閲覧者に包含する提案される製品である。たとえば、図８に示されるのは、母の日のカードに関する製品の可能性のある行動指針１１０であり、このカードは、母の日のために購入することがユーザに提案される母と娘の画像１３２から作成される。カードのグラフィック１４２は、社会的関係１０６に従って選択される。製品の提案は、特定の祝日を念頭にして作成され、また、カレンダーの日付に依存する（すなわち、母の日のカードは、母の日までの収集間においてのみ提案されるべきである）。また、提案は、ユーザのアイデンティティにも依存する。母の日のカードは、贈り物の意図された受取人ではないユーザ（画像の集合の閲覧者）に提案されるが、女性の夫又は子供の何れかである。他の関係の記念日は、バレンタインデー、スイートハートデイ、祖父母の日及び父の日、並びに個人の記念日（結婚式等）である。製品の提案は、物理的なオブジェクトに制限されず、画像の集合１０２からの画像及びビデオのスライドショウ、社会的関係１０６に従って選択される音楽、画像の集合１０２からの画像を含みと共に、グラフィック１４２又は社会的関係に関連するモチーフを含むフレームを含む。
【００４５】
活動の可能性のある行動指針１１０は、社会的関係を共有する人物が楽しむ活動の提案である。好適な実施の形態では、活動の可能性のある行動指針１１０は、ユーザの地理的位置に従って生成される。たとえば、父−娘の関係を含む画像の集合について活動の可能性のある行動１１０は、ユーザがNYのBrockportの近くに住んでいるとき、“Father-Daughter  bowling  day  is  May  2  at  Rolling  Lanes  in  Brockport,  NY”である。提案手段１０８は、この関係における個人が有する好みを任意に考慮する（たとえば、妻は、キャンプとボーリングの両者を楽しいと感じるが、夫は、ボーリングのみを楽しいと感じ、従って手何手段１０８は、“Couple’s  Camp-out”よりは“Couple  Bowling  Night”）を提案する。提案される活動は、（たとえば、参加者又は閲覧者の何れかとしてサッカー、バスケットボールといった）スポーツ、（結婚のワークショップ、又は高齢者の親をもつ大人のセミナーといった）心のイベント、（たとえばキャンプ、映画視聴、大工仕事、又はガーデニングといった）趣味に関連する。
【００４６】
また、提案手段１０８は、画像の集合１０２における社会的関係１０６に基づいた可能性のある行動指針１１０として供給する提案を提供する。共有する提案は、特定の個人と、画像の集合１０２の画像の１以上を供給するための可能性のある行動指針１１０である。たとえば、兄弟の画像を、Flickr  Photo  Sharing  website  group  “Siblings”  (http://www.flickr.com/groups/siblings/)で共有するための共有する提案が提供される。
【００４７】
また、提案手段１０８は、画像の集合１０２における社会的関係１０６に基づいて可能性のある行動指針１１０として社会ネットワークの提案を提供する。社会ネットワークの提案は、検出された社会のコネクションに基づいて社会ネットワークのリンク（たとえば、www.facebook.com）の提案である。たとえば、画像の集合１０２において、社会的関係検出器１０４によりMaryとFrankが友人であることが発見された場合、可能性のある行動指針１１０は、以下の何れかとなる。  
MaryはFrankとの連絡を要求する。  
FrankはMaryとの連絡を要求する。  
また、上記の両者。
【００４８】
図５を参照して、画像の集合１０２をサーチ及びブラウジングするために社会的関係１０６が使用される。関係の問合せ（「母−息子」１１６）が画像選択手段１１８に提示される。画像選択手段１１８は、問い合わせられた社会的関係を含む画像及びビデオを含む問合せ出力１２０を提供する。また、関係の問合せ１１６は、画像の形式でとすることもでき、たとえば図６における画像１３２は、母及び娘を含む全ての画像を問合せ出力１２０として検索するため、関係の問合せ１１６として提示される。
【００４９】
全ての場合において、提案手段１０８の振る舞いは、適切なデータに基づいて時間につれて進化する。たとえば、社会的関係に基づいた製品の広告の提案である可能性のある行動指針１１０は、特定の社会的関係を共有する人物に良好に売れるアイテムに基づいて選択される。これら製品のセットは、時刻、時節、又は時間の進展につれて変化し、また、地理的な位置と共に変化する。
【符号の説明】
【００５０】
１０：本発明のシステム
１２：コンピュータ装置
１４：インデックスサーバ
１６：イメージサーバ
２０：通信ネットワーク
２２：個人の画像の集合を取得
２４：画像において頻出する人物を識別（顔検出／認識）
２６：人物の一致、人物の年齢及び性別を含む証拠を抽出
２８：識別された人物及び関連される証拠を記憶
３０：抽出された証拠から人物に関連する社会的関係を推定
３２：推定された社会的関係について画像の集合をサーチ／編成
３５：社会的関係のタイプの存在論的構造
４０：例となる画像
４２：例となる関係
５０：例となる画像
５２：例となる関係
１０２：画像の集合
１０４：社会的関係検出手段
１０６：社会的関係
１０８：提案手段
１１０：可能性のある行動指針
１１２：ストレージ
１１４：ファミリーツリー
１１６：関係の問合せ
１１８：画像選択手段
１２０：問合せ出力
１２２：ディスプレイ
１２４：ユーザ入力
１２６：地理的位置
１３０：弟と姉の画像
１３２：娘と母の画像
１３４：弟と姉の画像
１３６：画像
１３８：画像
１４０：息子−母の社会的関係
１４２：社会的関係に基づいたグラフィック
【図１】
0005639065.tif 000003
【図２】
0005639065.tif 000004
【図３】
0005639065.tif 000005
【図４Ａ】
0005639065.tif 000006
【図４Ｂ】
0005639065.tif 000007
【図５】
0005639065.tif 000008
【図６】
0005639065.tif 000009
【図７】
0005639065.tif 000010
【図８】
0005639065.tif 000011