(57)【要約】【課題】  デジタル画像において複数の顔領域をグループ化する方法を提供する。【解決手段】  写真表示システムにおけるデジタル画像において、顔領域を閲覧する方法は、複数の画像から複数の顔領域を検出する段階、該複数の顔領域を複数のクラスターにそれらの類似性に基づいてグループ化する段階、該複数のクラスターの間の関連性の程度を決定する段階、該複数の顔領域の関係に従って該複数のクラスターの間の関連性の程度を修正する段階、及び該複数のクラスターの間の関連性の程度に従って該複数の顔領域を表示する段階を含む。【選択図】図４
2010211785.tif 000002
【特許請求の範囲】
【請求項１】
写真表示システムにおいてデジタル画像における顔領域を閲覧する方法であり：
複数の画像から複数の顔領域を検出する段階；
前記複数の顔領域の類似性に基づいて、前記複数の顔領域を複数のクラスターにグループ化する段階；
前記複数のクラスターの間での関連性の程度を決定する段階；
前記複数の顔領域の関係に従って、前記複数のクラスターの間の関連性の程度を修正する段階；
前記複数のクラスターの間での関連性の程度に従って、前記複数の顔領域を表示する段階；
を含む方法。
【請求項２】
請求項１に記載された方法であり、前記複数のクラスターの間での関連性の程度を決定するステップが：
前記複数の顔領域の類似性の１つを選択する段階；
を含む方法。
【請求項３】
第１顔領域及び第２顔領域が同じ画像から検出される場合、該第１顔領域と該第２顔領域との関係が生成される、請求項１に記載された方法。
【請求項４】
請求項１に記載された方法であり、前記複数の顔領域の関係に従って前記複数のクラスターの間での関連性の程度を修正するステップが：
前記複数の画像から第１画像を識別し、該第１画像が、第１クラスターに属する第１顔領域及び前記第１クラスターに属していない第２顔領域を含む段階；
前記複数の画像から第２画像を識別し、該第２画像が、第２クラスターに属する第３顔領域及び前記第２クラスターに属していない第４顔領域を含む段階；
前記第１画像からの第２顔領域及び前記第２画像からの第４顔領域が、同じクラスターにグループ化されるかどうかを決定する段階；及び
前記第１クラスターと前記第２クラスターとの間での関連性の程度を、正確である決定的な結果に従って修正する段階；
をさらに含む方法。
【請求項５】
請求項１に記載された方法であり、前記複数のクラスターの間での関連性の程度を、前記複数の顔領域の関係に従って修正するステップが：
前記複数の画像から第１画像を識別し、該第１画像が、第１クラスターに属している第１顔領域及び前記第１クラスターに属していない第２顔領域を含む段階；
前記複数の画像から第２画像を識別し、該第２画像が、第２クラスターに属している第３顔領域及び前記第２クラスターに属していない第４顔領域を含む段階；
前記第１画像からの第２顔領域が、前記第２画像からの第４顔領域に似ているかどうかを決定する段階；及び
前記第１クラスターと前記第２クラスターとの間での関連性の程度を、前記正確である決定的な結果に従って修正する段階；
をさらに含む方法。
【請求項６】
前記の決定的な結果が正確である場合、前記第１クラスターと前記第２クラスターとの間の関連性の程度が増加させられる、請求項５に記載された方法。
【請求項７】
請求項５に記載された方法であり、前記顔領域の関係に従って、前記複数のクラスターの間での関連性の程度を修正するステップが：
前記第１顔領域と前記第３顔領域との間の類似性が、類似性しきい値よりも大きいかどうかを決定する段階；及び
前記第１顔領域と前記第３顔領域との間の類似性が、前記類似性しきい値よりも大きい場合、前記第１クラスターと前記第２クラスターとの間の関連性の程度を修正する段階；
をさらに含む、方法。
【請求項８】
第１クラスターと第２クラスターとの間の関連性の程度が、関連性しきい値よりも大きいとき、前記第１クラスターと前記第２クラスターとを統合する段階；
をさらに含む、請求項１に記載された方法。
【請求項９】
前記複数のクラスターの間での関連性の程度に従って、前記顔領域を表示する段階が、該顔領域を前記複数のクラスターの間での関連性の程度が高い順番に表示する、請求項１に記載された方法。
【請求項１０】
類似するクラスターを扱う方法であり：
複数の顔領域を生成するために複数の画像を解析する段階；
前記複数の顔領域を複数のクラスターにグループ化し、前記複数のクラスターが、第１クラスター、第２クラスター及び第３クラスターを含む、段階；
前記第１クラスターの第１顔領域が、前記第３クラスターの第３顔領域と一緒に前記複数の画像の第１画像において表示され、前記第２クラスターの第２顔領域が、前記複数の画像の第２画像において前記第３クラスターの第４顔領域と一緒に表示されるときに、第１条件結果を生成する段階；及び
前記第１クラスターと前記第２クラスターとの間の関連性の程度が、関連性しきい値よりも大きいとき、第２条件結果を生成する段階；
を含む方法。
【請求項１１】
前記複数の画像における顔領域の各ペアにおける顔の類似性を計算し、前記顔の類似性に基づいて、前記複数の顔領域を複数のクラスターにグループ化する段階をさらに含む、請求項１０に記載された方法。
【請求項１２】
前記第１条件結果が正確であり、前記第２条件結果が正確であるとき、前記第１クラスターと前記第２クラスターとを統合する段階をさらに含む、請求項１０に記載された方法。
【請求項１３】
前記第１条件結果が正確であり、前記第２条件結果が正確であるとき、前記第１クラスターと前記第２クラスターとの間の関連性の程度を増加させる段階をさらに含む、請求項１０に記載された方法。
【請求項１４】
前記第１条件結果が正確であり、前記第２条件結果が正確であるとき、前記第１クラスター及び前記第２クラスターを表示する間に、該第１クラスターと該第２クラスターとの間の間隔を縮小する段階をさらに含む、請求項１０に記載された方法。
【請求項１５】
前記第１クラスターと前記複数のクラスターのそれぞれとの間の関連性の程度が高い順番で、前記複数のクラスターを表示する段階をさらに含む、請求項１０に記載された方法。
【請求項１６】
複数の画像から複数の顔領域を検出するための検出モジュール；
前記複数の顔領域の類似性に基づいて、前記複数の顔領域を複数のクラスターにグループ化するためのグループ化モジュール；
前記複数の顔領域の間の類似性に従って前記複数のクラスターの間での関連性の程度を決定するためのソーシャル・ネットワーキング解析モジュール；
前記複数のクラスターの関係に基づいて前記複数のクラスターの間での関連性の程度を修正するための修正モジュール；及び
前記関連性の程度に従って、前記複数の顔領域を出力するためのディスプレイ；
を含む写真表示システム。
【請求項１７】
前記複数のクラスターの第１クラスターと第２クラスターとの間の関連性の程度が、関連性しきい値よりも大きいとき、前記第１クラスターと前記第２クラスターとを統合するためのクラスター統合モジュールをさらに含む、請求項１６に記載された写真表示システム。
【請求項１８】
請求項１６に記載された写真表示システムであり：
前記複数の画像から第１画像及び第２画像を識別するための識別モジュールであり、前記第１画像が、第１クラスターに属している第１顔領域及び前記第１クラスターに属していない第２顔領域を含み、前記第２画像が、第２クラスターに属している第３顔領域及び前記第２クラスターに属していない第４顔領域を含む、識別モジュール；
をさらに含み、
前記修正モジュールが、前記第２顔領域及び前記第４顔領域が同じクラスターにグループ化される場合に、前記第１クラスターと前記第２クラスターとの間の関連性の程度を修正することを特徴とする写真表示システム。
【請求項１９】
請求項１６に記載された写真表示システムであり：
前記複数の画像から第１画像及び第２画像を識別するための識別モジュールであり、前記第１画像が、第１クラスターに属している第１顔領域及び前記第１クラスターに属していない第２顔領域を含み、前記第２画像が、第２クラスターに属している第３顔領域及び前記第２クラスターに属していない第４顔領域を含む、識別モジュール；
をさらに含み、前記修正モジュールが、前記第２顔領域が前記第４顔領域に類似している場合、前記第１クラスターと前記第２クラスターとの間の関連性の程度を修正することを特徴とする写真表示システム。
【請求項２０】
前記修正モジュールが、前記第２顔領域が前記第４顔領域に類似している場合、前記第１クラスターと前記第２クラスターとの間の関連性の程度を増加させる、請求項１９に記載された写真表示システム。
【請求項２１】
前記修正モジュールが、前記第１顔領域と前記第３顔領域との間の類似性が、類似性しきい値よりも大きい場合、前記第１クラスターと前記第２クラスターとの間の関連性の程度を修正する、請求項１９に記載された写真表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔によって画像をグループ化する方法に関し、さらに具体的には、グループ写真情報に基づき、顔によって画像をグループ化する方法に関する。
【背景技術】
【０００２】
デジタル写真撮影は、プロ及び消費者用の写真撮影の両方に変革をもたらしてきた。デジタルカメラにおける物理的なフィルムの廃止は、フィルム及び写真の現像コストを低減することから写真撮影の費用効果を改善する。さらに、デジタルカメラによって取得される何百、何千のデジタル画像が、ＣｏｍｐａｃｔＦｌａｓｈ（ＣＦ）カード、Ｓｅｃｕｒｅ  Ｄｉｇｉｔａｌ（ＳＤ）カード又はメモリースティック（ＭＳ）デバイスなどの単一のフラッシュメモリーカードに保存される。従って、デジタル写真撮影は、デジタル写真を撮る人口を増やし、ユーザーによって作成されるデジタル画像の数の大幅な増加に至る結果となった。
【０００３】
デジタルカメラのユーザーによって作成及び保存されるデジタル画像の増加した量によって、そのユーザーが、望まれる画像を簡単に検索し閲覧するようにする方法において、デジタル画像の組織化が必要になる。例えば、それらのデジタル画像は、それらが日、月及び年によって整理されるように、タイムスタンプが押されてもよい。それらのデジタル画像はまた、ユーザーによってタグが付けられてもよいが、これはユーザーによる不都合な手動の入力を要する。
【０００４】
つい最近、デジタル画像から顔ピクセルを抽出するために、顔抽出アルゴリズムが開発され、顔認識アルゴリズムが、顔による画像のグループ化に使用されている。言い換えると、１つの画像からの顔ピクセルは、他の画像からの顔ピクセルと比較されてもよく、これは、その２つの画像の顔ピクセルの間の類似点を決定するためである。両方の画像からの顔ピクセルが十分に似ている場合、顔認識アルゴリズムは、それらの画像を一緒にグループ化する。これは図１において説明されている。示されているように、１１の顔領域が第１グループ１００、第２グループ１１０及び第３グループ１２０にそれぞれグループ化されている。従って、その顔認識アルゴリズムは、デジタル画像に誰が写っているか決定し、どの人々がそれに写っているかによって、複数の画像がリンクされる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許出願第２００７／０２３７３６４号明細書
【特許文献２】米国特許出願第２００５／０１０５８０６号明細書
【特許文献３】米国特許出願第２００６／０２５１２９２号明細書
【特許文献４】米国特許出願第２００６／００５６７３７号明細書
【特許文献５】米国特許出願第２００３／０００１８７９号明細書
【特許文献６】米国特許出願第２００２／０１０３８１３号明細書
【特許文献７】米国特許第７４０３６４２号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、その複数のデジタル画像の顔ピクセルを比較するために使用される顔認識アルゴリズムは、しばしば曖昧な結果をもたらす。要するに、同じ人間が２つの画像に表示されている場合においても、そのアルゴリズムは、その人が新しい眼鏡をかけているか、又は化粧をしている場合、同じ人間が２人の違った人間であると決定する。
【課題を解決するための手段】
【０００７】
本発明の実施形態に従って、写真表示システムにおけるデジタル画像において、顔領域を閲覧する方法は、複数の画像から複数の顔領域を検出する段階、それらの顔領域の類似性に基づいて、それらの顔領域を複数のクラスターにグループ化する段階を含み、それらのクラスター間の関連性の程度を決定し、顔領域の関係に従ってクラスター間の関連性の程度を修正し、そのクラスター間の関連性の程度に従って、顔領域を表示する。
【０００８】
第２実施形態に従って、似ているクラスターを扱う方法は、複数の顔領域を生成するために複数の画像を解析する段階、その複数の画像においてそれぞれの顔領域の対における顔の類似性を計算する段階、及びその顔の類似性に基づいて複数の顔領域を複数のクラスターへグループ化する段階を含む。該クラスターは、第１クラスター、第２クラスター及び第３クラスターを含む。第１条件の結果は、複数の画像の第１画像において、第１クラスターの第１顔領域が、第３クラスターの第３顔領域と一緒に表示され、該複数の画像の第２画像において、第２クラスターの第２顔領域が、第４クラスターの第４顔領域と一緒に表示される場合に生成される。第２条件の結果は、その第１クラスター及び第２クラスターの関連性の程度が、関連性しきい値よりも大きい場合に生成される。
【０００９】
もう１つの実施形態に従って、写真表示システムが、検出モジュール、グループ化モジュール、ソーシャル・ネットワーキング解析モジュール、修正モジュール、及びディスプレイを含む。そのグループ化モジュールは、顔領域を、それらの類似性に基づいて複数のクラスターにグループ化するためのモジュールである。ソーシャル・ネットワーキング解析モジュールは、顔領域間の類似性に従って、クラスター間の関連性の程度を決定するためのモジュールである。その決定モジュールは、クラスター間の関係に基づいて、そのクラスター間の関連性の程度を修正するためのモジュールである。そして、ディスプレイは、関連性の程度に従って、顔領域を出力するためのものである。
【００１０】
本発明のこれら及び他の目的は、当業者にとって、以下の様々な図及びスケッチにおいて説明される好ましい実施形態の詳細な説明を解読した末に、明確になることは間違いない。
【図面の簡単な説明】
【００１１】
【図１】従来技術に従って顔領域のグループ化を説明する略図である。
【図２】第１デジタル画像及び第２デジタル画像において、第１の人間及び第２の人間を識別する１例を描いた略図である。
【図３】第１実施形態に従って、写真表示システムにおけるデジタル画像において、顔領域を閲覧するためのプロセスのフローチャートである。
【図４】第２実施形態に従って、グループ写真情報に基づいて一致するクラスターを説明する略図である。
【図５】第２実施形態に従って、類似するクラスターを扱うプロセスのフローチャートである。
【図６】第２実施形態に従って、クラスターを表示する段階を説明する図である。
【図７Ａ】ある実施形態に従って、顔領域、画像、アルバム及びクラスターをリンクする表の略図である。
【図７Ｂ】図７Ａの表の顔領域、画像及びクラスターを説明する略図である。
【図８】ある実施形態に従った写真表示システムの略図である。
【発明を実施するための形態】
【実施例１】
【００１２】
図２及び図３を参照されたい。図２は、第１実施形態に従って複数の画像の第１デジタル画像２００及び第２デジタル画像２１０における第１の人間及び第２の人間を識別する１例を説明する図である。図３は、第１実施形態に従って写真表示システムにおけるデジタル画像において顔領域を閲覧するためのプロセス３０のフローチャートである。図３に示され、図２において説明されているプロセス３０において、１つのグループ写真に一緒に表示されている人々は、他のグループ写真にも一緒に表示されている傾向がある可能性が存在する。言い換えると、ある人のグループ写真履歴は、その人でグループ写真の中の他の人々を識別する上で役立つ。
【００１３】
図２において、第１デジタル画像が、第１顔領域２０１及び第２顔領域２０２を含む。同様に、第２デジタル画像２１０が、第３顔領域２１１及び第４顔領域２１２を含む。最初に、第１顔領域２０１、第２顔領域２０２、第３顔領域２１１及び第４顔領域２１２が、複数の画像から検出される（段階３００）。それぞれの顔領域は、各デジタル画像におけるメンバーの顔に対応する顔抽出アルゴリズムによって決定されるピクセルのコピーであってもよい。その顔領域は、また、圧縮され、収縮されてもよく、それらのピクセルのコピーであってもよい。第１の人間に対応する第２顔領域２０２が、第４顔領域２１２に非常に似ている場合、その第４顔領域２１２はまた、該第１の人間に対応すると推定されてもよい。従って、第２顔領域２０２及び第４顔領域２１２は、クラスター群の１つのクラスターにグループ化されてもよく、また、複数の顔領域のそれぞれの顔領域においても同様である。顔領域のペアにおいて目、鼻、口又はその他の特徴を比較することによって、第２顔領域２０２及び第４顔領域２１２などの、顔領域の各ペアに対して顔の類似性が計算されてもよい。その類似性が高い場合（例えば、顔類似性しきい値よりも大きい場合）、マッチングが生成されてもよい。第１顔領域２０１及び第３顔領域２１１はいくらか似ているだけでも（例えば、通常の状態ではその２つの顔領域のマッチングをするためには十分に似ていない）、それらが、第１デジタル画像２００及び第２デジタル画像２１０において、非常に似ている第２顔領域２０２及び第４顔領域２１２と一緒に表示されるため、その第１顔領域２０１及び第３顔領域２１１が同じクラスターに対応している可能性が非常に高くなる。
【００１４】
この時点で、関連性の程度が、クラスター間において決定され（段階３０４）、それらの顔領域での関係に従って修正される（段階３０６）。関連性の程度は、顔領域の類似性の１つを選択することによって決定されてもよい。顔領域の関係は、同じ画像から検出された顔領域に従って作成されてもよい。ある実施形態において、第１顔領域及び第２顔領域が同じ画像から検出された場合、第１顔領域と第２顔領域との関係が作成されてもよい。図２を例として取ると、第１顔領域２０１と第２顔領域２０２との関係が設立され、第３顔領域２１１と第４顔領域２１２との間の関係が設立されてもよい。クラスター間の関連性の程度は、以下のように決定される。第１に、顔領域の各ペアに対して、グループ化段階３０２において、その顔領域の特徴ベクトルを比較することによって類似性を計算してもよい。さらに、第１クラスターと第２クラスターとの間の関連性の程度は、第１クラスターの１つの顔領域及び第２クラスターの１つの顔領域との間の類似性に従って決定することができる（段階３０４）。例えば、第１クラスターと第２クラスターとの間の類似性は、それらのクラスターの顔領域の最も似ているペア、最も似ていないペア又は各ペアの全ての類似性の平均を表わしてもよい。もう１つの実施形態において、第１クラスターと第２クラスターとの間の類似性は、第１クラスターにおける顔領域の平均特徴値を、第２クラスターにおける顔領域の平均特徴値に比較することによって得られる。言い換えれば、クラスター間の関連性の程度は、段階３０４において第１クラスターと第２クラスターとの間の類似性に従って、決定される。それらのクラスター間の関連性の程度を最適化するためには、関連性の程度が、段階３０６において、顔領域間の関係に従って修正される。現在の実施形態において、第１クラスターに属している第１顔領域及び第１クラスターに属していない第２顔領域を含む第１画像が識別される。第２クラスターに属している第３顔領域及び第２クラスターに属していない第４顔領域を含む第２画像もまた、識別される。第２画像からの第１顔領域及び第２画像からの第４顔領域が、同じ画像にグループ化される場合（例えば、第３クラスター）、第１クラスターと第２クラスターとの間の関連性の程度は（例えば、正確であることが確実な結果に従って）修正される（段階３０６）。例えば、第１クラスターと第２クラスターとの間の関連性の程度は、第１顔領域及び第２顔領域が第３クラスターにグループ化されるとき、増加される。他の実施形態では、第１画像からの第２顔領域が、第２画像からの第４顔領域に似ている場合、第１クラスターと第２クラスターとの間の関連性の程度は、（例えば、正確であることが確実な結果に従って）修正されてもよい（段階３０６）。もう１つの実施形態において、第１クラスターと第２クラスターとの間の関連性の程度は、第１顔領域と第３顔領域とが類似している場合、増加する。例えば、第１顔領域と第３顔領域との間の類似性が、しきい値よりも大きいと決定された場合、第１クラスターと第２クラスターとの間の関連性の程度は、それに従って修正される。もう１つの実施形態では、第１クラスターにおける顔領域と第２クラスターにおける顔領域との間の類似性が、しきい値よりも大きいと決定された場合、第１クラスターと第２クラスターとの間の関連性の程度は、修正されてもよい（段階３０６）。例えば、第１クラスターと第２クラスターとの間の関連性の程度は、第１クラスターにおける顔領域と第２クラスターにおける顔領域との間の類似性が、しきい値よりも大きいと決定される。もう１つの実施形態では、第１クラスターと第２クラスターとの間の関連性の程度が、関連性しきい値よりも大きい場合、第１クラスターと第２クラスターは統合されてもよい。
【００１５】
閲覧する間に、複数の顔領域は、複数のクラスターによって構成され表示されてもよい。従って、顔領域は、クラスター間の関連性の程度に従って表示される（段階３０８）。１つの実施形態において、その顔領域は、クラスター間の関連性の程度の高い順番で表示されてもよい。例えば、第１クラスターが第２クラスターに似ている場合、及び第１クラスターが第３クラスターにわずかに似ている場合、第２クラスターの顔領域は、第１クラスターを閲覧するとき、第３クラスターの顔領域の前に表示されてもよい。
【実施例２】
【００１６】
図４及び図５を参照されたい。図４は、第２実施形態に従って、グループ写真情報に基づいてマッチングされたクラスターを描く図である。図５は、第２実施形態に従って、類似したクラスターを扱うためのプロセス５０のフローチャートである。最初に、データベースにおける複数のデジタル画像が解析され、複数の顔領域を生成する（段階５００）。そして、顔の類似性が、複数のデジタル画像における顔領域の各ペアにおいて計算される（段階５０２）。その顔の類似性に基づいて、顔領域は、複数のクラスターにグループ化される（段階５０４）。例えば、図４に示されるように、１１の顔領域が、顔の類似性に基づいて、第１クラスター４００、第２クラスター４１０、及び第３クラスター４２０にグループ化される。
【００１７】
複数のクラスターのいずれか２つのクラスターに対し（例えば第１クラスター４００及び第２クラスター４１０）、２つの条件が満たされる。第１に、第１クラスター４００の第１顔領域４０１が、第１画像４３０において第３クラスター４２０の第３顔領域４２１と一緒に表示され、第２クラスター４１０の第２顔領域４１１が、第２画像４４０において第３クラスター４２０の第４顔領域４２２と一緒に表示される（条件１）。第２に、第１クラスター４００及び第２クラスター４１０は、十分に類似している（条件２）。第１条件結果（条件１）及び第２条件結果（条件２）の両方が正確である場合（段階５０６）、以下の処置が取られてもよい。
【００１８】
段階５０８Ａ：第１クラスター４００及び第２クラスター４１０を統合させる。
【００１９】
段階５０８Ｂ：第１クラスター４００と第２クラスター４１０との間の関連性の程度を増加させる。
【００２０】
段階５０８Ｃ：第１クラスター４００及び第２クラスター４１０を表示するときに、第１クラスター４００と第２クラスター４１０との間の間隔を縮小する。
【００２１】
上記において、第１クラスター４００の第１顔領域４０１が、第３クラスター４２０の第３顔領域４２１と一緒に第１画像４３０において表示され、第２画像４４０において第２クラスター４１０の第２顔領域４１１が、第３クラスター４２０の第４顔領域４２２と一緒に表示されるとき、いずれか２つのクラスターがどのようにお互いに類似しているかを決定するために計算される関連性の程度が、上記の３つの処置のいずれかを取るために、１つの条件として取り入れられてもよい。
【００２２】
さらに、関連性しきい値が、関連性の程度が条件２を満たすかを決定するために、関連性の程度をそのしきい値に比較するように設定されてもよい。例えば、第１クラスター４００と第２クラスター４１０との関連性の程度が、関連性しきい値よりも大きいか又はそれに等しい場合、条件２は満たされる。そして、第１クラスター４００及び第２クラスター４１０は、例えば、第２クラスター４１０が第１クラスター４００に統合されるか、又はその逆が実行されるか、あるいは第１クラスター４００及び第２クラスター４１０の関連する顔領域を含む新しいクラスターを生成することによって統合される（段階５０８Ａ）。第１クラスター４００及び第２クラスター４１０との間の関連性の程度は、条件１及び条件２を満たすことに応じて増やされてもよい（段階５０８Ｂ  ）。そして、第１クラスター４００及び第２クラスター４１０は、より接近して表示されてもよい（段階５０８Ｃ）。現在の実施形態において、クラスターの表示は、関連性の程度に応じて減らされる。言い換えれば、第１クラスターと第２クラスターとの間の視覚的距離は、第１クラスターと第２クラスターとの間の関連性の程度が増やされている間に、縮小されてもよい。１つの実施形態において、複数のクラスターが、第１クラスターと複数のクラスターのそれぞれとの間の関連性の程度の高い順番で表示されてもよい。最初に、１つ又はそれ以上の介在するクラスターは、第１クラスター４００及び第２クラスター４１０を表示中に分けるが、関連性の程度に基づいて分類することによって、第２クラスター４１０は、第１クラスター４００と第２クラスター４１０との間の関連性の程度が、第１クラスター４００と介在しているクラスターのいずれかとの間の関連性の程度よりも高い場合、他のどの介在しているクラスターよりも第１クラスター４００の近くに表示されてもよい。言い換えれば、第２クラスター４１０は、列を前進し、第１クラスター４００の後に、最初に介在しているクラスターよりも近く表示されてもよい。
【００２３】
再度、第１クラスター４００及び第２クラスター４１０を例として取ると、第１クラスター４００の第５顔領域４０２が、第２クラスター４１０の第６顔領域４１２に非常に似ている場合、及び第１クラスター４００が第２クラスター４１０と十分高い関連性の程度を持つ場合、多数の処置が取られてもよい。第１に、第１クラスター４００及び第２クラスター４１０が、統合されてもよい。第１クラスター４００及び第２クラスター４１０の関連性の程度は、増やされてもよい。そして、第１クラスター４００及び第２クラスター４１０を表示するとき、第１クラスター４００及び第２クラスター４１０は、より近く接近して表示されてもよい。
【００２４】
他の視点からすると、グループ写真において第１クラスター４００の顔領域と一緒に表示されている全ての顔領域は、解析されてもよく、グループ写真において第２クラスター４１０の顔領域と一緒に表示されている全ての顔領域は、解析されてよい。第１クラスター４００の１つの顔領域と一緒にグループ写真において表示されている１つの顔領域は、第２クラスター４１０の１つの顔領域と一緒にグループ写真において表示されているもう１つの顔領域と、非常に高い類似性を持っていてよい。この状況において、同じ人間に対応する第１クラスター４００と第２クラスター４１０との間の関連性の程度は、増やされてもよい（段階５０８Ｂ）。例えば、第１クラスター４００の第３顔領域４２１及び第２クラスター４１０の第４顔領域４２２は、非常に似ていてもよい。従って、第１クラスター４００と第２クラスター４１０との間の関連性の程度は、増やされてもよい。同様に、第３顔領域４２１及び第４顔領域４２２が同じグループ（例えば、第３クラスター４２０）に割り当てられた場合、関連性の程度は高くなる。次に、第１クラスター４００及び第２クラスター４１０の関連性の程度が十分に高く、その関連性の程度がしきい値よりも大きい場合、第１クラスター４００及び第２クラスター４１０は、関連性の程度に比例してクラスターの間隔又は数によって、互いに近くに寄せられる。
【００２５】
上記の実施形態に基づいて顔グループの表示を説明する略図である図６を参照されたい。ユーザーが写真を整頓又は閲覧するとき、最初に、人間Ｐ１が表示されている全ての画像を閲覧するように、第１クラスター６１０を選択する。そして、閲覧ウィンドウにおいて、第１クラスター６１０、第２クラスター６２０、第３クラスター６３０、第４クラスター６４０、第５クラスター６５０、及び第６クラスター６６０が、表示されてもよい。第１クラスター６１０及び第２クラスター６２０は、関連性の程度に基づいて、人間Ｐ１に対応しているとしてすでに識別され、第１カテゴリー６１を形成してもよい。第３、第４及び第５クラスター６３０、６４０、６５０は、最初に、関連性の程度がより低いことに基づき、第１クラスター６１０と一緒に第２カテゴリー６２にグループ化されてもよく、同様に、第６クラスター６６０が、第３カテゴリー６３を形成してもよい。第１カテゴリー６１は、第１しきい値よりも上の第１クラスター６１０との関連性の程度を持つ顔グループであり、第２カテゴリー６２は、第２しきい値よりも上の第１クラスター６１０との関連性の程度を持つ顔グループである。言うまでもなく、クラスター６１０、６２０、６３０、６４０、６５０、６６０を第１カテゴリー６１、第２カテゴリー６２及び第３カテゴリー６３にカテゴリー化する必要はない。クラスター、６２０、６３０、６４０、６５０、６６０は、また、第１クラスター６１０との関連性の程度が高い方から順番に、第１クラスター６１０の下に表示されてもよい。
【００２６】
この時点で、ユーザーは、第１カテゴリー６１を人間Ｐ１の名前で簡単にラベル付けすることができ、従って、第１クラスター６１０及び第２クラスター６２０の両方にその名前を適用することができる。そして、ユーザーが、第４クラスター６４０が人間Ｐ１に対応する顔領域も含むと決定した場合、そのユーザーは、第４クラスター６４０を、人間Ｐ１の名前で第４クラスター６４０をラベル付けすることによって第１及び第２クラスター６１０、６２０と一緒にグループ化する。
【実施例３】
【００２７】
図７Ａ及び図７Ｂを参照されたい。図７Ａは、ある実施形態に従って、顔領域、画像（インデックス）、アルバム（パス）、及びクラスターをリンクしている表７の略図である。図７Ｂは、顔領域、画像及び表７のクラスターを説明する略図である。表７は、顔領域フィールド７００、画像フィールド７１０、アルバム・フィールド７２０及びクラスター・フィールド７３０を含む。表の行７０‐７９は、各顔領域を画像、アルバム及びクラスターにリンクする情報を保存する。クラスターは、本発明の以前の方法に従って取得される。例えば、アルバムＩからの３つの画像（画像Ａ、画像Ｂ及び画像Ｄ）があり、アルバムＩＩからの１つの画像（画像Ｃ）があるとする。第１実施形態に示されている方法と協同し、図３に示されている検出段階２００を実行した後に、顔領域Ｒ１及びＲ２が、画像Ａから抽出され、顔領域Ｒ３及びＲ４が、画像Ｂから抽出され、顔領域Ｒ５、Ｒ６及びＲ７が、画像Ｃから抽出され、顔領域Ｒ８、Ｒ９及びＲ１０が、画像Ｄから抽出される。図３に示されるグループ化の段階を実行した後に、顔領域Ｒ１が顔領域Ｒ３に似ているため、顔領域Ｒ１‐Ｒ１０の類似性に基づいて、顔領域Ｒ１、Ｒ３が同じ「人間Ａ」クラスターにグループ化される。同様に、顔領域Ｒ２、Ｒ５が「人間Ｂ」クラスターにグループ化され、顔領域Ｒ４、Ｒ８が「人間Ｃ」クラスターにグループ化され、顔領域Ｒ６、Ｒ９が「人間Ｄ」クラスターにグループ化され、顔領域Ｒ７、Ｒ１０が「人間Ｅ」クラスターにグループ化される。クラスター間の関連性の程度は、図３に示される段階３０４における顔領域の類似性解析に基づいて決定される。図３に示されている段階３０６において、「人間Ｂ」クラスターと「人間Ｃ」クラスターとの間の関係が、グループ写真のソーシャル情報より決定される。友人、クラスメート、又は家族メンバーなど、特定のグループの人達は、一緒に写真を撮り、「人間Ｂ」  クラスターからの顔領域及び「人間Ｃ」クラスターからの顔領域は、共通のクラスターにグループ化されている他の顔領域を持つ写真からのものである。さらに具体的には、「人間Ｂ」及び「人間Ａ」クラスターからの顔領域は、同じ画像Ａに表示され、「人間Ｃ」及び「人間Ａ」クラスターからの顔領域は、同じ画像Ｂに表示される。「人間Ｂ」及び「人間Ｃ」クラスターは、以前の解析において同じクラスターで識別されていなかったが、グループ写真から取得されたソーシャル情報は、「人間Ｂ」及び「人間Ｃ」クラスターが同じ人間を表わしていることを暗示する。図３に示されている段階３０６において、２つのクラスター間の関連性はどれも、顔領域の関係に従って修正される。同様に、「人間Ｂ」、「人間Ｄ」及び「人間Ｅ」クラスターからの顔領域は同じ画像Ｃに表示され、「人間Ｃ」、「人間Ｄ」及び「人間Ｅ」クラスターからの顔領域は、同じ画像Ｄに表示される。２つのクラスターにおいて共通する顔の数がより高いと、関連性の程度がより高いことを表わす。同じ画像（例えば、同じ画像Ｃからの顔領域Ｒ６及びＲ７）において共通する人間の数がより高いと、それも関連性の程度がより高いことを表わす。言い換えると、同じ人間を表わしている２つのクラスターの利用可能性が高くなる。���様に、共通のクラスターの顔が同じアルバムからのものである場合、これもまた、より高い関連性の程度を表わす。人間の特徴は、時間が経つにつれて変化するが、「人間Ｂ」及び「人間Ｃ」クラスターは、顔領域の類似性に従って、同じ人間とは識別されない。しかし、本発明の実施形態は、グループ写真のソーシャル情報に従って、クラスター化の結果を改善する。
【実施例４】
【００２８】
１つの実施形態に従った写真表示システム８０の略図である、図８を参照されたい。その写真表示システム８０は、検出モジュール８００、修正モジュール８１０、グループ化モジュール８２０、ソーシャル・ネットワーキング解析モジュール８３０、ディスプレイ８４０、及びクラスター統合モジュール８５０を含む。写真表示システム８０の関連するモジュールは、ｘ８６コンピュータ・プラットフォームにおいて実行可能なソフトウェア・コードとして、あるいは、ＦＰＧＡ、ＡＳＩＣ又は他の如何なるハードウェアにおけるロジック・モジュールとして、実行されてもよく、本発明によって開示されている関連する方法を実施してもよい。本発明に従った実施形態において、検出モジュール８００が複数の画像から複数の顔領域を検出してもよい。グループ化モジュール８１０は、顔領域を、それらの類似性に基づいて複数のクラスターにグループ化してもよい。ソーシャル・ネットワーキング解析モジュール８２０は、顔領域の類似性に従ってクラスター間の関連性の程度を決定するためのものである。修正モジュール８３０は、クラスター間の関係に基づいて、クラスター間の関連性の程度を修正してもよい。ディスプレイ８４０は、関連性の程度に従って、顔領域を出力する。識別モジュール８６０は、複数の画像において第１画像及び第２画像を識別してもよい。第１画像は、第１クラスターに属する第１顔領域及び第１クラスターに属していない第２顔領域を含む。第２画像は、第２クラスターに属する第３顔領域及び第２クラスターに属していない第４顔領域を含む。修正モジュール８３０は、第２顔領域及び第４顔領域が、同じクラスターにグループ化されていない場合、第１クラスターと第２クラスターとの間の関連性の程度を修正する。修正モジュール８３０は、また、第２顔領域が第４顔領域に似ている場合、第１クラスターと第２クラスターとの間の関連性の程度を修正してもよい。修正モジュール８３０は、また、第１顔領域と第３顔領域との間の類似性が、類似性しきい値よりも大きい場合も、第１クラスターと第２クラスターとの間の関連性の程度を修正してもよい。クラスター統合モジュール８５０は、第１クラスターと第２クラスターとの間の関連性の程度が関連性しきい値よりも大きい場合、複数のクラスターの第１クラスター及び第２クラスターを統合してもよい。
【００２９】
複数のデジタル画像の複数の顔領域を正確にグループ化する確率を増やすために、グループ写真履歴を使用することによって、本発明の実施形態は、２人の異なる人間が、同じクラスターに割り当てられ、同じ人間が２つ又はそれ以上のクラスターに割り当てられる可能性を少なくする。
【００３０】
当業者は、本発明の教示を維持する一方、該装置及び方法の多数の修正及び変形が容易に生成できることを理解する。
【符号の説明】
【００３１】
１００…第１グループ
１１０…第２グループ
１２０…第３グループ
２００…第１デジタル画像
２０１…第１顔領域
２０２…第２顔領域
２１０…第２デジタル画像
２１１…第３顔領域
２１２…第４顔領域
３０…プロセス
４００…第１クラスター
４０１…第１顔領域
４０２…第５顔領域
４１０…第２クラスター
４１１…第２顔領域
４１２…第６顔領域
４２０…第３クラスター
４２１…第３顔領域
４２２…第４顔領域
４３０…第１画像
４４０…第２画像
５０…プロセス
６１…第１カテゴリー
６２…第２カテゴリー
６３…第３カテゴリー
６１０…第１クラスター
６２０…第２クラスター
６３０…第３クラスター
６４０…第４クラスター
６５０…第５クラスター
６６０…第６クラスター
７００…顔領域フィールド
７１０…画像フィールド
７２０…アルバム・フィールド
７３０…クラスター・フィールド
Ｒ１−Ｒ１０…顔領域
８０…写真表示システム
８００…検出モジュール
８１０…修正モジュール
８２０…グループ化モジュール
８３０…ソーシャル・ネットワーキング解析モジュール
８４０…ディスプレイ
８５０…クラスター統合モジュール
８６０…識別モジュール
【図１】
2010211785.tif 000003
【図２】
2010211785.tif 000004
【図３】
2010211785.tif 000005
【図４】
2010211785.tif 000006
【図５】
2010211785.tif 000007
【図６】
2010211785.tif 000008
【図７Ａ】
2010211785.tif 000009
【図７Ｂ】
2010211785.tif 000010
【図８】
2010211785.tif 000011