(57)【要約】イベント中に撮られた画像を１又はそれ以上のサブイベントへと特性化する方法を開示する。この方法は、イベント中に撮られた一群の画像を取得するステップと、一群の画像で１又はそれ以上の特定の人物及びその特定の人物に関連する装飾を識別するステップと、識別される特定の人物に関連する装飾がイベント中に変化するかどうかを識別するよう一群の画像を調べるステップと、特定の人物が変化した装飾を有する画像について１又はそれ以上のサブイベントを識別するステップとを有する。
2011517791.tif 000002
【特許請求の範囲】
【請求項１】
イベント中に撮られた画像を１又はそれ以上のサブイベントへと特性化する方法であって、
ａ）前記イベント中に撮られた一群の画像を取得するステップと、
ｂ）前記一群の画像に含まれる１又はそれ以上の特定の人物と、該特定の人物に関連する装飾とを識別するステップと、
ｃ）識別される前記特定の人物に関連する前記装飾が前記イベント中に変化したかどうかを識別するよう前記一群の画像を調べるステップと、
ｄ）前記特定の人物が変化した装飾を有する画像について１又はそれ以上のサブイベントを識別するステップと
を有する方法。
【請求項２】
前記ステップｄは、サブイベントに対応する、前記特定の人物が身に着けている夫々の一意の装飾について、画像セットを生成するステップを含む、請求項１記載の方法。
【請求項３】
前記ステップｂは、ユーザによって又は自動で行われる、請求項１記載の方法。
【請求項４】
１又はそれ以上の画像を取り出して表示又は印刷するよう、識別されるサブイベント画像セットを用いるステップを更に有する、請求項１記載の方法。
【請求項５】
画像をイベント画像セットに分ける方法であって、
ａ）一群の画像を取得するステップと、
ｂ）２又はそれ以上の画像で１又はそれ以上の特定の人物と、該特定の人物に関連する一意の装飾とを識別するステップと、
ｃ）識別される画像で一貫して一意の装飾を伴う特定の人物の数に比例して、イベント画像セット割当の尤度スコアを夫々の識別される画像へ割り当てるステップと
を有する方法。
【請求項６】
前記ステップｂは、ユーザによって又は自動で行われる、請求項５記載の方法。
【請求項７】
前記ステップｃは、前記尤度スコアを変更するよう、夫々の画像で背景情報を用いるステップを含む、請求項５記載の方法。
【請求項８】
前記ステップｃは、前記尤度スコア及び割り当てられる閾レベルに基づいてイベント画像セットを生成するステップを含む、請求項５記載の方法。
【請求項９】
前記ステップｃは、前記尤度スコアを変更するよう、夫々の画像で背景情報を用いるステップを含む、請求項７記載の方法。
【請求項１０】
１又はそれ以上の画像を取り出して表示又は印刷するよう、識別されるイベント画像セットを用いるステップを更に有する、請求項８記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、装飾によるイベントセットへの画像のセット形成に関する。
【背景技術】
【０００２】
デジタル写真の出現で、消費者は、大量のデジタル画像及び映像を収集している。写真撮影者ごとのデジタルカメラによる画像キャプチャの平均数は、年を追って依然として増加している。今や数ギガバイトのカメラカードやテラバイトのハードドライブが家庭で一般的であるので、捕捉され得るデジタル画像は有限数である。結果として、画像及び映像の編成及び検索は既に一般消費者にとって問題である。現在、一般消費者のデジタル画像収集にかかる時間長さはほんの数年である。編成及び検索の問題は、平均的なデジタル画像及び映像収集にかかる時間長さが増大するにつれて、大きくなり続けるであろう。
【０００３】
更に、画像を論理的なセットにまとめることはユーザの関心である。これらのセットから、画像は直感的に取り出され得る。けれども、大規模な計算能力及びメモリによってさえ、画像をセットに分けることは面倒で根気のいるタスクである。加えて、日付によって画像を体系づける方法があるが、内部クロックで正確な日付又は時刻を有さないカメラが多数ある。加えて、多くのピクチャは、それらをプリントアウトし且つそれらをシューボックス（shoeboxes）又はアルバムに保存する先の日からずっと、それらへ割り当てられる日付又は時刻を有さない。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の目的は、関心のある人物及び特徴を容易に識別し、それらを用いてイベント画像セットをデジタル画像群で生成することである。
【０００５】
本発明の他の目的は、顔認識により画像イベントセットを生成することである。
【課題を解決するための手段】
【０００６】
上記の目的は、イベント中に撮られた画像を１又はそれ以上のサブイベントへと特性化する方法であって、
ａ）前記イベント中に撮られた一群の画像を取得するステップと、
ｂ）前記一群の画像に含まれる１又はそれ以上の特定の人物と、該特定の人物に関連する装飾とを識別するステップと、
ｃ）識別される前記特定の人物に関連する前記装飾が前記イベント中に変化したかどうかを識別するよう前記一群の画像を調べるステップと、
ｄ）前記特定の人物が変化した装飾を有する画像について１又はそれ以上のサブイベントを識別するステップと
を有する方法によって達成される。
【０００７】
上記の他の目的は、画像をイベント画像セットに分ける方法であって、
ａ）一群の画像を取得するステップと、
ｂ）２又はそれ以上の画像で１又はそれ以上の特定の人物と、該特定の人物に関連する一意の装飾とを識別するステップと、
ｃ）識別される画像で一貫して一意の装飾を伴う特定の人物の数に比例して、イベント画像セット割当の尤度スコアを夫々の識別される画像へ割り当てるステップと
を有する方法によって達成される。
【発明の効果】
【０００８】
これらの方法は、大量の画像からイベント又はサブイベントへのデジタル画像の編成を可能にするという利点を有する。本発明は、画像が撮られた日付及び時刻に依存せずに、装飾により人々に係るイベント画像セットのソート及び生成を可能にする。
【図面の簡単な説明】
【０００９】
【図１】本発明を実施することができるカメラ付き携帯電話に基づく画像形成システムのブロック図である。
【図２】人物識別のための合成及び抽出される画像セグメントについての本発明の実施形態のブロック図である。
【図３】イベント中に撮られた画像を１又はそれ以上のサブイベントへと特性化する本発明の実施形態のフローチャートである。
【図４】イベント画像に関連する人物プロファイルのセットの表示である。
【図５】イベントから取得される一群の画像である。
【図６】人物の顔点及び顔特徴の表示である。
【図７】人々及び特徴によるイベント時の画像の編成の表示である。
【図８】イベントデータの中間表示である。
【図９】イベントデータセットの分解表示である。
【図１０】分解イベントデータセットの視覚表示である。
【図１１】イベント画像に関連する人物プロファイルの更新表示である。
【図１２】画像を画像イベントセットに分けるフローチャートである。
【発明を実施するための形態】
【００１０】
本発明の対象について、図面に示される実施形態を参照して記載する。
【００１１】
以下の記載で、本発明の幾つかの実施形態はソフトウェアプログラムとして記載される。当業者には容易に理解され得るように、かかる方法と同等のものが本発明の適用範囲内でハードウェア又はソフトウェアとしても構成されてよい。
【００１２】
画像操作アルゴリズム及びシステムはよく知られているので、本明細書は特に、本発明に従う方法の一部を形成し、又はその方法とより直接的に協働するアルゴリズム及びシステムを対象とする。このようなアルゴリズム及びシステムの他の態様と、それらに関連する画像信号を生成し別なふうに処理するハードウェア又はソフトウェアとは、ここで具体的には図示又は記載をされないが、当該技術で知られているこのようなシステム、アルゴリズム、コンポーネント、及び要素から選択されてよい。以下本明細書で挙げられている記載を鑑みて、その全てのソフトウェア実施は慣習的であり、本発明の属する技術分野における通常の知識の範囲内にある。
【００１３】
図１は、本発明を実施することができるデジタルカメラ付き携帯電話３０１に基づく画像形成システムのブロック図である。デジタルカメラ付き携帯電話３０１は、デジタルカメラの一種である。望ましくは、デジタルカメラ付き携帯電話３０１は、画像の捕捉及び見直し（reviewing）を行う際にユーザが容易に手に持つことができるほど十分に小さい携帯型電池式装置である。デジタルカメラ付き携帯電話３０１は、画像／データメモリ３３０により記憶されるデジタル画像を生成する。画像／データメモリ３３０は、例えば、内部フラッシュＥＰＲＯＭメモリ又はリムーバブル・メモリカードであってよい。他の種類のデジタル画像記憶媒体には、例えば、磁気ハードドライブ、磁気テープ、又は光ディスクがあり、これらは、画像／データメモリ３３０を提供するために代替的に用いられてよい。
【００１４】
デジタルカメラ付き携帯電話３０１は、場面（図示せず。）からの光の焦点をＣＭＯＳ画像センサ３１１の画像センサアレイ３１４上に合わせるレンズ３０５を有する。画像センサアレイ３１４は、よく知られているバイエル（Bayer）・カラーフィルタ・パターンを用いてカラー画像情報を提供することができる。画像センサアレイ３１４は、タイミング発生器３１２によって制御される。タイミング発生器３１２は、また、周辺照明が暗い場合に場面を照らすためにフラッシュ３０３を制御する。画像センサアレイ３１４は、例えば、１２８０列×９６０行のピクセルを有してよい。
【００１５】
幾つかの実施形態で、デジタルカメラ付き携帯電話３０１は、また、より分解能が低いビデオ画像フレームを生成するよう画像センサアレイ３１４の複数のピクセルを足し合わせること（例えば、画像センサアレイ３１４の４行×４列の各範囲内の同色ピクセルを合計すること）によって、ビデオチップを保持してよい。ビデオ画像フレームは、規則的な間隔で、例えば２４フレーム／秒の読出レートを用いて、画像センサアレイ３１４から読み出される。
【００１６】
画像センサアレイ３１４からのアナログ出力信号は、ＣＭＯＳ画像センサ３１１において、増幅されてアナログ−デジタル（Ａ／Ｄ）変換器３１６によってデジタルデータへ変換される。デジタルデータは、ＤＲＡＭバッファメモリ３１８に記憶され、その後、ファームウェアメモリ３２８に記憶されているファームウェアによって制御されるデジタルプロセッサ３２０によって処理される。ファームウェアメモリ３２８はフラッシュＥＰＲＯＭメモリであってよい。デジタルプロセッサ３２０は、デジタルカメラ付き携帯電話３０１及びデジタルプロセッサ３２０が低電力状態にある場合でさえ日付及び時刻を保持する実時間クロック３２４を有する。
【００１７】
処理されたデジタル画像ファイルは、画像／データメモリ３３０に記憶される。画像／データメモリ３３０は、また、データベース１１４にある個人プロファイル情報２３６（図２参照）を記憶するためにも使用されてよい。画像／データメモリ３３０は、また、例えば電話番号ややることリスト等の他の種類のデータも記憶してよい。
【００１８】
静止画像モードで、デジタルプロセッサ３２０は、描画されるｓＲＧＢ画像データを生成するために、色補間、その後に色及びトーン補正を行う。デジタルプロセッサ３２０は、また、ユーザによって選択される様々な画像サイズを提供することができる。描画されるｓＲＧＢ画像データは、次いで、圧縮されて、ＪＰＥＧデータとして画像／データメモリ３３０に記憶される。ＪＰＥＧファイルは、上述された所謂“Ｅｘｉｆ”画像フォーマットを使用する。このフォーマットは、様々なＴＩＦＦタグを用いて特定の画像メタデータを記憶するＥｘｉｆアプリケーション・セグメントを含む。別個のＴＩＦＦタグは、例えば、ピクチャが捕捉された日付及び時刻、レンズｆ／番号及び他のカメラ設定を記憶するとともに、画像キャプションを記憶するために使用されてよい。具体的に、画像記述タグはラベルを記憶するために使用されてよい。実時間クロック３２４は、各Ｅｘｉｆ画像ファイルに日付／時刻メタデータとして記憶されるキャプチャ日付／時刻を提供する。
【００１９】
場所決定部３２５は、画像キャプチャに関連する地理的な場所を提供する。望ましくは、場所は緯度及び経度の単位で記憶される。留意すべきは、場所決定部３２５は、画像キャプチャ時刻と僅かに異なる時点で地理的な場所を決定してよい。その場合に、場所決定部３２５は、画像に関連する地理的な場所として、最も近い時点からの地理的な場所を使用することができる。代替的に、場所決定部３２５は、画像キャプチャに関連する地理的な場所を決定するよう画像キャプチャ時点の前又は後の時点における複数の地理的な位置の間を補間することができる。補間は、常に場所決定部３２５が地理的な場所を決定することが可能であるわけではないので、必然的に生じうる。例えば、ＧＰＳ受信器は、しばしば、屋内にある場合に信号を検出しそこなう。その場合に、最後に成功した（すなわち、建物に入る前の）地理的場所の読込は、特定の画像キャプチャに関連する地理的な場所を推定するために場所決定部３２５によって使用されてよい。場所決定部３２５は、画像の場所を決定する多数の方法のいずれを使用してもよい。例えば、地理的な場所は、よく知られているグローバル・ポジショニング・サテライツ（ＧＰＳ）から通信を受け取ることによって決定されてよい。
【００２０】
デジタルプロセッサ３２０は、また、同一出願人による米国特許第５１６４８３１号明細書（Kuchta等）に記載されているように生成され得る低分解能の“サムネイル”サイズ画像を生成する。この米国特許文献の開示は、参照することにより本願に援用される。サムネイル画像は、ＲＡＭメモリ３２２に記憶され、カラーディスプレイ３３２に供給されてよい。カラーディスプレイ３３２は、例えば、アクティブマトリクスＬＣＤ又は有機発光ダイオード（ＯＬＥＤ）であってよい。画像が捕捉された後、それらは、サムネイル画像データを用いることで、カラーＬＣＤ画像ディスプレイ３３２で速やかに見直される。
【００２１】
カラーディスプレイ３３２に表示されるグラフィック・ユーザ・インターフェースはユーザ制御３３４によって制御される。ユーザ制御３３４は、電話番号をダイアルするための専用のプッシュボタン（例えば、電話キーパッド）、モード（例えば、“電話”モード、“カメラ”モード）を設定するための制御、４方向制御（上下左右）及びプッシュボタン式の中央にある“ＯＫ”ボタンを有するジョイスティック・コントローラ等を有してよい。
【００２２】
デジタルプロセッサ３２０へ接続されている音声コーデック３４０は、マイクロフォン３４２から音声信号を受け取るとともに、音声信号をスピーカ３４４へ供給する。これらの構成要素は、電話での会話のため並びに音声トラックをビデオシーケンス又は静止画像とともに記録し再生するために使用され得る。スピーカ３４４は、ユーザに電話着信を知らせるためにも使用されてよい。これは、ファームウェアメモリ３２８に記憶されている標準の着信音を用いて、又は携帯電話ネットワーク３５８からダウンロードされて画像／データメモリ３３０に記憶されているカスタムの着信音を用いることによって、行われ得る。加えて、振動装置（図示せず。）が、電話着信の無音（聞こえない）通知を提供するために使用されてよい。
【００２３】
ドック・インターフェース３６２は、デジタルカメラ付き携帯電話３０１をドック／充電器３６４へ接続するために使用され得る。ドック／充電器３６４は全般制御コンピュータ３７５へ接続されている。ドック・インターフェース３６２は、例えば、よく知られているＵＳＢインターフェース仕様に適合することができる。代替的に、デジタルカメラ３０１と全般制御コンピュータ３７５との間のインターフェースは、例えば、よく知られているブルートュース無線インターフェース又はよく知られている８０２．１１ｂ無線インターフェース等の無線インターフェースであってよい。ドック・インターフェース３６２は、画像／データメモリ３３０から全般制御コンピュータ３７５へ画像をダウンロードするために使用されてよい。ドック・インターフェース３６２は、また、全般制御コンピュータ３７５からデジタルカメラ付き携帯電話３０１にある画像／データメモリへカレンダ情報を転送するためにも使用されてよい。ドック／充電器３６４は、また、デジタルカメラ付き携帯電話３０１にある電池（図示せず。）を再充電するためにも使用されてよい。
【００２４】
デジタルプロセッサ３２０は無線モデム３５０へ結合される。無線モデム３５０は、デジタルカメラ付き携帯電話３０１がＲＦチャネル３５２を介して情報を送受信することを可能にする。無線モデム３５０は無線周波数（例えば、ワイヤレス）リンクを介して携帯電話ネットワーク３５８（例えば、３ＧＳＭネットワーク）と通信を行う。携帯電話ネットワーク３５８は写真サービスプロバイダ３７２と通信を行う。写真サービスプロバイダ３７２は、デジタルカメラ付き携帯電話３０１からアップロードされるデジタル画像を記憶することができる。これらの画像は、インターネット３７０を介して、全般制御コンピュータ３７５を含む他の装置によってアクセスされ得る。携帯電話ネットワーク３５８は、また、通常の電話サービスを提供するために、標準の電話ネットワーク（図示せず。）へ接続する。
【００２５】
本発明の実施形態のブロック図は図２に表されている。図１を再度参照すると、画像／データメモリ３３０、ファームウェアメモリ３２８、ＲＡＭ３３２及びデジタルプロセッサ３２０は、後述するように、必要なデータ記憶機能を提供するために使用され得る。簡潔に、図は、デジタル画像群１０２を含むデータベース１１４を有する。画像に関するメタデータ等の画像及びカメラに関する情報は大域的特徴２４６として開示されている。人物プロファイル２３６は、画像群内の個人に関する情報を含む。人物プロファイルの例は図４に示されている。
【００２６】
イベントマネージャ３６は、キャプチャ時間アナライザ２７２を用いて関連する時間期間によってデジタル画像セットを生成することで画像管理及び編成の改善を可能にする。大域的特徴検出器２４２は、データベース１１４からの大域的特徴２４６を解釈する。イベントマネージャ３６は、それによって、デジタル画像群サブセット１１２を生成する。人物探知器１０８は、写真内に人物を見つけるために人物検出器１１０を用いる。顔検出器２７０は、局所的特徴検出器２４０を用いて顔又は顔の部分を見つける。人物に関連する特徴は、関連特徴検出器２３８を用いて識別され得る。人物識別部２５６は、手動又は自動での、画像群において関心のある特定の人物への人物名の割当である。これは、ディスプレイ３３２に結合されている対話式人物識別部２５０と、ラベラー１０４とを介して達成される。更に、人物分類器２４４は、画像群で予め識別されている人物へネームラベルを自動適用するために用いられ得る。区分化及び抽出部１３０は、人物画像区分化２５４のために人物抽出器２５２を用いている。関連特徴区分化２５８及び関連特徴抽出器１０６は、人物プロファイル２３６に複合モデル（composite  model）２３４として記憶するための関連する人物要素の分割及び抽出を可能にする。姿勢（pose）推定器２６０は、三次元（３Ｄ）モデル生成器２６２に、３Ｄモデル生成器２６２による人物の少なくとも頭部要素の表面又は立体表示モデルの生成のための詳細を提供する。
【００２７】
図３は、イベント中に撮られた画像を１又はそれ以上のサブイベントへと特性化する本発明の実施形態のフローチャートである。当業者には明らかなように、本発明を用いる処理プラットフォームはカメラ、パーソナルコンピュータ、例えばインターネット等のネットワーク上でアクセスされるリモートコンピュータ、プリンタ等であってよい。図１のシステムは、図３のフローチャートを実施するために用いられてよい。
【００２８】
ステップ２１０は、イベントで撮られた一群の画像を取得するステップである。かかる一群の画像は、図１の画像データメモリ３３０に記憶され得る。イベントは誕生日パーティー、バケーション、家族の集合時、又はサッカーの試合であってよい。かかるイベントは、また、サブイベントに分けられ得る。誕生日パーティーはケーキ、プレゼント及び屋外活動を有しうる。バケーションは、様々な都市、時刻に関連する一連のサブイベント、又は例えばビーチ訪問等の他のサブイベントでありうる。イベントとして識別される画像のセットの一例は図５に示されている。イベントは手動で又は自動でタグを付けられ得る。
【００２９】
同一出願人による米国特許第６６０６４１１号明細書及び米国特許第６３５１５５６号明細書は、時間イベント及びサブイベントへの画像セット生成のためのアルゴリズムを開示する。これらの特許文献の開示は参照することにより本願に援用される。
【００３０】
米国特許第６６０６４１１号明細書は、イベントが一貫性のある色分布を有し、従って、これらのピクチャが同じ背景を有して撮られていると見込まれることを教示する。夫々のサブイベントについて、単一の色及びテクスチャの表現が、全ての背景について計算されて、ひとまとめにされる。上記の特許文献は、どのようにデジタル画像群に含まれる画像及び映像のセットを時間イベント及びサブイベントへと形成するのかを教示する。用語“イベント”及び“サブイベント”は、特定の出来事（イベントに対応）及びこれらの出来事の区分（サブイベントに対応）に係るユーザの主観的知覚を整合させようとするコンピュータを利用したプロシージャの生成物を示すために客観的観点で使用される。画像群は、時刻又は日付を基に画像群における１又はそれ以上の最大時間差によって決定される１又はそれ以上のイベントに分類される。
【００３１】
更に、夫々のイベントについて、（もしあれば）サブイベントは、米国特許第６３５１５５６号明細書に記載されるように連続する画像の色ヒストグラム情報を比較することによって決定され得る。これは、画像を多数のブロックに分割して、ブロックの夫々について色ヒストグラムを計算することで達成される。ブロックに基づくヒストグラム相関関係プロシージャは、サブイベント境界を検出するために、米国特許第６３５１５５６号明細書に記載されるように使用される。
【００３２】
自動的に画像をイベントへと体系づける他の方法は、参照することにより本願に援用される同一出願人による米国特許第６９１５０１１号明細書で開示されている。本発明に従って、イベントセット生成方法は、同じイベントへのグループからのセット生成画像のために前景及び背景分割を用いる。最初に、夫々の画像は、複数のブロックへと分割され、それによって、ブロックに基づく画像を提供する。ブロックごとの比較を用いると、ブロックに基づく画像の夫々は、少なくとも前景及び背景を有する複数の領域に分割される。１又はそれ以上の明度、色、位置又はサイズの特徴は、それらの領域から取り出され、取り出された特徴は、グループ内の連続する画像において前景及び背景を有する領域の類似を推定し比較するために利用される。次いで、連続する画像の間の全体の類似の程度が計算され、それによって、連続する画像の間の画像距離を提供し、イベントセットはこの画像距離から範囲を定められる。
【００３３】
画像イベントセットの更なる利点は、イベント又はサブイベント内で、人が同じ衣類又は関連する特徴を身に着けている可能性が高いことである。しかし、人が変化した衣類を有する場合は、サブイベントが変化したマーカであるかもしれない。例えば、ビーチへの外出の直ぐ後には、バケーション中のレストランへの外出が続くことがある。バケーションは最上級のイベントであり、ビーチは、１つのサブベントとして識別される、水着が着られた場所であってよく、その後に、スーツ及びネクタイを身に着けてのレストランへの外出が続く。
【００３４】
イベントへの画像のセット生成は、更に、人物プロファイル２３６における人物の複合モデル２３４の生成のために、同じ照明、衣類、及び人物に関連する他の特徴を一元化するのに役立つ。
【００３５】
ステップ２１２は、画像群において特定の人物を含む画像を識別し、その識別された人物に関連する装飾（apparel）を識別するステップであり、人物探知器１０８を用いる。デジタルプロセッサ３２０、ファームウェアメモリ３２８、及び図１の関連するロジックは、ステップ２１２を実施するために使用されてよい。人物探知器１０８は、参照することにより本願に援用される同一出願人による米国特許第６６９７５０２に記載されるような方法を用いて、人物を検出し、取得されたイベント画像群に含まれる各写真の人物のカウントをイベントマネージャ３６へ提供する。
【００３６】
本発明に従って、肌検出は、分割領域の平均色の分類による色画像分割を利用する。また、その後のヒューマンフィギュア構成ステップが二者択一（binary  decision）に代えて確率を必要とする場合に、確率値が保持されてもよい。
【００３７】
肌検出方法は、輝度及びクロミナンスの各成分における人肌色分布に基づく。更に、肌確率が計算され、肌領域は、その確率が所定閾値より大きい場合に認定される。
【００３８】
顔検出器は、候補肌領域の範囲内での局所的特徴検出器２４０を用いた主な顔特徴（目、眉、鼻及び口）の検出を基に潜在的な顔を識別する。肌検出ステップによって出力されるフレッシュマップ（flesh  map）は、画像における顔の位置への信頼を生み出すよう、他の顔に関連するヒューリスティックス（heuristics）と結合する。肌領域として識別される画像内の各領域は楕円にはめられ、楕円の主軸及び副軸は、楕円の外側領域にあるピクセル数及びその領域の部分でない楕円内のピクセル数としても計算される。アスペクト比は主軸及び副軸の比として計算される。顔の確率は、挿入される楕円のアスペクト比、楕円の外側にある領域の面積、及びその領域の部分でない楕円の面積の関数である。先と同じく、確率値は、保持され、又は単に所定の閾値と比較されて、特定の領域が顔であるか否かに関する二者択一を発生させる。更に、候補顔領域におけるテクスチャが、更に、顔の可能性を特性化するために使用されてよい。くぼみ検出は、顔特徴（目、鼻孔、眉、及び口）がしばしば存在するくぼみ（valley）を識別するために使用されてよい。この処理は、顔領域から顔肌でない領域を分離するために必要である。
【００３９】
好ましい実施形態で、Ｂｏｌｉｎ及びＣｈｅｎ著、「An  automatic  facial  feature  finding  system  for  portrait  images」、ＩＳ＆Ｔ  ＰＩＣＳカンフェレンス、２００２年、議事録に記載される、人の顔のアクティブシェイプモデル（active  shape  model）に基づいて顔特徴点の位置を見つける方法が使用される。
【００４０】
局所的な特徴は人物の定量的記述である。望ましくは、人物探知器１０８及び特徴抽出器１０６（図２参照）は、夫々の検出された人物について、ひと組の局所的な特徴及びひと組の大域的特徴２４６を出力する。望ましくは、局所的な特徴は、特別の顔特徴に関連する８２の特徴点の位置に基づく。
【００４１】
顔の画像についての局所的な特徴点の視覚表現は、例示として図６に示される。局所的な特徴は、また、特別の特徴点の間の距離、若しくは特別の特徴点の組を接続する線によって形成される角度、又は顔貌の変化を記述する原理成分（principal  components）上へ特徴点を投影する係数であってよい。
【００４２】
代替的に、種々の局所的な特徴がまた使用されてよい。例えば、実施形態は、Ｍ．Ｔｕｒｋ及びＡ．Ｐｅｎｔｌａｎｄ著、「Eigenfaces  for  Recognition」、Journal  of  Cognitive  Neuroscience、Ｖｏｌ．３、Ｎｏ．１、７１〜８６頁、１９９１年に記載される顔類似メトリックに基づいてよい。顔記述子は、顔貌の変化を記述する原理成分関数の組に顔の画像を投影することによって得られる。いずれかの２つの顔の間の類似は、同じ組の関数に夫々の顔を投影することによって得られる特徴のユークリッド距離を計算することで測定される。
【００４３】
局所的な特徴は、固有の顔（Eigenfaces）、顔面測定、色／テクスチャ情報及びウェーブレット特徴等の幾つかの本質的に異なる特徴タイプの組合せを有してよい。代替的に、局所的な特徴は、更に、目の色、肌の色、髪の色／質感、及び顔の形状等の定量的記述により表されてよい。
【００４４】
幾つかの場合で、人物の顔は、かかる人物がカメラに背を向けている場合には可視的でない。しかし、衣類領域が一致する場合は、髪の検出及び分析が、人物集計及び画像内に存在する人物の同一性のための更なるキュー（cues）を提供するために、一致した領域上の範囲で使用され得る。Ｙａｃｏｏｂ及びＤａｖｉｄは、「Detection  and  Analysis  of  Hair」、ＩＥＥＥ  Ｔｒａｎｓ．ｏｎ  ＰＡＭＩ、Ｖｏｌ．２８、Ｎｏ．７；１１６４〜１１６９頁、２００６年７月で、異なる人々を比較するために髪の外観を検出し測定する方法を記載している。この方法は、髪の色、質感、ボリューム、長さ、対称性、分け目の位置、髪によって覆われている範囲、及び生え際を含む髪の外観の多次元表現を生成する。
【００４５】
更に、幾つかの画像で、これらのアルゴリズムが識別することができる人数には制限がある。その制限は、一般的に、ピクチャ内の人々の有限な分解能による。このような状況で、イベントマネージャ３６は、イベントにとって重要である人の数について隣接する画像を評価し、又はカウントが手動で入力されるモードへジャンプすることができる。
【００４６】
図５の各画像における関連する人物の数のカウントが確立されると、イベントマネージャ３６は、関連するデータをイベントに組み込む、図７、図８及び図９に示されるイベントテーブル２６４を形成する。かかるデータは、画像の数及び画像ごとの人物の数を有することができる。更に、夫々の画像内の夫々の人物の頭部、頭部の姿勢、顔、髪、及び関連する特徴が、人物が誰であるのかを知ることなく決定され得る。図７で、図４の人物プロファイル２３６に示される以前のイベントデータを基に、イベント番号は３３７１であるよう割り当てられている。
【００４７】
データベース１１４に記録されていない人物が画像に含まれる場合は、対話式人物識別部２５０は、その画像において周囲を円で囲まれた識別された顔を表示する。このようにして、ユーザは、名称及び何らかの他のタイプのデータによりその顔にラベルを付すことができる。留意すべきは、用語「タグ」、「キャプション」及び「注記（アノテーション）」は用語「ラベル」と同意語として使用される。しかし、人物が以前の画像に現れていた場合は、その人物に関連するデータは、データがカテゴリに区分されているところの図４に示されるもの（行１）のようにデータベース１１４の人物プロファイル２３６を用いる、以前に識別された人物を分類する分類器２４４アルゴリズムのいずれかを用いてマッチングを行うために取り出され得る。かかる記録された区別は人物識別、イベント番号、画像番号、顔形状、顔点、顔／髪の色／質感、頭部画像セグメント、姿勢角度、３Ｄモデル、及び関連する特徴である。一群の画像において以前に識別された夫々の人物は、前の画像で検出された頭部データ及び関連する特徴との連関を有する。更に、画像の組に係る生成される複合モデル２３４は、また、名称及び関連するイベント識別子と関連して記憶される。このデータを用いて、人物分類器２４４は、一群の画像の中で特定の人物を含む画像を識別する。図５を参照すると、画像１で、左の人物は８２点顔モデル又は固有顔モデルを用いて認識可能でない。第２の人物は８２の識別可能な点及び固有顔構造を有するが、図４に示される人物プロファイル２３６にこの人物についての一致するデータはない。画像２で、人物は、レスリー（Ｌｅｓｌｉｅ）に属するデータセット“Ｐ”としての顔モデルへの接続に適合する。画像３及び画像４の右の人物もレスリーについての顔モデルセット“Ｐ”に適合する。このイベントデータの中間表示が図８に示されている。
【００４８】
更に、特定の人物に関連する、識別される画像における１又はそれ以上の一意の特徴が識別される。関連する特徴は、それらを一意とすることができる人物に関連付けられているあらゆるオブジェクトの存在である。このような関連する特徴は、眼鏡、又は装飾の記述を含む。例えば、ウィスコット（ｗｉｓｋｏｔｔ）は、「顔分析のためのファントムフェイス（Phantom  Faces  for  Face  Analysis）」、Pattern  Recognition、  Ｖｏｌ．３０、Ｎｏ．６、８３７〜８４６頁、１９９７年で、顔において眼鏡の存在を検出する方法を記載している。関連する特徴には、眼鏡の存在及び形状に関連する情報が含まれる。
【００４９】
簡潔に述べると、人物分類器２４４は、人物の類似性、それによって、人物が同じであるという尤度（likelihood）を決定するよう、２又はそれ以上の人物に関連する特徴の組の間で類似度を測定することができる。特徴の組の類似を測定することは、特徴のサブセットの類似度を測定することによって達成される。例えば、関連する特徴が衣服を表す場合に、次の方法がふた組の特徴を比較するために使用される。画像キャプチャ時間の差が小さく（すなわち、数時間より短く）且つ衣服の定量的記述が特徴の２つの組の夫々で類似する場合は、同じ人物に属する局所的な特徴の２つの組の尤度は大きくなる。更に、装飾が局所的な特徴の両組について極めて一意の又は独特のパターン（例えば、大きな緑色、赤色、及び青色のパッチのシャツ）を有する場合は、関連する人々が同じ個人であるという尤度はより一層大きい。
【００５０】
装飾は種々の方法で表現され得る。米国特許第６，４８０，８４０号明細書（Ｚｈｕ及びＭｅｈｒｏｔｒａ）で記載される色及びテクスチャの表現並びに類似度が使用されてよい。他の表現で、Ｚｈｕ及びＭｅｈｒｏｔｒａは、例えば米国特許第６，５８４，４６５号明細書におけるテキスタイルで見つられるもののような、パターンを表現し整合させることを具体的に目的とする方法を記載している。この方法は、色不変であり、エッジ方向のヒストグラムを特徴として用いる。代替的に、装飾パッチ画像のフーリエ変換係数又はエッジマップから導出される特徴は、マッチングのために特徴として使用されてよい。エッジに基づく又はフーリエに基づく特徴を計算する前に、パッチは同じ大きさへと正規化され、カメラ／ズームからの対象の距離までエッジの周波数を不変とする。倍数因子が計算され、これは、検出された顔の目と目の間の距離を標準の両眼間距離へ変換する。パッチサイズは両眼間距離から計算されるので、次いで、装飾パッチは、標準サイズの顔に対応するよう、この因子によってサブサンプリング又は拡大をなされる。
【００５１】
一意性の程度は、人物についての全体的なマッチスコアへの整合又は不整合の寄与を決定する夫々の装飾パターンについて計算される。一意性は、パターンの一意性及び色の一意性の総和として計算される。パターンの一意性は、パッチのフーリエ変換で閾値を上回るフーリエ係数の数に比例する。例えば、単純なパッチ及び単一等間隔のストライプを有するパッチは夫々１（ＤＣのみ）及び２の係数を有し、このようにして低い一意性スコアを有する。パターンが複雑になればなるほど、それを表すために必要とされる係数の数はますます高くなり、その一意性スコアもますます高くなる。色の一意性は、人々の画像に係る大きなデータベースから特定の色が衣服に現れる尤度を知ることによって、測定される。例えば、白いシャツを着用している人物の尤度は、オレンジ色及び緑色のシャツを着用している人物の尤度よりずっと大きい。代替的に、信頼できる尤度スタティクスがない場合は、飽和色はより希有であり且つそれほどあいまい性を伴うことなく整合され得るので、色の一意性はその飽和に基づく。このようにして、装飾の類似度又は相違に加えて、画像のキャプチャ時間とともに取得される装飾の一意性は、人物分類器２４４が関心のある人物を認識するための重要な特徴である。関連する特徴の一意性は、人々の画像に係る大きなデータベースから特定の衣服が現れる尤度を知ることによって、測定される。例えば、白いシャツを着用している人物の尤度は、オレンジ色及び緑色の格子縞のシャツを着用している人物の尤度よりずっと大きい。このようにして、装飾の類似度又は相違に加えて、画像のキャプチャ時間とともに取得された装飾の一意性は、人物分類器２４４が関心のある人物を認識するための重要な特徴である。
【００５２】
１又はそれ以上の関連のある特徴が人物に割り当てられる場合に、更なる検査ステップが一意性を決定するために必要でありうる。全ての子供がサッカーのユニフォームを着ている場合がある。この場合に、子供達は、眼鏡若しくは恐らく靴及び靴下に加えて番号及び顔によってのみ区別される。一意性が識別されると、これらの特徴は一意として記憶される。一実施形態は、真っ正面から見て顔の中心から始まって人物の顔を見回すことである。ほくろが頬に付いていることがある。宝石が耳についていることがあり、入れ墨又は化粧及び眼鏡が目、額又は顔に伴っていることがあり、帽子が頭の上又は周囲にあることがあり、スカーフ、シャツ、水着又はコートが頭の上及び下にあることがある。更なるテストは次の通りであってよい。
【００５３】
ａ）同じ画像内の２人の人達は同じ関連する特徴を有するが、異なる特徴を有する（このようにして、同じ人物の鏡像、及び一意の特徴としての同じ関連する特徴の利用を除外する。）。
【００５４】
ｂ）全ての画像で同じ関連する特徴を有する少なくとも２人の人物の異なる顔についての少なくとも２つの肯定的な一致（このようにして、一意の特徴としてこれらの関連する特徴を除外する。）。
【００５５】
ｃ）異なる画像に含まれ、実質的に異なる装飾を有する同じ人物についての肯定的な一致（これは、異なるイベント又はサブイベントを示すとともに、新しい服装一式が人物によって身に着けられていることを示すものであり、データベース１１４の人物プロファイル２３６と関連して、イベントマネージャ３６によって記録及び補正をされてよい。）。
【００５６】
図５に示され且つ図８の列７に記録される画像の例で、お下げ髪は、レスリーについての一意の関連特徴として識別される。
【００５７】
ステップ２１４は、識別される特定の人物に関連する装飾が当該イベント中に変更されたかどうかを識別するよう一群の画像を調べるステップである。図１に示されるコンピュータ機能がこのステップを実施することができる。人物の正面（positive  view）の夫々を有して、一意の特徴は画像ファイルから抽出され、残りの画像で比較され得る。眼鏡は正面及び側面で明白でありうる。髪、帽子、シャツ又はコートは全ての面で可視的でありうる。
【００５８】
特定の人物に関連するオブジェクトは、オブジェクトのタイプに依存して様々な方法で適合され得る。多数の部分又はセグメントを有するオブジェクト（例えば、自転車、自動車）について、Ｚｈａｎｇ及びＣｈａｎｇは、ＩＥＥＥ  ＣＶＰＲ２００６の議事録でＲＡＲＧ（Random  Attributed  Relational  Graph）と呼ばれるモデルについて記載している。この方法で、ランダム変数の確率密度関数は、その部分の外観及び部分の関係の統計値を得るために用いられ、オブジェクト部分を表す可変な数のノードを有するグラフを生成する。グラフは、異なる場面でオブジェクトを表し且つ整合させるために使用される。
【００５９】
特定の部分及び形状（例えば、装飾）を有さないオブジェクトに使用される方法は、マッチングのために用いられ得る、例えば色、テクスチャ又はエッジに基づく情報等の低レベルのオブジェクト特徴を含む。具体的に、Ｌｏｗｅは、International  Journal  of  Computer  Vision、Vol.60、No.2、２００４年で、あらゆる画像で関心を引くエッジ及びコーナーを表すＳＩＦＴ（scale-invariant  features）について記載している。Ｌｏｗｅは、また、画像の他の部分が変化し、パターンのスケール及び向きが変更する場合でさえパターンを整合させるようＳＩＦＴを用いるための方法についても記載している。この方法は、衣服、帽子、入れ墨及び宝石における独特のパターンを整合させるために使用され得る。
【００６０】
ＳＩＦＴ方法は、また、局所的な特徴のための使用を有することができる。Proceeding  of  the  IEEE  International  Conf.  on  Acoustics,  Speech  and  Signal  Processing（ICASSP）、ハワイ州ホノルル、２００７年４月１５〜２０日で公開されたＬｕｏ等による「Person-Specific  SIFT  features  for  Face  Recognition」を参照されたし。著者は、顔認識の問題を解消するよう、キーポイント・クラスタでの局所的及び大域的類似度と組み合わされる単純な非統計的なマッチング法及び人物特有のＳＩＦＴ特徴を用いる。
【００６１】
また、例えば眼鏡のような特定の共通に現れる特徴を見つけるための更なる方法がある。Ｗｕ等は、IEEE  Transactions  on  PANI、Vol.26、No.3、２００４年で眼鏡を自動検出してその位置を見つけるための方法について記載する。それらの作業は、眼鏡のフレームでキーポイントの位置を見つけるためにマルコフ連鎖モンテカルロ法を用いる。眼鏡が検出されると、その形状が画像に亘って特性化されて整合され得る。
【００６２】
図８に記載されるように図５の一群のイベント画像を再び参照して、画像形状をセグメント化して抽出するために色及びテクスチャマッピングを用いると、お下げ髪は画像１及び５のレスリーに肯定的な一致を与えることができる。更に、レスリーの髪の色及び質感並びに衣服の色及びパターンに関連するデータセットＱは、特定の人物への関連する特徴の画像に亘る横方向の割当の確認を与えることができる。
【００６３】
これらのタイプの一意の関連する特徴の検出に際して、人物分類器２４４は、先にラベルを付された識別、この例ではレスリーと、特定の人物を呼ぶ。
【００６４】
更に、特定の人物を含む識別される画像から頭部要素及び特徴をセグメント化して抽出することは、何らかの一般的な画像セグメンテーション技術を用いて行われ得る。頭部要素及び個人の関連特徴は、人物プロファイル２３６で名称によってファイルされている。
【００６５】
識別される関連特徴を有して、識別される特徴並びに抽出される特徴及び画像セグメントを用いて人物の頭部の少なくとも一部の複合モデルを構成することが目的である。複合モデル２３４は、画像群に関連する人物プロファイル２３６情報のサブセットである。複合モデル２３４は、更に、人物の頭部及び身体の抽出される少なくとも種々のビューを含む複雑な関連する部分から作り出される概念全体として定義され得る。複合モデル２３４は、更に、特定の人物から導出され且つその人物に関連する特徴を有することができる。かかる特徴は、例えば装飾、眼鏡類、宝石、耳に装着するもの（補聴器、電話アクセサリ）、入れ墨、化粧、顔髭、例えばほくろのような顔の欠点、傷跡、並びに義肢及び包帯等の特徴の定義を有することができる。一般に、装飾は、人が着ている衣服として定義される。装飾は、シャツ、パンツ、ドレス、スカート、靴、靴下、メリヤス類、水着、コート、縁なし帽、スカーフ、縁あり帽及びユニフォームを有してよい。通常、かかる色及びテクスチャ特徴は、装飾の１つと関連付けられている。通常、色及びテクスチャの組合せはスウォッチ（swatch）と呼ばれる。かかるスウォッチ特徴を装飾の包括的な部分のアイコン表示又はグラフィック表示に割り当てることは、あたかもそれが識別される人物のワードローブに属しているかのように、かかる１つの衣服の視覚化をもたらしうる。衣服の品々のカタログ又はライブラリを作ることは、識別される人物についての色の好みの決定をもたらしうる。かかる好みは、識別されプロファイリングされる人物による購入に同様の又は補足的な物品を提供するために更に使用され得る人物の人物プロファイル２３６を生成し又は拡張するために用いられ得る。
【００６６】
人物識別は、識別可能な人物の顔の全てが、イベント時に撮られた一群の画像において分類されるまで、対話式人物識別部２５０及び人物分類器２４４を用いて続けられる。ジョン（Ｊｏｈｎ）及びジェローム（Ｊｅｒｏｍｅ）が兄弟である場合に、顔の類似度は、人物識別のための更なる解析を必要としうる。家族写真の分野で、顔認識の問題は、少数（通常１０数）の選択肢の中から所与の顔について正しい分類（人物）を見つけることを伴う。ペアワイズ分類パラダイムの使用は、この多分類顔認識の問題を解決することができる。このとき、２分類分類器が分類の各対について設計される。ペアワイズ・アプローチを使用する利点は、２人の人物の間の実際の相違がデータセット内の他の人々とは無関係に探索され、特定の対の個人について最も識別力のある特徴及び特徴重みを見つけ出すことを可能にする。家族写真の分野では、しばしば、データベース内の人々の間には類似が存在し、かかるアプローチをより適切にする。また、データベース内の少数の主な人物は、このアプローチを使用することを可能にする。このアプローチは、Ｚｈａｎｇ等によりFacial  Expression  Recognition  Using  Continuous  Dynamic  Proceeding、IEEE  ICCV、２００１年で示されており、全ての顔について同じ特徴セットを使用する標準的なアプローチにわたって顔認識性能を改善する。Ｚｈａｎｇ等により注目される他の観測は、同じレベルの性能を得るために必要とされる特徴の数は、大域的特徴セットが用いられる場合よりもペアワイズ・アプローチを用いる場合にずっと小さいことである。幾つかの顔の対は、ただ１つの特徴のみにより完全に分離され得、ほとんどは全ての特徴セットの１０％未満しか要しない。このことは期待されるべきである。なぜなら、使用される特徴が特定の個人の間の主な相違に向けられているからである。複合モデル２３４の利点は、それが分析のために多種多様な顔特徴を有効にすることである。更に、傾向は、それらが現れる場合に、一意の特徴のために適応システムによって見出され得る。更に、髪は２つのモードを有し、１つは色であり、もう１つは顔髭の１つの組である。通常、これらの傾向は、多様な分布に限定される。これらの幾つかのモードは、イベントセットに分けられる画像の複合モデルでサポートされ得る。
【００６７】
例では、ジョンは顔点及び固有の顔について一致を有し、人物分類器２４４はその人物をジョンと名付ける。顔形状ｙ、顔点ｘ並びに顔／髪の色及び質感ｚを有する不確定の人物は、対話式人物識別部２５０を用いてユーザによりサラ（Ｓａｒａｈ）と識別される。代替的に、サラは、人物分類器２４４を用いて、他のコンピュータ、カメラ、インターネットサーバ又はリムーバブルメモリに配置される別のデータベースからのデータにより識別されてよい。
【００６８】
特定の人物が変化した装飾を有するところの画像についての１又はそれ以上のサブイベントの識別（ステップ２１６）が実行される。図５に示されるイベントからの画像の例で、新しい衣服はサラに関連付けられ、新しいパンツはジョンに関連付けられる。イベントはこのマーカを変更している。イベントへの画像の分類を更に絞り込むよう、イベントマネージャ３６は、図９に示されるイベントテーブル２６４を変更して、新しいイベント番号３３７２を生成する。結果として、図９のイベントテーブル２６４は、この場合に、人物識別を完備し、更新された画像セットが図１０に示される。図９のデータは、図１１に示されるような更新された人物プロファイル２３６をもたらすよう、図４に加えられ得る。留意すべきは、図１１中の列６の行８〜１６で、データセットはレスリーの顔／髪の色／テクスチャについて変化している。髪は１つのイベントから次のイベントまで変化した色を有する場合があり、このデータは人物プロファイル２３６に組み込まれている。このようにして、イベント画像セットは、サブイベントに対応する特定の人物が身に着けている夫々の一意の装飾について生成される（ステップ２１８）。
【００６９】
イベントの組からデータを更に抽出することは、イベントから特定の人物の頭部の少なくとも一部のセグメントを集めることである。かかるセグメントは、複合モデルとして別々に使用され得、イベントテーブル２６４又は人物プロファイル２３６から取得される。頭部の姿勢は、顔画像を処理するよう視覚システムの能力を高める重要な視覚的刺激（visual  cue）である。このステップは、人物が識別される前又はその後に行われ得る。
【００７０】
頭部の姿勢には３つの角度成分、すなわち、左右の振り（yaw）、傾斜（pitch）及び横転（roll）が含まれる。「左右の振り」は、頭部が垂直軸に関して右又は左に向きを変えられる角度をいう。「傾斜」は、頭部が横軸について上又は下に向けられる角度をいう。「横転」は、頭部が前額面に対して垂直な軸に関して右又は左に傾けられる角度をいう。左右の振り及び傾斜は、顔が向いている方向が前額面に対して変化するので、面外回転と呼ばれる。それに反して、横転は、顔が向いている方向が前額面に対して変化しないので、面内回転と呼ばれる。
【００７１】
姿勢推定のためのモデルベースの技術は、通常、画像から個人の３Ｄ頭部形状を複製し、次いで、頭部の向きを推定するために３Ｄモデルを用いる。
【００７２】
姿勢推定のための外観ベースの技術は、既知の向きにある顔に係るひと揃いのテンプレート画像と個人の頭部を比較することによって、頭部の姿勢を推定することができる。個人の頭部は、それが最も似ているテンプレート画像と同じ向きを共有すると信じられる。
【００７３】
更に、特定の人物の頭部の３次元表現が生成され得る。図１０で識別される３人の人物の頭部の例を用いると、満足な３Ｄモデルを生成するためにレスリーに係る３つの本質的に異なるビューが存在する。画像内の他の人物は、モデル形成のための何らかのデータを有するが、それはレスリーについてのデータほど正確ではない。抽出された特徴の幾つかは、複合モデル形成のためにそのようなものとして正確に映し出され、タグを付されうる。しかし、ジョンの人物プロファイル２３６は、このイベントと結合される先行イベントから複合３Ｄモデルを生成するために使用され得る先行画像を有する。
【００７４】
３次元表現は、その後の検索及び人物識別にとって有利である。かかる表現は、ナレーションする人物、ゲーム、及びアニメーションと関連するアバターに有用である。一連のかかる３次元モデルは、姿勢推定データ並びに明暗及び陰影ツールと関連して種々のビューから生成され得る。ＧＰＳシステムから導出されるカメラ角度は、一貫した明暗を可能にすることができ、３Ｄモデルを改善する。人が外にいる場合は、明暗は、カメラが太陽光に対して同じ方向に向けられている場合に同じでありうる。更に、背景が人物の幾つかのビューについて同じである場合は、イベントマネージャ３６で確立されるように、同じ明暗が推測され得る。その上、短期間に人物の多くのビューから３Ｄモデルをコンパイルすることが望ましい。かかる複数のビューは、人物の幾つかの異なる前面に基づく置換可能な表現により３Ｄモデルに一体化され得る。
【００７５】
３Ｄモデルは、十分な分解能を提供することができるほど十分に大きい頭部サイズと結合される画像の数とともに増大する精度を有して、１又は複数の画像から生成され得る。本発明は、メッシュポリゴンのアレイ又はベースライン・パラメトリック若しくは汎用の頭部モデルを用いる既知の方法を使用する。テクスチャマップ又は頭部特徴画像部分は、モデルを発生させるよう生成面に適用される
更に、複合画像ファイルは、イベントからの少なくとも１つのメタデータ要素と結合される特定の人物の識別と関連付けて記憶され得る。これは、写真群におけるイベントに亘って一連の複合モデルを可能にする。かかる複合モデルは、特定の人物の外観を年齢、髪型又は衣服によってグループ分けするのに有用である。画像群に相当の時間の空白がある場合は、同じ姿勢角度を有する画像部分はその時間の空白を埋めるようモーフィングされ得る。後に、これは、時間の空白からの写真の付加において人物の識別を支援することができる。
【００７６】
ステップ２１９で、ステップ２１８で生成されるサブイベント画像セットは画像／データメモリ３３０に格納され得る。かかるサブイベント画像セットは、図１のディスプレイ３３２に選択された画像を表示するようユーザによってアクセスされ、又は画像を印刷するプリンタを有しうる全般制御ブロック３７５へ供給され得る。
【００７７】
図１２を参照すると、画像をイベント画像セットに分ける方法に係るフローチャートが示されている。図１のシステムが、図１２のフローチャートを実施するために使用されてよい。
【００７８】
ステップ２２４は、一群の画像を取得するステップである。かかる画像は、図１の画像／データメモリ３３０に格納され得る。ステップ２２６は、２又はそれ以上の画像で１又はそれ以上の特定の人物及びその特定の人物に関連する一意の装飾を識別するステップである。これは、前述のステップ２１０及び２１２を用いて達成される。ステップ２２８は、識別される画像において一貫して一意の装飾を具える特定の人物の数に比例して、夫々の識別される画像へイベント画像セット割当の尤度スコアを割り当てるステップである。尤度スコアは、顔の区別及び装飾を用いてイベント画像セット生成アルゴリズムの有効性を決定する幾つかの変数を組み込みながら適用され得る。変数１は、１人の人物を他の人物と区別する能力である。複合モデルの使用は、多くの異なる姿勢角度で人物を検出するよう性能を改善する。変数２は、画像ごとに装飾の同一性を決定する能力である。スケール不変特徴アルゴリズムは、衣服パターン同一性決定のための一実施形態である。変数３は、イベント相関に最も適する装飾の検討である。眼鏡からサングラスへの移行は、良好なイベント境界インジケータではない。他の不適切な境界インジケータは、例えば帽子やジャケットのような、容易に着脱され、又は多くの場合で繰り返し身に着けられる装飾の存在である。変数４は、画像内で識別される人物の数である。特定の人物が、その特定の人物によって等しく好まれており、等しい回数だけ着用される１０着の異なるシャツを有する場合に、その人物は１０回に１回は同じシャツを着る。これは、単に、イベント画像セット生成にとって低尤度インジケータである。しかし、幾つかの写真の夫々に写る５人の人が一貫して一意の装飾を有する場合は、尤度スコアは極めて高く、かかる画像は同じイベントから得られたものである。このようにして、各画像について、一貫した衣服を着用している識別される人々の数が多いほど、尤度スコアは比例して増大する。他の実施形態で、ステップ２３０は、尤度スコアを変更するようステップ２２８と関連して、Ｌｏｕｉ及びＤａｓによる参照文献で記載されるように、画像に背景情報を組み込む。レスリーが、識別可能な背景特性を有して他の３人の人々とともに画像内で赤いシャツを着ている場合は、赤いシャツを着ており且つ同じ識別可能な背景特性を有するレスリーのみの画像は、イベントへの正確な割り当てに係るより高い尤度スコアを有しうる。更に、何人かの人々がユニフォームを着用していることは、多くのビューで正確な識別を決定することを困難としうるが、幾つかの画像での多くの同一のユニフォームの存在は良好なイベント画像セット識別である。これは、サッカーの試合や、野球の試合であってよい。かかる画像がセットに分けられると、画像のグループ分けには１よりも多くのイベントが存在することは明らかである。何人かの人々についてのふた組のユニフォームの識別は、対戦チームがいることを示す。また、装飾の色の２つの組についてのソートは、イベント画像セットの尤度スコアを高める。他の実施形態では、更なるソート技術が、尤度スコアを改善するために用いられ得る。これは、屋内対屋外の画像情報又は背景ヒストグラムを含みうる。チアリーダのグループが幾つかのイベントで存在することがあり、背景は改善された尤度スコアを生じうる。更に、更なる実施形態は、閾レベルに基づいてイベント画像セットを生成する（ステップ２３２）。ユーザは、イベントセット生成のためのユーザ個人の画像収集の経験に基づいて、閾レベルを変更することができる。ステップ２３３で、ステップ２３２で生成されるイベント画像セットは、画像データメモリ３３０に格納され得る。かかるセットは、図１のディスプレイ３３２に選択された画像を表示するようユーザによってアクセスされ、又は画像を印刷するプリンタを含みうる全般制御ブロック３７５へ供給され得る。
【符号の説明】
【００７９】
３６    イベントマネージャ
１０２  デジタル画像群
１０４  ラベラー
１０６  特徴抽出器
１０８  人物探知器
１１０  人物検出器
１１２  デジタル画像群サブセット
１１４  データベース
１３０  区分化及び抽出部
２３４  複合モデル
２３６  人物プロファイル
２３８  関連特徴検出器
２４０  局所的特徴検出器
２４２  大域的特徴検出器
２４４  人物分類器
２４６  大域的特徴
２５０  対話式人物識別部
２５２  人物抽出器
２５４  人物画像分割部
２５６  人物識別部
２５８  関連特徴分割部
２６０  姿勢推定器
２６２  ３Ｄモデル生成器
２６４  イベントテーブル
２７０  顔検出器
２７２  キャプチャ時間アナライザ
３０１  デジタルカメラ付き携帯電話
３０３  フラッシュ
３０５  レンズ
３１１  ＣＭＯＳ画像センサ
３１２  タイミング発生器
３１４  画像センサアレイ
３１６  Ａ／Ｄ変換器回路
３１８  ＤＲＡＭバッファメモリ
３２０  デジタルプロセッサ
３２２  ＲＡＭメモリ
３２４  実時間クロック
３２５  場所決定部
３２８  ファームウェアメモリ
３３０  画像／データメモリ
３３２  カラーディスプレイ
３３４  ユーザ制御
３４０  音声コーデック
３４２  マイクロフォン
３４４  スピーカ
３５０  無線モデム
３５２  ＲＦチャネル
３５８  携帯電話ネットワーク
３６２  ドック・インターフェース
３６４  ドック／充電器
３７０  インターネット
３７２  サービスプロバイダ
３７５  全般制御コンピュータ
【図１】
2011517791.tif 000003
【図２】
2011517791.tif 000004
【図３】
2011517791.tif 000005
【図４】
2011517791.tif 000006
【図５】
2011517791.tif 000007
【図６】
2011517791.tif 000008
【図７】
2011517791.tif 000009
【図８】
2011517791.tif 000010
【図９】
2011517791.tif 000011
【図１０】
2011517791.tif 000012
【図１１】
2011517791.tif 000013
【図１２】
2011517791.tif 000014
【国際調査報告】
2011517791.tif 000015
2011517791.tif 000016