(57)【要約】デジタルイメージのコレクションのためにカスタマイズされたフォトアルバムページを生成する方法が、（ａ）複数のデジタルイメージを獲得するステップと、（ｂ）前記イメージを、イベントによるグループ化及び前記イメージ内に存在する人物たちによるグループ化の少なくとも一つに基づいて、一つ又はそれ以上のイメージセットに自動的にグループ化するステップと、（ｃ）各イメージセット内の前記イメージをイメージコンテンツにしたがって自動的にプロファイリングし、それによって特定のイメージセットを一つ又はそれ以上のデザインテーマに関係付けるステップと、（ｄ）カスタマイズされたフォトアルバムページを生成するために使用され得るデザイン要素のデータベースを提供するステップと、（ｅ）前記プロファイリングステップによって生成された前記デザインテーマを利用して、前記デザイン要素のデータベースから一つ又はそれ以上のデザイン要素を自動的に示唆するステップと、（ｆ）前記示唆されたデザイン要素の一つ又はそれ以上をページレイアウトに適用することによって、各イメージセットに対するカスタマイズされたフォトアルバムページレイアウトを自動的に生成するステップと、を包含する。
2006510113.tif 000002
【特許請求の範囲】
【請求項１】
デジタルイメージのコレクションのためにカスタマイズされたフォトアルバムページを生成する方法であって、
複数のデジタルイメージを獲得するステップと、
前記イメージを、イベントによるグループ化及び前記イメージ内に存在する人物たちによるグループ化の少なくとも一つに基づいて、一つ又はそれ以上のイメージセットに自動的にグループ化するステップと、
各イメージセット内の前記イメージをイメージコンテンツにしたがって自動的にプロファイリングし、それによって特定のイメージセットを一つ又はそれ以上のデザインテーマに関係付けるステップと、
カスタマイズされたフォトアルバムページを生成するために使用され得るデザイン要素のデータベースを提供するステップと、
前記プロファイリングステップによって生成された前記デザインテーマを利用して、前記デザイン要素のデータベースから一つ又はそれ以上のデザイン要素を自動的に示唆するステップと、
前記示唆されたデザイン要素の一つ又はそれ以上をページレイアウトに適用することによって、各イメージセットに対するカスタマイズされたフォトアルバムページレイアウトを自動的に生成するステップと、
を包含する、方法。
【請求項２】
前記イメージを自動的にプロファイリングするステップが、前記イメージ内に存在する前記人物たちの記述に強調を置いたプロファイリングを行うステップを含む、請求項1に記載の方法。
【請求項３】
前記イメージをプロファイリングするステップが、前記イメージ内に存在する前記人物たちの年齢及び性別の少なくとも一つの記述に強調を置いたプロファイリングを行うステップを含む、請求項２に記載の方法。
【請求項４】
前記イメージをプロファイリングするステップが、前記イメージ内に存在する前記人物たちの顔の特徴に強調を置いたプロファイリングを行うステップを含む、請求項1に記載の方法。
【請求項５】
前記イメージをプロファイリングするステップが、前記イメージ内の前記人物たちの顔の数及びサイズに関連したものとしてイメージのタイプに強調を置いたプロファイリングを行うステップを含む、請求項４に記載の方法。
【請求項６】
前記イメージのタイプが、前記イメージの人物たちの顔の数及びサイズを、個々のポートレート、グループのポートレート、大きなグループの写真、スナップショット写真、及び顔のない写真に関連付ける、請求項５に記載の方法。
【請求項７】
前記イメージをプロファイリングするステップが、前記イメージ内の色分布に強調を置いたプロファイリングを行うステップを含む、請求項1に記載の方法。
【請求項８】
前記示唆されたデザイン要素が、カスタマイズされたフォトアルバムページレイアウトがそこから生成され得る複数のデザインの選択肢として、最初にユーザに提示される、請求項１に記載の方法。
【請求項９】
前記ユーザが、カスタマイズされたアルバムページレイアウトを各イメージセットのために自動的に生成するステップにて使用される前記示唆されたデザイン要素の前記一つ又はそれ以上を選択する、請求項８に記載の方法。
【請求項１０】
カスタマイズされたフォトアルバムページ及びプリントを生成する方法であって、
複数のデジタル静止イメージを評価するステップと、
前記複数のデジタルイメージの中の人間の顔のイメージを検出するステップと、
前記検出された顔のイメージを、年齢グループによって及び性別グループによって分類し、それによって各イメージに関連した分類された顔を提供するステップと、
各イメージ内の前記分類された顔に基づいて、各イメージを顔に基づくフォトプロファイルに割り当てるステップと、
前記顔に基づくフォトプロファイルを使用して適切なデザイン選択肢を示唆するステップと、
前記示唆された適切なデザイン選択肢を利用して、前記イメージをカスタマイズされたアルバムページにレイアウトするステップと、
を包含する、方法。
【請求項１１】
前記カスタマイズされたアルバムページをプリントするステップをさらに含む、請求項１０に記載の方法。
【請求項１２】
複数のデジタル静止イメージの評価が、同じイベント及び同じ人物の少なくとも一つを描くグループの評価に基づいている、請求項１０に記載の方法。
【請求項１３】
前記複数のデジタルイメージ内の人間の顔のイメージを検出する前記ステップが、顔検出器によって実行される、請求項１０に記載の方法。
【請求項１４】
前記年齢グループ及び性別分類が、エイダブースト（AdaBoost）アルゴリズムの使用によって結合された二値分類器によって実行される、請求項１０に記載の方法。
【請求項１５】
前記二値分類器への入力特徴が、アクティブ形状モデルによってローカル・テクスチュア・マッチングに基づいて生成されたポイントからの顔面測定値を計算することによって得られる、請求項１４に記載の方法。
【請求項１６】
前記イメージをアルバムページにレイアウトする前に、強調スコアが各イメージに割り当てられる、請求項１０に記載の方法。
【請求項１７】
前記フォトプロファイルが、前記イメージ内の人物たちの存在を強調したイメージのタイプ、存在する任意の人物たちの年齢及び性別、及び前記イメージ内の色分布の少なくとも一つを含む、請求項１０に記載の方法。
【請求項１８】
前記イメージタイプが前記イメージ内に存在する顔の数及びサイズに基づいている、請求項１７に記載の方法。
【請求項１９】
カスタマイズされたフォトアルバムページを生成する方法であって、
複数のデジタル静止イメージを評価するステップと、
前記複数の静止イメージの中の一つ又はそれ以上のイベントを検出するステップと、
検出された各イベントに対して、そのイベントに属する前記複数のデジタルイメージ内の人間の顔のイメージを検出するステップと、
前記検出された顔を、各グループが独特な個人を描くように、顔の類似性を使用してグループ化するステップと、
前記検出された顔を年齢グループによって及び性別によって分類するステップと、
各イメージ内の前記分類された顔に基づいて、各イメージを顔に基づくフォトプロファイルに割り当てるステップと、
得られた前記顔に基づくプロファイルを使用して、適切なデザイン選択肢を示唆するステップと、
前記イメージをアルバムページにレイアウトするステップと、
前記カスタマイズされたアルバムページをプリントするステップと、
を包含する、方法。
【請求項２０】
前記複数のデジタルイメージ内の人間の顔のイメージを検出するステップが、顔検出器によって実行される、請求項１９に記載の方法。
【請求項２１】
前記年齢グループ及び性別の分類が、エイダブースト（AdaBoost）アルゴリズムによって結合された二値分類器によって実行される、請求項１９に記載の方法。
【請求項２２】
前記二値分類器への入力特徴が、アクティブ形状モデルによってローカル・テクスチュア・マッチングに基づいて生成されたポイントからの顔面測定値を計算することによって得られる、請求項２１に記載の方法。
【請求項２３】
前記イメージをアルバムページにレイアウトする前に、強調スコアが各イメージに割り当てられる、請求項１９に記載の方法。
【請求項２４】
イベントを検出する前記ステップが、イメージの日付／時刻及びイメージのコンテンツ情報の少なくとも一つに基づくイベント・クラスタリング・アルゴリズムを使用して達成される、請求項１９に記載の方法。
【請求項２５】
前記フォトプロファイルが、前記イメージ内の人物たちの存在を強調したイメージのタイプ、存在する任意の人物たちの年齢及び性別、及び前記イメージ内の色分布の少なくとも一つを含む、請求項１９に記載の方法。
【請求項２６】
前記イメージタイプが前記イメージ内に存在する顔の数及びサイズに基づいている、請求項１９に記載の方法。
【請求項２７】
カスタマイズされたフォトアルバムページ及びプリントを生成する方法であって、
複数のデジタル静止イメージを評価するステップと、
前記複数のデジタルイメージの中の人間の顔のイメージを検出するステップと、
前記検出された顔を、各グループが独特な個人を描くように、顔の類似性を使用してグループ化するステップと、
前記検出された顔を年齢グループによって及び性別によって分類するステップと、
分類された顔の各グループに対して、各グループ内の一つ又はそれ以上のイベントを検出するステップと、
各イメージ内の前記分類された顔に基づいて、各イメージを顔に基づくフォトプロファイルに割り当てるステップと、
得られた前記顔に基づくプロファイルを使用して、適切なデザイン選択肢を示唆するステップと、
前記イメージをアルバムページにレイアウトするステップと、
前記カスタマイズされたアルバムページをプリントするステップと、
を包含する、方法。
【請求項２８】
前記複数のデジタルイメージ内の人間の顔のイメージの位置決めが、顔検出器によって実行される、請求項２７に記載の方法
【請求項２９】
前記年齢グループ及び性別分類が、エイダブースト（AdaBoost）アルゴリズムによって結合された二値分類器によって実行される、請求項２７に記載の方法。
【請求項３０】
前記二値分類器への入力特徴が、アクティブ形状モデルによってローカル・テクスチュア・マッチングに基づいて生成されたポイントからの顔面測定値を計算することによって得られる、請求項２９に記載の方法。
【請求項３１】
前記イメージをアルバムページにレイアウトする前に、強調スコアが各イメージに割り当てられる、請求項２７に記載の方法。
【請求項３２】
イベント検出が、イメージの日付／時刻及びイメージのコンテンツ情報の少なくとも一つに基づくイベント・クラスタリング・アルゴリズムを使用して達成される、請求項２７に記載の方法。
【請求項３３】
前記フォトプロファイルが、前記イメージ内の人物たちの存在を強調したイメージのタイプ、存在する任意の人物たちの年齢及び性別、及び前記イメージ内の色分布の少なくとも一つを含む、請求項２７に記載の方法。
【請求項３４】
前記イメージタイプが前記イメージ内に存在する顔の数及びサイズに基づいている、請求項３３に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般的にデジタルイメージ処理の分野に関しており、特に、イメージのコンテンツ及びイメージ内に存在するデモグラフィックスに基づいてアルバムページ及びカスタマイズされたプリントのための適切なデザインを示唆する方法に関している。
【背景技術】
【０００２】
デジタルイメージング技術の進展とともに、フォトグリーティングカード、フレーム付きプリント及びアルバムのようなカスタマイズされた製品を消費者が安価に生成することが可能になってきている。オリジナルのイメージが伝統的な紙プリントとしてのみ利用可能であっても、フォトキオスクを使用してイメージをスキャンし、それを新しいプリント製品の中でクリエーティブに使用することができる。
【０００３】
家庭のプリンタでの印刷のために使用されるカスタムプリントサービスを提供する、商業的に利用可能な多くのソフトウエア製品がある。フォトキオスクは、キオスク自身でのプリントのために、同様のサービスを提供する。典型的には、これらの製品は、プリントの背景として及び／あるいは境界の周囲における使用のために、可能な色及びデザインの非常に広い選択を提供する。大半の製品はまた、イメージの上又は周囲へのテキストの付加を許容し、この目的のために利用可能なフォント、サイズ、及び色の数多くの選択肢が存在する。ユーザは、使用されるべき一つのイメージ又はイメージのセットを選択する。カスタムプリントソフトウエアの例は、マイクロソフト社のPicture It、アークソフト社のPhotoPrinter、ならびにPrintSix、PhotoElf、及びImageBuddyのようなその他のものを含む。
【０００４】
アルバム作成ソフトウエア製品は、背景及び境界に加えて、ページレイアウト及びテーマ付き装飾のための様々なテンプレートを提供する。あるアルバム作成ソフトウエアは、デジタルアルバム（ソフトコピー）の各アルバムページと共に含まれる音楽又はオーディオの選択肢を提供し、見る人のためのマルチメディアプレゼンテーションを作成する。アルバム作成ソフトウエアのいくつかの例は、ドッグバイト社のCreative Photo Album、フリップ・アルバム・ドットコム社のFlipAlbum、ゼクート社のDiji album、及びまたマイクロソフト社のPicture Itを含む。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
典型的な状況においては、消費者は、アルバム作成又はカスタマイズされたプリントの生成のような作業に多くの時間を費やす必要があり、その時間の大半は、消費者のイメージコレクションから適切なイメージセットを検索し、視覚的に満足のいく組み合わせが見つかるまで様々なオプション及びそれらの組み合わせを試すことに費やされる。このアプリケーション領域のソフトウエア製品は、選択対象の各選択肢に対して典型的には数百の（ある場合には数千の）オプションを提供するので、消費者が彼らのイメージ（単数又は複数）の効果的なプレゼンテーションを容易に且つ迅速に生成することが、ますます困難になっている。消費者は、全ての可能性のある組み合わせを探索し、かれらの基準を全て満たさないものに落ち着くことにうんざりすることがあり、不満足の原因となる。
【０００６】
２００２年５月１４日に発行された米国特許第６，３８９，１８１号において、シェーファーらは、イメージ認知技法を利用することによってフォトコラージュを自動的に生成する方法を論じている。しかし、レイアウト及びページデザインを選択する彼らの方法は、消費者の色の好み、レイアウトの好み、及びデザインの考慮を含む消費者のプロファイルの利用可能性に基づいている。イメージのコンテンツは、このプロセスでは用いられていない。サンプルの顔及び消費者の家族の全メンバの識別が消費者のプロファイルにおいて利用可能であるとするならば、顔の認知がイメージのグループ化のために使用される。このような包括的な消費者プロファイルが利用可能であるようなシナリオは、実用的には達成が難しい。
【０００７】
２００２年１月３日に公開された国際特許出願第ＷＯ０２／０１５３７Ａ２号において、コーエン−ソラールらは、本発明におけるように、ディスプレイスクリーンのコンテンツを適合させるために、デモグラフィック情報及び人物たちの数を使用している。ここで、これらの特徴は供給されたライブビデオから推定されて、視聴に最も関連しているオーディオ・ビジュアルプレゼンテーションにマッピングされ、現在の観衆に与えられる。マッピングは、特定のグループの興味を満たすようにカスタマイズされる。例えば、主に男性の観衆はスポーツのハイライトを好むことがあり、あるいは、頻繁に移動する観衆は短いプレゼンテーションを必要とし得る。同様の自動的なカスタマイズは有用であるが、アルバム生成プロセスに対しては、現在のところは利用できない。
【０００８】
したがって、消費者に、彼らが所与の作業（アルバム作成、カスタムプリンティング、など）を迅速に且つ首尾よく達成することを援助するような、より少ないが上手に作られた選択肢を提供する必要性が存在する。示唆される選択肢は、ディスプレイされるイメージコンテンツに対して適切でなければならず、個々の要素の間の全ての相互作用を考慮に入れた完全な解決策を提供する。例えば、背景の色は、選択された境界とともにうまく作用すべきである。このプロセスは、消費者が望むならばその示唆が更なる探索のための出発点を提供できるように、消費者の選択肢を制限しない。
【課題を解決するための手段】
【０００９】
本発明は、上述の問題の一つ又はそれ以上を克服することを目的としている。簡潔に要約すると、本発明の一つの局面にしたがって、本発明は、デジタルイメージのコレクションのためにカスタマイズされたフォトアルバムページを生成する方法に存在しており、この方法は、（ａ）複数のデジタルイメージを獲得するステップと、（ｂ）前記イメージを、イベントによるグループ化及び前記イメージ内に存在する人物たちによるグループ化の少なくとも一つに基づいて、一つ又はそれ以上のイメージセットに自動的にグループ化するステップと、（ｃ）各イメージセット内の前記イメージをイメージコンテンツにしたがって自動的にプロファイリングし、それによって特定のイメージセットを一つ又はそれ以上のデザインテーマに関係付けるステップと、（ｄ）カスタマイズされたフォトアルバムページを生成するために使用され得るデザイン要素のデータベースを提供するステップと、（ｅ）前記プロファイリングステップによって生成された前記デザインテーマを利用して、前記デザイン要素のデータベースから一つ又はそれ以上のデザイン要素を自動的に示唆するステップと、（ｆ）前記示唆されたデザイン要素の一つ又はそれ以上をページレイアウトに適用することによって、各イメージセットに対するカスタマイズされたフォトアルバムページレイアウトを自動的に生成するステップと、を包含する。
【００１０】
アルバム作成／カスタムプリントのためのイメージセットのマニュアルでの選択は、大きなイメージコレクションのブラウジングを伴う時間のかかるプロセスである。その効果の一つによれば、本発明は、アルバム作成作業のための結合性ユニットを形成するイメージセットを見出すという問題に対して、自動化された解決策を提供する。ユーザは、イメージセットを、イベントによって、あるいはイメージ内に存在する人物たちによって、あるいはその２つの方法の組み合わせによって、例えば特定のイベントの間に撮影された特定の人物のイメージというように、選択することができる。
【００１１】
消費者によって彼らのイメージ（単数又は複数）のディスプレイのために選択されるテーマのタイプがイメージ内に現れる人物たちの性別及び年齢に密接に関連しているということは、よく知られた観察である。例えば、赤ちゃんの写真は、おもちゃのような、テーマに沿って構成された装飾とともにディスプレイされる。少女のポートレートは、ピンクのような色ならびに花柄模様とともにディスプレイされ得る。大人の男女はカップルのモデルに適合することがあり、消費者はカップルに適したテーマを捜すことがある。同様に、（風景のような）人物たちがいないシーンは、そのシーンの色の成分を補う色でディスプレイされる必要があるかもしれない。
【００１２】
その効果の他のものによれば、本発明は、デモグラフィックス、イメージのタイプ（ポートレート、大きなグループ、など）、及びイメージの色のコンテンツを、示唆されたディスプレイ要素のグループの選択のための基礎として使用する。示唆されるオプションは、デザイン及び文化的な好みにおける現在の傾向を考慮に入れたイメージの特性とディスプレイ要素グループとの間のカスタムデザインされたマッピングに基づいている。ひとたび生成されると、このマッピングは、異なるタイプの状況に対する適切なフォトデコレーションオプションを作成し、キオスク又は家庭におけるフォト製品の生成プロセスを、より楽しく且つ時間がかからないものにする。
【００１３】
本発明のこれら及びその他の局面、目的、特徴、及び効果は、好適な実施形態の以下の詳細な記述及び添付の特許請求項のレビューから、ならびに添付の図面の参照によって、より明確に理解され且つ認識される。
【発明を実施するための最良の形態】
【００１４】
アルバム作成ソフトウエアを使用するイメージ処理システムは良く知られているので、本願明細書は、本発明に従った方法の一部を形成する、あるいはそれとより直接的に協働する属性に、特に向けられている。ここで具体的に示されたり述べられたりしていないこの方法の属性は、従来技術で知られているものの中から選択され得る。以下の記載では、本発明の好適な実施形態が通常はソフトウエアプログラムとして具現化されるが、当業者は、そのようなソフトウエアの等価物がハードウエアにおいても構成され得ることを、容易に認識するであろう。以下の材料において本発明に従って記載された方法が与えられると、本発明の具現化に有用であるがここで特に示されたり示唆されたり又は述べられていないソフトウエアは従来のものであり、そのような技術における通常のスキルの範囲内にある。本発明がコンピュータプログラムとして具現化されるならば、そのプログラムは、従来のコンピュータ読み取り可能ストレジ媒体にて記憶され得る。この媒体は、例えば、（フロッピー（登録商標）ディスク又はハードディスクのような）磁気ディスク又は磁気テープのような磁気ストレジ媒体、光ディスク、光テープ、又はマシン読み取り可能なバーコードのような光学ストレジ媒体、ランダムアクセスメモリ（ＲＡＭ）またはリードオンリーメモリ（ＲＯＭ）のような固体電子ストレジデバイス、あるいは、コンピュータプログラムを記憶するために使用される任意の他の物理的デバイス又は媒体を備え得る。
【００１５】
本発明は、消費者に、フォト製品にて使用される写真（単数又は複数）のタイプ（単数又は複数）に適したディスプレイ要素に対する選択肢の示唆されるセットを提供する。イメージセットは、イベントによる又は人物たちによる、あるいはこれら２つの組み合わせによるグループ化に基づいて選択されることができる。ディスプレイ要素は、イメージの背景、境界、フレーム、レイアウト、（デジタルアルバムのための）バックグラウンドミュージック、及びシステムによって提供される任意の他のディスプレイオプションからなっている。様々なディスプレイ要素の選択は、イメージのコンテンツに基づいており、イメージ内に存在する人物たちの記述が強調されている。人物たちがイメージの中に存在しているかどうか、及びそれらについてのデモグラフィック情報（性別及び年齢）を決定するために、自動イメージ処理アルゴリズムが使用される。本発明は、アルバム作成作業のための結合性ユニットを形成するイメージセットを見出すという問題に対する自動的解決策を提供する。ユーザは、イメージセットを、イベントによって、又はイメージ内の人物たちによって、あるいはこれら２つの方法の組み合わせによって、例えば特定のイベントの間に撮影した特定の人物のイメージによって、選択することができる。
【００１６】
図１を参照すると、消費者のデジタルイメージコレクション又はそのサブセット１０が、イベント１２によって、及びイメージ１４内に存在する人物たちによって、グループ化される。消費者は、グループ化のためにいずれかの基準−イベント又は人物たち−を、あるいは両方を、任意の順序で作業の意味に基づいて選び得る。例えば、赤ちゃんの最初の年のイベントのアルバムを作るために、ユーザは、最初にイメージを人物たちによってグループ化し、それから赤ちゃんを描くグループを選んだ後にイベントによってグループ化してもよい。あるいは、友人とバケーションの経験を共有するためのアルバムを作成するために、ユーザは、最初にイベント（バケーション）によってグループ化し、それから（ユーザを含むイメージを見出すために）人物たちによってグループ化してもよい。イベント１２によるグループ化は、ルイ及びパビーに対して２００２年２月２６日に発行された「イベントへの分類のためのイメージのコンテンツを自動的に比較する方法」という名称の米国特許第６，３５１，５５６号に記述されている方法を使用して達成され、イメージ１４内に存在する人物たちの特定によるグループ化は、チェンらの名前で２００２年５月１０日に出願された「人間の顔を含むイメージを組織化及び検索する方法及び装置」という名称の米国特許出願第１０／１４３，２７２号に記述されている顔面の類似性によるクラスター化の方法を使用する。これらは両方とも、参照によってここに援用される。
【００１７】
ユーザはそれから、アルバムに含めるイメージのグループ（単数又は複数）１６を選ぶことができる。グループ化アルゴリズムはまた、各イメージに、グループ内の他のイメージに対する強調スコアも提供する。人物たちによるグループ化では、強調スコアは各々の検索されたイメージに割り当てられ、イメージのうちで特定の人物たちの顔により覆われた部分によって与えられる。イベントに基づくグループ化では、このスコアはイメージの質（シャープさ、コントラスト、など）及び成分に基づいている。強調スコアは、２０００年１２月２９日付けで出願されたギーゲル及びルイによる「デジタルアルバム内のイメージの自動レイアウトのためのシステム及び方法」という名称の米国特許出願第０９／７５０，８５８号に記述されているように、レイアウトエンジン１８によって使用されてページレイアウトを生成する。上記の出願は、参照によってここに援用される。デザインエンジン２０はそれから、図２に関連して記述される方法を使用して、生成されたフォトプロファイルに基づいて、デザイン要素２２のデータベースから選択されたイメージセットに対して適切なデザインを示唆するために使用される。アルバムページ（単数又は複数）２４は、選択されたレイアウト及びデザインの選択肢を使って生成される。
【００１８】
図２を参照すると、この図は図１のデザインエンジン２０を示しており、人間の顔が、カスタマイズされたプリント又はアルバムページを生成するためにユーザによって選択されたデジタルイメージ（単数又は複数）の中に位置１１０している。この目的のために使用されることができる多くの既知の顔検出アルゴリズムが存在する。好適な実施形態では、ニクポンスキによって２００２年１月９日付けで出願された「テーマ化イメージングサービスのためにイメージを処理する方法及びシステム」という名称の、共通して譲渡された米国特許出願第１０／０４２，６０５号に記述されている顔検出器が使用される。この出願は、参照によってここに援用される。顔検出器は、顔のイメージ及び顔ではないイメージの例によってトレーニングされたベイズ分類器に基づいている。顔検出器は、イメージ（単数又は複数）内で見出される顔の位置及びサイズを出力する。検出された顔の数及びサイズに基づいて、イメージがイメージタイプ−例えば、ポートレート（またはクローズアップ）、グループポートレート、スナップショット、大きなグループ、又は顔ではないもの、に割り当てられる。検出された各々の顔は、赤ちゃん、子供、大人、又はシニアとして分類１１４される。顔を年齢カテゴリーに割り当てる方法は、１９９８年７月１４日付けで発行されたロボによる「デジタルイメージ内の人間の顔の自動特徴検出及び年齢分類」という名称の米国特許第５，７８１，６５０号に記述されており、この特許の内容は参照によってここに援用される。その方法は、骨構造の成長のために年齢と共に変わることが知られている顔面測定結果の比を使う。大人の顔は、さらに男性又は女性に分類１１６される。IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.24, no.5, pp.707-711, May 2002におけるＢ.モガダム及びＭ.−Ｈ.ヤングによる「サポートの顔で性別を知る」に記述されている性別分類方法が、この目的のために使用されることができる。この文献は、参照によってここに援用される。しかし、この方法は、（この場合のように）眼の位置が正確に知られていない整列していない顔については、正確ではない（約７０％という正しい分類率が観察される）。好適な実施形態では、性別の分類は図３に示されるステップを伴う。
【００１９】
概略の目の位置が顔検出器から得られて１２０、顔面特徴の発見のための開始顔位置を初期化するために使用される。８２個の顔面特徴点が、Proceedings of IS&T PICS conference 2002のボリン及びチェンによる「ポートレートイメージのための自動顔面特徴発見システム」に記述された、アクティブ形状モデルに基づく方法を使用して検出１２１される。この文献は、参照によってここに援用される。彼らの方法は、ローカル・テクスチュア・マッチングを使用して特徴点を位置決めし、その後にトレーニングの例から学んだグローバル形状制約を適用する。図４は、顔の上の特徴点の位置を示している。
【００２０】
男性と女性との間で統計的に異なることが知られているいくつかの顔の測定値（ファルカス編「頭及び顔の人間測定学」第２版、レーバン・プレス、ニューヨーク、１９９４年、ならびにバートン、ブルース、及びデンチ「男と女との間の違いは何か？顔面測定からの証拠」、Perception, vol.22, pp.153-176, 1993を参照のこと）が計算１２２される。図５は使用される特徴をリストしている。ここで、Ｐｎは、図４からの顔面の点の番号ｎを示している。特徴は、顔の生のサイズにおける相違の効果を除去するために、両目の間の距離によって規格化されている。対照的な特徴に関しては、顔の左側及び右側からの測定値が平均されて、よりロバストな測定値を作り出している。
【００２１】
本発明によれば、性別の決定の手がかりとして、顔の上または周囲の特定の位置に髪があるかないかを使うことによって、付加的な性能の改良が得られる。これらの特徴は、髪が存在し得るパッチと典型的に髪がないほほの上の参照パッチとの間のグレースケール・ヒストグラムにおける差異として組み込まれる１２４。パッチのための拘束ボックスが、図６Ａに示されるように特徴点に基づいて自動的に計算され、関連するヒストグラムの相違に基づく特徴が、図６Ｂに示すように計算される。
【００２２】
二値分類器は、２２個の単一の特徴（図５及び図６にリストされている）を別個に使うことによって構成１２６される。標準的な文献（Ｒ.Ｏ.デューダ、Ｐ.E.ハート、及びD.G.ストーク著「パターン分類」ジョン・ワイリー・アンド・サンズ社、２００１年）に記載された単純ベイズ分類器は、例示的な男性及び女性の顔の大きなセットについてトレーニングされて、単一の特徴に基づいた二値分類器を作り出す。これらの二値分類器の各々の分類の正確さは、５５から７５％の範囲であった。
【００２３】
二値分類器がエイダブースト（AdaBoost）アルゴリズムを使用して組み合わされて、改良された最終分類器を構成１２８した。AdaBoostは、（上述の単一特徴二値分類器のような）弱い分類器の出力を組み合わせることによって分類器の正確さをブーストさせるために、よく知られたアルゴリズムである。弱い分類器の出力の重み付けされた合計が、トレーニングされた例から自動的に計算された閾値と比較される。この方法の説明及びアプリケーションは、International Conference on Computer Vision and Pattern Recognition, 2001におけるP.ビオラ及びM.ジョーンズによる「単純な特徴のブーストされたカスケードを使用した高速なオブジェクト検出」にて利用可能であり、この文献は参照によってここに援用されている。AdaBoostを使用して得られる最終分類器の分類精度は、整列していない顔で９０％であった。
【００２４】
再び図２を参照すると、及び上記で計算された情報に基づくと、各イメージがフォトプロファイルに割り当てられ１１８、これはイメージのタイプ、（もしいれば）イメージ内に存在する人物たちの年齢及び性別、及びイメージ内の色分布を含む。色分布は、National Bureau of Standards Circular (553), November 1, 1955においてＫ.Ｌ.ケリー及びＤ.Ｂ.ジャッドによる「色指定ＩＳＣＣ−ＮＢＳ法及び色名称事典」に規定されているように、主な色のカテゴリーの各々−赤、青、黄、緑、ピンク、紫、茶、オレンジ、オリーブ、白、黒、及びグレーにおけるピクセルの割合として記述される。
【００２５】
個人の間の関係が既知である家族のフォトコレクションからの多数の消費者イメージが分析されて、年齢及び性別を与える何らかの可能性のある関係が検出されるかどうかを判定する。これらの共通のシナリオが使用されて、そのシナリオに適したデザイン１１９をピックアップする。図７は、フォトプロファイルをデザインテーマにマッピングする表のいくつかの例を示す。各デザイングループは、デザイン及び文化的な好みにおける現在の傾向を反映するために、カスタムデザインされ且つ定期的にアップデートされる必要がある。デザイン要素の色、境界、及び背景は、イメージ内の色分布に基づいて選ばれる。各場合の色のスキームは、調和していても（イメージ内で優勢な色が選ばれる）、補完的であっても（イメージ内で優勢な色に対向する色が選ばれる）、又は中立であっても（優勢な色の未飽和バージョンが選ばれる）よい。作り出される製品がマルチメディアプレゼンテーションであるならば、ミュージック・クリップもまた、イメージ内の人物たちの性別及び年齢に基づいたデザインテーマの一部として示唆される。
【００２６】
プロセスの最後に、ユーザは、制限された数（典型的には約５）の完全なデザインの選択肢を提示される。抽象的なもの及び中性なものが、全ての場合のオプションに含まれる。なぜなら、顔検出ステップならびに年齢／性別判定ステップにおける誤りがあり得るからである。図８は、赤ちゃんのポートレート写真のあるページ（左）及び女の子供たちのグループ写真のあるページ（右）に対して示唆されたデザイン要素の２つの例を示す。
【００２７】
本発明が、好適な実施形態に関して記述されてきた。しかし、変形及び改変が、当業者によって本発明の範囲から逸脱することなく行われることができることが、理解されるであろう。
【図面の簡単な説明】
【００２８】
【図１】本発明にて提案される自動援助アルバム作成のための全体システムのフローチャートである。
【図２】本発明においてディスプレイ要素を決定する方法のフローチャートである。
【図３】本発明に従った性別分類方法のフローチャートである。
【図４】人間の顔の上の顔面特徴点の位置の描写である。
【図５】本発明における性別の分類のために使用される測定値に基づいた特徴の表である。
【図６Ａ】イメージパッチのセットを識別する拘束ボックスのセットを規定する図である。
【図６Ｂ】本発明における性別分類のために使用されるような、図６Ａにて識別されたパッチの間の相違に基づいたヒストグラム特徴の表である。
【図７】デザイングループに対するテーブルマッピングフォトプロファイル情報の例を示す図である。
【図８】提案されたシステムによって示唆されるデザイン要素の２つの例を示す図である。
【符号の説明】
【００２９】
１０  デジタルイメージコレクション、１２  イベントのグループ化、１４  人物たちのグループ化、１６  グループの選択、１８  レイアウトエンジン、２０  デザインエンジン、２２  デザイン要素のデータベース、２４  アルバムページ、１１０  顔の位置決めステップ、１１２  イメージタイプの割り当てステップ、１１４  年齢グループによる分類ステップ、１１６  性別による分類ステップ、１１８  フォトプロファイル作成ステップ、１２０  目の位置の獲得ステップ、１２１  特徴点の位置決めステップ、１２２  顔面測定値の計算ステップ、１２４  ヒストグラムに基づいた特徴の計算ステップ、１２６  二値分類器の計算ステップ、１２８  二値分類器の計算ステップ。
【図１】
2006510113.tif 000003
【図２】
2006510113.tif 000004
【図３】
2006510113.tif 000005
【図４】
2006510113.tif 000006
【図５】
2006510113.tif 000007
【図６Ａ】
2006510113.tif 000008
【図６Ｂ】
2006510113.tif 000009
【図７】
2006510113.tif 000010
【図８】
2006510113.tif 000011
【国際調査報告】
2006510113.tif 000012
2006510113.tif 000013
2006510113.tif 000014