(57)【要約】デジタル画像プロセッサが、入力されてくるデジタル画像を自動的に分析することにより、デジタル画像と関連付けられる１又は複数の消失点を決定する工程と、消失点の位置からコンポジショナルモデルを計算する工程と、コンポジショナルモデルに応じて、デジタル画像の美的品質の推定値である美的品質パラメータを生成する工程と、を実行することを特徴とするデジタル画像の美的品質の推定方法。
2013506198.tif 000002
【特許請求の範囲】
【請求項１】
デジタル画像プロセッサが、
ａ）入力されてくるデジタル画像を自動的に分析することにより、前記デジタル画像と関連付けられる１又は複数の消失点を決定する工程と、
ｂ）前記消失点の位置からコンポジショナルモデルを計算する工程と、
ｃ）前記コンポジショナルモデルに応じて、前記デジタル画像の美的品質の推定値である美的品質パラメータを生成する工程と、
を実行することを特徴とするデジタル画像の美的品質の推定方法。
【請求項２】
請求項１に記載のデジタル画像の美的品質の推定方法であって、
前記美的品質パラメータは、さらに、前記デジタル画像から計算される、顔位置、顔コントラスト、顔輝度、顔サイズ、彩度、色相数、色分布、鮮明さ、エッジ空間分布、主対象の位置、または主対象のサイズのうちの少なくとも１つに応じて生成されることを特徴とするデジタル画像の美的品質の推定方法。
【請求項３】
工程ｃ）は、
ｉ．トレーニングセット中の各デジタル画像に対し、真の美的品質値を確立することと、
ｉｉ．前記トレーニングセット中の前記デジタル画像を自動的に分析することにより、前記トレーニングセット中の各デジタル画像と関連する１つ以上の消失点（複数）を決定することと、
ｉｉｉ．１つ以上の消失点（複数）に応じて前記トレーニングセット中の各デジタル画像に対するコンポジショナルモデルを計算することと、
ｉｖ．前記トレーニングセットに対して決定された、前記真の美的品質値およびコンポジショナルモデルを使用して、分類器を訓練し、前記美的品質パラメータを前記コンポジショナルモデルの関数として予測することと、
ｖ．前記訓練された分類器を使用して、前記入力デジタル画像と関連する前記コンポジショナルモデルに応答する前記入力デジタル画像に対する前記美的品質パラメータを生成させることと、
を含む、請求項１に記載の方法。
【請求項４】
高い美的品質を有する画像に対する潜在的用途を示唆する工程をさらに含む、請求項１に記載の方法。
【請求項５】
前記潜在的用途は下記の１つ以上を含む、請求項４に記載の方法:特殊写真製品を製造するための印刷、共有、表示または使用。
【請求項６】
特定の写真家に対し１組の 入力デジタル画像を分析し、前記特定の写真家が彼/彼女のデジタル画像の美的品質を改善することができる方法を示唆する工程をさらに含む、請求項１に記載の方法。
【請求項７】
請求項１に記載のデジタル画像の美的品質の推定方法であって、
前記美的品質パラメータは、特定の写真家により撮られた１組のデジタル画像に対して決定され、
前記１組のデジタル画像を構成する各画像は、前記各画像に関連付けられた撮影時間情報を有し、
前記各画像の前記美的品質パラメータ及び対応する前記撮影時間情報を用い、高レベルな美的品質の画像の作成に関する前記特定の写真家の進展を示すことを特徴とするデジタル画像の美的品質の推定方法。
【請求項８】
前記写真家の進展の指示は、進展スコアである、請求項７に記載の方法。
【請求項９】
前記写真家の進展の指示は、画像を表示するグラフィカルユーザーインターフェースを介する前記美的品質の表示である、請求項７に記載の方法。
【請求項１０】
前記写真家の進展の指示は、時間に伴う美的品質のプロットである、請求項７に記載の方法。
【請求項１１】
美的品質パラメータは複数の写真家により撮られたデジタル画像セットに対して決定され、さらに、前記写真家の美的品質分布間の比較を提供する工程を含む、請求項１に記載の方法。
【請求項１２】
前記入力デジタル画像はデジタルカメラを用いて撮られ、さらに、前記デジタルカメラのユーザーインターフェース上に品質指標を表示することにより、前記入力デジタル画像の美的品質に関するフィードバックを前記写真家に提供する工程を含む、請求項１に記載の方法。
【請求項１３】
前記デジタル画像はビデオシーケンスのフレームである、請求項１に記載の方法。
【請求項１４】
前記デジタル画像はデジタル通信ネットワークを使用して提供される、請求項１に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はデジタル画像処理の分野に関し、より詳細には、メディアアセットの美的品質を自動的に決定することに関する。
【背景技術】
【０００２】
デジタルイメージングはユーザーが非常に多くの数の静止画像、ビデオ画像シーケンス、および１つ以上の画像と他のコンテンツを組み合わせたマルチメディア記録を収集する能力を大幅に増加させた。（静止画像、録音、ビデオシーケンス、およびマルチメディア記録は、本明細書では、集合的に「メディアアセット」という用語で示される）。非常に多くの数のメディアアセットがあると、組織化は困難になる。
【０００３】
ユーザーに予測される値のメトリックを示すメタデータを個々のメディアアセットに割り当てることにより、メディアアセットを組織化し、利用する際にユーザーを支援するための努力がなされてきた。例えば、ニューヨーク州ロチェスターのイーストマンコダック社（Ｅａｓｔｍａｎ  Ｋｏｄａｋ  Ｃｏｍｐａｎｙ）により市販される、Ｖ−５５０デジタルカメラは、「シェア（Ｓｈａｒｅ）」と標識されるユーザーコントロールを含み、これは、優先的印刷および電子メールのために個々の画像を指定するためにユーザーにより作動させることができる。このアプローチは有用であるが、メトリックがバイナリであることにより制限される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許第５，６９４，４８４号
【特許文献２】米国特許第６，６７１，４０５号
【特許文献３】米国特許出願公開第２００４／００７５７４３号
【特許文献４】米国特許第６，５１６，１５４号
【特許文献５】米国特許第６，９３０，７１８号
【特許文献６】米国特許出願公開第２００７／０２６３０９２号
【特許文献７】米国特許出願公開第２００８／０２８５８６０号
【特許文献８】米国特許第６，８１６，８４７号
【非特許文献】
【０００５】
【非特許文献１】「写真品質評価のための高レベル特徴の設計」と題する論文（コンピュータビジョンおよびパターン認識会議録、ｐｐ．４１９−４２６、２００６）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
コットレル（Ｃｏｔｔｒｅｌｌ）らへの、「画像データを自動的に処理し、最適知覚品質の画像を提供するためのシステムおよび方法（Ｓｙｓｔｅｍ  ａｎｄ  ｍｅｔｈｏｄ  ｆｏｒ  ａｕｔｏｍａｔｉｃａｌｌｙ  ｐｒｏｃｅｓｓｉｎｇ  ｉｍａｇｅ  ｄａｔａ  ｔｏ  ｐｒｏｖｉｄｅ  ｉｍａｇｅｓ  ｏｆ  ｏｐｔｉｍａｌ  ｐｅｒｃｅｐｔｕａｌ  ｑｕａｌｉｔｙ）」と題する米国特許第５，６９４，４８４号は、いくつかの画像処理モジュールを含むシステムならびに画像キャプチャ装置および対象とする画像出力装置についての情報を使用して、あるデジタル画像に対し画像品質を最適化する画像処理パラメータを選択するための方法を記載する。方法は、一連の数学的変換として表すことができる画像品質メトリックを計算する工程を含む。画像処理モジュールを制御するために使用されるパラメータは変化され、画像品質メトリックはコントロールパラメータの各順列に対し計算され、画像品質メトリックの最も良好な値を与えたコントロールパラメータ設定値が、デジタル画像を処理するために使用される。コットレルらの方法は、個々の画像に基づき実行され、そのため、他のデジタル画像に対する相対的あるいは絶対的基礎におけるデジタル画像品質の評価を含まない。
【０００７】
サバキス（Ｓａｖａｋｉｓ）らへの、「消費者画像における強調および魅力の自動評価のための方法（Ｍｅｔｈｏｄ  ｆｏｒ  ａｕｔｏｍａｔｉｃ  ａｓｓｅｓｓｍｅｎｔ  ｏｆ  ｅｍｐｈａｓｉｓ  ａｎｄ  ａｐｐｅａｌ  ｉｎ  ｃｏｎｓｕｍｅｒ  ｉｍａｇｅ）」と題する米国特許第６，６７１，４０５号は、ユーザー介入なしで、画像の「強調および魅力」のメトリックを計算するアプローチを開示する。第１のメトリックは多くの因子に基づき、これらとしては下記が挙げられる：画像の意味内容（例えば、人々、顔）；客観的特徴（例えば、彩度および鮮明さ）；および主対象の特徴（例えば、主対象のサイズ）。第２のメトリックは、それらの因子をコレクション中の他の画像に対して比較する。因子は、訓練された推理エンジンを用いて統合される。チャンタニ（Ｃｈａｎｔａｎｉ）らによる、「デジタル画像選択のためのシステムおよび方法（Ｓｙｓｔｅｍ  ａｎｄ  ｍｅｔｈｏｄ  ｆｏｒ  ｄｉｇｉｔａｌ  ｉｍａｇｅ  ｓｅｌｅｃｔｉｏｎ）」と題する米国特許出願公開第２００４／００７５７４３号において記載される方法は、幾分類似し、画像における意味内容または客観的特徴のユーザー選択パラメータに基づく画像のソーティングを開示する。これらのアプローチは、画像自体から動作するという利点を有するが、コンピュータ的に集中的であるという欠点を有する。
【０００８】
「画像修正カメラおよび方法（Ｉｍａｇｅ  ｒｅｖｉｓｉｎｇ  ｃａｍｅｒａ  ａｎｄ  ｍｅｔｈｏｄ）」と題する米国特許第６，５１６，１５４号および「修正された再キャプチャカメラおよび方法」と題する米国特許第６，９３０，７１８号はどちらもポラルスキー（Ｐａｒｕｌｓｋｉ）らに対するものであり、ユーザーに、画像の主対象のトリミングおよび中心転換を含む１組の編集提案に対しキャプチャ画像を修正させるデジタルカメラシステムを開示する。米国特許第６，９３０，７１８号の方法では、ユーザー入力が、好ましい編集提案に関して提供される。画像はその後、ユーザーの好ましい提案に基づいて編集され、または好ましいパラメータが後の使用のために記録される。米国特許第６，５１６，１５４号の方法では、デジタルカメラは、好ましい編集提案に関しユーザー入力に基づく対応するキャプチャ構成に設定される。これらのアプローチはユーザー入力を必要とするという不利益を有し、完全に自動的に実施されない。
【０００９】
フェドロブスカヤ（Ｆｅｄｏｒｏｖｓｋａｙａ）らへの、「不完全なデータからの価値指数（Ｖａｌｕｅ  ｉｎｄｅｘ  ｆｒｏｍ  ｉｎｃｏｍｐｌｅｔｅ  ｄａｔａ）」と題する、米国特許出願公開第２００７／０２６３０９２号は、キャプチャデータ、固有画像データ、画像利用データ、およびユーザー反応データの異なる組み合わせから価値指数を計算する画像管理システムおよび方法を開示する。このアプローチは、値メトリックを計算するのに組み合わされたデータを使用するという利点を有するが、美的値に関するデータを使用しないという欠点を有する。
【００１０】
ダッタ（Ｄａｔｔａ）らへの、「計算アプローチを用いた写真画像における美学の研究（Ｓｔｕｄｙｉｎｇ  ａｅｓｔｈｅｔｉｃｓ  ｉｎ  ｐｈｏｔｏｇｒａｐｈｉｃ  ｉｍａｇｅｓ  ｕｓｉｎｇ  ａ  ｃｏｍｐｕｔａｔｉｏｎａｌ  ａｐｐｒｏａｃｈ）」と題する、米国特許出願公開第２００８／０２８５８６０号は、ユーザー美的格付けと顕著な相関を有する特徴を見いだすために一次元サポートベクターマシンが使用される、画像の美的品質を計算するアプローチを開示する。その後、単純な特徴選択ヒューリスティックを利用して、自動分類器が構築される。数的美的格付けが推論される。この発明は、美的格付けを自動的に計算する特徴を有する。
【００１１】
トヤマ（Ｔｏｙａｍａ）への、「画像のコンピュータ化された美的判断（Ｃｏｍｐｕｔｅｒｉｚｅｄ  ａｅｓｔｈｅｔｉｃ  ｊｕｄｇｍｅｎｔ  ｏｆ  ｉｍａｇｅｓ）」と題する、米国特許第６，８１６，８４７号は、画像の特徴に基づく訓練された自動分類器の使用により、画像の美的品質を計算するアプローチを開示する。分類器により選択される同じ特徴に基づく美的スコアを改善するための助言は、この方法を用いて生成させることができる。
【００１２】
「写真品質評価のための高レベル特徴の設計（Ｔｈｅ  ｄｅｓｉｇｎ  ｏｆ  ｈｉｇｈ−ｌｅｖｅｌ  ｆｅａｔｕｒｅｓ  ｆｏｒ  ｐｈｏｔｏ  ｑｕａｌｉｔｙ  ａｓｓｅｓｓｍｅｎｔ）」と題する論文（コンピュータビジョンおよびパターン認識会議録（Ｐｒｏｃ．Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ）、ｐｐ．４１９−４２６、２００６）の中でケ（Ｋｅ）らは画像を「高品質専門写真」または「消費者スナップショット」のいずれかとして分類するアプローチを開示する。多くの特徴が提案される：エッジの空間分布、色分布、色相カウント、ぼやけ、コントラスト、および輝度。このアプローチは有用であるが、これもまたメトリックがバイナリであることにより制限される。
【課題を解決するための手段】
【００１３】
本発明は、下記を実行するためにデジタル画像プロセッサを使用することを含む、入力デジタル画像の美的品質を推定するための方法を示す：
ａ）デジタル画像を自動的に分析することにより、入力デジタル画像と関連する１つ以上の消失点（複数）を決定する工程と、
ｂ）少なくとも消失点（複数）の位置からコンポジショナルモデルを計算する工程と、
ｃ）コンポジショナルモデルに応じて入力デジタル画像のための美的品質パラメータを生成させる工程であって、ここで、美的品質パラメータは入力デジタル画像の美的品質のための推定値である、工程。
【００１４】
本発明は、より広い観点では、美的品質がメディアアセット、例えばデジタル画像およびデジタルビデオに対し自動的に評価される画像処理方法およびシステムを提供する。美的品質パラメータは、メディアアセットを分析し、人特徴および消失点位置を含むコンポジショナルモデルを決定することにより、決定される。美的品質の計算に含ませることができる他の画像特徴としては、色特徴、構造特徴、およびキャプチャ特徴が挙げられる。
【発明の効果】
【００１５】
本発明は、消失点位置を含むコンポジショナルモデルを使用することにより、改善された美的品質パラメータが決定されるという利点を有する。
【００１６】
本発明は、決定された美的品質パラメータを使用して、高レベルの美的品質を有する画像作成に向けての時間に伴う写真家の進展を測定することができるという追加の利点を有する。
【００１７】
本発明は、決定された美的品質パラメータを使用して、複数の写真家に対し美的品質分布間の比較を提供することができるというさらなる利点を有する。
【図面の簡単な説明】
【００１８】
【図１】本発明を使用することができるシステムを示す図である。
【図２】本発明の１つの実施形態による美的品質パラメータの決定を示す流れ図である。
【図３】（３Ａ）水平および垂直線消失点を示す図である。（３Ｂ）消失点位置を表す座標系を示す図である。
【図４】（４Ａ）顔サイズカテゴリを示す図である。（４Ｂ）コンポジショナルテンプレートを示す図である。（４Ｃ）顔位置カテゴリを示す図である。（４Ｄ）組み合わされた顔サイズおよび位置カテゴリを示す図である。（４Ｅ）組み合わされた消失点位置および顔サイズおよび位置カテゴリを示す図である。
【図５】ベイズ（Ｂａｙｅｓ）ネットワークを示す図である。
【図６】本発明の一実施形態と関連するユーザーインターフェースを示す図である。
【図７】本発明の一実施形態と関連する情報表示を示す図である。
【図８】本発明の１つの実施形態による美的品質パラメータの使用を示す流れ図である。
【図９】本発明の一実施形態と関連する情報表示を示す別の図である。
【図１０】本発明の一実施形態と関連する情報表示を示すさらに別の図である。
【図１１】本発明の一実施形態と関連するユーザーインターフェースを示す図である。
【発明を実施するための形態】
【００１９】
デジタルキャプチャ装置は、消費者が莫大な数のメディアアセットを撮り、保存することを可能にする。メディアアセットの数は圧倒的なものとなる可能性があり、消費者が彼らの家族または友人と共有するために適切なアセットを見いだすことが困難になっている。本発明の実施形態は、メディアアセットの美的品質の評価基準を提供する、本明細書では「美的品質パラメータ」と呼ばれる、メトリックを効率的に計算する方法を提供する。美的品質パラメータは、その美的品質に基づいてメディアアセットの予測値を評価するための、自動的に計算されたメトリックである。美的品質パラメータは、人々、消失点ならびに色および構造に関連する特徴を抽出することにより決定される。
【００２０】
「メディアアセット」という句は、本明細書では、任意のメディアアセット、例えば、デジタル静止画像、またはデジタルビデオファイルを示す。さらに、文脈により別に明確に示され、要求されない限り、「または」という単語は、本開示において非排他的意味で使用されることに注意すべきである。
【００２１】
下記説明において、本発明のいくつかの実施形態は、通常、ソフトウェアプログラムとして実行されるという観点で記載される。当業者であれば、そのようなソフトウェアの等価物もまたハードウェアにおいて構築され得ることを容易に認識するであろう。画像操作アルゴリズムおよびシステムがよく知られているので、本記載は、特に本発明による方法の一部を形成する、またはその方法とより直接的に協働するアルゴリズムおよびシステムに向けられる。そのようなアルゴリズムおよびシステム、ならびに本明細書で特定的に示され、記載されていない、それらと関連する画像信号を発生させ、そうでなければ処理するためのハードウェアおよび／またはソフトウェアの他の観点が、当技術分野で知られているそのようなシステム、アルゴリズム、構成要素、および要素から選択され得る。下記で本発明に従い記載されるシステムを考えると、本発明の実行に有用である、本明細書で特定的に示され、示唆され、あるいは記載されていないソフトウェアは、従来のものであり、そのような技術分野において通常技術の範囲内である。
【００２２】
図１は本発明を実行するために使用することができるデジタルカメラ付き携帯電話１０に基づくイメージングシステムのブロック図である。デジタルカメラ付き携帯電話１０は、デジタルカメラの１つの形態である。本発明はまた、任意の他の型のデジタルイメージング装置、例えば他の型のデジタルスチルカメラまたはデジタルビデオカメラ、あるいはデジタル画像を受信する任意のシステムと共に使用するために実行することができる。
【００２３】
好ましくは、デジタルカメラ付き携帯電話１０は、画像を撮り、見直す際にユーザーによる取り扱いが容易になるのに十分小さな携帯用電池式装置である。デジタルカメラ付き携帯電話１０は、例えば、内部フラッシュＥＰＲＯＭメモリ、またはリムーバブルメモリカードとすることができる画像／データメモリ２０を使用して保存されるデジタル画像を作成する。他の型のデジタル画像記憶媒体、例えば磁気ハードドライブ、磁気テープまたは光ディスクを代わりに使用して、画像／データメモリ２０を提供することができる。
【００２４】
デジタルカメラ付き携帯電話１０は、光景（図示せず）からの光をＣＭＯＳ画像センサ５０の画像センサアレイ４０上に集束させるレンズ３０を含む。画像センサアレイ４０は、よく知られたバイヤーカラーフィルターパターン（Ｂａｙｅｒ  ｃｏｌｏｒ  ｆｉｌｔｅｒ  ｐａｔｔｅｒｎ）を用いて、カラー画像情報を提供することができる。画像センサアレイ４０は、タイミング発生器６０により制御され、これはまた、周囲照明が低い場合に光景を照射するためにフラッシュ７０を制御する。画像センサアレイ４０は、例えば、１２８０列ｘ９６０行のピクセルを有することができる。
【００２５】
いくつかの実施形態では、デジタルカメラ付き携帯電話１０はまた、ビデオクリップを撮り、保存することができる。しばしば、ビデオクリップを形成するプロセスは、画像センサアレイ４０の複数のピクセル一緒に加算し（例えば、画像センサアレイ４０の各４列ｘ４行領域内の同じ色のピクセルの加算）、より低い解像度のビデオ画像フレームを生成させる工程を含む。ビデオ画像フレームはその後、画像センサアレイ４０から、一定間隔で、例えば２４フレーム／秒の読み出し速度を用いて読み込まれる。
【００２６】
画像センサアレイ４０からのアナログ出力信号は増幅され、ＣＭＯＳセンサ５０上のアナログ−デジタル（Ａ／Ｄ）コンバータ８０によりデジタルデータに変換される。デジタルデータはＤＲＡＭバッファメモリ９０に保存され、その後、フラッシュＥＰＲＯＭメモリとすることができるファームウェアメモリ１１０に保存されたファームウェアにより制御されるデジタルプロセッサ１００により処理される。デジタルプロセッサ１００は、リアルタイムクロック１２０を含み、これは、デジタルカメラ付き携帯電話１０およびデジタルプロセッサ１００が、低電力状態にある時であっても日付および時間を維持する。
【００２７】
処理されたデジタル画像ファイルは、画像／データメモリ２０に保存される。画像／データメモリ２０はまた、本発明の方法を使用して決定される美的品質パラメータを保存するために使用することができる。画像／データメモリ２０はまた、他の型のデータ、例えば写真家ｉｄ、写真家の画像、写真家のランキング、および電話番号を保存することができる。
【００２８】
静止画像モードでは、デジタルプロセッサ１００は、典型的にはよく知られたｓＲＧＢ色空間においてレンダーリングされた画像データを生成させるために、色補間、その後、色および色調修正を実行する。デジタルプロセッサ１００はまた、ユーザーにより選択される様々な画像サイズを提供することができる。レンダーリングされたｓＲＧＢ画像データはその後、ＪＰＥＧ圧縮され、ＪＰＥＧ画像ファイルとして画像／データメモリ２０に保存される。ＪＰＥＧ画像ファイルは典型的には、よく知られたＥＸＩＦ（エクスチェンジャブル・イメージ・ファイル・フォーマット（ＥＸｃｈａｎｇａｂｌｅ  Ｉｍａｇｅ  Ｆｉｌｅ  Ｆｏｒｍａｔ））画像フォーマットを使用する。このフォーマットは、様々なＴＩＦＦタグを使用して特定の画像メタデータを保存するＥＸＩＦアプリケーションセグメントを含む。例えば、写真が撮られた日付および時間、レンズＦ／＃および他のカメラ設定を保存するため、および、画像キャプションを保存するために、別々のＴＩＦＦタグを使用することができる。特に、ラベルを保存するために画像説明タグを使用することができる。リアルタイムクロック１２０は、撮影日／時間値を提供し、これは、日付／時間メタデータとして各Ｅｘｉｆ画像ファイルに保存される。
【００２９】
位置決定器１３０は画像撮影に関連する地理的位置を提供する。位置決定器１３０は、画像の位置を決定するための多くの方法のいずれも使用することができる。例えば、地理的位置は近くの携帯電話の中継塔の位置から、またはよく知られた地球位置決め衛星（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓａｔｅｌｌｉｔｅｓ（ＧＰＳ））からの通信を受信することにより決定することができる。位置は好ましくは、緯度および経度の単位で保存される。位置決定器１３０は、画像撮影時間とはわずかに異なる時間での地理的位置を決定する可能性があることに注意されたい。その場合、位置決定器１３０は、画像と関連する地理的位置として最も近い時間からの地理的位置を使用することができる。その代わりに、位置決定器１３０は、画像撮影時間前後の時間で決定された地理的位置を使用して画像撮影時間での地理的位置を推定することができる。位置決定器１３０は、地理的位置を決定することが常にできるとは限らないので、これは必然的であり得る。例えば、ＧＰＳ受信機はしばしば、屋内では信号を検出することができない。その場合、最後の成功した地理的位置（すなわち、ビルに入る前）が位置決定器１３０により使用され得、特定の画像撮影と関連する地理的位置間が推定される。その代わりに、地理的位置は、画像撮影時間の前後の時間で決定された地理的位置の間で補間することにより、推定することができる。
【００３０】
デジタルプロセッサ１００はまた、クフタ（Ｋｕｃｈｔａ）らへの、「最大のおよび減少された解像度の画像のマルチフォーマットストレージを提供する電子スチルカメラ（Ｅｌｅｃｔｒｏｎｉｃ  Ｓｔｉｌｌ  Ｃａｍｅｒａ  Ｐｒｏｖｉｄｉｎｇ  Ｍｕｌｔｉ−Ｆｏｒｍａｔ  Ｓｔｏｒａｇｅ  ｏｆ  Ｆｕｌｌ  ａｎｄ  Ｒｅｄｕｃｅｄ  Ｒｅｓｏｌｕｔｉｏｎ  Ｉｍａｇｅｓ）」と題する、本発明の譲受人に譲渡された米国特許第５，１６４，８３１号において記載されるように、低解像度の「サムネイル」サイズ画像を作成することができ、この開示は参照により本明細書に組み込まれる。サムネイル画像は、ランダムアクセスメモリ（ＲＡＭ）１４０に保存することができ、およびカラーディスプレイ１５０に提供することができ、これは、例えば、アクティブマトリクスＬＣＤまたは有機発光ダイオード（ＯＬＥＤ）とすることができる。画像が撮られた後、それらは、サムネイル画像データを用いることにより、直ちにカラーディスプレイ１５０上で見直すことができる。
【００３１】
カラーディスプレイ１５０上に表示されるグラフィカルユーザーインターフェースは、ユーザーコントロール１６０により制御される。ユーザーコントロール１６０は、電話番号をダイヤルするための専用の押しボタン（例えば、電話キーパッド）と、モード（例えば、「電話」モード、「カメラ」モード）を設定するためのコントロールと、４−方向コントロール（上下左右）を含むジョイスティックコントローラと、押しボタンセンター「ＯＫ」スイッチなどを含むことができる。
【００３２】
デジタルプロセッサ１００に連結されたオーディオコーデック１７０は、マイクロホン１８０からの音声信号を受信し、音声信号をスピーカー１９０に提供する。これらの構成要素は、どちらも電話会話のためにおよびビデオシーケンスまたは静止画像と共にオーディオトラックを記録し、再生するために使用することができる。スピーカー１９０はまた、ユーザーに電話の着信を知らせるために使用することができる。これは、ファームウェアメモリ１１０に保存された標準の着信音を使用して、または、携帯電話ネットワーク２００からダウンロードされ、画像／データメモリ２０に保存されたカスタム着信音を用いることにより、実施することができる。さらに、振動装置（図示せず）を使用して、電話の着信の無音（例えば、聞こえない）通知を提供することができる。
【００３３】
ドックインターフェース２１０を使用して、デジタルカメラ付き携帯電話１０をドック／充電器２２０に接続することができ、これは、今度は、汎用コンピュータ２３０に接続される。ドックインターフェース２１０は、よく知られたＵＳＢインターフェース仕様に従うことができる。その代わりに、デジタルカメラ付き携帯電話１０と汎用コンピュータ２３０の間のインターフェースは、無線インターフェース、例えばよく知られたブルートゥース（Ｂｌｕｅｔｏｏｔｈ）無線インターフェースまたはよく知られた８０２．１ｌｂ無線インターフェースとすることができる。ドックインターフェース２１０を使用して、画像／データメモリ２０から汎用コンピュータ２３０に画像をダウンロードすることができる。ドックインターフェース２１０はまた、汎用コンピュータ２３０からデジタルカメラ付き携帯電話１０内の画像／データメモリに情報（例えば、カレンダーデータ）を伝達するために使用することができる。ドック／充電器２２０はまたデジタルカメラ付き携帯電話１０内の電池（図示せず）を再充電するために使用することができる。
【００３４】
本発明は、ソフトウェアおよびハードウェアの組み合わせで実行することができ、物理的に接続され、あるいは同じ物理的位置に配置された装置に限定されないことにもまた注意すべきである。デジタルプロセッサ１００は、無線モデム２４０に結合され、これは、デジタルカメラ付き携帯電話１０がＲＦチャネル２５０を介して情報を伝送し、受信することができるようにする。無線モデム２４０は、高周波（例えば、無線）リンクで携帯電話ネットワーク２００、例えば３ＧＳＭネットワークと通信する。携帯電話ネットワーク２００は、写真サービスプロバイダ２６０と通信することができ、これは、デジタルカメラ付き携帯電話１０からアップロードされたデジタル画像を保存することができる。これらの画像は、インターネット２７０を介して他の装置、例えば汎用コンピュータ２３０によりアクセスすることができる。携帯電話ネットワーク２００はまた、通常の電話サービスを提供するために、標準の電話ネットワーク（図示せず）に接続する。
【００３５】
本発明は本明細書で記載される実施形態の組み合わせを含む。「特定の実施形態」などへの言及は、発明の少なくとも１つの実施形態中に存在する特徴を示す。「一実施形態」または「特定の実施形態」などへの別々の言及は、必ずしも同じ実施形態を示さないが、そのような実施形態は、そのように指示されない限り、または当業者に容易に明らかであるように、相互に排他的ではない。「方法（単数または複数）」などへの言及における単数形および／または複数形の使用は、制限するものではない。
【００３６】
以下、図２では、本発明の一実施形態によるメディアアセット３１０のための美的品質パラメータ３９０を決定するための方法が記載される。この実施形態によれば、メディアアセット３１０のコレクションが存在し、美的品質パラメータ３９０がそれぞれ１つに対し決定される。様々な異なる人および主対象特徴（例えば、顔位置、顔サイズ、顔コントラスト、顔輝度、主対象の位置、および主対象のサイズ）は当業者に知られており、本発明に従い、メディアアセット３１０に関しうまく計算することができる。図２の実施形態では、人検出器３２０が、メディアアセット３１０内の検出される人々３２２を見いだすために使用される。好ましくは、検出された人々３２２は、顔検出アルゴリズムを用いて見いだされる。人間の顔を検出するための方法は、デジタル画像処理の分野ではよく知られている。例えば、画像中の人間の顔を見いだすための顔検出法が、ビオーラ（Ｖｉｏｌａ）らによる論文「ロバスト実時間顔検出（Ｒｏｂｕｓｔ  ｒｅａｌ−ｔｉｍｅ  ｆａｃｅ  ｄｅｔｅｃｔｉｏｎ）」（インターナショナルジャーナルオブコンピュータビジョン（Ｉｎｔ．  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ）、Ｖｏｌ．５７、ｐｐ．１３７−１５４、２００４）において記載される。この方法は、特定のピクセル位置上方のピクセルのすぐ近くの水平および垂直和からなる「積算画像（ｉｎｔｅｇｒａｌ  ｉｍａｇｅ）」表示を使用する。その後、完全積算画像は、多くのアレイ参照にわたる連続和として計算することができる。これらの長方形特徴は、エイダブースト（ＡｄａＢｏｏｓｔ）学習アルゴリズムを使用して構築された分類器に入力され、少数の重要な特徴が選択される。最後に、分類器が「カスケード」で結合され、そのため、画像バックグラウンド領域が廃棄され、よってアルゴリズムは、顔様領域上でのみ動作することができる。
【００３７】
人特徴検出器３２４を使用して、検出された人々３２２に対し人特徴３２６を抽出する。顔が検出されるとすぐに、顔特徴（例えば、目、鼻、口など）はまた、ユイール（Ｙｕｉｌｌｅ）らにより、「可変テンプレートを用いた顔からの特徴抽出（Ｆｅａｔｕｒｅ  ｅｘｔｒａｃｔｉｏｎ  ｆｒｏｍ  ｆａｃｅｓ  ｕｓｉｎｇ  ｄｅｆｏｒｍａｂｌｅ  ｔｅｍｐｌａｔｅｓ）」（インターナショナルジャーナルオブコンピュータビジョン、Ｖｏｌ．８、ｐｐ．９９−１１１、１９９２）において記載されているものなどのよく知られた方法を用いて位置決めすることができる。このアプローチは、口、目および虹彩／強膜境界を位置決めするためのテンプレート照合によるエネルギー最小化を使用する方法を用いる。顔特徴はまた、クーテス（Ｃｏｏｔｅｓ）らにより論文「制約付アクティブアピアランスモデル（Ｃｏｎｓｔｒａｉｎｅｄ  ａｃｔｉｖｅ  ａｐｐｅａｒａｎｃｅ  ｍｏｄｅｌｓ）」（コンピュータビジョンに関する第８回国際会議（８ｔｈ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ）、Ｖｏｌ．１、ｐｐ．７４８−７５４、２００１）において記載されているようなアクティブアピアランスモデルを使用して見いだすことができる。
【００３８】
好ましい実施形態では、ボリン（Ｂｏｌｉｎ）およびチェン（Ｃｈｅｎ）により、論文「肖像画像のための顔特徴を検出する自動システム（Ａｎ  Ａｕｔｏｍａｔｉｃ  ｆａｃｉａｌ  ｆｅａｔｕｒｅ  ｆｉｎｄｉｎｇ  ｓｙｓｔｅｍ  ｆｏｒ  ｐｏｒｔｒａｉｔ  ｉｍａｇｅｓ）」（ＩＳ＆Ｔ  ＰＩＣＳ会議会報（Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ＩＳ＆Ｔ  ＰＩＣＳ  Ｃｏｎｆｅｒｅｎｃｅ）、２００２）に記載される、人間の顔のアクティブシェイプモデルに基づく顔特徴点を位置決めする方法が、使用される。
【００３９】
顔サイズの標準評価基準は、目の間の距離であり、これは、ほとんどの顔検出器の一般的な出力であることはよく知られている。顔全体もまた、目のｘ、ｙ位置を用いて位置決めすることができる。典型的な顔検出器の他の一般的な出力は、検出された顔を含む長方形バウンディングボックスの頂点に対するｘ、ｙ画像座標である。顔サイズは、バウンディングボックスの面積により推定することができる。
【００４０】
顔コントラストおよび輝度を決定するために、分析が、バウンディングボックスにより含まれるピクセル値に対して実行される。顔のコントラストは、最初に画像をＣＩＥＬＡＢ（国際照明委員会（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｍｍｉｓｓｉｏｎ  ｏｎ  Ｉｌｌｕｍｉｎａｔｉｏｎ）、略称ＣＩＥにより規定されるよく知られた色空間）などの視覚ドメインに変換することにより計算される。この色空間は明度チャネル（Ｌ＊）および２つの彩度チャネル、ａ＊およびｂ＊から構成される。輝度およびコントラストの計算は、バウンディングボックス領域に含まれる画像の明度チャネルについて実行される。顔の輝度の簡単な表示は、明度値（Ｌ＊）の平均を用いて計算される。顔のコントラストは明度値（Ｌ＊）の標準偏差を用いて計算される。
【００４１】
その代わりに、他の手段、例えばペリ（Ｐｅｌｉ）により「複雑な画像におけるコントラスト（Ｃｏｎｔｒａｓｔ  ｉｎ  Ｃｏｍｐｌｅｘ  Ｉｍａｇｅｓ）」（Ｊ．Ｏｐｔ．Ｓｏｃ．Ａｍ．、Ｖｏｌ  Ａ７、ｐｐ．２０３２−２０４０、１９９０）に記載されるものを使用して、複雑な画像に対するコントラストおよび輝度を計算することができる。
【００４２】
本発明の好ましい実施形態では、検出された人特徴３２６は、顔のサイズ、顔の位置、顔のコントラスト、および顔の輝度を含む。
【００４３】
主対象検出アルゴリズム、例えば、ルオ（Ｌｕｏ）への、「消費者画像における主対象の自動決定のための方法（Ｍｅｔｈｏｄ  ｆｏｒ  ａｕｔｏｍａｔｉｃ  ｄｅｔｅｒｍｉｎａｔｉｏｎ  ｏｆ  ｍａｉｎ  ｓｕｂｊｅｃｔｓ  ｉｎ  ｃｏｎｓｕｍｅｒ  ｉｍａｇｅｓ）」と題する米国特許第６，２８２，３１７号において開示されているものもまた、人検出器３２０の代わりに使用して、任意の主対象の位置およびサイズを計算することができる。この方法は、実際の物体により規定される任意形状およびサイズの領域を抽出する。その後、その領域を物理的に一貫した物体に対応するより大きなセグメントにグループ分けし、構造およびセマンティック突出特徴を抽出し、突出特徴を確率的推理エンジンを用いて統合し、各領域が主対象であるという信念の推定とする。主対象信念マップは、ｘ、ｙ画像座標の関数としての確率値Ｐ（ｘ，ｙ）から構成され、ここで、信念推定は確率値として表され、グレースケール値に割り当てられる。
【００４４】
主対象全体の位置は、確率により加重された主対象の重心により推定される。主対象の重心（Ｃｘ、Ｃｙ）は以下のように計算され：
【数１】
2013506198.tif 000003
（１）
式中、ｘｎおよびｙｎは、ｎ番目の画像ピクセルに対するｘおよびｙ画像座標であり、Ｎは画像ピクセルの総数である。
【００４５】
推定主対象のサイズは、Ｐ（ｘ，ｙ）＞０．５０である、ピクセルの数を計数することにより計算される。主対象のサイズは、不変性を達成するための全画像のスケーリングに対する割合として測定されるべきである：
［数２］
主対象のサイズ＝（主対象ピクセルの数）／（総画像ピクセルの数）（２）
【００４６】
消失点検出器３３０を使用して、メディアアセット３１０における消失点位置３３２を見いだす。本発明の好ましい実施形態では、消失点検出器３３０は、ギャラガー（Ｇａｌｌａｇｈｅｒ）への「画像から消失点位置を決定する方法（Ｍｅｔｈｏｄ  ｏｆ  ｄｅｔｅｒｍｉｎｉｎｇ  ｖａｎｉｓｈｉｎｇ  ｐｏｉｎｔ  ｌｏｃａｔｉｏｎ  ｆｒｏｍ  ａｎ  ｉｍａｇｅ）」と題する米国特許第６，７７８，６９９号で開示される方法を用いて消失点位置３３２を検出し、これは参照により本明細書に組み込まれる。この方法は、線分を検出する工程と、対の線分から交差点を計算する工程と、複数の確率に対応する極大を決定する工程と、決定された極大に対応する推定消失点ベクターＶＥを出力する工程とを含み、そのため、推定消失点ベクターＶＥについての推定消失点位置３３２が決定される。
【００４７】
本発明の好ましい実施形態では、コンポジショナルモデラー３３４を使用して、人特徴３２６および消失点位置３３２を使用するコンポジショナルモデル３３６を作成する。コンポジショナルモデル３３６は、メディアアセット３１０に関する構成の型を表現したものである。
【００４８】
画像コンポジションは１組の数として表され、そのため、人特徴３２６、例えば顔サイズおよび顔位置、ならびに消失点位置３３２がコンポジショナルモデラー３３４により直接使用され、コンポジショナルモデル３３６を作成することができる。その代わりに、コンポジショナルモデラー３３４は人特徴３２６、消失点位置３３２、または両方を、コンポジショナルモデル３３６の作成における予備段階として説明的カテゴリに変換することができる。例えば、消失点位置３３２は、１組の消失点位置カテゴリ、例えば、水平、垂直、アップ、ダウン、および中心にマッピングすることができる。
【００４９】
図３Ａは、画像４０４で検出された線を交差させることにより決定された垂直線消失点４００および水平線消失点４０２を示す図である。図３Ｂはｘ，ｙ座標系内の消失点カテゴリを表す図を示し、ここで、ｘおよびｙはそれぞれ、−１．０から１．０の範囲である。画像は、単位ベクトルとして表された場合に、それらの主な消失点の位置に基づく座標系上に配置される。ｘ軸は、主な消失点のｘ構成要素を表し、ｙ軸は主な消失点のｙ構成要素を表す。座標空間は、図３Ｂに示されるように、消失点分析に基づく異なるコンポジショナルモデルを表す５つの消失点領域に分割される。上部消失点領域４１０は、画像の上部の消失点位置を有する画像を含む。右消失点領域４１５は、画像の右部の消失点位置を有する画像を含む。底消失点領域４２０は、画像の底部の消失点位置を有する画像を含む。左消失点領域４２５は、画像の左部の消失点位置を有する画像を含む。中心消失点領域４３０は、中心消失点位置を有する画像を含む。
【００５０】
同様に、顔サイズの人特徴３２６は、１組の人サイズカテゴリ、例えば図４Ａに示されるように、小−中カテゴリ４４０および中−大カテゴリ４４５にマッピングすることができる。他の顔サイズ定義を本発明と共にうまく使用することができるが、小−中顔サイズは、セロサレッティ（Ｃｅｒｏｓａｌｅｔｔｉ）らにより、ＱＯＭＥＸワークショップ議事録（Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ＱＯＭＥＸ  Ｗｏｒｋｓｈｏｐ）、２００９において発表された論文「写真画像の感知された美的品質の測定（Ｍｅａｓｕｒｉｎｇ  ｔｈｅ  Ｐｅｒｃｅｉｖｅｄ  Ａｅｓｔｈｅｔｉｃ  Ｑｕａｌｉｔｙ  ｏｆ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｉｍａｇｅｓ）」において記載されるように、画像面積の１０％以下を消費する顔として規定することができ、中−大顔サイズは、画像面積の１０％超を消費するものとして規定することができる。
【００５１】
同様に、人特徴３２６としての顔位置は、図４Ｂに示されるように、画像コンポジショナルテンプレート４５０を特定することにより１組の人位置カテゴリにマッピングすることができる。画像は、画像領域をｘ次元により線形セグメントに分割することにより、大体、３つに分割することができ、ｘＬ範囲のｘ値を有する左領域４５５、ｘｃ範囲のｘ値を有する中心領域４６０、およびｘＲ範囲のｘ値を有する右領域４６５が作成される。異なる値による、またはｘおよびｙ次元の両方における他の画像分割もまた、本発明により効果的に実施することができる。図４Ｃは、顔位置が左領域４５５内にある左人位置画像４７０、顔位置が中心領域４６０内にある中心人位置画像４７５、および顔位置が右領域４６５内にある右人位置画像４８０を示す。
【００５２】
顔サイズおよび顔位置カテゴリを組み合わせて、融合カテゴリを形成させることができる。例えば、図４Ｄは図４Ａの顔サイズカテゴリと図４Ｂおよび４Ｃの顔位置カテゴリを融合することにより形成させた６カテゴリに入る画像を示す：小−中／左カテゴリ画像４８２、小−中／中心カテゴリ画像４８４、小−中／右カテゴリ画像４８６、中−大／左カテゴリ画像４８８、中−大／中心カテゴリ画像４９０、および中−大／右カテゴリ画像４９２。他の顔位置マッピングを本発明と共にうまく使用することができる。画像コンポジショナルテンプレートもまた同様に、メディアアセット内の主対象または他の物体の位置およびサイズをマッピングするために使用することができる。
【００５３】
顔サイズおよび顔位置カテゴリならびに消失点カテゴリは、コンポジショナルモデラー３３４において別々に、または一緒に使用することができる。顔位置およびサイズの人特徴３２６ならびに消失点位置３３２を結合様式でマッピングして、メディアアセット３１０を特徴づけることにより、追加のカテゴリがコンポジショナルモデル３３６により作成され得る。そのようなカテゴリのくつかの例は図４Ｅで示されるような、アップ、ダウン、ワイドオープン、クローズアップ、遠方である。アップカテゴリ４９４は、消失点が画像の上部に位置する人の近くにある場合に対応する。この場合、カメラは人に向けられる。ダウンカテゴリ４９５は、消失点が画像の底部に位置する人の近くにある場合に対応する。この場合、カメラは人に向けられる。クローズアップカテゴリ４９６、遠方カテゴリ４９７およびワイドオープンカテゴリ４９８では、消失点は、画像の中心付近にあり、視野のカメララインはグラウンド層に平行である。クローズアップカテゴリ４９６は、顔サイズが中−大の場合に対応する。遠方カテゴリ４９７は顔サイズが小−中の場合に対応する。ワイドオープンカテゴリ４９８は一群の人々の写真が撮られ、顔サイズが小−中である場合に対応する。
【００５４】
当業者であれば、本発明により、人特徴３２６と消失点位置３３２を組み合わせることにより、メディアアセット３１０に対しコンポジショナルモデル３３６決定するためにコンポジショナルモデラー３３４により使用することができる様々な異なる方法を認識するであろう。
【００５５】
色特徴検出器３４０を使用して、メディアアセット３１０における色特徴３４２を検出する。様々な異なる色特徴３４２、例えば、彩度、色相数、および色分布が当業者に知られており、本発明に従い、メディアアセット３１０に対し計算することができる。メディアアセット３１０に対し彩度値を計算する方法がサバキス（Ｓａｖａｋｉｓ）らへの米国特許第６，６７１，４０５号により記載され、これは参照により本明細書に組み込まれる。この方法では、メディアアセット３１０の画像ピクセル値が、輝度−クロミナンス色空間に変換され、クロミナンス面は量子化され、１２の色度面ウェッジまたはビンとされる。画像ピクセルは、ピクセルのクロミナンス構成要素の値に基づく特定のビンと関連する。高彩度ピクセルの数が特定の閾値を超えた活性ビンに対しては、彩度Ｃは、下記のように計算される：
［数３］
Ｃ＝ｍｉｎ｛活性ビンの数，ｌ．０｝／１０    （３）
【００５６】
本発明の一実施形態において使用することができる色相数を計算するための方法は、ケ（Ｋｅ）らにより、論文「写真品質評価のための高レベル特徴の設計（Ｔｈｅ  ｄｅｓｉｇｎ  ｏｆ  ｈｉｇｈ−ｌｅｖｅｌ  ｆｅａｔｕｒｅｓ  ｆｏｒ  ｐｈｏｔｏ  ｑｕａｌｉｔｙ  ａｓｓｅｓｓｍｅｎｔ）」（コンピュータビジョンおよびパターン認識会議録、４１９−４２６、２００６）において記載される。この方法では、色相数は、最初にメディアアセット３１０の画像ピクセル値をＨＳＶ色空間に変換し、その後、０．２を超える彩度および０．１５から０．９５の範囲の輝度を有するＨ値を使用して２０−ビンヒストグラムを計算することにより算出される。グレースケール画像の色相数は１である。
【００５７】
本発明の一実施形態で使用することができる色分布を計算するための方法は、ケらによる、前記論文「写真品質評価のための高レベル特徴の設計」に記載される。この方法では、画像は、赤、緑、および青チャネルから構成される。赤、緑、および青チャネルは、１６値に量子化される。４０９６＝１６３ビンから構成され、画像内に存在する各量子化された色の数を与えるヒストグラムが作成される。ヒストグラムは、メディアアセット間の絶対的な比較を可能にするために単位長さに対し正規化されなければならない。よく知られたＬ1統計的メトリックを使用して、ヒストグラム間の距離を計算することができる。その代わりに、ヒストグラム値を色特徴として直接使用することができる。
【００５８】
構造特徴検出器３５０を使用して、メディアアセット３１０内の構造特徴３５２を検出する。様々な異なる構造特徴、例えば鮮明さ、およびエッジの空間分布が当業者に知られており、本発明によりメディアアセット３１０に対して計算することができる。エッジの空間分布を計算する１つの方法は、ケらによる、前記論文「写真品質評価のための高レベル特徴の設計」に記載される。この方法では、エッジ空間分布特徴エクストラクターが実装される。ａ＝０．２を有する３ｘ３ラプラシアンフィルタが、赤、緑、および青チャネルの各々に別個に適用される。その後、３つのチャネルにわたって平均がとられる。ラプラシアン画像は１００ｘ１００ピクセルにサイズ変更され、画像の和が１に対し正規化され、画像間およびメディアアセットコンテンツカテゴリ例えば、人々を有する画像および人々のいない画像の群内での絶対的な比較が可能になる。Ｌ1統計的メトリックを使用して、対のラプラシアン画像間の距離を計算することができる。その代わりに、ラプラシアン画像を使用して、あるパーセンテージ（例えば、最大９６．０４％）のエッジエネルギーを含むバウンディングボックスの面積を計算することにより、エッジが占める領域の量を測定することにより、画像構造特徴を計算することができる。
【００５９】
本発明の好ましい実施形態では、サバキス（Ｓａｖａｋｉｓ）らへの米国特許第６，５３５，６３６号により詳細が記載される鮮明さ検出器を使用することにより鮮明さ特徴を計算する方法が使用され、これは参照により本明細書に組み込まれる。メディアアセット３１０の鮮明さは、画像をグレースケールに変換し、画像エッジを検出し、エッジヒストグラムを作成し、最強エッジ領域を見いだし、最強エッジの統計を計算し、最強エッジの平均を鮮明さの推定値として使用することにより見いだされる。
【００６０】
キャプチャ情報エクストラクター３７０を使用して、メディアアセット３１０に対するキャプチャ特徴３７２を識別する。キャプチャ情報エクストラクター３７０は、メディアアセット３１０の撮影に関連するキャプチャ特徴３７２を決定し、得られたキャプチャ特徴３７２を出力する。キャプチャ特徴３７２としては、例えば、メディアアセット３１０が撮られた時間、焦点距離、被写体距離、倍率、フラッシュがたかれたかどうか、セルフタイマーがアクティブにされたかどうか、および画像解像度が挙げられる。当業者であれば、キャプチャ情報エクストラクター３７０がキャプチャ特徴３７２を決定するための様々な異なる可能な方法を認識するであろう。多くの場合、キャプチャ特徴３７２は、メディアアセット３１０のファイルヘッダーに埋め込まれる。例えば、メディアアセット３１０の撮影と関連する情報を保存するために、ＥＸＩＦメタデータがメディアキャプチャデバイスにより使用され得る。例えば、「日付／時間」メタデータエントリはメディアアセット３１０が撮られた日付および時間と関連する。キャプチャ情報エクストラクター３７０は、メディアアセット３１０に対しキャプチャ特徴３７２を抽出するための最も適切な方法を使用する。画像解像度（すなわち、画像ピクセルの行および列の数）のキャプチャ特徴が本発明の好ましい実施形態においてキャプチャ特徴３７２として使用される。
【００６１】
品質コンピュータ３８０を使用し、品質コンピュータ３８０により処理されるコンポジショナルモデル３３６、色特徴３４２、構造特徴３５２およびキャプチャ特徴３７２に応答する美的品質パラメータ３９０を計算し、美的品質パラメータ３９０を出力させる。このようにある実施形態が本明細書で記載されているが、本発明はメディアアセット３１０のために計算することができる他の異なるコンポジショナルモデル３３６、色特徴３４２、構造特徴３５２およびキャプチャ特徴３７２を排除しない。当業者であれば、様々な異なるコンポジショナルモデル３３６、色特徴３４２、構造特徴３５２およびキャプチャ特徴３７２が品質コンピュータ３８０に入力され、美的品質パラメータが計算され得ることを認識するであろう。さらに、品質コンピュータ３８０は、美的品質パラメータの計算においてこれらの異なる特徴型すべてを使用する必要はない。例えば、本発明の１つの実施形態では、コンポジショナルモデル３３６のみが、美的品質パラメータ３９０の計算において使用される。
【００６２】
本発明の好ましい実施形態では、美的品質パラメータ３９０は単一の一次元値であるが、というのは、メディアアセット間でのより簡単な比較が可能になるからである。得られた美的品質パラメータ３９０は、データベースの使用によりメディアアセット３１０と関連づけることができ、またはメタデータとして、メディアアセットデジタルファイルに保存することができる。
【００６３】
品質コンピュータ３８０を美的品質パラメータ３９０を決定するために使用することができる単純なアプローチは、公平に評価されたまたは加重された入力を単純に合計するものである。しかしながら、好ましくは、美的品質パラメータ３９０を決定するためにより精巧な方法が使用される。特定の実施形態では、品質コンピュータ３８０は分類プロセスにより美的品質パラメータ３９０を生成させるように訓練された推理エンジンである。この実施形態では、別のモデルがコンポジショナルモデル３３６内で表される各コンポジションに対して訓練される。推理エンジンでは、個々の入力により識別される、異なる入力値は、実際の画像の人間観察者−評価からの真の美的品質値の結果から誘導される知識に従い、互いに競合し、または補強することができる。競合および補強は、推理エンジンの推論ネットワークにより解決される。現在好ましい推理エンジンはベイズネットである。
【００６４】
真の美的品質値が実際の画像の人間観察者−評価から集められる。経験的データコレクション法を使用することにより、人間観察者が様々な異なる画像を評価する精神測定実験を実施することができる。例えば、画像は、美的美しさに対する「最低想像可能」および「最高想像可能」を用いて二重固定される（ｂｉ−ａｎｃｈｏｒｅｄ）０から１００段階評価を用いて格付けすることができる。前記特徴はこれらの画像すべてに対して計算することができる。画像格付けは真の美的品質値と考えられ、その後、訓練データセットとして推理エンジンに提供することができる。画像格付けはまた、デューダ（Ｄｕｄａ）らにより「パターン分類（Ｐａｔｔｅｒｎ  Ｃｌａｓｓｉｆｉｃａｔｉｏｎ）」（ジョンワイリアンドサンズ（Ｊｏｈｎ  Ｗｉｌｅｙ  ａｎｄ  Ｓｏｎｓ）、ニューヨーク、２００１）において記載されるｋ−ミーンズクラスタリングなどの技術を使用して、人間観察者応答のパターンによりクラスタリングすることができる。これらのクラスターもまた、訓練データセットとして推理エンジンに提供することができる。
【００６５】
ベイズネットは、グラフ中の様々なエンティティ間の因果関係を表す有向非循環グラフであり、この場合、リンクの向きがグラフ中の様々なエンティティ間の因果関係を表す。ベイズネットの詳解については、例えば、Ｊ．パール（Ｐｅａｒｌ）による「因果関係：モデル、推理および推論（Ｃａｕｓａｌｉｔｙ：ｍｏｄｅｌｓ，ｒｅａｓｏｎｉｎｇ，ａｎｄ  ｉｎｆｅｒｅｎｃｅ）」（ケンブリッジ大学出版局、ケンブリッジ、２０００）を参照されたい。評価は様々なエンティティ間の同時確率分布関数（ＰＤＦ）の知識に基づく。
【００６６】
ベイズネットを使用する利点としては、明白な不確定キャラクタリゼーション、効率的な計算、容易な構成および維持、迅速訓練、ならびにネットワーク構造およびそのパラメータの変化への高速適応が挙げられる。ベイズネットは、４つの構成要素から構成される：
（１）事前：ベイズネットにおける様々なノードについての最初の信念
（２）条件付き確率マトリクス（ＣＰＭ）：ベイズネットにおける２つの連結されたノード間の関係についての専門知識
（３）証拠：ベイズネットへの入力である特徴検出器からの観察
（４）事後：証拠がベイズネットを介して伝搬された後の最終的な計算された信念。
各画像記録に対してアクティブな１つのベイズネットが存在する。現在のシステムでは単純な２レベルベイズネットを使用することができることが予測される。
【００６７】
訓練のための最も重要な構成要素はＣＰＭセットであり、というのは、それらが目下の特定の適用に対するドメイン知識を表すからである。ＣＰＭの導出は、推理エンジン、例えばベイズネットを使用するのに熟練したものにとってはよく知られているが、例示的なベイズネット５００が図５に示される。この２レベルベイズネット５００では、様々な特徴が葉ノード５１０で入力として与えられると、根ノード５３０で美的品質パラメータ（ＡＱＰ）が決定される。条件付き確率マトリクス５２０が特徴のそれぞれに対し表される。
【００６８】
各リンクは同じレベルの他のリンクと条件付きで独立していると一般に仮定され、各リンクを別々に訓練することによりネット全体の好都合な訓練が得られ、すなわち、あるリンクに対するＣＰＭは、他のすべてから独立して誘導することができることに注意すべきである。この仮定はしばしば、実際には違反されるが、しかしながら、独立単純化は、実装をより簡単にし、いくつかの不正確さが許容され得る。これはまた他の分類器または推理エンジン、例えば２を超えるレベルを有するベイズネットとの比較のためのベースラインを提供する。
【００６９】
Ｘ５の確率分布は、美的品質の評価基準であり、下記式を用いて計算することができる：
［数４］
Ｐ（Ｘ１，Ｘ２，Ｘ３，Ｘ４，Ｘ５）＝Ｐ（Ｘ５）Ｐ（Ｘ１｜Ｘ５）Ｐ（Ｘ２｜Ｘ５）Ｐ（Ｘ３｜Ｘ５）Ｐ（Ｘ４｜Ｘ５）（４）
ベイズネットワークは、条件付き確率係数（前記ＣＰＭ）の積として、１組の変数（この場合、特徴Ｘ１、Ｘ２、Ｘ３およびＸ４ならびに美的品質を表すクラス変数Ｘ５）間の同時確率分布を表す。この表示から、いくつかの他の変数のサブセットが観察された場合、任意の変数の周辺確率分布を見いだすことができる。例えば、特徴Ｘ１、Ｘ２、Ｘ３およびＸ４は、入力画像から計算され、Ｘ５の事後確率分布は、下記の通り、ベイズルールに従い見いだされる：
［数５］
Ｐ（Ｘ５｜Ｘ１，Ｘ２，Ｘ３，Ｘ４）＝Ｐ（Ｘ１，Ｘ２，Ｘ３，Ｘ４，Ｘ５）Ｐ（Ｘ１，Ｘ２，Ｘ３，Ｘ４）（５）
この式では、分数の分子はベイズネットワークの条件付き独立アサーションに従い単純化される。その一方で、特徴値（Ｘ１、Ｘ２、Ｘ３およびＸ４）はすべて観察されるので、分母のみが、得られた事後確率分布をＸ５に対し正規化するように（和が１．０であることを確保すること）機能する。そのため、本発明者らは下記のように書くことができる：
［数６］
Ｐ（Ｘ５｜Ｘ１，Ｘ２，Ｘ３，Ｘ４）∝Ｐ（Ｘ５）Ｐ（Ｘ１｜Ｘ５）Ｐ（Ｘ２｜Ｘ５）Ｐ（Ｘ３｜Ｘ５）Ｐ（Ｘ４｜Ｘ５）（６）
美的品質パラメータ３９０は、Ｘ５の事後確率分布における最大を見いだすことにより、Ｘ５の再確値であると考えることができる。その代わりに、美的品質パラメータ３９０は、Ｘ５の予測値と考えることができ、これは、下記のように、Ｘ５の事後確率分布から計算することができる：
［数７］
ＡＱＰ＝〈Ｘ５〉＝∫Ｘ５Ｐ（Ｘ５｜Ｘ１，Ｘ２、Ｘ３，Ｘ４）ｄＸ５（７）
【００７０】
入力はすべてベイズネットにより組み合わされ、美的品質パラメータ３９０が得られる。異なる入力が互いに競合、または矛盾する可能性がある。他方、異なる入力は相互に、典型的な写真光景の前のモデルまたは知識に従い互いに補強する可能性がある。競合および補強のどちらも、ベイズネットに基づく推論エンジンにより解決される。
【００７１】
ベイズネットの１つの利点は、各リンクが同じレベルのリンクから独立していると仮定することができることである。そのため、各リンクを別々に訓練することによりネット全体を訓練するのに好都合である。一般に、２つの方法が各根特徴ノード対に対するＣＰＭを得るために使用される：
（１）専門知識の使用：これはアドホック法である。非常に魅力的な画像が与えられると高または低出力を発生させる各特徴検出器の条件付き確率を得るために、専門家に相談される。
（２）分割表の使用：これはサンプリングおよび相関法である。各特徴検出器の複数の観測が、強調または魅力についての情報と共に記録される。これらの観測はその後、共にコンパイルされ、分割表が作成され、これは正規化されるとその後、使用することができる。この方法は、ニューラルネットワーク型訓練（学習）に類似する。
【００７２】
ベイズネットの代わりに他の推理エンジンを使用してもよい。例えば、前記テキスト、デューダ（Ｄｕｄａ）らによる「パターン分類」において、パターン認識問題を解決するために使用することができる様々な異なる分類器が記載され、この場合、右セットの特徴を有することが通常最も重要な留意事項である。そのような分類としては、サポートベクターマシン（ＳＶＭ）、エイダブースト、線形判別分析法、フレキシブル判別式、（フィードフォワード）ニューラルネットワーク、ノンパラメトリック法、およびツリー構造分類器が挙げられる。これらの分類器のいずれも、本発明の実施のために推理エンジンとして適合させることができることは、そのような方法におけるいずれの当業者にとっても明らかであろう。
【００７３】
図６は、本発明の方法に従い決定された美的品質パラメータ３９０（図２）に対する１つの適用を示す可能なユーザーインターフェースプレゼンテーションエリア６００を示す。メディアアセットコレクションが獲得され、図２に示される方法が使用されて、対応する美的品質パラメータ３９０が決定される（図２）。メディアアセットコレクションはデジタル記憶装置、例えばハードディスク、光ディスクまたはソリッドステートメモリデバイスで提供することができる。その代わりに、メディアアセットコレクションは、デジタル通信ネットワークを用いて提供することができる。画像は、ユーザーインターフェースプレゼンテーションエリア６００において表示するためにメディアアセットコレクションから選択される。画像は、静止画像ならびにビデオシーケンスから抽出されたフレームを含むことができる。ユーザーインターフェースプレゼンテーションエリア６００は、ソフトコピーディスプレイ、例えばパーソナルコンピュータ上での提示のために作成される。１つの実施形態では、プルダウンメニューの形態のユーザーインターフェースウィジェット６２０が使用され、メディアアセット３１０が美的品質により最良から最悪までソートされるべきであることが示される。メディアアセット３１０と関連する美的品質パラメータ３９０はその後、数値的に順序付けされ、メディアアセット３１０がソートされる。この実施形態では、１組のソートされた画像６４０がユーザーインターフェースプレゼンテーションエリア６００において最高美的品質値から最低美的品質値の順で表示され、各画像は、その関連する美的品質値６６０で標識される。当業者であれば、他のユーザーインターフェースウィジェット、例えばダイアル、左から右の矢印、および映像的表象は、本発明と共にうまく使用することができることを認識するであろう。
【００７４】
ユーザーインターフェースウィジェット６２０に対しては、他の選択もまた提供することができる。例えば、最も古いものから新しいものまで年代順に画像をソートする選択を使用して、１組のソートされた画像６４０を時間順に表示することができる。前述同様に、各画像はその関連する美的品質値６６０で標識することができる。これは、時間に伴う美的品質の視覚表示を提供することができる。ソートされた画像６４０および関連する美的品質値６６０を視覚的に比較することにより、写真家は高レベルの美的品質を有する画像の作成に向けての彼／彼女の進展を評価することができる。
【００７５】
美的品質値６６０を表示する別の手段として、図７は時間の関数としての美的品質のプロットであるグラフ７００を示す。時間の関数として美的品質をプロットする曲線７２０は、美的品質が一般に時間と共に増加することを示す。曲線７２０におけるランダムネスを減少させるために、個々の画像に対する美的品質ではなく、特定の時間間隔（例えば、数ヶ月）内の画像に対する平均美的品質をプロットすることができる。選択された時間間隔での美的品質の変化の指示は、変化バー７４０により表すことができ、この実施形態では、これは６ヶ月毎の変動係数を示す。代表的な画像７６０もまた、選択された時間間隔で示すことができる。時間の関数としての美的品質のこのプロットは、一人の特定の写真家のメディアアセットに対して、かなりの数の写真家のメディアアセットの複合物として、画像共有ウェブサイト上にまたはオンラインソーシャルネットワークにより表示されたメディアアセットの複合物として、作成することができる。
【００７６】
ソーシャルネットワークは、「ノード」と呼ばれる個人（または個人の群）から構成される社会構造であり、それらは、１つ以上の特定の型の相互依存性、例えば友情、親族関係または信念、知識または名声の関係により連結される。場合によっては、ソーシャルネットワークにおける人々（または人々の群）間の社会的関係を示すためにグラフ表示を使用することが好都合であり得る。そのようなグラフ表示では、人々は典型的には頂点により表され、社会的関係は、頂点間の結合により表される。ソーシャルネットワークにおける二人の人々は、人々を表す頂点間に結合が存在すると、「連結される」と言われる。
【００７７】
多くのインターネットサイトが、近年、ソーシャルネットワークのメンバーが互いに通信し、情報を共有するための方法を提供するために、普及している。これらのインターネットサイトは時として、オンラインソーシャルネットワークと呼ばれる。
【００７８】
時間に伴う写真家の進展のメトリックを提供するために、進展スコアを計算することができる。任意の所望の時間範囲について撮られたメディアアセットに対する平均美的品質を計算することができる。その後、時間的な隔たりがある平均美的品質値間の偏差を計算し、進展スコアを生成させることができる。連続する平均美的品質値間の正の偏差は正の進展を示し、連続する平均美的品質値間の負の偏差は特定の写真家に対する進展の欠如を示す。他の統計的評価基準、例えばメジアンまたは範囲をここで使用することができることに注意すべきである。別の実施形態では、進展スコアは、いくらかの時間間隔にわたり時間の関数として美的品質値へ線形回帰を実行することにより計算される。その後、回帰線の傾きを進展スコアとして使用することができる。
【００７９】
本発明の方法に従い決定された美的品質パラメータは、高い美的品質を有する画像の潜在的用途を示唆し、用途の型、例えば、印刷、共有、表示のために特定のメディアアセットを選択するプロセスにおいて有用であり得る。メディアアセットはまた、特殊写真製品を製造するために使用することができる。特殊写真製品としては、マグ、カレンダー、マウスパッド、グリーティングカード、装飾品、およびアルバムが挙げられる。
【００８０】
図８は、閾美的品質規準を満足させる画像の識別に基づく共有のための画像を選択するための方法の流れ図を示す。最初に、美的品質パラメータ８１０が図２について上記で記載された方法を用いて、メディアアセットコレクション８００に対し計算される。次に、アセットセレクタ８３０が美的品質パラメータ８１０を、特定の美的品質閾値８２０と比較し、美的品質閾値８２０より高い美的品質パラメータ８１０を有する１組の選択されるメディアアセット８４０を決定する。例えば、１つの実施形態では、美的品質閾値８２０は、「８３」の美的品質値とすることができる。その後、アセットセレクタ８３０は、「８３」より大きな美的品質パラメータ８１０を有するメディアアセットコレクション８００中のメディアアセットを選択する。最後に、選択されたメディアアセット８４０は、画像共有器８５０を用いて共有される。本発明の１つの実施形態では、アセットセレクタ８３０は、選択されたメディアアセット８４０を保持領域、例えば画像データメモリに入れる。画像共有器８５０は、電子的共有のためのかなり多数の異なる方法、例えば、特定のユーザーまたはユーザー群への電子メール送信、または選択されたメディアアセット８４０の画像共有ウェブサイトへのアップロードを用いて、選択されたメディアアセット８４０を共有することができる。画像共有ウェブサイトとしては、オンラインソーシャルネットワークが挙げられる。当業者であれば本発明と共にうまく使用することができる、画像を共有する他の手段を認識するであろう。
【００８１】
任意で必要に応じて、ユーザー格付け８６０を、アセットセレクタ８３０において美的品質パラメータ８１０と組み合わせることができ、ユーザーから直接取得された格付けを考慮するように美的品質パラメータ８１０が修正される。格付けの例は１００−値スケールでの数値格付けであり、この場合、１００＝優秀および０＝不良または任意の数の星を示す星−値スケールであり、ここで、多くの星は優秀であり、わずかの星は不良である。アセットセレクタ８３０は、それらが特定される場合はいつでも、ユーザー格付け８６０を有する自動的に決定された美的品質パラメータ８１０を常に無効にするように構成することができ、またはその代わりに、それらを平均化することにより、もしくは２つの値の大きい方を使用することによりそれらを組み合わせることができる。
【００８２】
入力デジタル画像がデジタルカメラを用いて撮られた場合、デジタルカメラのユーザーインターフェース上に品質指標を表示させることにより、入力デジタル画像の美的品質に関するフィードバックを写真家に提供することができる。品質指標の形態での連続フィードバックもまた、写真家がデジタル画像をフレーミングしている間に提供でき、そのため、写真家は、フレーミングを動的に修正し、最も美的に美しい画像を作成することができる。
【００８３】
本発明の方法により決定された美的品質パラメータは、彼の／彼女のデジタル画像の美的品質を改善することができる方法に関するフィードバックを特定の写真家に提供するプロセスにおいて有用であり得る。同様に、美的品質に対し最も正の影響を有するデジタル画像の特定の１つのまたは複数の特徴もまた写真家に特定され、正のフィードバックが提供される。
【００８４】
本発明の１つの実施形態では、フィードバックは、特定の画像に関し、計算された美的品質パラメータに対し最も大きな改善を生成させるためにはどの特徴が変更され得るかを決定することにより、写真家に提供することができる。例えば、その後、対応する美的品質パラメータを決定するのに使用される１組の特徴値（例えば、消失点位置、顔位置、顔サイズ、彩度および鮮明さ）を決定するために分析される特定の画像を検討すること。特徴値の各々は、結果として得られる美的品質パラメータがどのように変化するかを決定するための可能な値の対応する範囲全体で、変化させることができる。美的品質において最も大きな改善が得られるように修正することができる重要な１つまたは複数の特徴が、その後、写真家に特定され、画像の美的品質がどのように改善され得るかについてのフィードバックが提供される。
【００８５】
本発明の別の実施形態では、特定の写真家により撮られた１組の画像が分析され美的品質に対し最もしばしば、負のまたは正の影響を有する因子が決定され得る。例えば、画像コンポジションを調節することにより画像の大部分が改善され得るが、ほとんどの画像は鮮明さに関しては非常に良好であることが決定されるであろう。この方法のバリエーションでは、最も低い美的品質パラメータ値を有する画像が分析され、どのようにそれらか改善され得るかが決定され得る。同様に、最も高い美的品質パラメータ値を有する画像が分析され、写真家がうまくやったことについての正のフィードバックが提供され得る。
【００８６】
本発明の方法はまた、異なる写真家によって撮られた写真の品質を比較するために使用することができる。例えば、図９は、２人の異なる写真家が高レベルの美的品質を有する画像を作成しようとする進展を比較するために使用することができるグラフの一例９００を示す。図９は図７と同様の内容であるが、図９は、２人の異なる写真家に対する美的品質格付けを比較する追加の特徴を含む。曲線９１０は、写真家Ａに対する時間に伴う平均美的品質の関係を示し、曲線９２０は、写真家Ｂに対する時間に伴う平均美的品質の関係を示す。写真家Ａは、写真家Ｂに対し、彼の／彼女の画像の美的品質の改善の進展がより速いことがわかる。同様に、時間に伴う美的品質の進展は、かなり多数の異なる写真家に対し比較することができる。例えば、写真撮影インストラクターは、この方法を使用して、学期を通して自分の生徒の進展を比較することができる。
【００８７】
時間に伴う１人を超える写真家の進展の比較を提供するために、複数の写真家に対し上記で記載されるように進展スコアを計算することができる。進展スコアは、写真家間で比較することができる。１つの実施形態では、１組の写真家に対する進展スコアは、写真家が属するオンラインソーシャルネットワークを用いて共有される。例えば、写真撮影クラブに属する、または写真撮影クラスを一緒にとっている写真家の一群は、オンラインソーシャルネットワークで同じ興味を持つ人たちの集まりを形成することができる。その群の写真家に対する進展スコアはその後、オンラインソーシャルネットワークを用いて共有することができ、相互評価のためのメカニズムが提供される。
【００８８】
同様に、図１０は、２人の異なる写真家に対する美的品質値の分布を比較するグラフ９５０を示す。分布９６０は写真家Ｃに対する美的品質分布を示し、分布９７０は写真家Ｄに対する美的品質分布を示す。美的品質分布は、特定の時間間隔中に写真家により撮られた画像に対する美的品質パラメータのヒストグラムまたは確率密度関数（ＰＤＦ）を表す。この例では、写真家Ｄにより作成された画像は、写真家Ｃのものよりも一般に高レベルの美的品質を有することがわかる。同様に、メディアアセットの美的品質分布は、かなり多数の異なる写真家に対し比較することができる。
【００８９】
美的品質分布は、時間に伴う写真家の進展を比較するための方法として、各写真家に対し、複数の時間間隔中に決定することができる。例えば、美的品質分布は、一連の連続する月の間で決定することができる。各月に対する美的品質分布はその後、グラフィカルユーザーインターフェースを用いて、高レベルの美的品質を有する画像の作成に向けての各写真家の進展の指示として、表示することができる。その代わりに、美的品質分布から統計値、例えば平均および分散を決定し、各写真家の進展の指示を提供するために使用することができる。統計値は、写真家の各々に対しグラフまたは表形態で表示することができる。
【００９０】
図１１は、別のユーザーインターフェース９７５を示し、ここでは、美的品質パラメータ３９０が使用されて、写真家が比較される。この場合、ユーザーインターフェース９７５は、平均美的品質格付けによりソートされた写真家の画像９８０を含む。写真家の画像９８０の各々は、その写真家に対する平均美的品質格付けを示す美的品質ラベル９８５で標識される。ユーザーインターフェース９７５は、スクロール矢印９９０を使用して、写真家の画像９８０をスクロールすることができることを描いている。多くの他のユーザーインターフェースは、１組の写真家に対し平均美的品質値間の比較を可能にするように設計することができることは当業者には明らかであろう。例えば、写真家の画像９８０を示すのではなく、ユーザーインターフェースは写真家の各々により撮られた１つの代表的な画像を示すことができる。
【符号の説明】
【００９１】
１０  デジタルカメラ付き携帯電話、２０  画像／データメモリ、３０  レンズ、４０  画像センサアレイ、５０  ＣＭＯＳセンサ、６０  タイミング発生器、７０  フラッシュ、８０  Ａ／Ｄコンバータ、９０  ＤＲＡＭバッファメモリ、１００  デジタルプロセッサ、１１０  ファームウェアメモリ、１２０  リアルタイムクロック、１３０  位置決定器、１４０  ＲＡＭ、１５０  カラーディスプレイ、１６０  ユーザーコントロール、１７０  オーディオコーデック、１８０  マイクロホン、１９０  スピーカー、２００  携帯電話ネットワーク、２１０  ドックインターフェース、２２０  ドック／充電器、２３０  汎用コンピュータ、２４０  無線モデム、２５０  ＲＦチャネル、２６０  写真サービスプロバイダ、２７０  インターネット、３１０  メディアアセット、３２０  人検出器、３２２  検出された人々、３２４  人特徴検出器、３２６  人特徴、３３０  消失点検出器、３３２  消失点位置、３３４  コンポジショナルモデラー、３３６  コンポジショナルモデル、３４０  色特徴検出器、３４２  色特徴、３５０  構造特徴検出器、３５２  構造特徴、３７０  キャプチャ情報エクストラクター、３７２  キャプチャ特徴、３８０  品質コンピュータ、３９０  美的品質パラメータ、４００  垂直線消失点、４０２  水平線消失点、４０４  画像、４１０  上部消失点領域、４１５  右消失点領域、４２０  底消失点領域、４２５  左消失点領域、４３０  中心消失点領域、４４０  小−中カテゴリ、４４５  中−大カテゴリ、４５０  画像コンポジショナルテンプレート、４５５  左領域、４６０  中心領域、４６５  右領域、４７０  左人位置画像、４７５  中心人位置画像、４８０  右人位置画像、４８２  小−中／左カテゴリ画像、４８４  小−中／中心カテゴリ画像、４８６  小−中／左カテゴリ画像、４８８  中−大／左カテゴリ画像、４９０  中−大／中心カテゴリ画像、４９２  中−大／右カテゴリ画像、４９４  アップカテゴリ、４９５  ダウンカテゴリ、４９６  クローズアップカテゴリ、４９７  遠方カテゴリ、４９８  ワイドオープンカテゴリ、５００  ベイズネット、５１０  葉ノード、５２０  条件付き確率マトリクス、５３０  根ノード、６００  ユーザーインターフェースプレゼンテーションエリア、６２０  ユーザーインターフェースウィジェット、６４０  ソートされた画像、６６０  美的品質値、７００  グラフ、７２０  曲線、７４０  変化バー、７６０  代表的な画像、８００  メディアアセットコレクション、８１０  美的品質パラメータ、８２０  美的品質閾値、８３０  アセットセレクタ、８４０  選択されたメディアアセット、８５０  画像共有器、８６０  ユーザー格付け、９００  グラフ、９１０  曲線、９２０  曲線、９５０  グラフ、９６０  分布、９７０  分布、９７５  ユーザーインターフェース、９８０  写真家の画像、９８５  美的品質ラベル、９９０  スクロール矢印。
【図１】
2013506198.tif 000004
【図２】
2013506198.tif 000005
【図３Ａ】
2013506198.tif 000006
【図３Ｂ】
2013506198.tif 000007
【図４Ａ】
2013506198.tif 000008
【図４Ｂ】
2013506198.tif 000009
【図４Ｃ】
2013506198.tif 000010
【図４Ｄ】
2013506198.tif 000011
【図４Ｅ】
2013506198.tif 000012
【図５】
2013506198.tif 000013
【図６】
2013506198.tif 000014
【図７】
2013506198.tif 000015
2013506198.tif 000016
【図８】
2013506198.tif 000017
【図９】
2013506198.tif 000018
【図１０】
2013506198.tif 000019
【図１１】
2013506198.tif 000020
【国際調査報告】
2013506198.tif 000021
2013506198.tif 000022
2013506198.tif 000023