(57)【要約】  (a)  デジタル画像コレクションを獲得し；  (b)  該デジタル画像内で1つ又は2つ以上の顔の存在を示す画像パターンを検出し、これにより、顔が検出された画像毎に1つ又は2つ以上の検出された顔を識別し；  (c)  顔が検出された該画像のそれぞれに関して、該検出された顔から1つ又は2つ以上の顔を認識し；そして  (d)  該画像コレクション内の認識された顔の相対出現頻度に基づいて、画像をスコアリングし、これにより、該画像コレクション内で出現頻度が最も高い顔の強調画像特性を生成するステップを含んで成る顔識別に基づいて画像コレクションから強調画像を選択する方法。
2007513413.tif 000002
【特許請求の範囲】
【請求項１】
顔識別に基づいて画像コレクションから強調画像を選択する方法であって、
前記方法は、
(a)  デジタル画像コレクションを獲得し；
(b)  該デジタル画像内で1つ又は2つ以上の顔の存在を示す画像パターンを検出し、これにより、顔が検出された画像毎に1つ又は2つ以上の検出された顔を識別し；
(c)  顔が検出された該画像のそれぞれに関して、該検出された顔から1つ又は2つ以上の顔を認識し；そして
(d)  該画像コレクション内の認識された顔の相対出現頻度に基づいて、画像をスコアリングし、これにより、該画像コレクション内で出現頻度が最も高い顔の強調画像特性を生成する
ステップを含んで成る。
【請求項２】
該スコアリング・ステップ(d)が、画像内で検出された認識された顔の数、及び該画像内の該認識された顔の、該画像コレクション内における出現数に基づいて、画像をスコアリングすることを含む、請求項1に記載の方法。
【請求項３】
該デジタル画像コレクションが、デジタル・カメラから得られる、請求項1に記載の方法。
【請求項４】
該デジタル画像コレクションが、走査されたフィルム画像から得られる、請求項1に記載の方法。
【請求項５】
それぞれの顔を識別するデータ及びその顔が出現する画像を記憶する第1データ構造、及び画像のリストと、各画像内に出現する顔の数のリストへのエントリーとを記憶する第2データ構造をさらに含んで成る請求項5に記載の方法。
【請求項６】
該第2データ構造内の該エントリーを、該第1データ構造内のそれぞれの顔のデータと連結するポインターの組をさらに含む、請求項1に記載の方法。
【請求項７】
該強調画像が写真アルバムの形成に使用される、請求項1に記載の方法。
【請求項８】
該強調画像が写真アルバム用のカバー画像として使用される、請求項7に記載の方法。
【請求項９】
該強調画像がCDのジュエル・ケース用のカバー画像として使用される、請求項1に記載の方法。
【請求項１０】
(e)  該デジタル画像内でテキストを検出し；
(f)  該検出されたテキストに関連する統計値を生成し、ここで統計値は前記テキストが前記画像コレクションを説明する尤度を表し；そして、
(g)  該検出されたテキストに関連する統計値及び該画像コレクション内における認識された顔の相対出現頻度に基づいて該画像をスコアリングし、これにより強調画像を生成する
ステップを含む、請求項1に記載の方法。
【請求項１１】
該検出されたテキストに関連する統計値が、該検出されたテキストを含有する面積、該検出されたテキストの最大サイズ、該検出されたテキストによって表されるワードのカウント、及び該検出されたテキストによって表されるキーワードのカウント、のうちの1つ以上を含む、請求項10に記載の方法。
【請求項１２】
画像内のテキストの使用に基づいて画像コレクションから強調画像を選択する方法であって、前記方法は、
(a)  デジタル画像コレクションを獲得し；
(b)  該デジタル画像内のテキストを検出し；
(c)  該検出されたテキストに関連する統計値を生成し、ここで、前記統計値は、前記テキストが該画像コレクションを説明する尤度を表し、；そして、
(d)  該検出されたテキストに関連する統計値に基づいて、各画像をスコアリングし、これにより、該画像コレクションを表すと思われるテキストを含有する強調画像を生成する
ステップを含んで成る。
【請求項１３】
該検出されたテキストに関連する統計値が、該検出されたテキストを含有する面積、該検出されたテキストの最大サイズ、該検出されたテキストによって表されるワードのカウント、及び該検出されたテキストによって表されるキーワードのカウント、のうちの1つ以上を含む、請求項12に記載の方法。
【請求項１４】
(e)  該デジタル画像内で1つ又は2つ以上の顔の存在を示す画像パターンを検出し、これにより、顔が検出された画像毎に1つ又は2つ以上の検出された顔を識別し；
(f)  顔が検出された該画像のそれぞれに関して、該検出された顔から1つ又は2つ以上の顔を認識し；そして
(g)  該画像コレクション内の認識された顔の相対出現頻度、並びに該検出されたテキストに関連する統計値に基づいて、画像をスコアリングし、これによりさらに、画像コレクション内で出現頻度が最も高い顔の強調画像特性を生成する
ステップをさらに含んで成る、請求項12に記載の方法。
【請求項１５】
該デジタル画像コレクションがデジタル・カメラから得られる、請求項12に記載の方法。
【請求項１６】
該デジタル画像コレクションが走査されたフィルム画像から得られる、請求項12に記載の方法。
【請求項１７】
該強調画像が写真アルバムの形成に使用される、請求項12に記載の方法。
【請求項１８】
該強調画像が写真アルバム用のカバー画像として使用される、請求項17に記載の方法。
【請求項１９】
該強調画像がCDのジュエル・ケース用のカバー画像として使用される、請求項12に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は概ね、デジタル画像処理分野、具体的には画像理解(image understanding)の分野に関する。
【背景技術】
【０００２】
画像の評価および理解は、知的能力を与えられた人間によっては容易に解決されるが、しかし完全自動化されたコンピュータ・システムによって解決することは非常に難しい。写真用途において重要と考えられる画像理解の問題は、主に被写体検出、シーン分類、空や草の検出、人物たちの検出、自動方位検出などを含む。ピクチャー群を取り扱う種々の用途において重要なのは、画像を論理的順序でランク付けして、これらの順序に従って処理できるようにすることである。ランク付けの基礎的な概念は、A. Savakis及びS. Etzの名で1999年12月14日付けで出願された「Method for automatic assessment of emphasis and appeal in consumer images」と題される係属中の同一譲受人による米国特許出願第09/460,759号明細書(また、2001年6月20日付けで欧州特許出願公開第1109132号明細書として公開された)に表されている。この特許出願明細書によれば、或る特定の特徴に関して画像が自動評価され、この評価は画像の重要性、興味深さ又は魅力の程度を決定する。特徴量は、一人又は二人以上の観察者の意見に照準が向けられた推論アルゴリズム、具体的にはベイズ・ネットワークで処理され、そして画像を評価する推論アルゴリズムから出力が得られる。1画像群に対して、強調画像として1つの画像を選択するスコアが提供される。
【０００３】
興味のある具体的な写真用途は、画像のコレクションから、コレクションを最良に表す1つ又は2つ以上の画像を選択することである。このことは、画像をクラスタ化して別々の事象にし、次いで、それぞれの事象の画像から、コレクションの観察者にコレクション内の画像タイプを最良に示すことを可能にする画像を選択する。これは、アルバム用のカバー画像を選択するのと似ている。それというもの、その画像は、アルバム内におそらく見いだされる画像の素早い指標を、観察者に提供するからである。
【０００４】
コレクション内の画像のランク付けが有用である別の状況は、利用可能なデジタル記憶スペース量が固定又は制限されており、リソースの割り当てが重要である場合である。典型的には、固定された記憶スペース内に画像群を記憶するデジタル画像形成システムは、群内の全ての画像に同じレベルの圧縮を加える。このことは、デジタルカメラ内、ポータブル・ディスク内などに記憶された画像の状況であり得る。しかし、このアプローチは、画像間の強調又はアピールの差異を考慮に入れていない。アピール性のある視覚的な画質を維持することが望ましいことが多いのに対して、アピール性のない視覚的な画質を劣化させることには耐えられる。従って、画像をこれらの相対的な値に関して先ずランク付けし、続いてそれぞれの画像に加えられる圧縮率を割り当てるためにこのランク付け結果を用いるデジタル・システムを得ることが望ましい。目標は、価値のより高い画像により多くの記憶スペースを割り当てることである。例えば、A. Savakis、M. Rabbani及びS. Etzの名で2001年7月23日付けで出願された「System and method for controlling image compression based on image emphasis」と題される係属中の同一譲受人による米国特許出願第09/911,299号明細書(また、2003年1月29日付けで欧州特許出願公開第1280107号明細書として公開された)を参照されたい。
【０００５】
コレクションを表すためにコレクション内画像の小さな部分を使用することは、普通の技術である。特定の地理的領域の画像コレクションは、一般にその場所に関して特定されるランドマークのカバー画像をおそらくは有するであろう。例えばパリの画像アルバムはしばしば、カバー画像にエッフェル塔が含まれることになる。カバーを見た人は、コレクション内の題材がパリ又はフランスにある意味で関連することを素早く推量する。このコンセプトは、消費者の写真から得られたデジタル画像コレクションのために、例えばアルバムの自動構成時、又はピクチャーＣＤ（Picture CD商標）のジュエルケース(Jewel-case)の内側に配置するための画像を選択するときに採用されている。これを可能にするためのアプローチは、写真としてのアピール性を有する画像を識別するために画像コレクションを検索することであった。このアプローチは、A. Savakis及びR. Mehrotraの名で2001年5月21日付けで出願された「Retrieval and browsing of database images based on image emphasis and appeal」と題される係属中の同一譲受人による米国特許出願第09/863,570号明細書に記載されている。
【０００６】
しばしば写真は、写真撮影者にとって重要な人物の画像を含む。画像コレクション内の人々を識別することによって、事象や場所が思い出されるのが典型的である。人の外観は加齢に従って変化する。しかし、我々は、年齢を推定し年齢に応じた個人の外観を推定するのが上手い。より重要な点は、写真撮影時から画像を見る時までの間に何歳も歳をとっていたとしても、我々は画像内で人物を識別できることである。経験によれば、多くのアマチュア写真家によって撮影された写真には、画像の75%に人がいる。コレクションを表すための画像を選択する上で、人々を含む画像を選択することは妥当と思われる。この画像を使用して、観察者は、コレクションが表す事象、時間及び出来事を素早く推量することができた。また、顔検出を用いると、画像内に存在する人々の数を推定する自動的手段が提供される。多数の人々を含む画像は、多くの場合、重要な人々の団体写真には典型的であり、このような画像は結果として、強調画像の候補である。
【０００７】
画像内の顔及び人を検出する能力は、典型的画像内の顔の90%超を検出することができるほどますます高度化されてきているコンピューター・ビジョンの特徴であり、当業者によく知られている。さらに、続いて顔を個人に一致させる能力、すなわち顔認識も、多くのセキュリティ及び出入管理に適用されるほどにより高度化されてきている。当業者によく知られた顔認識のタスクを達成する手段に関しては、広範囲の調査文献がある。これらの参考文献の多くは論文又はインターネットに容易に見いだすことができる。例えば、Volker Blanz及びThomas Vetter「Face Recognition Based on Fitting a 3D Morphable Model」、IEEE Transaction on PAMI、第25巻、第9号、2003年9月、を参照されたい。顔認識はセキュリティ又は出入管理の手段として考えられる一方、この技術を人物の同一性が重要でない状況に適用することもできる。むしろ、一連の画像内における個人の存在が価値を有する。これを目的とした顔認識は、画像ライブラリーのインデックス・スキームを形成することに適用される(L. Chen及びM. Dasの名で2002年5月10日付けで出願された係属中の同一譲受人による米国特許出願第10/143,272号明細書「Method and aparatus for organizing and retrieving images containing human faces」を参照されたい)。これらの用途のために現行の顔認識技術を用いることは、出入管理用途に対して利点を有する。それというのも、その結果はゆっくりと劣化するからである。画像コレクション内で、最も頻繁に出現する一人の人物がいるならば、その人物が存在する画像のうちの1つが、強調画像として選択するのに良好な候補である。
【０００８】
多くの写真撮影者によって使用される別の共通のアプローチは、標識、例えば国立公園名を識別する国立公園入口の看板を含むいくつかの画像を含むことであり、次いでコレクションを表すために標識画像のうちの1つ又は2つ以上を使用することを含む。標識は、これらの画像が撮影された時間及び場所を写真撮影者が思い出す助けとなる「記憶呼び覚まし物(memory jogger)」である。このことは特に、多くの休暇や休日の画像コレクションに当てはまる。これらの画像の目的は写真のアピールのためではなく、画像コレクションのピクチャーによる注釈として使用することである。注釈は標識上の言葉によって提供される。これらの言葉は一般に、画像コレクション内の後続の画像に関連するテキスト記述を提供する。
【０００９】
画像内のテキストを位置特定してセグメント化する能力は、テキスト内容とピクチャー内容との組み合わせである画像の再現を改善するための手段として、最もしばしば用いられている。その一例は、例えばパーソナル・コンピューターに取り付けられたインクジェット・プリンター等のデスクトップ・プリンター用にアルゴリズムを表現することである。画像コンテンツに適用する場合、優れたテキストを再現するために用いられる方法は、通常、より劣った結果を生じる。優れた画像再現をもたらす方法が通常、テキストのより劣った再現をもたらす場合にも、同様の結果が生じる。2002年5月21日付けで発行されたLee 他の「Region-based image binarization system」と題される同一譲受人による米国特許第6,393,150号明細書、及び「Automatic Text Location in Images and Video Frames」A.K. Jain, Pattern Recognition、第31巻、第12号、第2055-2076頁を含めて、この問題を克服するための多くのアルゴリズムが提案されている。他の方法は、テキスト内容を抽出するために、光学式文字認識アルゴリズムを用いたテキスト・セグメント化に従う(J. Ohya他、「Recognizing Characters in Scene Image」IEEE Transaction on PAMI、第16巻、第2号、第214-220頁参照)。
【００１０】
コンピューターが所定の領域を検索し、そしてその領域内のテキスト抽出して、テキストの内部コンピューター表示、例えばASCIIコードにする能力は十分に確立されており、これらの技術は多くの光学走査システム内に含まれる。テキストがコンピュータで使用可能なフォーマットに変換されると、キーワードの検索が可能になる。このことは十分に確立された技術である。
【発明の開示】
【発明が解決しようとする課題】
【００１１】
画像コレクションの内容を適正かつ簡潔に特徴付けることの重要性に照らして、必要なのは、画像コレクションの主要な内容を表し、そしてコレクションのための強調画像として使用することができる画像を選択するために、例えば顔又は標識の内容認識を利用する自動技術である。
【課題を解決するための手段】
【００１２】
本発明は上記問題のうちの1つ又は2つ以上を克服することに関する。簡潔に要約すると、本発明の1つの態様によれば、本発明は、(a)デジタル画像コレクションを獲得し；(b)該デジタル画像内で1つ又は2つ以上の顔の存在を示す画像パターンを検出し、これにより、顔が検出された画像毎に1つ又は2つ以上の検出された顔を識別し；(c)顔が検出された該画像のそれぞれに関して、該検出された顔から1つ又は2つ以上の顔を認識し；そして(d)  該画像コレクション内の認識された顔の相対出現頻度に基づいて、画像をスコアリングし、これにより、該画像コレクション内で出現頻度が最も高い顔の強調画像特性を生成するステップを含んで成る顔識別に基づいて画像コレクションから強調画像を選択する方法を含む。
【００１３】
本発明の別の態様によれば、本発明は、画像内のテキストの使用に基づいて画像コレクションから強調画像を選択する方法であって、 (a)デジタル画像コレクションを獲得し；(b)該デジタル画像内でテキストを検出し；(c) 該検出されたテキストに関連する統計値を生成し、ここで統計値は前記テキストが前記画像コレクションを説明する尤度を表し；そして、(d)該検出されたテキストに関連する統計値に基づいて、各画像をスコアリングし、これにより、該画像コレクションを表すと思われるテキストを含有する強調画像を生成するステップを含む、強調画像を選択する方法を含む。
【００１４】
画像コレクションの内容を特徴付けるための従来の労働集約的技術と比較して、本発明は、画像コレクションの主要な内容を表し、そしてコレクションのための強調画像として使用することができる画像を選択するために、例えば顔又は標識の内容認識を利用する自動技術であるという利点を有する。
【００１５】
本発明のこれらの及び他の態様、目的、特徴及び利点は、好ましい態様の下記の詳細な説明、及び添付の特許請求の範囲を検討し、そして添付の図面を参照することにより、より明らかに理解される。
【発明を実施するための最良の形態】
【００１６】
以下の記載では、通常はソフトウェア・プログラムとして実施される、本発明の好ましい態様を説明する。当業者には明らかなように、このようなソフトウェアの等価物をハードウェア内に構成することもできる。画像操作アルゴリズム及びシステムはよく知られているので、ここでは具体的には本発明によるシステム及び方法の一部を形成するアルゴリズム及びシステム、又は本発明によるシステム及び方法とより直接的に協働するアルゴリズム及びシステムに関して説明する。このようなアルゴリズム及びシステムの他の態様、及びこれに関与する画像信号を生成し、又はその他の形式で処理するためのハードウェア及び/又はソフトウェアは、本明細書中では特に図示又は説明していないが、当業者に知られたこのようなシステム、アルゴリズム、成分及び要素から選択することができる。下記構成要素において本発明に基づいて説明されるシステムにおいて、本発明の実施に有用な、具体的には図示、示唆又は記載されていないソフトウェアはコンベンショナルなものであり、当業者の技術範囲に含まれる。
【００１７】
さらに、本明細書中に使用されるコンピューター・プログラムは、コンピュータで読み出し可能な記憶媒体に記憶することができる。記憶媒体は例えば、磁気記憶媒体、例えば磁気ディスク(例えばハード・ドライブ又はフロッピー（登録商標）（商標）・ディスク)、又は磁気テープ；光学記憶媒体、例えば光ディスク、光学テープ、又は機械で読み出し可能なバーコード；固体電子記憶デバイス、例えばランダム・アクセス・メモリー(RAM)、又は読み出し専用メモリー(ROM)；又はコンピューター・プログラムを記憶するために採用される任意のその他の物理的デバイス又は媒体を含む。
【００１８】
本発明の説明の前に、理解しやすくするために述べるならば、本発明は好ましくは、任意のよく知られたシステム、例えばパーソナル・コンピューター上で利用される。例えば、図1を参照すると、本発明の実施のためのコンピュータ・システム110が示されている。コンピュータ・システム110は好ましい態様を説明する目的で図示されているが、本発明は図示のコンピュータ・システム110に限定されるものではなく、家庭用コンピュータ、キオスク、小売店、大規模現像所、又は任意の他のデジタル画像処理システムに見いだされるような任意の電子処理システムにおいて使用することができる。コンピュータ・システム110は、ソフトウェア・プログラムを受容して処理するための、そして他の処理機能を発揮するための、マイクロプロセッサーをベースとするユニット112を含む。例えばグラフィカル・ユーザー・インターフェイスによって、ソフトウェアと連携するユーザー関連情報を表示するために、マイクロプロセッサーをベースとするユニット112にはディスプレイ114が電気的に接続される。ユーザーがソフトウェアに情報を入力するのを可能にするために、マイクロプロセッサーをベースとするユニット112にはキーボード116も接続される。入力のためのキーボード116の使用に代わるものとして、当業者によく知られているように、ディスプレイ114上でセレクター120を動かすために、そしてセレクター120が重なるアイテムを選択するためにマウス118を使用することもできる。
【００１９】
ソフトウェア・プログラム及びその他の情報を入力する手段を、マイクロプロセッサーをベースとするユニット112に提供するために、マイクロプロセッサーをベースとするユニット内には、典型的にはソフトウェア・プログラムを含むコンパクト・ディスク読み出し専用メモリー(CD-ROM)124が挿入される。加えて、フロッピー（登録商標）（商標）・ディスク126がソフトウェア・プログラムを含んでもよく、これはソフトウェア・プログラムを入力するために、マイクロプロセッサーをベースとするユニット112内に挿入される。コンパクト・ディスク読み出し専用メモリー(CD-ROM)124又はフロッピー（登録商標）（商標）・ディスク126は、或いは、マイクロプロセッサーをベースとするユニット112に接続された外部配置型ディスク・ドライブ・ユニット122内に挿入される。さらに、マイクロプロセッサーをベースとするユニット112は、ソフトウェア・プログラムを内部に記憶するために、当業者によく知られているようにプログラミングすることができる。マイクロプロセッサーをベースとするユニット112は、外部ネットワーク、例えばローカル区域ネットワーク又はインターネットとのネットワーク接続127、例えば電話線を有することもできる。コンピュータ・システム110からの出力のハードコピーをプリントするために、マイクロプロセッサーをベースとするユニット112にプリンター128を接続することもできる。
【００２０】
ディスプレイ114上には、パーソナル・コンピューター・カード(PCカード)130、例えば以前から知られているPCMCIAカード(Personal Computer Memory Card International Associationの仕様に基づく)を介して、画像を表示することもできる。PCカードは、カード130内に電子的に具体化されたデジタル化画像を含有する。PCカード130は最終的には、ディスプレイ114上の画像の視覚的な表示を可能にするために、マイクロプロセッサーをベースとするユニット112内に挿入される。或いは、PCカード130は、マイクロプロセッサーをベースとするユニット112に接続された外部配置型PCカード・リーダー132内に挿入することもできる。コンパクト・ディスク124、フロッピー（登録商標）（商標）・ディスク126、又はネットワーク接続127を介して、画像を入力することもできる。PCカード130、フロッピー（登録商標）（商標）・ディスク126又はコンパクト・ディスク124内に記憶された、又はネットワーク接続127を介して入力された任意の画像は、種々のソース、例えばデジタルカメラ134又はスキャナー(図示せず)から得られたものであってよい。画像は、マイクロプロセッサーをベースとするユニット112に接続されたカメラ・ドッキング・ポート136を介してデジタルカメラ134から直接的に、又はマイクロプロセッサーをベースとするユニット112とのケーブル接続138を介して、又はマイクロプロセッサーをベースとするユニット112とのワイヤレス接続140を介して、デジタルカメラ134から直接的に入力することができる。
【００２１】
本発明によれば、アルゴリズムは、前述の記憶デバイスのうちのいずれかに記憶され、コレクション内の画像に適用することができる。コレクションの画像が参照の目的で何らかの様式でインデックス化されることが自然であり、且つ便利である。一般的且つ便利なアプローチは、画像がアルゴリズムに提供される通りに、コレクション内の画像に連続して番号付けすることである。従って提供された最初の画像は参照番号1を有し、そして第2の画像は参照番号2を有し、以下同様である。他の参照スキームも考えられるが、強調画像選択プロセスに対応する挙動は、結果として全て共通のものになる。アルゴリズムは、コレクションから画像の限定された一部を識別する目的で画像コレクションを検索するために利用される。この部分の意図は、画像コレクションの観察者に、コレクション内の他の画像を決定する手段を提供することである。
【００２２】
フィルム・ロール上に集められたもののような画像コレクションは、しばしば、何らかの共通のテーマを有し、そしてコレクション内の画像のうちの1つが、そのコレクションを類型化する。この画像タイプを強調画像と呼ぶ。それというのもこれはコレクション内の残りの画像の内容を強調するからである。強調画像は多くの目的で使用することができ、例えば写真アルバムの場合には表題写真として使用することができる。多くの画像コレクション内の大きなパーセンテージの画像は、有意な主題部分として人物を有する。有用な前提は、コレクションを代表する良い画像が、画像コレクション内の人物のいくつかの特徴を捉えた画像であることである。画像コレクション内の或る人物の出現を検出してカウントする能力は、この前提をもたらすための量的手段を提供する。本発明の別の態様によれば、写真撮影者はしばしば、1つ以上の写真が、撮影されたソース又は事象におけるヒントを与えるように、テキストを含有する1つ又は2つ以上の画像を意図的に構成する。本発明の顔の態様は図2〜5に関連して考察され、これに続いて、テキストの態様は図6〜8に関連して考察される。
【００２３】
図2を参照すると、強調画像選択プロセスは、デジタル画像コレクションとしてコンパイルされた画像コレクション200で始まる。画像がデジタルカメラから捉えられる場合、初期コレクションとデジタル・コレクションとは同一である。画像がハードコピー内又はフィルム・ロール上にある場合、これらの画像はスキャナー202によって処理して走査することにより、デジタル・フォーマットに到達しなければならない。コンピュータ204及びその添付のソフトウェアによって処理された画像コレクションは、コレクションの最も代表的なものとして適しているかどうかに関して、本発明に基づいてソートされる。ソートされた画像リストにはいくつかの用途がある。一例としては、トップにランク付けされた画像をプリントアウトし、そしてコレクションのための「カバー画像」206として使用することができる。この画像は、複数の画像コレクションから成る1コレクションを通してソートする視覚的手段として使用することができる。
【００２４】
図3を参照すると、コレクションのために2つのデータ構造が確立される。第1データ構造300は、画像コレクション上で動作する処理システム204内で、データベース301及び顔認識能力を支持する。各画像が処理されるのに伴って、多数の顔が検出される。個々の顔が画像から抽出され、以前に検出された他の全ての顔と比較される。顔がコレクション内で以前に見られたものとして認識されない場合、第1データ構造300内の以前に見られた顔のコレクションに、対応する顔記録302が加えられる。以前に見られた顔のコレクションは、その特定の顔が出現したコレクション内の全ての画像の参照番号304を含む。コレクション内の全ての画像が処理されるまで、データベースは改変される。第2データ構造310は、リスト内のエントリー312が、所与の画像(この例では画像3)内で検出された多数の顔を含む構造であるようなリストであり、またポインター314のリストである。ポインター314は、第1データ構造300によって支持された認識データベース301内の、検出された顔に関する情報が位置している場所への、アドレッシング矢印316によって表されるようなアドレスである。従ってリスト310内のn番目のエントリー312(...n)は、n番目の画像内で検出された顔の数であり、そして顔認識データベース内へのポインター314(...n)も同じ数である。2つの構造300と310とが相互参照を伴って密接にリンクされていることは明らかである。これら2つの構造の両方を使用して、強調画像の選択を決定する。
【００２５】
図4を参照すると、画像コレクションの処理は、走査220、検出230、認識240及びランク付け250の処理段階によって例示されたむしろ単純な経路に従って行われる。図2とともに図4を参照すると、画像コレクション200は、走査段階220において、スキャナー202によって、デジタル画像集合に変換される。もちろん画像がデジタルで捉えられた場合には、このステップは不要である。各デジタル化画像を検出段階230において処理することにより、人間の顔として検出されたパターンを画像が含有するかどうかを識別する。この目的で使用することができる既知のアルゴリズムが多数ある。好ましいアルゴリズムは、雑然とした背景に関して、また画像内に広範囲の顔配向に関して申し分のない性能を有するアルゴリズムである。多くの顔検出アルゴリズムはよく動作するが、顔は、ポーズ角度方向、面内配向方向、及び凝視角方向（これらの角度および芳香は当業者によって理解されている）のそれぞれにおいてゼロに近い顔配向を有する。顔画像がこの形態から外れるにしたがって、検出速度は急激に低下するおそれがある。現行の全てのアルゴリズムはこのような挙動を示すが、最小の劣化を示すアルゴリズムを使用することが好ましい。例えばNeils da Vitoria Lobo及びYoung Ho Kwon, 「Face Detection Using Templates」、1998年11月19日付けで発行された米国特許第5,835,616号明細書を参照されたい（引用することにより、本明細書の内容とする）。より具体的には、n番目の画像がデジタル・フォーマットに変換されると、顔検出アルゴリズムが検出段階230において適用され、顔が出現する第2データ構造310は、見いだされた顔の数で更新される。顔が見いだされない場合には、この画像のための付加的な処理は必要でない。顔が見いだされると、顔認識アルゴリズムを使用して、その顔を認識段階240において、以前に見られた顔からなる第1データ構造300によって支持されたデータベースと比較する。その顔が以前に見られている場合は、この顔を含有する画像のリスト304は、この顔に付加された参照番号を有する。顔が以前には見られていない場合には、第1データ構造300に新しい顔記録302を付加し、そして現行画像に対する参照番号304を、その顔を有する画像のリスト304に付加する。
【００２６】
図5を参照すると、画像コレクション内に検出された顔の数及び個々の顔の出現に関する情報を含有するデータ構造が利用される。強調画像のためのアルゴリズムは、これら2つのリストのデータを組み合わせる。コレクション内の画像が順次インデックス化されると仮定して、
φ(i) ＝ ｛画像i内で検出された顔の数｝
そして
τ(i) ＝ ｛画像i内の顔の、画像コレクション内における出現数｝
とする。
【００２７】
i番目の画像の強調画像としての好ましい格付けρ(i)は：
ωiφ(i) + ω2(τ(i)-φ(i))
である。2つのパラメーターωi及びω2は、比率の重みである。これら2つの好ましい重みは一体性を有し、顔の数及び顔の出現数に、評価において等しい重みを与える。念のため述べておくと、画像内で顔が検出されない場合、ρ(i)はゼロである。また、ω2=0である場合、好ましい格付けは、画像内の顔の数に従って厳密に決定され、画像コレクション内での出現数には従わない。
【００２８】
コレクション内の各画像に対して、属性のベクトル、つまりα=(α1, α2,...αn)が確立される。いくつかの事例におけるベクトル内部の個々の属性は、コレクション内の画像とは独立して決定されるが、他の属性は、全体としてコレクションの特性に依存することになる。後者のタイプの一例は、コレクションの画像内における或る人物の相対出現頻度を決定することである。この場合、特定の画像内の人物の数が可変なので、属性は画像内の1人物、又は或る限定された数の人物の最大頻度出現に限定することができる。好ましい態様では、2人の人物の最大相対出現頻度が用いられる。他の属性は、画像内に見いだされる顔の数、検出された特別の対象の数、及び画像内に見いだされたテキストの形態となる。強調画像のためのアルゴリズムは、各画像の属性ベクトルから得られたデータを組み合わせる。コレクション内の画像が順次インデックス化されることを想定すると、インデックスを反映するように属性ベクトルをインデックス化して、βiをi番目の属性ベクトルとすると、好都合である。強調画像を決定するために、属性ベクトルは測定基準を用いて評価される。シンプルでしかも効果的な測定基準は、重要性ファクターのベクトルを確立することである。このベクトルの長さは属性ベクトルの長さと同じである。評価は単純に、重要性ファクターと属性ベクトルとのドット積であり、この積は、個々の画像に対して単一の数又はスコアρ(i)を生成する。強調画像は、最高スコアを受ける画像である。いくつかの画像が全て、最善スコアを受けることは十分に可能である。これらの場合、強調画像として選択された画像は、最低インデックス値を有する画像となるであろう。他のアプローチも等しく有効であるが、この状況を解決する手段が必要となる。
【００２９】
現在の顔認識アルゴリズムの性能は、完全とはほど遠く、そして顔認識アルゴリズムは、外見のいくつかの変化が発生すると、人物を一致させるのに困難を伴う場合がある。例えば1つの画像においてサングラスを着用していない人物を、サングラスを着用している同じ人物の画像を用いて識別することはおそらくできないであろう。選択アルゴリズムは、これらの制限に対して許容性を有するが、しかし、顔認識の制限により、画像が強調画像として選択されない状況が想定される。
【００３０】
図5を参照すると、高レベルのアルゴリズム編成が示されている。第1ステップ400は、コレクション内の画像にまだ処理されていない画像があるかどうかを決定することである。1つ以上のこのような画像があることが想定され、そして一般には複数の画像が処理されることが想定される。ここで、コレクション内の1つの画像がまだ処理されていないと想定する。その画像がハードコピー・フォーマットである場合、又は写真ネガの形態を成す場合には、画像をステップ402において走査することにより、画像をデジタル・フォーマットに変換しなければならない。画像がデジタルカメラから得られる場合には、このステップは省くことができる。次のステップ404は、顔が画像内に存在するかどうかを検出することである。このプロセスを説明する公開された多数のアルゴリズムがある。検出される顔がない場合、画像は更なる処理を必要とせず、リストはステップ406で更新され、検出された顔の画像インデックス済リストにはゼロが置かれる。次いでプロセスは、処理されるべき次の画像に移る。顔がステップ404で検出される場合、検出リストはステップ408で更新され、顔認識サブシステム410が作動される。現行の顔がステップ412において、以前見られた顔と比較され、一致が見いだされると、この顔を有する画像の参照リストがステップ414で更新される。さもなければ、新しい顔がステップ418において新しい記録418として付加される。これは、画像内のどの顔も顔認識サブシステムによってこのように処理されるまで、ステップ416を介して続けられる。これが完了すると、アルゴリズムは経路420を介して元に戻り、後続の画像を処理する。コレクション内でまだ処理されていないさらなる画像がない場合には、アルゴリズムは経路421を介して進むことにより、コレクションを代表するのに好ましい画像を選択する。ステップ422によって決定される際にいずれの画像にも顔が検出されなかった場合には、アルゴリズムは、代表画像を選択する他の手段424に従うか、又は単にランダムに1つを選ぶ。ステップ420によって決定される際、1つ又は2つ以上の画像に顔が検出された場合には、画像は、好ましい格付けアルゴリズムに従ってステップ426で評価され、次いで、検出された顔のリスト及び前述のように顔認識サブシステムによって作成されたデータベースを使用して、強調画像がステップ428において選択される。最大格付けが複数の画像の間で共有される場合、その制限された組のうちのいずれか1つの画像がランダムに選択されるか、又は最大特性を有する、画像コレクションのインデックスに関して最初の画像が強調画像として選択される。
【００３１】
本発明の別の態様によれば、写真撮影者はしばしば、1つ以上の写真が、撮影されたソース又は事象におけるヒントを与えるように、テキストを含有する1つ又は2つ以上の画像を意図的に構成する。従って、本発明はさらに、テキストを有する画像が強調画像として選択するのに好ましい画像であると想定する。テキストを含有する領域を含むコレクションから画像を先ず選択し、次いで尺度、例えば検出されたテキストを含有する画像の比率を用いるアルゴリズムを使用して、テキストを有する1つの画像を強調画像として選択する。
【００３２】
図2に戻ると、コンピュータ204及びその関連ソフトウェアによって、それぞれのデジタル化画像を処理して、画像がテキストデータを保有するとして識別される領域を有するかどうかを識別する。全ての画像がこの特性を有するわけではないので、この特性を有する画像だけがさらなる処理のために選択される。次いで、テキスト内容を有する画像を処理して、テキスト含有領域に関する統計値を決定する。統計値は、例えば相対テキスト面積及びテキストのサイズを含む。任意には、光学式文字認識アルゴリズム(OCR)を適用することにより、文字を、コンピュータのために使用可能なデータ、すなわちASCIIコードに変換する。次いで統計データ及び文字データを使用して、好ましい画像を突き止める。典型的には、この画像は、かなりの量のテキストを含有することになり、このテキストにおいて、文字は通常の観察条件下で画像内で読むのに十分に大きく、また任意にはキーワードの適度なカウントがテキスト内に見いだされる。
【００３３】
図6を参照すると、テキスト情報を担持する領域502を決定するために画像500が処理される。或る特定の成功度でこのタスクを実施することができる多数の既知のアルゴリズムがある。これらのアルゴリズムが常にテキストを見いだすわけではなく、またテキスト情報を担持しない領域に戻ることもあることも認識されている。しかし、選択された領域から、テキスト情報を担持するものとして識別される画像の比率を決定するのは単純な仕事である。テキスト領域内の文字504の相対サイズを推定することもできる。小さなテキストよりも大きなテキストが好ましい。それというのも、大きなテキストを有する画像はおそらくは、テキスト情報を捉えるために意図的に構成されたものであるからである。いずれの場合にも、大きい方が好ましい。
【００３４】
図7を参照すると、テキスト領域502が識別されると、光学文字をアルゴリズム506、例えばOCRアルゴリズムによって解釈することができる。次いで文字504は、コンピューター・コード508、例えばASCIIに変換することができる。次いで、ASCIIテキスト列を、キーワード、例えばPark, CityやBirthdayの存在に関して検索することができる。キーワードは典型的には、場所、事象又は時間に関連するものである。このようなキーワードの数は多ければ多いほど、画像はより好ましくなる。結果として、各画像から検索されるデータの記述は、例えば下記のものを含むことができる：
【００３５】
・テキスト含有面積
・最大テキスト・サイズ
・ワード・カウント
・キーワード・カウント
・変換されたテキスト
【００３６】
このようなデータは、コレクション内の各画像から抽出される。抽出されたデータを記憶するために2つ以上の選択肢がある。1つの選択肢は、画像のいわゆるヘッダー内にデータを記憶することであり、次いでそのデータを画像含有ファイルに取り付ける。別の選択肢は、当該画像コレクションのためのシステム全体内部に維持された別個のデータベース内にデータを記憶することである。この選択は実施上の好みによるものであり、この選択は、本発明の実施にとって重大なものではない。以下の説明では、このデータをメタデータと呼ぶ。メタデータ内には、テキスト領域の面積、最大テキスト・サイズ、ワード・カウント、キーワード・カウント、及び画像からASCIIフォーマットに変換されたテキストが含有される。
【００３７】
図8を参照すると、テキストに基づくアルゴリズムの高レベルの編成が示されている。第1ステップ600は、コレクション内の画像にまだ処理されていない画像があるかどうかを決定することである。1つ以上のこのような画像があることが想定され、そして一般には複数の画像が処理されることが想定される。ここで、コレクション内の1つの画像がまだ処理されていないと想定する。その画像がハードコピー・フォーマットである場合、又は写真ネガの形態を成す場合には、画像をステップ602において走査することにより、画像をデジタル・フォーマットに変換しなければならない。画像がデジタルカメラから得られる場合には、このステップは省くことができる。次のステップ604は、テキストが画像内に存在するかどうかを検出することである。このプロセスを説明する公開された多数のアルゴリズムがある。テキストを含有する領域が検出されない場合、画像は更なる処理を必要とせず、ヘッダーの面積フィールドにはゼロが置かれ、残る情報はブランクのままである。次いでプロセスは経路606を介してステップ600に戻り、処理されるべき次の画像を決定する。テキスト含有領域が検出される場合、テキスト含有領域はステップ608で分離され、そしてこの領域を含む面積が決定される。次いでテキストのサイズをステップ610で分析することにより、テキストが通常の観察距離から読み取り可能であるかどうかを決定する。読み取り可能でない場合、プロセスは経路612を介してステップ600に戻ることにより、処理されるべきコレクション内の次の画像を決定する。テキストが読み取り可能である場合、テキストはASCIIに変換され、ステップ614においてメタデータとして記憶される。次に、テキスト・サイズはステップ616で確立され、そしてその結果はメタデータとして記憶される。この時点で、テキスト面積、変換されたテキスト、及び推定テキスト・サイズを含むパラメーターがメタデータとして記憶される。これが完了すると、アルゴリズムは経路618を介して元に戻り、ステップ600において後続の画像を処理する。コレクション内で処理すべきさらなる画像がない場合には、アルゴリズムは先へ進むことにより、コレクションを代表するのに好ましい画像を選択する。各画像のためのヘッダーがステップ620において検索され、テキストを含むポジティブ領域を有する画像が、ステップ624〜632において考察される。このような画像が見いだされない場合には、アルゴリズムは、代表画像を選択する他の手段のためのステップ622に従うか、又は単にランダムに1つを選ぶ。ヘッダー内には4つの数値があり、そしてテキストを含む各画像に関して、各テキスト面積のランク順位がステップ624において計算され、最大テキスト・サイズの決定に基づくランク順位がステップ626において付けられ、ワード・カウントに基づくランク順位がステップ628において付けられ、そしてキーワード・カウントに基づくランク順位がステップ630において付けられる。次いで、4つのランク順位をステップ632において組み合わせて重み付けされた組み合わせにし、そして最も低い全体的スコアを備えた画像が、ステップ634で強調画像として選択される。
【００３８】
強調画像は、当業者には明らかとなるような種々様々な様式で使用することができ、例えばアルバム用カバー画像、又はCD上の画像コレクション用カバー画像として使用することを含む。例えば、図9を参照すると、選択された強調画像は、アルバム又はジュエル・ケース702に、カバー700としてプリントされ、且つ/又は、CD704上のコレクション内の最初のピクチャーとして配置される。このことは、コレクション所有者が、コレクション内に含有された画像を素早く視覚的に参照することを可能にする。
【００３９】
特定の好ましい態様を具体的に参照しながら本発明を詳細に説明してきたが、言うまでもなく、本発明の思想及び範囲内で変更及び改変を加えることができる。
【図面の簡単な説明】
【００４０】
【図１】図1は、本発明を実施するためのコンピュータ・システムを示す概略図である。
【図２】図2は、強調画像を処理して選択する段階を示す概略図である。
【図３】図3は、強調画像選択プロセスにおいて使用されるデータ構造を示す図である。
【図４】図4は、本発明によるプロセス全体の段階を示すフローチャートである。
【図５】図5は、顔の内容に基づく強調画像選択アルゴリズムを示すフローチャートである。
【図６】図6は、写真からのテキスト抽出を示すピクチャーである。
【図７】図7は、強調画像を選択するために使用される尺度の生成を示すピクチャーである。
【図８】図8は、テキストの内容に基づく強調画像選択アルゴリズムを示すフローチャートである。
【図９】図9は、どのように強調画像を使用できるかの一例を示す図である。
【符号の説明】
【００４１】
110    コンピュータ・システム
112    マイクロプロセッサーをベースとするユニット
114    ディスプレイ
116    キーボード
118    マウス
120    ディスプレイ上のセレクター
122    ディスク・ドライブ・ユニット
124    コンパクト・ディスク-読み出し専用メモリー(CD-ROM)
126    フロッピー（登録商標）（商標）・ディスク
127    ネットワーク接続
128    プリンター
130    パーソナル・コンピューター・カード(PCカード)
132    PCカード・リーダー
【００４２】
134    デジタルカメラ
136    カメラ・ドッキング・ポート
138    ケーブル接続
140    ワイヤレス接続
200    画像コレクション
202    スキャナー
204    コンピュータ及びソフトウェア
206    強調画像
220    走査段階
230    検出段階
240    認識段階
【００４３】
250    ランク付け段階
300    第1データ構造
301    認識データベース
302    顔記録
304    参照番号
310    第2データ構造
312    エントリー
314    ポインターのリスト
316    アドレッシング矢印
【００４４】
400    プロセス決定ステップ
402    走査ステップ
404    顔検出ステップ
406    リスト更新ステップ
408    検出リスト更新ステップ
410    顔認識ステップ
412    顔比較ステップ
414    更新認識ステップ
416    顔決定ステップ
418    新しい記録ステップ
420    経路
421    経路
422    顔決定ステップ
424    他の選択手段ステップ
426    画像評価ステップ
428    共通画像選択ステップ
【００４５】
500    画像
502    領域
504    文字
506    OCRアルゴリズム
508    コンピューター・コード
【００４６】
600    プロセス決定ステップ
602    走査ステップ
604    テキスト検出ステップ
606    経路
608    テキスト分離ステップ
610    テキスト読み出し可能性決定ステップ
612    経路
614    ASCIIステップへのテキストの変換
616    テキスト・サイズ推定ステップ
618    経路
【００４７】
620    ヘッダー検索
622    他の選択手段ステップ
624    テキスト面積ランク付けステップ
626    テキスト・サイズ・ランク付けステップ
628    ワード・カウント・ランク付けステップ
630    キーワード・カウント・ランク付けステップ
632    重み付けステップ
634    強調画像選択ステップ
700    カバー画像
702    ジュエル・ケース
704    CD
【図１】
2007513413.tif 000003
【図２】
2007513413.tif 000004
【図３】
2007513413.tif 000005
【図４】
2007513413.tif 000006
【図５】
2007513413.tif 000007
【図６】
2007513413.tif 000008
【図７】
2007513413.tif 000009
【図８】
2007513413.tif 000010
【図９】
2007513413.tif 000011
【国際調査報告】
2007513413.tif 000012
2007513413.tif 000013
2007513413.tif 000014