(57)【要約】  画像コレクションを生成する方法が述べられる。複数の画像が取り出され（ステップ２０２）、前記複数の画像の内容の予め決められた特性に従って、前記複数の画像がクラスタに分割される（ステップ２０４）。各クラスタ中の複数の画像に基づいて、少なくとも１つのクラスタが選択される（ステップ２０６）。選択されたクラスタのそれぞれに対して、予め決められた基準に基づいて、少なくとも１つの画像が選択され（ステップ２０８）、選択された画像を有する画像コレクションが生成される（ステップ２１０）。
2011529592.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像を有する画像コレクションを生成する方法であって、
複数の画像を取り出すステップと、
前記複数の画像の内容の予め決められた特性に従って、前記複数の画像をクラスタに分割するステップと、
各クラスタ中の複数の画像に基づいて少なくとも１つのクラスタを選択するステップと、
選択されたクラスタのそれぞれに対して、予め決められた基準に基づいて少なくとも１つの画像を選択するステップと、
選択された画像を有する画像コレクションを生成するステップとを有する、方法。
【請求項２】
少なくとも１つのクラスタを選択するステップは、最も多くの画像をもつクラスタを選択することを有する、請求項１に記載の方法。
【請求項３】
少なくとも１つのクラスタを選択するステップは、最も多くの画像をもつクラスタの予め決められた数を選択することを有する、請求項２に記載の方法。
【請求項４】
少なくとも１つのクラスタを選択するステップは、最も多くの画像をもつ複数のクラスタを選択することを有し、クラスタの数は、各クラスタ中の種々の画像の分布に基づいている、請求項２に記載の方法。
【請求項５】
複数の画像をクラスタに分割するステップは、類似の特性をもつ画像をクラスタリングすることを有する、請求項１に記載の方法。
【請求項６】
予め決められた基準に基づいて少なくとも１つの画像を選択するステップは、各クラスタから複数の画像を選択することを有し、画像の数は、クラスタの範囲内における変化に基づいて、及び／又は、クラスタ中の画像の数に基づいて、決定される、請求項１に記載の方法。
【請求項７】
一の画像が選択され、
少なくとも１つの画像を選択するステップは、クラスタの中心に最も近い画像を選択することを有する、請求項６に記載の方法。
【請求項８】
１よりも多い画像が選択され、
少なくとも１つの画像を選択するステップは、クラスタの範囲内において最も離れた少なくとも１対の画像を選択することを有する、請求項６に記載の方法。
【請求項９】
選択された画像を有する画像コレクションを生成するステップは、複数のページを有する画像コレクションを生成することを有し、各ページは、選択された画像のうち少なくとも１つを有する、請求項１に記載の方法。
【請求項１０】
各ページに含まれる画像から抽出された特徴に基づいて前記複数のページを順序付けするステップを更に有する、請求項９に記載の方法。
【請求項１１】
選択された画像から抽出された情報に基づいて背景を生成するステップを更に有する、請求項１に記載の方法。
【請求項１２】
請求項１〜１１のうちいずれか一項に記載の方法を実行するための複数のプログラムコード部分を有する、コンピュータプログラム。
【請求項１３】
複数の画像を有する画像コレクションを生成するための装置であって、
複数の画像を取り出す取り出し手段と、
前記複数の画像の内容の予め決められた特性に従って、前記複数の画像をクラスタに分割する分割部と、
各クラスタ中の複数の画像に基づいて少なくとも１つのクラスタを選択し、選択されたクラスタのそれぞれに対して、予め決められた基準に基づいて少なくとも１つの画像を選択する選択部と、
選択された画像を有する画像コレクションを生成する表示部とを有する、装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像コレクションを生成するための方法及び装置に関する。
【背景技術】
【０００２】
デジタル画像技術の進歩は、デジタルカメラが消費者からますます人気を得ることを意味する。結果として、増え続けるデジタル静止画像が取得され、コンピュータ又は他の格納媒体に格納される。
【０００３】
一部の人は、これらの格納されたデジタル静止画像を、コンピュータスクリーン又はテレビを用いて他の人と共有する。しかしながら、写真を共有するこの方法は、実際に印刷された写真を本において共有する従来の方法とは全く異なるものである。
【０００４】
それ故、デジタルフォトブックを作成して本として印刷することが画像を共有する人気を集める方法であることは当然のことである。この方法とともに存在する問題は、斯様な本を作成するために相当な量の労力及び創造性を要することである。例えば、一つは、どの写真を選択するのか、これらをどのように表示するのか、どの背景を用いるのか等を選択しなければならず、一つは、写真とともに表示するために、追加的に注釈又は他のテキスト記述を作成したい場合があり、これらは、多大な時間を必要とする。必要とする労力及び創造性のこの量は、人々に斯様な本の作成を開始したいと思わせないか、又は、これを作成するプロセスの途中で中断することをもたらす。
【０００５】
それ故、ユーザが、自動的に生成された画像コレクションの提示を受けることが有益である。フォトアルバムページを自動的に生成するための方法の一例が米国特許第７３６２９１９号明細書に開示されている。米国特許第７３６２９１９号明細書は、画像が１又はそれ以上のセットにグループ化され（例えば、画像中に存在するイベント及び／又は人によりグループ化する）、これらの画像のセットに対する適切なデザインが選択される、フォトアルバムページを生成するための方法について説明している。ユーザは、どのセットをアルバムに含めるかを選択する。アルバムページのレイアウトは、画像品質及び構成に基づいて選択される。
【０００６】
しかしながら、この方法は、依然として、アルバムに含めたい画像グループをユーザが決定することを必要とし、これは、例えば大量の画像グループが存在する場合に多大な時間を必要とする。
【０００７】
それ故、画像を共有することについてユーザを支援するために、完全に自動的に生成された画像コレクションの提示をユーザが受ける場合に、非常に有益になるだろう。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明は、ユーザにとって視覚的に魅力的な画像コレクションが完全に自動的に生成される方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
これは、本発明の第１の態様による、複数の画像を有する画像コレクションを生成する方法であって、複数の画像を取り出すステップと、前記複数の画像の内容の予め決められた特性に従って、前記複数の画像をクラスタに分割するステップと、各クラスタ中の複数の画像に基づいて少なくとも１つのクラスタを選択するステップと、選択されたクラスタのそれぞれに対して、予め決められた基準に基づいて少なくとも１つの画像を選択するステップと、選択された画像を有する画像コレクションを生成するステップとを有する、方法により達成される。選択された画像コレクションは、例えば、フォトアルバム又はスライドショーであり得る。
【００１０】
また、これは、本発明の第２の態様による、複数の画像を有する画像コレクションを生成するための装置であって、複数の画像を取り出す取り出し手段と、前記複数の画像の内容の予め決められた特性に従って、前記複数の画像をクラスタに分割する分割部と、各クラスタ中の複数の画像に基づいて少なくとも１つのクラスタを選択し、選択されたクラスタのそれぞれに対して、予め決められた基準に基づいて少なくとも１つの画像を選択する選択部と、選択された画像を有する画像コレクションを生成する表示部とを有する、装置により達成される。
【００１１】
この手法において、画像コレクションは、ユーザからの如何なるインタラクションを必要とすることなく、完全に自動的に生成され、それ故、画像を提示する迅速で効果的な手法を提供する。選択するステップを自動化することにより、ユーザは、どの画像をコレクションに含めるかを決定するために、画像のセットのそれぞれを閲覧する時間を費やす必要がなくなる。
【００１２】
複数の画像をクラスタに分割するステップは、類似の特性をもつ画像をクラスタリングすることを有し得る。
【００１３】
この手法において、同一のオブジェクト又は主題の画像が一緒にクラスタ化され、それ故、画像を類似のグループに自動的に設ける。
【００１４】
少なくとも１つのクラスタを選択するステップは、最も多くの画像をもつクラスタを選択することを有し得る。
【００１５】
最も多くの画像をもつクラスタを選択することにより、これらの画像は、ユーザにとって関心のある可能性が高い。これは、ユーザは、ユーザが関心をもつオブジェクト又はイベントのより多くの画像を撮る可能性が高いためであり、従って、最も多くの画像をもつクラスタを選択することにより、ユーザにとって最も関心のある画像が選択される。これは、関心のある画像をあまり興味のない画像と自動的且つ正確に区別する。
【００１６】
少なくとも１つのクラスタを選択するステップは、最も多くの画像をもつクラスタの予め決められた数を選択することを有し得る。
【００１７】
これは、クラスタの予め決められた数がユーザにより選択された数であるので、必要であればユーザが前記の選択をカスタマイズすることを可能にする。クラスタの数を選択することにより、ユーザは、画像コレクションのサイズをカスタマイズすることができる。
【００１８】
代わりに、少なくとも１つのクラスタを選択するステップは、最も多くの画像をもつ複数のクラスタを選択することを有し、クラスタの数は、各クラスタ中の種々の画像の分布に基づいている。
【００１９】
この手法において、より多くの大きなクラスタが存在する場合に、これらのより多くが選択されることが可能となり、それ故、ユーザにとって関心のある可能性が高い全ての画像が選択されることを保証する。従って、画像コレクションは、最も大きなクラスタの数及びそれ故にユーザにとって関心のある可能性が高い画像の数に依存して適合され得る。
【００２０】
予め決められた基準に基づいて少なくとも１つの画像を選択するステップは、各クラスタから複数の画像を選択することを有し、画像の数は、クラスタの範囲内における変化に基づいて決定される。
【００２１】
これは、特性が最も異なる同一クラスタ内の画像がより異なる可能性が高いので、最も望ましい画像が選択されることを意味し、それ故、ほぼ全く同じ画像を選択する可能性を回避する。
【００２２】
代わりに又は加えて、予め決められた基準に基づいて少なくとも１つの画像を選択するステップは、各クラスタから複数の画像を選択することを有し、画像の数は、クラスタ中の画像の数に基づいて決定される。
【００２３】
この手法において、選択される画像の数は、クラスタ内の画像の総数に依存して適合され得る。それ故、ユーザがオブジェクト／イベントの多くの画像を撮る場合には、一つよりむしろ、これらのうち幾つかを画像中に含めることが可能となる。
【００２４】
例えば、一の画像が選択される場合には、少なくとも１つの画像を選択するステップは、クラスタの中心に最も近い画像を選択することを有し得る。代わりに、１よりも多い画像が選択される場合には、少なくとも１つの画像を選択するステップは、最も離れた少なくとも１対の画像を選択することを有し得る。これは、例えば、似ていない（即ち最も異なる）画像が選択されるような距離の大きさに基づき得る。
【００２５】
この手法において、選択される画像は、異なり、それ故にユーザにとってより望ましい可能性が高くなる。
【００２６】
選択された画像を有する画像コレクションを生成するステップは、複数のページを有する画像コレクションを生成することを有し、各ページは、選択された画像のうち少なくとも１つを有する。
【００２７】
これは、簡素であり依然として効果的な手法でユーザに対して画像コレクションを提示する。画像コレクションは、ユーザがコレクション中の画像を容易で効果的に閲覧することを可能にする画像の本に似ている。
【００２８】
複数の画像は、各ページに含まれる画像から抽出された特徴に基づいて順序付けされ得る。
【００２９】
これは、ユーザが画像を容易に見つけることができ、大量の画像をスクロールする必要がないように、ユーザ用の参照を提供する。
【００３０】
本方法は、選択された画像から抽出された情報に基づいて背景を生成することを更に有し得る。
【００３１】
この手法において、画像コレクションは、ユーザにとって魅力的なものになり、また、コレクション内の画像に対してパーソナライズされる。
【００３２】
本発明のより完全な理解のために、添付図面と併せて以下の説明が参照される。
【図面の簡単な説明】
【００３３】
【図１】画像コレクションを生成するための装置の簡素化された概略図である。
【図２】画像コレクションを生成する方法のフローチャートである。
【発明を実施するための形態】
【００３４】
図１に関して、装置１００は、取り出し手段１０４への入力のための入力端子１０２を有する。取り出し手段１０４は、複数の画像を格納するための格納デバイス１０６に接続される。取り出し手段１０４の出力は、駆動部１０８の入力に接続される。駆動部１０８の出力は、選択部１１０の入力に接続され、選択部１１０の出力は、表示部１１２の入力に接続される。
【００３５】
取り出し手段１０４は、複数の画像を格納手段１０６から取り出す（ステップ２０２）。代わりに、取り出し手段１０４は、複数の画像を入力端子１０２を介して外部格納手段から取り出す。
【００３６】
取り出し手段１０４は、取り出された複数の画像を分割部１０８に入力し、分割部１０８は、これらの画像を、画像の内容の予め決められた特性に従って（即ちコンテンツ解析アルゴリズムを用いて）複数のクラスタに分割する（ステップ２０４）。例えば、分割部１０８は、類似の特性をもつ画像が一緒にクラスタ化されるように、複数の画像を複数のクラスタに分割する。前記特性は、例えば、輝度、色、色相及びＭＰＥＧ７支配色のような色情報、ＭＰＥＧ７カラーレイアウト及びカラー構造のような色分布特性、並びに／又は、エッジのようなテクスチャ特性であり得る。分割部１０８は、画像間の類似性又は相違点を規定するために、及びそれ故に、類似の特性をもつ画像のグループ中の画像をクラスタ化するために、これらの特性を用いる。また、分割部１０８は、ピンぼけ画像及び露出不足／露出過度の画像を、これらの画像がクラスタに含まれないように除去する。
【００３７】
分割部１０８は、クラスタ化された画像を選択部１１０に入力する。選択部１１０は、各クラスタ内の複数の画像に基づいて、複数のクラスタのうちの少なくとも１つのクラスタを選択する（ステップ２０６）。例えば、選択部１１０は、最も多くの画像をもつクラスタを選択する。最も大きなクラスタ（即ち、最も多くの画像をもつクラスタ）は、最も関心のある画像と見なされる。これは、ユーザが複数の画像を特定のオブジェクト又はイベントから取得する場合に、そのオブジェクト又はイベントは、ユーザにとって高い関心をもつものである可能性が高い一方で、孤立した画像は、関心をもつものである可能性があまり高くないためである。
【００３８】
選択部１１０により選択されるクラスタの数は、予め決められた数であり得る。例えば、クラスタの予め決められた数は、ユーザにより選択された数であり得る。例えば、ユーザが画像コレクションにおいてｎページを望む場合には、選択部１１０は、最も大きなｎ個のクラスタを、これらのクラスタのそれぞれが後に単一のページ上に表示されるように選択する。クラスタの数のユーザ選択は、例えば、ユーザが望む画像コレクションのサイズに依存してもよい。
【００３９】
代わりに、選択されるクラスタの数は、各クラスタ中の種々の画像の分布に基づいてもよい。例えば、最も大きなクラスタ（即ち或る数を超えた画像をもつクラスタ）と見なされる幾つかのクラスタだけが存在する可能性があり、この場合において、選択部１１０は、これらの幾つかのクラスタだけを選択するだろう。
【００４０】
そして、選択部１１０は、選択されたクラスタのそれぞれに対して、予め決められた基準に基づいて少なくとも１つの画像を選択する（ステップ２０８）。換言すれば、選択部１１０は、多くの画像がどのように用いられるべきかを決定する。例えば、選択部１１０は、複数の画像を各クラスタから選択し、画像の数は、クラスタの範囲内の変化に基づいて決定される。これは、クラスタリング結果からの情報を用いて選択部１１０により実現され得る。例えば、選択部１１０は、選択する画像の数を決定するために、クラスタ内の画像間の特性の変化を用いる。同一のクラスタ内の画像は類似し、画像間の特性の変化が小さすぎる場合には、画像がほぼ全く同じになり、斯様な画像を選択することは望ましくないので、特性が最も異なる画像が選択のためにより望ましいという結果になる。一例として、クラスタ内の変化が非常に小さい場合には、選択部１１０は１つの画像を選択する。クラスタ内の変化が小さすぎるものではない場合には、選択部１１０は２つの画像を選択する。クラスタ内の変化が大きくなるほど、選択部１１０はより多くの画像を選択する。この例は、単に例示の目的で用いられ、同様のストラテジの如何なる数が用いられてもよい。
【００４１】
代わりに、選択部１１０は、複数の画像を各クラスタから選択し、画像の数は、クラスタ内の画像の数に基づいて決定される。選択されたクラスタ内に多くの画像が存在する場合には、選択部１１０は、選択されたクラスタ内に少数の画像が存在する場合よりも多くの画像を選択する。例えば、クラスタが４よりも少ない画像を含む場合には、選択部１１０は１つの画像を選択する。クラスタが４〜７の画像を含む場合には、選択部１１０は２つの画像を選択する。クラスタが８又はそれ以上の画像を含む場合には、選択部１１０は、３つの画像を選択する。この例は、単に例示の目的で用いられ、同様のストラテジの如何なる数が用いられてもよい。
【００４２】
選択部１１０は、代わりに、複数の画像を各クラスタから選択するために双方の技術を用いてもよい。この場合において、選択部１１０は、複数の画像を各クラスタから選択し、画像の数は、クラスタ中の画像の数に基づいて、及び、クラスタ内の変化に基づいて、決定される。クラスタが多くの画像をもち、クラスタ内の変化が比較的大きい場合には、選択部１１０は、多くの画像をクラスタから選択する。
【００４３】
各クラスタから選択する画像の数を決定することに加えて、選択部１１０は、どの写真を選択するかも決定する。例えば、選択する画像の数が１つの画像であると決定された場合には、選択部１１０は、クラスタの中心に最も近い画像を選択する。クラスタの中心は、例えば、クラスタ内の画像の平均の表示に（に関して）言及する。幾つかの特徴は非線形であるので、幾何学的な中心を用いることはできない。代わりに、幾つかの特徴は、ヒストグラムに関して述べられる。この場合において、選択部１１０は、画像のヒストグラムを追加し、画像の数毎に分割する。しかしながら、ＭＰＥＧ７支配色は、例えば、画像の表現である（パーセンテージ及び分散をもつ）最大８色のリストを与える。それ故、斯様な記述子に対して平均を規定することが困難である。代わりに、クラスタの中心に対してこの特徴の表現を生成するために、選択部１１０は、国際公開第２００８／０４７２８０号に開示されたもののような方法を用いて、ＭＰＥＧ７支配色記述子の平均を決定してもよい。
【００４４】
代わりに、選択する画像の数が１よりも多い画像であると決定された場合には、選択部１１０は、クラスタ内の最も離れた少なくとも１対の画像（即ち、特性が最も異なる２つの画像）を選択する。例えば、選択する画像の数が２つの画像であると決定された場合には、選択部１１０は、クラスタ内の最も離れた２つの画像（即ち、これらの特性の間で最も大きな変化をもつ２つの画像）を選択する。選択部１１０は、どの２つの画像がクラスタ内において最も離れているかを決定し得る。これは、例えば、似ていない（即ち最も異なる）画像が選択されるような距離の大きさに基づき得る。また、選択する複数の画像が３つの画像であると決定された場合には、選択部１１０は、クラスタの中心に最も近い画像も、最も離れた２つの画像も選択する。それ故、この方法は、あまりに似過ぎている画像が選択されるという状況を回避する。これらの例は、単に例示の目的で用いられ、同様のストラテジの如何なる数が用いられてもよい。
【００４５】
代わりに、又は、加えて、選択部１１０は、人を含むより多くの画像を選択するために顔検出を用いてもよい。ユーザがクラスタを変えることを可能にする嗜好を与える機会がユーザに与えられ得る。例えば、ユーザが画像中に存在する人を好む場合には、選択部１１０は、人を含むこれらの画像を選択するために顔検出を用いる。
【００４６】
選択部１１０は、各クラスタから選択された画像を表示部１１２に入力し、表示部１１２は、これらの選択された画像を有する画像コレクションを生成する（ステップ２１０）。表示部１１２は、各ページが少なくとも１つの選択された画像を有する複数のページを含むような画像コレクションを生成する。表示部１１２は、他のものよりも大きな幾つかの画像を伴う、ページ上の画像を不規則に表示し、画像の位置を適宜選択する。表示部１１２は、印刷され得る複数のページ上に複数の画像が提示されるフォトアルバムとして、又は、代わりに、例えばコンピュータ又はテレビスクリーン上で見られ得る複数のスライド上に複数の画像が提示されるスライドショーとして画像コレクションを表示する。更に、表示部１１２は、２つの連続するページ上に表示されるワイド画像を伴うパノラマ視野を生成するために、静止画像又はスティッチ画像において非常に類似する画像を表示し得る。
【００４７】
表示部１１２は、各ページに含まれる画像から抽出された特徴に基づいて順番にページを生成する。これらの特徴は、例えば、エグジフ（ＥＸＩＦ；Exchangeable image file format）データから抽出され得る、写真が撮られた日付であり得る。表示部１１２は、ページのそれぞれに対する複数の画像のうち１つの画像の日付に基づいて順番にページを生成する。従って、例えば、各ページが或るクラスタからの画像を含む場合には、同一のクラスタが同一時間の前後に撮られた可能性が高いので、表示部１１２は、写真が撮られた順番でページを生成する。表示部１１２は、各ページ上の或る画像を表示することに加えて、各画像が撮られた日付、各画像が撮られた場所等のテキスト情報を各ページ上に表示してもよい。
【００４８】
また、表示部１１２は、各ページに含まれる選択画像から抽出された情報に基づいて背景を生成する。表示部１１２は、画像から抽出された情報に基づいて背景を生成する。例えば、表示部１１２は、画像において又は複数の画像のクラスタにおいてどの色が支配的であるかを決定し、この支配色を用いて背景を生成するために、ＭＰＥＧ７支配色記述子又は任意の他の種類のアルゴリズムを用い得る。或る場合においては、これは、望ましくない暗い背景をもたらし、従って、代わりに、表示部１１２は、画像に入る光源を背景の基礎とする。光源が明らかでない場合には、表示部１１２は、画像中のより明るい支配色のうち１つを背景の基礎とする。
【００４９】
表示部１１２が背景色を生成した場合には、ページは、代わりに、背景色に基づいて順序付けされ得る。例えば、表示部１１２は、色相環上の任意の開始ポイントを選択し、色相環に対する背景色に従って順番にページを生成する。このアプローチは、一のページから次のページへの色の差が非常に滑らかであるので、視覚的に非常に魅力的な効果を与える。
【００５０】
ユーザは、画像コレクションが生成された後であっても、画像コレクションを手動で変更することが可能である。例えば、ユーザが特定のページに満足していない場合には、ユーザは、常に、そのページに対して変更を行うことができる。しかしながら、画像コレクションは、画像コレクションに含めるためにユーザにとって最も関心のある画像を予測する様々な技術を用いて完全に自動的に生成され、画像コレクションは、ユーザに対して視覚的に興味をそそる形式で生成されるので、ユーザは、生成された画像コレクションを適合させる必要性は最小限であると感じるだろう。
【００５１】
本発明の一実施形態は、添付図面に示され、前記の詳細な説明において説明されたが、本発明は、開示された実施形態に限定されるものではなく、特許請求の範囲に列挙された本発明の範囲から逸脱することなく多くの変更を可能とすることが理解されるだろう。
【００５２】
"手段"は、当業者にとって明らかであるように、単独で又は他の機能と組み合わせて、分離して又は他の要素と協働して、動作中に再生され、又は、特定の機能を再生するように設計される、（別個の若しくは一体化された回路又は電子要素等の）任意のハードウェア又は（プログラム又はプログラムの部分等の）ソフトウェアを含むことを意味する。本発明は、幾つかの別個の要素を有するハードウェアにより、及び、適切にプログラムされたコンピュータにより実行され得る。幾つかの手段を列挙する装置に係る請求項において、これらの手段の幾つかは、一又は同一アイテムのハードウェアにより具現され得る。"コンピュータプログラムプロダクト"は、フロッピーディスク、インターネット等のネットワークを介してダウンロード可能なもの、又は、任意の他の態様の市場性のあるもののような、コンピュータ読み取り可能な媒体に格納された任意のソフトウェアプロダクトを意味するものと理解されるべきである。
【図１】
2011529592.tif 000003
【図２】
2011529592.tif 000004
【国際調査報告】
2011529592.tif 000005
2011529592.tif 000006