(57)【要約】  複数の画像から少なくとも一つの代表的な画像を選択する方法であって、当該方法は、画像のコンテンツの所定の特性に従って複数の画像を複数のクラスタへと分割するステップ201と、前記クラスタにある各々の画像の数に基づいて少なくとも一つのクラスタを選択するステップ203と、選択された少なくとも一つのクラスタから少なくとも一つの画像を代表的な画像として選択するステップ205と、を含む。
2012530287.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像を、当該画像の内容の所定の特性に従って、クラスタへと分割するステップと、
前記クラスタの画像数に基づいて、少なくとも一つのクラスタを選択するステップと、
前記選択された少なくとも一つのクラスタから代表的な画像として少なくとも一つの画像を選択するステップと、
を含む、複数の画像から少なくとも一つの代表的な画像を選択する方法。
【請求項２】
前記少なくとも一つのクラスタを選択するステップが、
最多の画像を有するクラスタを選択するステップ、
を含む請求項１に記載の方法。
【請求項３】
前記少なくとも一つのクラスタを選択するステップが更に、
前記所定の特性の変動量が最も少ないクラスタを選択するステップ、
を含む請求項２に記載の方法。
【請求項４】
前記選択された少なくとも一つのクラスタから少なくとも一つの画像を選択するステップが、前記選択された少なくとも一つのクラスタから一つの画像を前記代表的な画像として選択するステップを含むことを特徴とする、請求項１に記載の方法。
【請求項５】
前記複数の画像をクラスタへと分割するステップが、
類似の特性をもっている画像をクラスタ化するステップ、
を含む請求項１に記載の方法。
【請求項６】
前記類似の特性をもつ画像をクラスタ化するステップが、
視覚的に類似している画像をクラスタ化するステップ、
を含む請求項５に記載の方法。
【請求項７】
前記複数の画像をクラスタへと分割するステップが、
所定の時間間隔内に得られた画像をクラスタ化するステップ、
を含む請求項１に記載の方法。
【請求項８】
前記視覚的に類似している画像をクラスタ化するステップが
前記所定の時間間隔内に得られた画像をクラスタ化するステップ
の後にあり、当該視覚的に類似している画像をクラスタ化するステップが
前記視覚的に類似している画像で且つ前記所定の時間間隔内に得られた画像のクラスタにある画像をクラスタ化するステップ、
を含む請求項６に記載の方法。
【請求項９】
前記類似の特性を有する画像をクラスタ化するステップが、
少なくとも一つの特徴を前記複数の画像の各々から抽出するステップと、
前記複数の画像の各々から抽出された少なくとも一つの特徴の間の距離を決定するステップと、
所定の閾値以下の前記距離をもつ画像をクラスタ化するステップと、
を含む請求項５に記載の方法。
【請求項１０】
前記少なくとも一つの特徴が、輝度、色情報、色の分布の特徴、テクスチャの特徴のうちの一つを有する請求項８に記載の方法。
【請求項１１】
前記選択された少なくとも一つのクラスタから少なくとも一つの画像を代表的な画像として選択するステップが、
前記選択された少なくとも一つのクラスタの重心に最も近い画像を選択するステップ、
を含む請求項１に記載の方法。
【請求項１２】
選択された少なくとも一つのクラスタから少なくとも一つの画像を代表的な画像として選択するステップを含むことを特徴とする請求項１に記載の方法であって、当該方法が、
前記選択された少なくとも一つのクラスタ内にある各々の画像中に少なくとも一つの顔の存在を確定するステップと、
前記少なくとも一つの顔を含む画像の数の、顔を含まない画像の数に対する比率を決定するステップと、
前記比率が1以上である場合、前記顔を有する画像を選択し、
前記比率が1よりも少ない場合、前記顔のない画像を選択するステップと、
を含む、方法。
【請求項１３】
請求項１乃至１２の何れか一項による方法を実施するための複数のプログラムコードを有する、コンピュータ・プログラム。
【請求項１４】
複数の画像を、当該画像の内容の所定の特性に従って、クラスタへと分割するための分割器と、
前記クラスタの画像数に基づいて、少なくとも一つのクラスタを選択するため、及び前記選択された少なくとも一つのクラスタから代表的な画像として少なくとも一つの画像を選択するためのセレクタと、
を有する、複数の画像から少なくとも一つの代表的な画像を選択する装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、少なくとも一つの代表的な画像を複数の画像から選択するための方法と装置とに関する。
【背景技術】
【０００２】
デジタル技術の進歩とは、デジタルカメラがますます普及するようになったことを意味する。結果として、数多くの（写真などの）デジタル静止画像が取り込まれ、コンピュータ又は他の記憶デバイスに保存されている。これらの画像がユーザ集団の間で共有されてもよい。さらに、より容易に記憶媒体が利用できるようになったので、ユーザが古い画像を削除することはなさそうである。これは、閲覧するのが困難なくらいの広範囲な画像のライブラリに個人がアクセスする結果となる。便利な制御デバイス（キーボード、マウス）を欠いているデバイス、例えばデジタルフォトフレーム又は携帯デバイスにとっては特に、何らかのデバイス上にある写真を見つけて閲覧することは、ますます重要な課題となる。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
閲覧するときにユーザを援助するための多くの技術、例えば画像のコレクションの概要を作成する、又は階層的な閲覧方法を確立する、が提案されてきた。しかしながら、これらの技術に関して、一群の画像を代表するであろう一つの画像を有することが望まれよう。好ましくは当該画像は、ユーザが容易に当該画像を有するグループを連想する画像か、又はグループを代表している画像から当該グループを認識する画像でなければならない。
【０００４】
本発明は、非常に多数の画像の中から画像のグループを代表的する画像を得るための技術を提供することを目的としている。
【課題を解決するための手段】
【０００５】
この目的は、少なくとも一つの代表的な画像を複数の画像から選択する、本発明の一態様による方法によって達成される。当該方法は、画像のコンテンツの所定の特性に従って複数の画像を複数のクラスタへと分割するステップと、クラスタの各々にある画像の数に基づいて、少なくとも一つのクラスタを選択するステップと、選択された少なくとも一つのクラスタから少なくとも一つの画像を代表的な画像として選択するステップと、を含む。
【０００６】
少なくとも一つの代表的な画像を複数の画像から選択する本発明の第2の態様に従う装置によっても、本発明の目的が達成される。上記の装置は、画像のコンテンツの所定の特性に従って複数の画像を複数のクラスタへと分割する分割器と、各々のクラスタ内にある画像の数に基づいて少なくとも一つのクラスタを選択するためのセレクタであって、選択された少なくとも一つのクラスタから少なくとも一つの画像を代表的な画像として選択するためのセレクタと、を新規に有する。
【０００７】
上に記した態様で、画像が複数のクラスタへと分割される。画像が位置する場所の類似性か、時間か、イベントか、又はフォルダにさえ従って、分割が実現されることができる。クラスタが選択され、少なくとも一つの画像が選択されたクラスタから選択される。これは全てのグループの画像を最も良く表している一つの画像でもよいし、又は一組の画像でもよい。これらの代表的な画像は、全体のコレクションを要約する、コレクションを通しで閲覧する、特定の画像を見出す、等々に役立つ、より小さな画像の一群を提供する。
【０００８】
一実施例において、少なくとも一つのクラスタを選択するステップは、最大数の画像を有するクラスタを選択するステップを含む。
【０００９】
本発明の着想は、画像のグループ中にある特定のエレメント（例えばパリの休日からの画像のグループ中にあるエッフェル塔）が重要であればあるほど、より多くの当該エレメントの画像がコレクション中に存在することにある。同様に、特定の対象物の画像がより多くあればあるほど、ユーザはより容易に当該画像を認識し、当該画像を特定のイベントや特定の時間、又は特定の画像のグループに結びつけることであろう。これによって代表的な画像をクラスタから選択することを可能にする。当該クラスタは最も重要な対象物を含んでいそうであり、これ故複数の画像を最も良く表していそうである。
【００１０】
最大数の画像を含んでいる一つ以上のクラスタがある場合は、所定の特性の変動量が最も少ないクラスタを選択することによって、クラスタが更に選択されてもよい。
【００１１】
これは、選択されたクラスタ中の画像が他のクラスタ中の画像よりも一層似ていることを確約する。
【００１２】
一実施例では、選択された少なくとも一つのクラスタから少なくとも一つの画像を代表的な画像として選択するステップは、選択された少なくとも一つのクラスタの重心に最も近い画像を選択するステップを含む。これ故、この代表的な画像はクラスタの重心に最も近い、例えばクラスタ内の画像の（特徴に関する）平均の表示である画像として選択される。これは、ユーザが特定のクラスタに対する強い連想をもつ代表的な画像を提供する。代替的には、画像がランダムに選択されてもよい。
【００１３】
類似の特性をもつ画像、例えば関連する画像を含むなど視覚的に類似している画像をクラスタ化することによって、又は類似のコンテンツをもつ画像をクラスタ化することによって、複数の画像が複数のクラスタへと分割されることができる。
【００１４】
代替的には、所定の時間間隔内に一度に取り込まれた画像をクラスタ化することによって、複数の画像が複数のクラスタへと分割されることができる。例えば、特定の日に又は特定の休暇期間内に取り込まれた画像のクラスタへと、複数の画像が分割されることができる。代替的には、一つのクラスタ内にある連続した画像間の時間差が、特定の比較的短い閾値（例えば2分乃至10分）以内であるように、複数の画像がクラスタ化されてもよい。大体同じ時間に取り込まれた斯様な画像は、同じ対象物、同じ場面、又は同じイベントの画像になりそうである。
【００１５】
加えて、視覚的に類似している複数の画像をクラスタ化するステップが、所定の時間間隔内で一度に取り込まれた複数の画像をクラスタ化するステップの後に続いてもよい。視覚的に類似している複数の画像をクラスタ化するステップは、所定の時間間隔内で一度に取り込まれ且つ視覚的に類似している複数の画像をもつクラスタの画像をクラスタ化するステップを含む。最初のクラスタ化のステップとして時間情報を用いることにより、意味的には無関係であるが、しかし視覚的には非常に類似している画像が一緒にクラスタ化されることを防止する。例えば視覚によるクラスタ化のみを用いると、2つの異なる休暇旅行の間に取り込まれた2つの海の画像が一緒にクラスタ化されるかもしれない。
【００１６】
少なくとも一つの特徴を複数の画像の各々から抽出するステップと、複数の画像の各々から抽出された少なくとも一つの特徴の間の距離を決定するステップと、所定の閾値以下の距離をもつ画像をクラスタ化するステップと、によって複数の画像がクラスタ化される。前記少なくとも一つの特徴は、輝度、色の情報、色の分布の特徴、テクスチャの特徴のうちの一つを有する。
【００１７】
この態様で、単純であるが、よく吟味された技術が複数の画像をクラスタ化するために利用できる。
【００１８】
少なくとも一つの選択されたクラスタから少なくとも一つの画像を代表的な画像として選択するステップは、当該少なくとも一つの選択されたクラスタにある前記画像の各々の内に少なくとも一つの顔の存在を確定するステップと、顔を含まない画像の数に対する少なくとも一つの顔を含む画像の数の比率を決定するステップと、前記比率が1以上である場合は顔を有する画像を選択し、前記比率が1よりも少ない場合は顔が無い画像を選択するステップを含む。
【００１９】
画像内に人が、即ち顔が存在することは、代表的な画像を選択するための正当な根拠を提供できる。クラスタ内にある大部分の画像が顔を含まない場合、最も代表的な画像も好ましくは顔を含まないことが望ましい。同様に、クラスタの大部分の画像が顔を含む場合、最も代表的な画像も好ましくは顔を含むことが望ましい。この結果、複数の画像を最もよく表す画像又は複数の画像を識別するのに、顔検出が役立つことができる。
【００２０】
本発明のより完全な理解のために、ここで添付の図面と連携して以下の説明がなされよう。
【図面の簡単な説明】
【００２１】
【図１】本発明の一実施例によって画像を選択する装置の簡単な概観図である。
【図２】本発明の一実施例によって画像を選択する方法のフローチャートである。
【発明を実施するための形態】
【００２２】
図1を参照すると、装置100は記憶手段103に接続している入力端子101を有する。当該記憶手段103がここでは装置100に対して外付けコンポーネントとして例示されているものの、代替実施例では記憶手段103が装置と共に一体化されていてもよい。記憶手段103は、ROM/RAMドライブなどのコンピュータシステムのメモリデバイス、装置100へと接続されたCD、カメラ若しくは同様のデバイス、又はリモートサーバでもよい。これらは有線又は無線の接続を介して、及び/又はインターネットなどのより広いネットワークを介してアクセスされることができる。
【００２３】
記憶手段103は複数の画像を保存する。例えばリモートサーバに保存された画像がアップロードされ、装置100のローカルな記憶手段（図示せず）に一時的に保存されてもよい。
【００２４】
装置100の入力端子101は、装置100の分割器105の入力に接続している。当該分割器105の出力は、装置100のセレクタ107の入力に接続している。当該セレクタ107の出力は、装置100の出力端子109に接続している。当該出力端子109は、表示デバイス111又は同様のものに接続している。
【００２５】
ここで装置の動作が図2を参照して説明されることであろう。複数の画像が記憶手段103から読み出され、装置100の入力端子101を介して分割器105へと提供される。当該複数の画像が、所定の特性に基づいて複数のクラスタへと分割される（ステップ201）。これらの画像は当該画像が取り込まれた時間に基づいて、画像に付随するメタデータに基づいて、又は代替的に、画像の視覚的な特性に基づいて分割される。更に、GPSデータなどのメタデータ、又は顔認識若しくは対象物認識のような高いレベルの機能が画像をクラスタ化するための基礎として使われる。
【００２６】
視覚的に類似する画像をクラスタ化するために、取り込まれた画像が周知のコンテンツ解析アルゴリズムを使用して分析される。一実施例では、これは低レベルの特徴を抽出することにより実現されることができる。当該特徴とは、例えば輝度、色合い、及びMPEG 7の優占色のような色情報、MPEG 7の色レイアウト及び色構造のような色の分布の特徴、及びエッジのようなテクスチャのことである。抽出された各々の特徴の間の距離が決定される。画像間の類似の程度が、決定された距離（決定距離）である。これ故、所定の閾値よりも短い決定距離をもつ画像がクラスタ化され、結果として視覚的に非常に類似している画像をもつクラスタを生じる。これは、複数の画像をクラスタ化する際に一つの特徴の距離か、又は複数の特徴の組合せの距離を比較することにより実現されることができる。複数の特徴が単純な和により結合され、和のエレメントが重み付けされる。これらのクラスタがセレクタ107に提供され、クラスタ内の画像の数に基づいて少なくとも一つのクラスタが選択される（ステップ203）。一実施例では、最大数の画像を有するクラスタが選択される。このクラスタが最大数の類似画像をもっていることであろうし、したがって、重要な対象物/重要な風景又は一般的な対象物/一般的な風景を含んでいそうである。複数のクラスタが最大のサイズを有する場合、当該クラスタ内で最も少ない（視覚的な）変動量を有するクラスタが選択される。これは、選択されたクラスタ内の画像が他のクラスタよりも一層類似していることを確約する。この後セレクタ107は、複数の画像（全てのグループの画像）の画像を最も良く表している選択されたクラスタから少なくとも一つの画像を選択する（ステップ205）。実施例では、全てのグループの画像を最も良く表している画像が重心に最も近い画像として選択される。重心とは、クラスタの平均を表す、特徴に関する仮想的な表現である。全グループの画像を最も良く表している画像が、特定の所望する特徴、例えばシャープさ/ぼけのコントラスト、又は目が開いている顔の存在若しくは人が微笑んでいるなどの画像の品質に基づいて選択されてもよい。
【００２７】
代替の実施例では、可能であればエグジフ（EXIF）の日付情報を利用することによって、複数の画像がステップ201でクラスタ化されてもよい。最初に、画像が取り込まれた時刻に基づいて複数の画像が分類される。例えば、連続している画像間の時間差が比較的小さな特定の閾値（例えば2分乃至10分）よりも大きくない画像、即ち、所定の時間間隔内で取り込まれた画像によって画像のグループが作られることが可能である。斯様な画像は大体同じ時間に取り込まれ、同じ対象物、同じ場面、又は同じイベントの画像であることが多い。次に、視覚的に類似している各グループの画像が上で説明したようにクラスタ化される。このクラスタ化が、通常よりも高い閾値によって成されてもよい。即ち、複数の画像が関連していることを時間情報が既に確約しているので、個々のクラスタが、より視覚的な変化を考慮に入れることができる。この態様で、全ての別々の画像が視覚によるクラスタ化のアルゴリズムをより迅速に且つより効率的に作動させることを可能にするよりもむしろ、視覚によるクラスタ化のアルゴリズムは（時間的に）前にあるクラスタを入力として使用する。最初のクラスタ化のステップとして時間情報を用いることによって、意味的には無関係であるが視覚的には非常に類似している画像が一緒にクラスタ化されることを防止する。例えば視覚によるクラスタ化のみを用いると、2つの異なる休暇旅行の際に取り込まれた2つの海の画像が一緒にクラスタ化されるかもしれない。
【００２８】
他の実施例では、最も代表的な画像又は複数の画像が、当該画像が顔を含むか否かに基づいて選択されることができる。クラスタ内の大部分の画像が顔を含んでいない場合、最も代表的な画像も好ましくは顔を含まないことが望ましい。同様に、クラスタ内の大部分の画像が顔を含んでいる場合、最も代表的な画像も好ましくは顔を含むことが望ましい。例えば、多くの風景（景色、都市の景観など）を撮りながら旅行をしていて、しかしある晩、何か面白いことをしているユーザの子供の多くの画像を彼/彼女が取り込んだ場合、最大のクラスタは子供が写っている画像の可能性がある。しかしながら、ユーザは多分場所及び風景がある一群の画像をより多く認識し、これゆえ風景から選択された代表的な画像の方がより適切であろう。一方で、一群の画像が例えば誕生会で取り込まれた画像の場合、祝っている人達の画像が当該イベントに対する正しい代表的な画像であろう。顔検出は、このように画像の全グループを最も良く表す画像又は複数の画像を識別するのを支援することができる。
【００２９】
選択された代表的な画像が、この後、大量の画像のコレクションを閲覧するために使われることができ、数年にわたって取り込まれた数千枚の画像のコレクションを表すために、例えばタイムラインを用いることができる。与えられた時限が（上記の実施例によって）当該時限を最も良く表している選択された画像により表されている場合、全てのコレクションを閲覧することは、代表的な画像を閲覧するのと同じくらい簡単なはずである。ユーザがより多くの特定の時限の画像を見たい場合、より短い時間間隔へと時間間隔を分割することができ、各々の新たな時間間隔に対して改めて代表的な画像が選択される。
【００３０】
（EXIFによる）日付情報を使用して上記の画像のクラスタ化を行うことによって、コレクション中の画像の取り込みの「ピーク」、即ちユーザが比較的多くの画像を取り込んだ時間のポイントがどこにあるかをユーザが自動的に検出することができる。これらのピークは、休暇、誕生日、又は動物園へ行った日などの特別なイベントに通常対応する。タイムラインがどこにあろうとも全ての画像を通常考慮に入れるので、長年にわたって行われたイベントに対する画像のコレクションがピークのみを使用して集約される。各々のイベントに対応する代表的な画像があると、コレクションの理想的な概要を提供する。全てのイベントを選択することもできるし、又は例えば複数の日にまたがるピークのみを選択することもできる。前者の場合、誕生日及び日帰り旅行のような1日のイベントが含まれ、後者の場合、休暇のような複数の日にちにわたるイベントのみが表示される。
【００３１】
さらに、画像のグループを代表する一つの画像を選択する代わりに、同じ方法が、グループを代表する所与の枚数の画像を選択するために用いられることもできる。最も大きなクラスタから一つの画像だけを取り出すよりはむしろ、n個の大きなクラスタに対してクラスタ当たり一つの画像を取り出すことができる。ここでnは所望する代表的な画像の枚数である。
【００３２】
本発明の実施例が添付の図面にて例示され、これまでの詳細な説明で解説されたにもかかわらず、本発明が開示された実施例に限定されることはなく、以下の請求項に記述されている本発明の範囲から逸脱することなく多くの改変ができることが理解されよう。
【００３３】
当業者にとっては明らかなように、「手段」とは（別々の回路若しくは電子要素又は一体化された回路若しくは電子的要素などの）何らかのハードウェアか、又は作動時に再生する（プログラム又はプログラムの一部などの）ソフトウェアを含むことを意味しており、当該手段は、単独で又は他の機能と連動して、他のエレメントとは分離して又は他のエレメントと共同で、指定された機能を再現するよう設計されている。本発明は複数の異なったエレメントを有するハードウェアを用いて、及び適切にプログラムされたコンピュータを用いて実行されることができる。複数の手段を列挙している装置請求項において、これらの手段の幾つかが全く同一のハードウェアにより実施されることができる。「コンピュータ・プログラム」とは、フロッピー（登録商標）ディスクなどのコンピュータ可読媒体に記憶された何らかのソフトウェア、インターネットなどのネットワークを介してダウンロード可能なソフトウェア、又は他の何らかの態様にて市販されているソフトウェアを意味していると理解されたい。
【図１】
2012530287.tif 000003
【図２】
2012530287.tif 000004
【国際調査報告】
2012530287.tif 000005
2012530287.tif 000006
2012530287.tif 000007