(57)【要約】【課題】複数の画像の中からそれら画像全体の概要を示す画像を選択する。【解決手段】ダイジェスト生成部１６０が、類似特徴記録部１４１に記録された各画像の類似特徴とパラメータ保持部１５０のパラメータＡの類似閾値とに基づいて複数の画像のうちの類似画像同士をグループ化して、各グループに含まれる各画像に対応して画像スコア記録部１４２に記録された画像スコアをパラメータＡの重み付け係数により重み付け加算した値を求め、この値に基づいて各グループから代表画像を選択する。さらに、ダイジェスト生成部１６０が、パラメータＢの類似閾値と重み付け係数を用いて同様の画像選択処理をして、パラメータＡを用いて選択された代表画像から少なくとも１つの代表画像をさらに選択する。このように、撮影画像保持部１１０に保持された複数の画像から２段階の選択処理により代表画像を選択する。【選択図】図１
2008276668.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像を保持する画像保持手段と、
複数の値が設定されているパラメータであって当該複数の値のうちの少なくとも１つが互いに異なる値に設定されているパラメータである第１のパラメータおよび第２のパラメータを保持するパラメータ保持手段と、
前記画像保持手段に保持されている各画像の特徴量を記録する特徴量記録手段と、
前記特徴量記録手段に記録されている画像の特徴量と前記パラメータ保持手段に保持されている第１のパラメータとに基づいて前記画像保持手段に保持されている複数の画像から少なくとも１つの代表画像を選択する第１の画像選択手段と、
前記選択された代表画像に対応して前記特徴量記録手段に記録されている特徴量と前記パラメータ保持手段に保持されている第２のパラメータとに基づいて前記第１の画像選択手段により選択された代表画像から少なくとも１つの代表画像を選択する第２の画像選択手段と
を具備することを特徴とする画像管理装置。
【請求項２】
前記第１のパラメータは、少なくとも画像の特徴量の閾値を含み、
前記第２のパラメータは、少なくとも前記第１のパラメータに含まれる画像の特徴量の閾値とは異なる値である画像の特徴量の閾値を含み、
前記第１のパラメータに含まれる画像の特徴量の閾値は、前記第２のパラメータに含まれる画像の特徴量の閾値よりも条件が緩和された値に設定され、
前記第１の画像選択手段は、前記特徴量記録手段に記録されている画像の特徴量と前記パラメータ保持手段に保持されている第１のパラメータの閾値とに基づいて前記画像保持手段に保持されている複数の画像を分類して当該分類された複数の画像から代表画像を選択し、
前記第２の画像選択手段は、前記第１の画像選択手段により選択された代表画像に対応して前記特徴量記録手段に記録されている特徴量と前記パラメータ保持手段に保持されている第２のパラメータの閾値とに基づいて前記第１の画像選択手段により選択された代表画像を分類して当該分類された複数の代表画像から少なくとも１つの代表画像を選択する
ことを特徴とする請求項１記載の画像管理装置。
【請求項３】
前記第１のパラメータおよび前記第２のパラメータに含まれる画像の特徴量の閾値は、画像間の類似判定に用いる類似閾値であり、
前記第１の画像選択手段は、前記特徴量記録手段に記録されている画像の特徴量と前記パラメータ保持手段に保持されている第１のパラメータの類似閾値とに基づいて前記画像保持手段に保持されている複数の画像のうちの類似する画像同士をグループ化して分類し、
前記第２の画像選択手段は、前記第１の画像選択手段により選択された代表画像に対応して前記特徴量記録手段に記録されている特徴量と前記パラメータ保持手段に保持されている第２のパラメータの類似閾値とに基づいて前記第１の画像選択手段により選択された代表画像のうちの類似する画像同士をグループ化して分類する
ことを特徴とする請求項２記載の画像管理装置。
【請求項４】
前記第１のパラメータは、少なくとも画像の特徴量に関する重み付け係数を含み、
前記第２のパラメータは、少なくとも前記第１のパラメータに含まれる画像の特徴量に関する重み付け係数とは異なる値である画像の特徴量に関する重み付け係数を含み、
前記第１の画像選択手段は、前記特徴量記録手段に記録されている画像の特徴量と前記パラメータ保持手段に保持されている第１のパラメータとに基づいて前記画像保持手段に保持されている複数の画像を分類して前記特徴量記録手段に記録されている画像の特徴量と前記パラメータ保持手段に保持されている第１のパラメータの重み付け係数とに基づいて当該分類された複数の画像から代表画像を選択し、
前記第２の画像選択手段は、前記第１の画像選択手段により選択された代表画像に対応して前記特徴量記録手段に記録されている特徴量と前記パラメータ保持手段に保持されている第２のパラメータとに基づいて前記第１の画像選択手段により選択された代表画像を分類して前記第１の画像選択手段により選択された代表画像に対応して前記特徴量記録手段に記録されている特徴量と前記パラメータ保持手段に保持されている第２のパラメータの重み付け係数とに基づいて当該分類された複数の代表画像から少なくとも１つの代表画像を選択する
ことを特徴とする請求項１記載の画像管理装置。
【請求項５】
前記第１の画像選択手段は、前記特徴量記録手段に記録されている画像の特徴量を前記パラメータ保持手段に保持されている第１のパラメータの重み付け係数により重み付け加算して当該重み付け加算された値に基づいて当該分類された複数の画像から代表画像を選択し、
前記第２の画像選択手段は、前記第１の画像選択手段により選択された代表画像に対応して前記特徴量記録手段に記録されている特徴量を前記パラメータ保持手段に保持されている第２のパラメータの重み付け係数により重み付け加算して当該重み付け加算された値に基づいて当該分類された複数の代表画像から少なくとも１つの代表画像を選択する
ことを特徴とする請求項４記載の画像管理装置。
【請求項６】
前記画像の特徴量に関する重み付け係数は、少なくとも画像のボケ度合いに関する重み付け係数を含み、
前記第２のパラメータに含まれる画像のボケ度合いに関する重み付け係数は、前記第１のパラメータに含まれる画像のボケ度合いに関する重み付け係数よりも重み付けの軽い値に設定される
ことを特徴とする請求項４記載の画像管理装置。
【請求項７】
選択すべき代表画像の上限数を指定するための操作入力を受け付ける操作受付手段をさらに具備し、
前記第２の画像選択手段は、前記第１の画像選択手段により選択された代表画像が前記指定された上限数以下であるか否かを判断して当該代表画像が当該上限数以下でない場合には当該代表画像に基づいて前記パラメータ保持手段に保持されている第２のパラメータの値を書き換え当該代表画像に対応して前記特徴量記録手段に記録されている特徴量と当該書き換えた第２のパラメータの値とに基づいて前記第１の画像選択手段により選択された代表画像から少なくとも１つの代表画像を選択する
ことを特徴とする請求項１記載の画像管理装置。
【請求項８】
前記パラメータ保持手段は、設定されている複数の値のうちの少なくとも１つが異なる前記第１のパラメータおよび前記第２のパラメータの組合せを複数保持し、
前記パラメータ保持手段に保持されている複数のパラメータの組合せから所望の組合せを指定するための操作入力を受け付ける操作受付手段をさらに具備する
ことを特徴とする請求項１記載の画像管理装置。
【請求項９】
前記画像保持手段に保持されている各画像をイベント毎に分類して記録するイベントクラスタ記録手段をさらに具備し、
前記第１の画像選択手段は、前記イベントクラスタ記録手段に記録されているイベント毎に前記代表画像を選択する
ことを特徴とする請求項１記載の画像管理装置。
【請求項１０】
前記第２の画像選択手段により選択された代表画像を出力する出力手段をさらに具備する
ことを特徴とする請求項１記載の画像管理装置。
【請求項１１】
前記出力手段は、前記第２の画像選択手段により選択された代表画像を表示する表示手段である
ことを特徴とする請求項１０記載の画像管理装置。
【請求項１２】
複数の画像を保持する画像保持手段と、
複数の値が設定されているパラメータであって当該複数の値のうちの少なくとも１つが互いに異なる値に設定されているパラメータである第１のパラメータおよび第２のパラメータを保持するパラメータ保持手段と、
前記画像保持手段に保持されている各画像の特徴量を記録する特徴量記録手段と、
前記特徴量記録手段に記録されている画像の特徴量と前記パラメータ保持手段に保持されている第１のパラメータとに基づいて前記画像保持手段に保持されている複数の画像から少なくとも１つの代表画像を選択する第１の画像選択手段と、
前記選択された代表画像に対応して前記特徴量記録手段に記録されている特徴量と前記パラメータ保持手段に保持されている第２のパラメータとに基づいて前記第１の画像選択手段により選択された代表画像から少なくとも１つの代表画像を選択する第２の画像選択手段と、
前記第２の画像選択手段により選択された代表画像を表示する表示手段と
を具備することを特徴とする画像表示装置。
【請求項１３】
撮像された複数の画像を保持する画像保持手段と、
複数の値が設定されているパラメータであって当該複数の値のうちの少なくとも１つが互いに異なる値に設定されているパラメータである第１のパラメータおよび第２のパラメータを保持するパラメータ保持手段と、
前記画像保持手段に保持されている各画像の特徴量を記録する特徴量記録手段と、
前記特徴量記録手段に記録されている画像の特徴量と前記パラメータ保持手段に保持されている第１のパラメータとに基づいて前記画像保持手段に保持されている複数の画像から少なくとも１つの代表画像を選択する第１の画像選択手段と、
前記選択された代表画像に対応して前記特徴量記録手段に記録されている特徴量と前記パラメータ保持手段に保持されている第２のパラメータとに基づいて前記第１の画像選択手段により選択された代表画像から少なくとも１つの代表画像を選択する第２の画像選択手段と、
前記第２の画像選択手段により選択された代表画像を表示する表示手段と
を具備することを特徴とする撮像装置。
【請求項１４】
複数の画像を保持する画像保持手段と、複数の値が設定されているパラメータであって当該複数の値のうちの少なくとも１つが互いに異なる値に設定されているパラメータである第１のパラメータおよび第２のパラメータを保持するパラメータ保持手段と、前記画像保持手段に保持されている各画像の特徴量を記録する特徴量記録手段とを具備する画像管理装置における画像管理方法において、
前記特徴量記録手段に記録されている画像の特徴量と前記パラメータ保持手段に保持されている第１のパラメータとに基づいて前記画像保持手段に保持されている複数の画像から少なくとも１つの代表画像を選択する第１の画像選択手順と、
前記選択された代表画像に対応して前記特徴量記録手段に記録されている特徴量と前記パラメータ保持手段に保持されている第２のパラメータとに基づいて前記選択された代表画像から少なくとも１つの代表画像を選択する第２の画像選択手順と
を具備することを特徴とする画像管理方法。
【請求項１５】
複数の画像を保持する画像保持手段と、複数の値が設定されているパラメータであって当該複数の値のうちの少なくとも１つが互いに異なる値に設定されているパラメータである第１のパラメータおよび第２のパラメータを保持するパラメータ保持手段と、前記画像保持手段に保持されている各画像の特徴量を記録する特徴量記録手段とを具備する画像管理装置において、
前記特徴量記録手段に記録されている画像の特徴量と前記パラメータ保持手段に保持されている第１のパラメータとに基づいて前記画像保持手段に保持されている複数の画像から少なくとも１つの代表画像を選択する第１の画像選択手順と、
前記選択された代表画像に対応して前記特徴量記録手段に記録されている特徴量と前記パラメータ保持手段に保持されている第２のパラメータとに基づいて前記選択された代表画像から少なくとも１つの代表画像を選択する第２の画像選択手順と
をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像管理装置に関し、特に複数の画像を保持する画像管理装置、画像表示装置、撮像装置、および、これらにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
近年、大容量の記憶媒体を備えたデジタルスチルカメラが普及している。このため、１つのイベントにおいて大量の写真を撮影することが可能である。また、短時間のうちに同じ構図で何枚もの写真を連続して撮影して、これらの写真を記憶媒体に記憶することも可能である。
【０００３】
さらに、最近では、連射やブラケット撮影が可能なデジタルスチルカメラが普及している。このため、これらの連射やブラケット撮影等によって、似ている写真を連続して撮影して、これらの写真を記憶媒体に記憶することが広く行われている。
【０００４】
このようにデジタルスチルカメラで撮影されて記憶媒体に記憶された写真については、例えば、パソコン（パーソナルコンピュータ）を用いてそのディスプレイで閲覧することができる。このようにパソコンを用いて閲覧する場合において、例えば、連続して撮影された比較的多くの写真を閲覧するときには、これらの写真を一覧表示して閲覧することが可能である。
【０００５】
このように比較的多くの写真を一覧表示して閲覧する場合には、似たような写真が連続して表示されることが多くなる。この場合において、全体の写真を一望するためには長い時間が必要である。また、スライドショーが延々と終わらずに時間が経過してしまう場合がある。このような場合には、撮影された写真を楽しむことができないことが多い。
【０００６】
そこで、これらの比較的多くの写真を閲覧する場合には、これらの写真の全てを一覧表示する代わりに、比較的少数の写真を選択して、これらの選択された写真を出力することが考えられる。
【０００７】
例えば、複数の画像データ間の類似の程度を表す類似度に基づいて、複数の画像データのうちの隣接する画像をグループ化するとともに各画像データの項目別評価値を算出し、同一のグループ内で各評価値を補正した補正評価値を算出して、同一のグループ内において補正評価値の上位の画像データを印刷奨励画像データとして選択する画像出力装置が提案されている（例えば、特許文献１参照。）。
【特許文献１】特開２００６−２５９７８８号公報（図６）
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上述の従来技術によれば、類似する同一のグループ内において補正評価値の上位の画像データを印刷奨励画像データとして選択することができる。このため、手振れが発生している画像やピントの合っていない画像ではなく、比較的きれいに撮影された画像を印刷することができる。
【０００９】
ここで、比較的多くのイベントにおいて撮影された大量の画像が存在する場合において、これらの画像を閲覧する場合を考える。このような場合には、各イベントの概要を迅速に把握して興味のあるイベントの写真のみを閲覧できると便利である。しかしながら、上述の従来技術では、比較的きれいに撮影された画像を印刷することができるものの、類似していない画像が複数存在する場合には、比較的少ない数の画像を適切に選択することができない。このため、ユーザが各イベントの概要を迅速に把握することができないという問題がある。
【００１０】
そこで、本発明は、複数の画像の中からそれら画像全体の概要を示す画像を選択することを目的とする。
【課題を解決するための手段】
【００１１】
本発明は、上記課題を解決するためになされたものであり、その第１の側面は、複数の画像を保持する画像保持手段と、複数の値が設定されているパラメータであって当該複数の値のうちの少なくとも１つが互いに異なる値に設定されているパラメータである第１のパラメータおよび第２のパラメータを保持するパラメータ保持手段と、上記画像保持手段に保持されている各画像の特徴量を記録する特徴量記録手段と、上記特徴量記録手段に記録されている画像の特徴量と上記パラメータ保持手段に保持されている第１のパラメータとに基づいて上記画像保持手段に保持されている複数の画像から少なくとも１つの代表画像を選択する第１の画像選択手段と、上記選択された代表画像に対応して上記特徴量記録手段に記録されている特徴量と上記パラメータ保持手段に保持されている第２のパラメータとに基づいて上記第１の画像選択手段により選択された代表画像から少なくとも１つの代表画像を選択する第２の画像選択手段とを具備することを特徴とする画像管理装置およびその処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、各画像の特徴量と第１のパラメータとに基づいて、複数の画像から少なくとも１つの代表画像を選択し、さらに、この選択された代表画像に対応する特徴量と、第２のパラメータとに基づいてその代表画像から少なくとも１つの代表画像を選択するという作用をもたらす。
【００１２】
また、この第１の側面において、上記第１のパラメータは、少なくとも画像の特徴量の閾値を含み、上記第２のパラメータは、少なくとも上記第１のパラメータに含まれる画像の特徴量の閾値とは異なる値である画像の特徴量の閾値を含み、上記第１のパラメータに含まれる画像の特徴量の閾値は、上記第２のパラメータに含まれる画像の特徴量の閾値よりも条件が緩和された値に設定され、上記第１の画像選択手段は、上記特徴量記録手段に記録されている画像の特徴量と上記パラメータ保持手段に保持されている第１のパラメータの閾値とに基づいて上記画像保持手段に保持されている複数の画像を分類して当該分類された複数の画像から代表画像を選択し、上記第２の画像選択手段は、上記第１の画像選択手段により選択された代表画像に対応して上記特徴量記録手段に記録されている特徴量と上記パラメータ保持手段に保持されている第２のパラメータの閾値とに基づいて上記第１の画像選択手段により選択された代表画像を分類して当該分類された複数の代表画像から少なくとも１つの代表画像を選択することができる。これにより、画像の特徴量と、第１のパラメータの閾値とに基づいて複数の画像を分類して、この分類された複数の画像から代表画像を選択し、さらに、この選択された代表画像に対応する特徴量と、第２のパラメータの閾値とに基づいてその代表画像を分類して、この分類された複数の代表画像から少なくとも１つの代表画像を選択するという作用をもたらす。この場合において、上記第１のパラメータおよび上記第２のパラメータに含まれる画像の特徴量の閾値は、画像間の類似判定に用いる類似閾値であり、上記第１の画像選択手段は、上記特徴量記録手段に記録されている画像の特徴量と上記パラメータ保持手段に保持されている第１のパラメータの類似閾値とに基づいて上記画像保持手段に保持されている複数の画像のうちの類似する画像同士をグループ化して分類し、上記第２の画像選択手段は、上記第１の画像選択手段により選択された代表画像に対応して上記特徴量記録手段に記録されている特徴量と上記パラメータ保持手段に保持されている第２のパラメータの類似閾値とに基づいて上記第１の画像選択手段により選択された代表画像のうちの類似する画像同士をグループ化して分類することができる。これにより、画像の特徴量と第１のパラメータの類似閾値とに基づいて、複数の画像のうちの類似する画像同士をグループ化して分類して、この分類された複数の画像から代表画像を選択し、さらに、この選択された代表画像に対応する特徴量と、第２のパラメータの類似閾値とに基づいて、その選択された代表画像のうちの類似する画像同士をグループ化して分類するという作用をもたらす。
【００１３】
また、この第１の側面において、上記第１のパラメータは、少なくとも画像の特徴量に関する重み付け係数を含み、上記第２のパラメータは、少なくとも上記第１のパラメータに含まれる画像の特徴量に関する重み付け係数とは異なる値である画像の特徴量に関する重み付け係数を含み、上記第１の画像選択手段は、上記特徴量記録手段に記録されている画像の特徴量と上記パラメータ保持手段に保持されている第１のパラメータとに基づいて上記画像保持手段に保持されている複数の画像を分類して上記特徴量記録手段に記録されている画像の特徴量と上記パラメータ保持手段に保持されている第１のパラメータの重み付け係数とに基づいて当該分類された複数の画像から代表画像を選択し、上記第２の画像選択手段は、上記第１の画像選択手段により選択された代表画像に対応して上記特徴量記録手段に記録されている特徴量と上記パラメータ保持手段に保持されている第２のパラメータとに基づいて上記第１の画像選択手段により選択された代表画像を分類して上記第１の画像選択手段により選択された代表画像に対応して上記特徴量記録手段に記録されている特徴量と上記パラメータ保持手段に保持されている第２のパラメータの重み付け係数とに基づいて当該分類された複数の代表画像から少なくとも１つの代表画像を選択することができる。これにより、画像の特徴量と第１のパラメータとに基づいて複数の画像を分類して、この分類された複数の画像から、画像の特徴量と第１のパラメータの重み付け係数とに基づいて代表画像を選択し、この選択された代表画像に対応する特徴量と第２のパラメータとに基づいてその選択された代表画像を分類して、この分類された複数の代表画像から、この各代表画像に対応する特徴量と第２のパラメータの重み付け係数とに基づいてさらに代表画像を選択するという作用をもたらす。この場合において、上記第１の画像選択手段は、上記特徴量記録手段に記録されている画像の特徴量を上記パラメータ保持手段に保持されている第１のパラメータの重み付け係数により重み付け加算して当該重み付け加算された値に基づいて当該分類された複数の画像から代表画像を選択し、上記第２の画像選択手段は、上記第１の画像選択手段により選択された代表画像に対応して上記特徴量記録手段に記録されている特徴量を上記パラメータ保持手段に保持されている第２のパラメータの重み付け係数により重み付け加算して当該重み付け加算された値に基づいて当該分類された複数の代表画像から少なくとも１つの代表画像を選択することができる。これにより、画像の特徴量を第１のパラメータの重み付け係数により重み付け加算して、この重み付け加算された値に基づいて、最初に分類された複数の画像から代表画像を選択し、この選択された代表画像に対応する特徴量を第２のパラメータの重み付け係数により重み付け加算して、この重み付け加算された値に基づいて、分類された複数の代表画像から少なくとも１つの代表画像を選択するという作用をもたらす。また、この場合において、上記画像の特徴量に関する重み付け係数は、少なくとも画像のボケ度合いに関する重み付け係数を含み、上記第２のパラメータに含まれる画像のボケ度合いに関する重み付け係数は、上記第１のパラメータに含まれる画像のボケ度合いに関する重み付け係数よりも重み付けの軽い値に設定されることができる。これにより、ボケ度合いに関する重み付けについては、最初の重み付け加算よりも重み付けの軽い値を用いて、２回目の重み付け加算をするという作用をもたらす。
【００１４】
また、この第１の側面において、選択すべき代表画像の上限数を指定するための操作入力を受け付ける操作受付手段をさらに具備し、上記第２の画像選択手段は、上記第１の画像選択手段により選択された代表画像が上記指定された上限数以下であるか否かを判断して当該代表画像が当該上限数以下でない場合には当該代表画像に基づいて上記パラメータ保持手段に保持されている第２のパラメータの値を書き換え当該代表画像に対応して上記特徴量記録手段に記録されている特徴量と当該書き換えた第２のパラメータの値とに基づいて上記第１の画像選択手段により選択された代表画像から少なくとも１つの代表画像を選択することができる。これにより、最初に選択された代表画像が、指定された上限数以下であるか否かを判断して、その代表画像が上限数以下でない場合には、その代表画像に基づいて第２のパラメータの値を書き換え、その代表画像に対応する特徴量と、書き換えた第２のパラメータの値とに基づいて、最初に選択された代表画像から少なくとも１つの代表画像を選択するという作用をもたらす。
【００１５】
また、この第１の側面において、上記パラメータ保持手段は、設定されている複数の値のうちの少なくとも１つが異なる上記第１のパラメータおよび上記第２のパラメータの組合せを複数保持し、上記パラメータ保持手段に保持されている複数のパラメータの組合せから所望の組合せを指定するための操作入力を受け付ける操作受付手段をさらに具備することができる。これにより、複数のパラメータの組合せから所望の組合せを指定して代表画像の選択をするという作用をもたらす。
【００１６】
また、この第１の側面において、上記画像保持手段に保持されている各画像をイベント毎に分類して記録するイベントクラスタ記録手段をさらに具備し、上記第１の画像選択手段は、上記イベントクラスタ記録手段に記録されているイベント毎に上記代表画像を選択することができる。これにより、複数の画像が分類されたイベント毎に代表画像を選択するという作用をもたらす。
【００１７】
また、この第１の側面において、上記第２の画像選択手段により選択された代表画像を出力する出力手段をさらに具備することができる。これにより、２回目に選択された代表画像を出力するという作用をもたらす。この場合において、上記出力手段は、上記第２の画像選択手段により選択された代表画像を表示する表示手段であることができる。これにより、２回目に選択された代表画像を表示するという作用をもたらす。
【００１８】
また、本発明の第３の側面は、複数の画像を保持する画像保持手段と、複数の値が設定されているパラメータであって当該複数の値のうちの少なくとも１つが互いに異なる値に設定されているパラメータである第１のパラメータおよび第２のパラメータを保持するパラメータ保持手段と、上記画像保持手段に保持されている各画像の特徴量を記録する特徴量記録手段と、上記特徴量記録手段に記録されている画像の特徴量と上記パラメータ保持手段に保持されている第１のパラメータとに基づいて上記画像保持手段に保持されている複数の画像から少なくとも１つの代表画像を選択する第１の画像選択手段と、上記選択された代表画像に対応して上記特徴量記録手段に記録されている特徴量と上記パラメータ保持手段に保持されている第２のパラメータとに基づいて上記第１の画像選択手段により選択された代表画像から少なくとも１つの代表画像を選択する第２の画像選択手段と、上記第２の画像選択手段により選択された代表画像を表示する表示手段とを具備することを特徴とする画像表示装置およびその処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、各画像の特徴量と第１のパラメータとに基づいて、複数の画像から少なくとも１つの代表画像を選択し、さらに、この選択された代表画像に対応する特徴量と、第２のパラメータとに基づいてその代表画像から少なくとも１つの代表画像を選択して、この選択された代表画像を表示するという作用をもたらす。
【００１９】
また、本発明の第３の側面は、撮像された複数の画像を保持する画像保持手段と、複数の値が設定されているパラメータであって当該複数の値のうちの少なくとも１つが互いに異なる値に設定されているパラメータである第１のパラメータおよび第２のパラメータを保持するパラメータ保持手段と、上記画像保持手段に保持されている各画像の特徴量を記録する特徴量記録手段と、上記特徴量記録手段に記録されている画像の特徴量と上記パラメータ保持手段に保持されている第１のパラメータとに基づいて上記画像保持手段に保持されている複数の画像から少なくとも１つの代表画像を選択する第１の画像選択手段と、上記選択された代表画像に対応して上記特徴量記録手段に記録されている特徴量と上記パラメータ保持手段に保持されている第２のパラメータとに基づいて上記第１の画像選択手段により選択された代表画像から少なくとも１つの代表画像を選択する第２の画像選択手段と、上記第２の画像選択手段により選択された代表画像を表示する表示手段とを具備することを特徴とする撮像装置およびその処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、各画像の特徴量と第１のパラメータとに基づいて、複数の画像から少なくとも１つの代表画像を選択し、さらに、この選択された代表画像に対応する特徴量と、第２のパラメータとに基づいてその代表画像から少なくとも１つの代表画像を選択して、この選択された代表画像を表示するという作用をもたらす。
【発明の効果】
【００２０】
本発明によれば、複数の画像の中からそれら画像全体の概要を示す画像を選択することができるという優れた効果を奏し得る。
【発明を実施するための最良の形態】
【００２１】
次に本発明の実施の形態について図面を参照して詳細に説明する。
【００２２】
図１は、本発明の実施の形態における画像管理装置１００の機能構成例を示すブロック図である。画像管理装置１００は、撮影画像保持部１１０と、時刻情報取得部１２１と、クラスタリング部１２２と、イベントクラスタ記録部１２３と、特徴抽出部１３０と、類似特徴記録部１４１と、画像スコア記録部１４２と、パラメータ保持部１５０と、ダイジェスト生成部１６０と、表示制御部１７０と、操作受付部１８０と、表示部１９０とを備える。
【００２３】
撮影画像保持部１１０は、デジタルスチルカメラ等で撮影された撮影画像（写真画像）を保持する保持部である。なお、撮影画像保持部１１０に記録される撮影画像にはＥｘｉｆ（Exchangeable Image File Format）タグが格納され、このＥｘｉｆタグには撮影位置情報や撮影時刻（Date Time Original）等の各種メタデータが記録される。また、各撮影画像には、撮影画像の識別子である撮影画像ＩＤが付与され、この撮影画像ＩＤがメタデータに記録されている。
【００２４】
時刻情報取得部１２１は、撮影画像保持部１１０に保持されている各撮影画像のＥｘｉｆタグから時刻情報を取得し、取得された時刻情報をクラスタリング部１２２に出力するものである。なお、この時刻情報の取得は、撮影画像が撮影画像保持部１１０に記録された場合等に必要に応じて行われる。
【００２５】
クラスタリング部１２２は、撮影画像保持部１１０に保持されている撮影画像をイベントクラスタリングと呼ばれる手法を用いてイベント毎に分類するものである。このイベントクラスタリングにおいて、各撮影画像をリーフ（葉）とする二分木構造のデータが用いられる。この二分木構造データにおけるノード（節）は、クラスタに該当する。具体的には、クラスタリング部１２２は、時刻情報取得部１２１から受け取った時刻情報に基づいて、撮影画像間の撮影間隔を計算し、計算された撮影間隔に応じて二分木構造の階層型クラスタを作成する。そして、作成された二分木構造の階層型クラスタの中から、イベントクラスタのグループ化条件に基づいて、最適なクラスタの階層を決定することによって、撮影画像をイベント毎に分類する。これにより、イベントと呼ばれる単位の複数の時系列順に並んだグループに複数の撮影画像を分類することができる。このグループには、１または複数の撮影画像が属する。なお、階層型クラスタの作成については、図２を参照して詳細に説明する。
【００２６】
イベントクラスタ記録部１２３は、クラスタリング部１２２によりイベント毎に分類された撮影画像に関する情報およびそのイベントに対応するイベントクラスタに関する情報を含むイベントクラスタ情報を記録するものである。イベントクラスタ記録部１２３には、例えば、クラスタＩＤ、撮影画像リスト等がイベントクラスタ情報として記録される。なお、クラスタＩＤは、二分木構造の階層型クラスタにおける各クラスタの識別子であり、例えば、整数値が記録される。撮影画像リストは、二分木構造の階層型クラスタにおける各クラスタに含まれる撮影画像ＩＤのリストであり、各撮影画像の撮影画像ＩＤが記録される。
【００２７】
特徴抽出部１３０は、撮影画像保持部１１０に保持されている各画像について各種画像解析を行い、類似特徴を抽出するとともに画像スコアを計算するものである。特徴抽出部１３０により抽出された類似特徴は類似特徴記録部１４１に記録され、特徴抽出部１３０により計算された画像スコアは画像スコア記録部１４２に記録される。なお、これらの各種画像解析は、例えば、撮影画像が撮影画像保持部１１０に記録されたタイミングでその撮影画像について随時行うようにしてもよく、ユーザからの解析開始要求等に基づいて、各撮影画像について一括して行うようにしてもよい。
【００２８】
ここで、特徴抽出部１３０による画像解析によって求められる類似特徴および画像スコアについて詳細に説明する。なお、特徴抽出部１３０が画像解析を行う場合には、画像解析の対象となる撮影画像について解像度変換を行い、各撮影画像の大きさを一定にする。
【００２９】
類似特徴は、基準となる画像と他の画像との類似の程度を判断する場合に用いられる画像の特徴量を示すものであり、撮影画像の色分布や周波数分布等を用いて求めることができる。そして、求められた特徴量が類似特徴記録部１４１に記録される。
【００３０】
また、画像スコアは、複数の画像の中から代表画像を選択する場合に用いられる値であって、画像の見栄えの良さを表す評価値である。画像スコアとして、例えば、画像のボケ度合いに基づくスコア（blur_score）、画像の色の広がり具合に基づくスコア（color_variation）、画像に含まれる顔の個数に基づくスコア（face_count）、画像に含まれる顔の位置に基づくスコア（face_position）、画像に含まれる顔の面積に基づくスコア（face_area）、画像に含まれる顔に関する笑顔の度合いに基づくスコア（smile）等がある。なお、本発明の実施の形態では、ここで示した６つの画像スコアを用いて説明するが、これらの画像スコア以外の画像スコアを用いるようにしてもよい。また、これらの画像スコアのうちの少なくとも１つを用いるようにしてもよい。さらに、これらの画像スコアのうちの少なくとも１つと他の画像スコアとの組合せを用いるようにしてもよい。
【００３１】
画像のボケ度合いに基づくスコア（ボケ度合いスコア：ＢＳ）は、画像に含まれる周波数の高さを示すスコアであり、画像のＦＦＴ応答に対する次式により求めることができる。すなわち、高周波成分が少ない場合に、その画像にボケが生じていると推測するものである。なお、ＦＦＴを一辺を２のべき乗とする画像に対して適用するために、ここでは画像中心から２５６×１２８、または、１２８×２５６を切り出した部分を用いて計算される。
【数１】
2008276668.tif 000003
【００３２】
ここで、ｘ、ｙは、ＦＦＴ応答中の位置を示し、ｒは、中心からの距離を示し、νは、ＦＦＴ応答値を示し、ｗは、画像の幅を示し、ｈは画像の高さを示す。
【００３３】
画像の色の広がり具合に基づくスコアは、画像に含まれる色の多様性を示すスコアである。例えば、画像に含まれる画素の色空間（ここでは、Ｌａ＊ｂ＊色空間）における分散値を用いることができる。
【００３４】
画像に含まれる顔の個数に基づくスコア、画像に含まれる顔の位置に基づくスコア、画像に含まれる顔の面積に基づくスコア、および、画像に含まれる顔に関する笑顔の度合いに基づくスコアのそれぞれの画像スコアは、画像から検出された顔の情報に基づいて求められるスコアである。
【００３５】
画像に含まれる顔の個数に基づくスコアは、画像に含まれる顔の個数を示すスコアであり、顔の個数の数値がそのまま用いられる。
【００３６】
画像に含まれる顔の位置に基づくスコアＦＳは、顔の位置が画像中心付近の適切な位置に写っている度合いを示すスコアである。例えば、画像に含まれる全ての顔の重心の平均位置に関して、次式（二次元正規分布の式）を用いて求めることができる。
【数２】
2008276668.tif 000004
【００３７】
ここで、ｘ、ｙは、画像に含まれる全ての顔の重心の平均位置を示す。この場合に、画像中央を原点とし、［−０．５、０．５］に正規化された値が用いられる。また、（μｘ，μｙ）＝（０．５００，０．４３１）であり、（σｘ，σｙ）＝（０．１５９，０．１１８）である。
【００３８】
画像に含まれる顔の面積に基づくスコアは、画像に含まれる顔の大きさを示すスコアである。なお、画像に複数の顔が含まれている場合には、これらの複数の顔の面積の平均値を用いて計算される。
【００３９】
画像に含まれる顔に関する笑顔の度合いに基づくスコアは、画像から検出された顔に関する笑顔の度合いを示すスコアである。なお、画像に複数の顔が含まれている場合には、これらの複数の顔に関する笑顔の度合いを示す値の平均値を用いる。この笑顔の度合いを求める場合には、公知の顔認識技術を用いて、検出された顔に関する笑顔を判定して、その笑顔の度合いを数値化する。
【００４０】
類似特徴記録部１４１は、特徴抽出部１３０により抽出された撮影画像の類似特徴を、撮影画像ＩＤに関連付けて記録する記録部である。
【００４１】
画像スコア記録部１４２は、特徴抽出部１３０により計算された撮影画像の画像スコアを、撮影画像ＩＤに関連付けて記録する記録部である。
【００４２】
パラメータ保持部１５０は、ダイジェスト生成部１６０が撮影画像の選択処理を実行する場合に用いるパラメータを保持するものである。なお、このパラメータについては、図３を参照して詳細に説明する。
【００４３】
ダイジェスト生成部１６０は、類似特徴記録部１４１に記録されている撮影画像の類似特徴に基づいて、イベントクラスタ記録部１２３に記録されている各イベントクラスタに属する複数の撮影画像について各撮影画像間の類似距離を計算し、この計算結果とパラメータ保持部１５０に保持されているパラメータとに基づいて１または複数のグループを作成するものである。また、ダイジェスト生成部１６０は、画像スコア記録部１４２に記録されている撮影画像の画像スコアとパラメータ保持部１５０に保持されているパラメータとに基づいて、撮影画像の類似特徴に基づいて作成された各グループに属する１または複数の撮影画像から、１つの撮影画像を代表画像として選択する。さらに、ダイジェスト生成部１６０は、類似特徴記録部１４１に記録されている撮影画像の類似特徴に基づいて、代表画像として選択された複数の撮影画像について各撮影画像間の類似距離を計算し、この計算結果とパラメータ保持部１５０に保持されているパラメータとに基づいて１または複数のグループを作成する。また、ダイジェスト生成部１６０は、画像スコア記録部１４２に記録されている撮影画像の画像スコアとパラメータ保持部１５０に保持されているパラメータとに基づいて、代表画像から作成された各グループに属する１または複数の撮影画像から、１つの撮影画像を代表画像としてさらに選択する。これらの撮影画像のグループ化および選択については、図４および図５を参照して詳細に説明する。
【００４４】
表示制御部１７０は、撮影画像のダイジェスト閲覧を指示する旨の操作入力が操作受付部１８０から受け付けられた場合には、イベント毎に選択された代表画像に関する代表画像情報をダイジェスト生成部１６０から取得するとともに、撮影画像保持部１１０から撮影画像を読み出し、読み出された代表画像情報に基づいて、撮影画像をイベント毎に分類して閲覧ビューを構成し、閲覧ビューを表示部１９０に表示させるものである。なお、閲覧ビューの表示例については、図５（ｂ）に示す。
【００４５】
操作受付部１８０は、各種操作ボタンを備え、これらのボタン等から操作入力を受け付けると、受け付けた操作入力の内容を、パラメータ保持部１５０、ダイジェスト生成部１６０および表示制御部１７０に出力するものである。例えば、代表画像を選択するための指示をするダイジェスト生成ボタンや、選択された代表画像を表示させるための指示をするダイジェスト閲覧ボタン等が操作受付部１８０に設けられる。なお、ダイジェスト生成ボタンやダイジェスト閲覧ボタン等を表示部１９０に表示させ、これらのボタンを操作受付部１８０の操作入力に応じて押下させるようにしてもよい。また、操作受付部１８０の少なくとも一部と表示部１９０とをタッチパネルとして一体化して構成するようにしてもよい。
【００４６】
表示部１９０は、表示制御部１７０からの制御に基づいて、撮影画像保持部１１０に保持されている撮影画像等を表示する表示部である。表示部１９０として、例えば、液晶表示装置（ＬＣＤ：Liquid Crystal Display）を用いることができる。
【００４７】
図２（ａ）は、撮影画像保持部１１０に保持されている複数の画像の撮影頻度と、撮影時刻との関係を表すグラフを示す図である。
【００４８】
図２（ａ）に示すグラフにおいて、横軸は時間軸を示し、縦軸は撮影頻度を示す。例えば、撮影頻度の値が大きい部分では、短時間に多くの撮影が行われていることを示す。図２（ａ）に示すグラフにおいて、例えば、区間２０１は、イベントとして「家族でのピクニック」があった期間を示し、区間２０３は、イベントとして「子供の運動会」があった期間を示し、区間２０５は、イベントとして「仲間との釣り」があった期間を示し、区間２０２および２０４は、特にイベントがなかった期間を示すとする。例えば、「家族でのピクニック」では、昼食時に撮影する機会が多くなるため、区間２０１の真中部分で撮影頻度が高くなる。また、「子供の運動会」では、昼食の前後に子供の活躍を撮影する機会が多く、昼食時には撮影する機会が少なくなるため、区間２０３の前部分および後部分で撮影頻度が高くなり、真中部分では撮影頻度が低くなる。また、「仲間との釣り」では、開始時に撮影する機会が多く、釣りを開始した後は撮影する機会が少なくなるため、区間２０３の前部分で撮影頻度が高くなり、後部分では撮影頻度が低くなる。
【００４９】
図２（ａ）に示すように、各イベントがあった区間２０１、２０３、２０５では、撮影頻度の値が比較的大きくなり、特別なイベントがなかった区間２０２および２０４では、撮影頻度の値は小さくなる。このように、撮影頻度の値の大小に応じてイベントの有無を判断することができる。これにより、撮影頻度の値が連続して大きい区間が１つのイベントとして分類される。例えば、区間２０１、２０３、２０５に撮影された撮影画像が、それぞれのイベントに分類される。
【００５０】
図２（ｂ）は、撮影画像保持部１１０に保持されている撮影画像をクラスタリング部１２２がイベント毎に分類する場合に行うイベントクラスタリングの概略を示す図である。図２（ｂ）に示すように、例えば、時間軸２１０において、撮影画像２１１乃至２１６がその撮影時刻の位置に時系列に配置されているものとする。この場合に、撮影画像２１１乃至２１６の撮影時刻に基づいて、撮影画像２１１乃至２１６のそれぞれの撮影間隔が計算される。そして、この計算結果に基づいて各クラスタが作成される。なお、図２（ｂ）に示す二分木のリーフ（葉）は、撮影画像２１１乃至２１６に対応する。また、作成された各クラスタは、図２（ｂ）に示す二分木のノード（節）に対応する。
【００５１】
例えば、撮影間隔が一番短い撮影画像２１５および２１６でクラスタ２２４が作成され、撮影間隔が二番目に短い撮影画像２１１および２１２でクラスタ２２１が作成される。続いて、作成されたクラスタ２２１および２２４と、撮影画像２１３および２１４とのそれぞれの撮影間隔が計算され、この計算結果に基づいて、さらにクラスタが作成される。例えば、クラスタ２２１と撮影画像２１３とでクラスタ２２２が作成され、クラスタ２２４と撮影画像２１４とでクラスタ２２５が作成される。さらに、クラスタ２２２および２２５で、撮影画像２１１乃至２１６の全てが属するクラスタ２２３が作成される。
【００５２】
続いて、作成された二分木におけるクラスタ２２１乃至２２５の中から、イベントクラスタのグループ化条件に基づいて最適なクラスタの階層を決定する。このイベントクラスタのグループ化条件は、例えば、各クラスタに属する撮影画像の撮影頻度を基準として設定される。例えば、図２（ｂ）に示す例では、撮影画像２１１乃至２１３および撮影画像２１４乃至２１６のそれぞれの撮影時間の間隔が短く、撮影画像２１３および２１４との撮影時間の間隔が比較的長くなっている。このため、クラスタ２２２および２２５に属する撮影画像の撮影頻度の値は比較的大きいのに対して、クラスタ２２３に属する撮影画像の撮影頻度の値は比較的小さくなる。このため、クラスタ２２１乃至２２５の中から、クラスタ２２２および２２５が決定される。これにより、クラスタ２２２に属する撮影画像２１１乃至２１３が１つのイベントと判断されるとともに、クラスタ２２５に属する撮影画像２１４乃至２１６が１つのイベントと判断され、撮影画像２１１乃至２１６が２つのイベントに分類される。このように、撮影画像２１１乃至２１６が、イベントクラスタと呼ばれる単位の複数の時系列順に並んだ撮影画像からなるグループに分類される。
【００５３】
図３は、パラメータ保持部１５０に保持されるパラメータの一例を示す図である。ダイジェスト生成部１６０が撮影画像の選択処理を実行する場合に用いるパラメータ２３０は、２つのパラメータＡおよびＢを用いる。なお、この２つのパラメータＡおよびＢは、少なくとも１つの項目の値が異なっている。
【００５４】
パラメータ２３０には、「類似閾値」、「ボケ度合いの重み付け係数」、「色の広がり具合の重み付け係数」、「顔の個数の重み付け係数」、「顔の位置の重み付け係数」、「顔のサイズの重み付け係数」、「笑顔の度合いの重み付け係数」のそれぞれの値が、パラメータＡおよびパラメータＢに記録されている。この例では、パラメータＡおよびパラメータＢにおいて、「類似閾値」および「ボケ度合いの重み付け係数」については異なる値が記録され、その他の項目については同じ値が記録されている。
【００５５】
「類似閾値」は、比較対象となる２つの撮影画像が類似するか否かを判断する場合に用いる閾値である。例えば、類似特徴記録部１４１に記録されている２つの撮影画像の類似特徴の値の差（類似距離）が「類似閾値」の値以下であれば、この２つの撮影画像が類似すると判断される。このように、「類似閾値」を用いて、類似する撮影画像同士がグループ化され、複数の撮影画像が１または複数のグループに分類される。
【００５６】
「ボケ度合いの重み付け係数」等の各重み付け係数は、「類似閾値」を用いてグループ化された撮影画像の中から１つの撮影画像を選択する場合に用いる重み付け係数である。例えば、１つのグループ内において、画像スコア記録部１４２に記録されている各撮影画像の各画像スコアが正規化され、この正規化された画像スコアが各重み付け係数を用いて重み付け加算され、この重み付け加算された値が各撮影画像の評価値として算出される。そして、１つのグループ内において、この算出された各評価値が比較され、比較された結果、最も評価値の大きい撮影画像が、代表画像として選択される。なお、この２つのパラメータＡおよびＢを用いた撮影画像の選択については、図４を参照して詳細に説明する。
【００５７】
図４は、１つのイベントに属する撮影画像から代表画像を選出する場合における遷移を概略的に示す遷移図である。ここでは、撮影画像保持部１１０に保持されている撮影画像のうちで、イベントクラスタ記録部１２３に記録されているイベント３１０に属する撮影画像３１１乃至３１８から２つの撮影画像３１３および３１７が選択される場合について説明する。
【００５８】
図４（ａ）は、撮影画像保持部１１０に保持されている撮影画像のうちで、イベント３１０に属する撮影画像３１１乃至３１８を示す図である。なお、撮影画像３１１乃至３１８は、撮影時刻の順番で撮影画像３１１から並べられている。また、撮影画像３１１乃至３１８は、家族４人（父、母、娘、息子）でキャンプに行った際に撮影された画像である。撮影画像３１１は、川原において家族４人でテントを準備している場面が撮影された画像であり、撮影画像３１２乃至３１５は、川原において父と息子の２人で釣りをしている場面が撮影された画像であり、撮影画像３１６乃至３１８は、草原において家族４人で休憩している場面が撮影された画像である。ここで、撮影画像３１３および３１４については、画像に含まれる人、背景、人の位置等が似ているものとする。また、撮影画像３１７および３１８についても、画像に含まれる人、背景、画像全体における人の配置等が似ているものとする。さらに、撮影画像３１６と、撮影画像３１７および３１８とについては、画像全体における人の配置等が多少異なるものの、画像に含まれる人、背景の雰囲気や色等が似ているものとする。また、撮影画像３１３および３１４と、撮影画像３１１、３１２、３１５とについては、画像に含まれる人や全体における人の配置等が多少異なるものの、背景の雰囲気や色等が似ているものとする。
【００５９】
最初に、図４（ａ）に示す撮影画像３１１乃至３１８について、パラメータ２３０のパラメータＡに記録されている「類似閾値」の値「１００００」を用いて、類似する撮影画像同士がグループ化される。このグループ化は、複数の撮影画像について時系列に沿って順次行われる。この場合に、イベント内において、時系列的に先頭の撮影画像については、時系列的に前の画像が存在せず、比較の対象がないため、新規グループが割り当てられ、時系列的に２番目以降の撮影画像から順次取り出される。例えば、撮影画像３１１乃至３１８の場合には、新規グループ３２１が割り当てられる。そして、時系列的に２番目の撮影画像３１２が取り出され、撮影画像３１１および３１２に対応して類似特徴記録部１４１に記録されている類似特徴の値が取り出される。そして、撮影画像３１１および３１２の類似特徴の値の差（類似距離）が算出され、この差の値がパラメータＡの類似閾値「１００００」以下であるか否かが判断される。この差の値がパラメータＡの類似閾値「１００００」以下である場合には、この２つの撮影画像が類似すると判断され、この２つの撮影画像が１つのグループに含められる。一方、この差の値がパラメータＡの類似閾値「１００００」以下でない場合には、この２つの撮影画像が類似しないと判断され、この２つの撮影画像が別のグループに含められる。このように、撮影画像３１１乃至３１８について、隣接する撮影画像同士の類似特徴の値の差が順次算出され、グループ化がされる。
【００６０】
例えば、図４（ａ）に示すように、撮影画像３１１、３１２、３１５、３１６については、隣接する撮影画像とは類似しないと判断され、それぞれが１つのグループ３２１、３２２、３２４、３２５に割り当てられる。一方、撮影画像３１３および３１４と、撮影画像３１７および３１８とについては、隣接する撮影画像と類似すると判断され、２つの撮影画像を含むグループ３２３、３２６に割り当てられる。
【００６１】
続いて、図４（ａ）に示すグループ３２１乃至３２６について、パラメータ２３０のパラメータＡに記録されている各重み付け係数の値を用いて、各グループから１つの代表画像が選択される。この選択はグループ毎に順次行われる。この場合に、１つの撮影画像のみが含まれているグループについては、その撮影画像が代表画像として選択される。例えば、１つの撮影画像のみが含まれているグループ３２１、３２２、３２４、３２５については、それぞれ撮影画像３１１、３１２、３１５、３１６が代表画像として選択される。
【００６２】
また、複数の撮影画像が含まれているグループについては、複数の撮影画像のうちから１つの撮影画像が選択される。例えば、グループ３２３の場合には、グループ３２３に含まれる撮影画像３１３および３１４に対応して画像スコア記録部１４２に記録されている画像スコアの各値が取り出される。そして、撮影画像３１３および３１４の画像スコアの各値が正規化される。例えば、グループ内での最高スコアを「１．０」とし、最低スコアを「０．０」とするように、画像スコアの各値が正規化される。
【００６３】
続いて、正規化された各撮影画像の画像スコアが、パラメータＡの各重み付け係数を用いて重み付け加算される。この重み付け加算されて求められた値が各撮影画像の評価値として用いられる。そして、グループ内における各撮影画像の評価値のうちで、最大の評価値の撮影画像が代表画像として選択される。
【００６４】
例えば、グループ３２３の場合には、グループ３２３に含まれる撮影画像３１３および３１４の評価値のうちで、撮影画像３１３の評価値が大きいと判断され、撮影画像３１３が代表画像として選択される。また、グループ３２６の場合には、グループ３２６に含まれる撮影画像３１７および３１８の評価値のうちで、撮影画像３１７の評価値が大きいと判断され、撮影画像３１７が代表画像として選択される。このように、各グループから１つの代表画像が選択される。
【００６５】
図４（ｂ）は、グループ３２１乃至３２６のそれぞれから選択された代表画像群３３０を示す図である。例えば、グループ３２１乃至３２６のそれぞれから撮影画像３１１乃至３１３、３１５乃至３１７が代表画像として選択される。
【００６６】
代表画像として選択された撮影画像３１１乃至３１３、３１５乃至３１７について、パラメータ２３０のパラメータＢに記録されている「類似閾値」の値「３５０００」を用いて、類似する撮影画像同士がグループ化される。なお、このグループ化については、パラメータの「類似閾値」が異なる以外は、図４（ａ）で示したものと同じであるため、ここでの詳細な説明を省略する。
【００６７】
ここで、「類似閾値」の設定について説明する。図４（ａ）で示すように、最初のグループ化では、非常によく似た撮影画像がグループ化されるように、「類似閾値」が設定される。このように設定することによって、例えば、連射された写真や、同じ構図で２度３度撮り直したような画像をグループ化することができる。また、図４（ｂ）で示すように、２段階目のグループ化では、比較的緩い「類似閾値」が設定される。このように設定することによって、被写体が異なるものの、ぱっと見の見た目が似ているような画像をグループ化することができる。このように、代表画像として選択された撮影画像については、「類似閾値」を大きくしてグループ化を行うことによって、比較的多くの撮影画像をグループ化することができる。
【００６８】
例えば、図４（ｂ）に示すように、撮影画像３１５および３１６については、類似する撮影画像とは判断されないものの、撮影画像３１１乃至３１３、３１５については、隣接する撮影画像と類似すると判断され、各撮影画像がグループ３３１に割り当てられる。また、撮影画像３１６および３１７については、隣接する撮影画像と類似すると判断され、各撮影画像がグループ３３２に割り当てられる。
【００６９】
続いて、図４（ｂ）に示すグループ３３１および３３２について、パラメータ２３０のパラメータＢに記録されている各重み付け係数の値を用いて、各グループから１つの代表画像が選択される。なお、この代表画像の選択については、パラメータの「ボケ度合いの重み付け係数」が異なる以外は、図４（ａ）で示したものと同じであるため、ここでの詳細な説明を省略する。
【００７０】
ここで、各重み付け係数の設定について説明する。最初に、「ボケ度合いの重み付け係数」について説明する。
【００７１】
画像のボケ度合いに基づくスコアは、画像に含まれている周波数の高さを示すスコアである。例えば、酷似する２枚の画像を比較した場合において、一方の画像の周波数が高く、他方の画像の周波数が低ければ、周波数が低い画像が比較的ボケている、または、ピントがずれている等の判断をすることができる。すなわち、最初のグループ化では非常によく似た撮影画像同士がグループ化されるため、最初の代表画像の選択では、画像のボケ度合いに基づくスコアを考慮して、比較的ボケている等の画像以外の画像を代表画像として選択することができる。
【００７２】
一方、被写体が大きく異なる場合においては、単純に周波数の高さを比較することに意味がない場合が多い。例えば、被写体が空ならばそもそも周波数が低く、被写体が森ならばそもそも周波数が高い。このため、両者の周波数を比較しても、画像自体がボケているか否か等を判断することができない。すなわち、２段階目のグループ化では被写体が異なる撮影画像同士もグループ化されるため、２段階目の代表画像の選択では、画像のボケ度合いに基づくスコアを考慮しない。このように、最初の代表画像の選択では、画像のボケ度合いに基づくスコアを考慮するため、「ボケ度合いの重み付け係数」の値として「１．０」が設定される。これに対して、最初の代表画像の選択では、画像のボケ度合いに基づくスコアを考慮しないため、「ボケ度合いの重み付け係数」の値として「０．０」が設定される。
【００７３】
次に、「顔の個数の重み付け係数」、「顔の位置の重み付け係数」、「顔のサイズの重み付け係数」、「笑顔の度合いの重み付け係数」について説明する。図３に示すパラメータ２３０のパラメータＡおよびＢにおいて、これらの４つの重み付け係数は同じ値を用いている。しかしながら、以下で示すように、これらの値をＡおよびＢのそれぞれにおいて適宜変更して用いるようにしてもよい。
【００７４】
例えば、最初のグループ化では非常によく似た撮影画像がグループ化される。このため、最初の代表画像の選択では、非常によく似た撮影画像の中で、顔が写っている画像、顔が真ん中にある画像、顔が大きく写っている画像、顔が笑っている画像等のように、ユーザの好みに応じた画像を代表画像として選択するように、これらの４つの重み付け係数の値を相対的に大きくしたり小さくしたりして設定することができる。
【００７５】
一方、２段階目のグループ化では被写体が異なる撮影画像もグループ化される。このため、２段階目の代表画像の選択では、例えば、被写体が異なる撮影画像の中でも、顔が写っている画像を特に優先して選択したい場合には、「顔の個数の重み付け係数」の値を大きくして設定することができる。また、顔が大きく写っている画像を優先して選択したい場合には、「顔のサイズの重み付け係数」の値のみを相対的に大きくして設定することができる。このように、ユーザの好みに応じて調整することができる。
【００７６】
このように、どのような画像をグループ化するか、また、どのような画像を代表画像として選択するかの設定を、最初の画像選択処理で用いるパラメータと、２段階目の画像選択処理で用いるパラメータとを異なる設定にすることができるため、ユーザの好みに応じた適切な代表画像を選択することができる。
【００７７】
例えば、グループ３３１の場合には、グループ３３１に含まれる撮影画像３１１乃至３１３および３１５の評価値のうちで、撮影画像３１３の評価値が大きいと判断され、撮影画像３１３が代表画像として選択される。また、グループ３３２の場合には、グループ３３２に含まれる撮影画像３１６および３１７の評価値のうちで、撮影画像３１７の評価値が大きいと判断され、撮影画像３１７が代表画像として選択される。
【００７８】
図４（ｃ）は、グループ３３１および３３２のそれぞれから選択された代表画像群３４０を示す図である。例えば、グループ３３１および３３２のそれぞれから撮影画像３１３および３１７が代表画像として選択される。このように、撮影画像保持部１１０に保持されている撮影画像のうちで、イベント３１０に属する撮影画像３１１乃至３１８から撮影画像３１３および３１７が選択される。
【００７９】
図５は、撮影画像保持部１１０に保持されている撮影画像が表示部１９０に表示される場合における表示例を示す図である。
【００８０】
図５（ａ）は、撮影画像保持部１１０に保持されている撮影画像のうちで、イベント３１０に属する撮影画像３１１乃至３１８が表示部１９０に表示されている場合における表示例を示す図である。図５（ａ）に示すように、撮影画像保持部１１０に保持されている複数の撮影画像については、イベントクラスタ記録部１２３に記録されているイベント毎に表示部１９０に表示させることができる。なお、図５（ａ）に示す表示例では、撮影画像３１１乃至３１８について、ダイジェスト生成ボタンが押下された後の表示例を示す。このダイジェスト生成ボタンが押下された場合には、図４に示すように、撮影画像３１１乃至３１８について代表画像３１３および３１７が選択される。そして、選択された代表画像３１３および３１７には、代表画像として選択された旨を示す代表画像マーク３５１および３６１が、例えば画像の右下部分に付される。また、代表画像が、どの撮影画像から選択されたかを示すためのグループ枠３５０および３６０が、例えばそれぞれの撮影画像を囲むように表示される。
【００８１】
図５（ｂ）は、イベント３１０に属する撮影画像３１１乃至３１８から選択された代表画像３１３および３１７が表示部１９０に表示されている場合における表示例を示す図である。図５（ａ）に示すように、ダイジェスト生成ボタンが押下された後の状態で、ダイジェスト閲覧ボタンが押下された場合には、図５（ｂ）に示すように、各イベントに属する複数の撮影画像のうちから、選択された代表画像のみを表示させることができる。また、代表画像が、何枚の撮影画像から選択されているかを示すための画像が各代表画像の上側および右側に表示させる。例えば、代表画像３１３は、５つの撮影画像から選択された代表画像であるため、図５（ｂ）に示すように、５枚の画像が重ねられているように代表画像３１３が表示される。また、代表画像３１７は、３つの撮影画像から選択された代表画像であるため、図５（ｂ）に示すように、３枚の画像が重ねられているように代表画像３１７が表示される。例えば、各イベントに属する撮影画像が多い場合において、このように選択された代表画像のみを表示することによって、各イベントに参加していた人や各イベントの状況等の各イベントの概要を迅速に把握することができる。なお、図５では、表示部１９０に１つのイベントに属する撮影画像のみを表示する例について示したが、表示部１９０に複数のイベントを同時に表示させるようにしてもよい。また、図５（ｂ）に示すように、代表画像のみを表示させる場合には、代表画像の数に応じて各イベントの表示領域を縮小させ、多数のイベントを表示させるようにしてもよい。
【００８２】
次に、本発明の実施の形態における画像管理装置１００の動作について図面を参照して説明する。
【００８３】
図６は、画像管理装置１００による撮影画像の特徴抽出処理の処理手順を示すフローチャートである。ここでは、撮影画像保持部１１０に保持されている撮影画像から、類似特徴を抽出するとともに画像スコアを計算して、類似特徴記録部１４１および画像スコア記録部１４２に記録する動作について説明する。
【００８４】
最初に、撮影画像保持部１１０に保持されている撮影画像が、特徴抽出部１３０に入力される（ステップＳ９０１）。続いて、入力された各撮影画像について、各撮影画像の大きさが一定の大きさになるように解像度変換が行われる（ステップＳ９０２）。なお、解像度変換される撮影画像の大きさとしては、例えば、横長画像の場合には横６４０×縦４８０画素となるように設定され、縦長画像の場合には横４８０×縦６４０画素となるように設定される。
【００８５】
続いて、解像度変換された各撮影画像について類似特徴が抽出され（ステップＳ９０３）、抽出された類似特徴が、撮影画像保持部１１０に保持されている撮影画像に関連付けて類似特徴記録部１４１に記録される。
【００８６】
続いて、解像度変換された各撮影画像について画像スコアが計算され（ステップＳ９０４）、計算された画像スコアが、撮影画像保持部１１０に保持されている撮影画像に関連付けて画像スコア記録部１４２に記録される。このように、撮影画像保持部１１０に保持されている各撮影画像に関する類似特徴が類似特徴記録部１４１に記録され、画像スコアが画像スコア記録部１４２に記録された後に、撮影画像の特徴抽出処理を終了する。
【００８７】
図７は、画像管理装置１００によるイベントクラスタの作成処理の処理手順を示すフローチャートである。
【００８８】
最初に、撮影画像保持部１１０に保持されている撮影画像が、時刻情報取得部１２１に入力される（ステップＳ９１１）。続いて、入力された撮影画像のＥｘｉｆタグから時刻情報を時刻情報取得部１２１が取得する（ステップＳ９１２）。この取得された時刻情報がクラスタリング部１２２に入力されると、この時刻情報に基づいて撮影画像間の撮影間隔が計算され（ステップＳ９１３）、計算された撮影間隔に応じて二分木構造の階層型クラスタが作成される（ステップＳ９１４）。
【００８９】
続いて、クラスタリングされていない撮影画像が存在するか否かが判断され（ステップＳ９１５）、クラスタリングされていない撮影画像が存在する場合には、ステップＳ９１２に戻り、クラスタの作成処理手順を繰り返す（ステップＳ９１２乃至ステップＳ９１４）。
【００９０】
一方、クラスタリングされていない撮影画像が存在しない場合には（ステップＳ９１５）、作成された二分木構造の階層型クラスタの中から、イベントクラスタのグループ化条件に基づいて、最適なクラスタの階層が決定され、各撮影画像がイベント毎に分類される（ステップＳ９１６）。例えば、図２（ａ）に示すように、区間２０１、２０３、２０５のそれぞれに対応する各イベントに各撮影画像が分類される。そして、分類された各イベントに対応するイベントクラスタ情報がイベントクラスタ記録部１２３に記録され、イベントクラスタの作成処理を終了する。
【００９１】
図８は、画像管理装置１００による代表画像の選択処理の処理手順を示すフローチャートである。ここでは、操作受付部１８０においてダイジェスト生成ボタンが押下された場合における動作について説明する。
【００９２】
最初に、イベントクラスタ記録部１２３に記録されているイベントクラスタ情報がダイジェスト生成部１６０に入力される（ステップＳ９２１）。続いて、入力されたイベントクラスタ情報の中から、１つのイベントに対応するイベントクラスタ情報が取り出される（ステップＳ９２２）。例えば、図２（ａ）に示すように、区間２０１、２０３、２０５に対応する３つのイベントに分類されている場合には、最初のイベントである区間２０１に対応するイベントクラスタ情報が取り出される。
【００９３】
続いて、パラメータ保持部１５０に保持されているパラメータが取得される（ステップＳ９２３）。ここでは、最初の選択処理であるため、１つ目のパラメータが取得される。例えば、図３に示すパラメータ２３０のパラメータＡが取得される。
【００９４】
続いて、ステップＳ９２２で取り出されたイベントに属する各撮影画像について画像選択処理が実行される（ステップＳ９３０）。この画像選択処理については、図９を参照して詳細に説明する。
【００９５】
続いて、ステップＳ９２２で取り出されたイベントに属する各撮影画像について、ステップＳ９３０で実行された画像選択処理が、最初の画像選択処理であったか否かが判断される（ステップＳ９２４）。ステップＳ９３０で実行された画像選択処理が、最初の画像選択処理であった場合には（ステップＳ９２４）、パラメータ保持部１５０に保持されているパラメータのうちで、最初に用いたパラメータとは異なるパラメータが取得される（ステップＳ９２５）。例えば、図３に示すパラメータ２３０のパラメータＢが取得される。続いて、ステップＳ９３０に戻り、画像選択処理を繰り返す。
【００９６】
一方、ステップＳ９３０で実行された画像選択処理が、最初の画像選択処理ではなく、２回目の画像選択処理であった場合には（ステップＳ９２４）、全てのイベントについて画像選択処理が終了したか否かが判断され（ステップＳ９２６）、全てのイベントについて画像選択処理が終了していなければ、ステップＳ９２２に戻り、別のイベントに対応するイベントクラスタ情報が取り出され（ステップＳ９２２）、画像選択処理が実行される（ステップＳ９２２乃至ステップＳ９２５、ステップＳ９３０）。このように、１つのイベントに属する各撮影画像について、２つの異なるパラメータを用いて画像選択処理が実行される。
【００９７】
続いて、全てのイベントについて画像選択処理が終了していれば（ステップＳ９２６）、代表画像として選択された各撮影画像が、イベント毎に分類されて表示部１９０に表示される（ステップＳ９２７）。例えば、図５（ｂ）に示すように、代表画像が表示部１９０に表示される。なお、ステップＳ９２７において、図５（ａ）に示すように、イベントに属する各撮影画像を表示させるとともに、代表画像マークおよびグループ枠を表示させ、ダイジェスト閲覧ボタンが押下された後に、図５（ｂ）に示すように、代表画像として選択された各撮影画像が、イベント毎に分類して表示部１９０に表示されるようにしてもよい。
【００９８】
このように、各イベントについて複数の撮影画像の絞り込みを２段階に亘って順次行うことによって、最適な撮影画像を選択することができる。なお、最初の画像の絞り込み（ステップＳ９３０）では、連写撮影された画像や同じ構図で複数枚が撮影された画像等のような、極めて内容のよく似た画像の冗長性を排除することを目的として、画像を絞り込む。また、２回目の画像の絞り込み（ステップＳ９３０）では、最初の画像の絞り込みによって選択された代表画像について、比較的緩い基準で類似距離に基づくグループ化を行い、さらに画像の枚数を絞り込んで閲覧製を向上させることを目的として、画像を絞り込む。
【００９９】
なお、本発明に実施の形態では、画像の絞り込み処理（画像選択処理）（ステップＳ９３０）において、同一のアルゴリズムを異なるパラメータを用いて２回処理する方法を例にして説明した。しかしながら、最初の画像選択処理と、２回目の画像選択処理とについて、それぞれを適切な異なるアルゴリズムを用いて行うようにしてもよい。
【０１００】
図９は、画像管理装置１００による代表画像の選択処理の処理手順のうちの画像選択処理手順（図８に示すステップＳ９３０の処理手順）を示すフローチャートである。
【０１０１】
最初に、ステップＳ９２２（図８に示す）で取り出されたイベントに属する各撮影画像について、類似画像のグルーピング処理が実行される（ステップＳ９４０）。この類似画像のグルーピング処理については、図１０を参照して詳細に説明する。
【０１０２】
続いて、類似画像のグルーピング処理により作成された１または複数のグループの中から、１つのグループを取り出す（ステップＳ９３１）。続いて、取り出されたグループについて代表画像の選択処理が実行される（ステップＳ９５０）。この代表画像の選択処理については、図１１を参照して詳細に説明する。
【０１０３】
続いて、ステップＳ９４０で作成されたグループの全てについて、代表画像の選択処理が終了したか否かが判断され（ステップＳ９３２）、グループの全てについて代表画像の選択処理が終了していなければ、ステップＳ９３１に戻り、代表画像の選択処理が実行される（ステップＳ９３１およびステップＳ９５０）。一方、ステップＳ９４０で作成されたグループの全てについて代表画像の選択処理が終了していれば（ステップＳ９３２）、代表画像の選択処理を終了する。
【０１０４】
図１０は、画像管理装置１００による画像選択処理の処理手順のうちの類似画像のグルーピング処理手順（図９に示すステップＳ９４０の処理手順）を示すフローチャートである。
【０１０５】
最初に、ステップＳ９２２（図８に示す）で取り出されたイベントに属する複数の撮影画像の中から１つの撮影画像が取り出される（ステップＳ９４１）。この場合に、イベントに属する各撮影画像が撮影時刻順に取り出される。なお、ステップＳ９２２で取り出されたイベント内において、時系列的に先頭の撮影画像については、時系列的に前の画像が存在せず、比較の対象がないため、新規グループが割り当てられる。このため、時系列的に２番目以降の撮影画像から順次取り出される。例えば、図４（ａ）に示すイベント３１０において、撮影画像３１２が取り出される。
【０１０６】
続いて、取り出された撮影画像と時系列的に１つ前の撮影画像との類似特徴の値が類似特徴記録部１４１から取り出され、隣り合う２つの撮影画像間の類似距離（類似度）が計算される（ステップＳ９４２）。具体的には、類似特徴記録部１４１から取り出された２つの類似特徴の値の差の値が計算して求められる。
【０１０７】
続いて、計算して求められた類似距離の値が、パラメータの類似閾値の値以下であるか否かが判断される（ステップＳ９４３）。ここで、用いられるパラメータは、最初の画像選択処理の場合には、例えば、図３に示すパラメータＡを用いて、２回目の画像選択処理の場合には、パラメータＢを用いる。
【０１０８】
続いて、計算して求められた類似距離の値が、パラメータの類似閾値以下ではない場合には（ステップＳ９４３）、取り出された撮影画像と、時系列的に１つ前の撮影画像とが非類似と判断され、取り出された撮影画像についての新規グループが作成される（ステップＳ９４４）。例えば、図４（ａ）に示すように、撮影画像３１１と撮影画像３１２との類似度の値が、パラメータの類似閾値以下ではない場合には、撮影画像３１２についての新規グループ３２２が作成される。
【０１０９】
一方、計算して求められた類似距離の値が、パラメータの類似閾値の値以下である場合には（ステップＳ９４３）、取り出された撮影画像と、時系列的に１つ前の撮影画像とが類似しているため、取り出された撮影画像が時系列的に１つ前の撮影画像と同じグループに割り当てられる（ステップＳ９４５）。例えば、図４（ａ）に示すように、撮影画像３１３と撮影画像３１４との類似距離の値が、パラメータの類似閾値以下である場合には、撮影画像３１４がその直前の撮影画像３１３と同じグループ３２３に割り当てられる。
【０１１０】
続いて、ステップＳ９２２（図８に示す）で取り出されたイベントに属する複数の撮影画像の全ての撮影画像について類似画像のグルーピング処理が終了したか否かが判断され（ステップＳ９４６）、全ての撮影画像について類似画像のグルーピング処理が終了していなければ、ステップＳ９４１に戻り、類似画像のグルーピング処理が実行される（ステップＳ９４１乃至ステップＳ９４５）。一方、全ての撮影画像について類似画像のグルーピング処理が終了していれば（ステップＳ９４６）、類似画像のグルーピング処理を終了する。このように、各撮影画像間の類似距離に基づいて、類似する撮影画像同士がグループ化される。
【０１１１】
図１１は、画像管理装置１００による画像選択処理の処理手順のうちの代表画像の選択処理手順（図９に示すステップＳ９５０の処理手順）を示すフローチャートである。
【０１１２】
最初に、ステップＳ９３１（図９に示す）で取り出されたグループに属する各撮影画像に関する画像スコアが、画像スコア記録部１４２から取得される。そして、１つのグループ内において、取得された各撮影画像の各画像スコアが正規化される（ステップＳ９５１）。例えば、１つのグループ内での最高スコアを「１．０」とし、最低スコアを「０．０」とするように、各撮影画像の各画像スコアが正規化される。
【０１１３】
続いて、正規化された各撮影画像の画像スコアが、パラメータの各重み付け係数を用いて重み付け加算される（ステップＳ９５２）。そして、この重み付け加算されて求められた値が各撮影画像の評価値として用いられる。ここで用いられるパラメータは、最初の画像選択処理の場合には、例えば、図３に示すパラメータＡを用いて、２回目の画像選択処理の場合には、パラメータＢを用いる。
【０１１４】
続いて、グループ内における各撮影画像の評価値のうちで、最大の評価値の撮影画像が代表画像として選択される（ステップＳ９５３）。例えば、最初の画像選択処理の場合には、図４（ａ）に示すように、グループ３２３に含まれる撮影画像３１３および３１４の評価値のうちで、撮影画像３１３の評価値が大きいと判断され、撮影画像３１３が代表画像として選択される。
【０１１５】
図１２は、画像管理装置１００による代表画像の選択処理の処理手順を示すフローチャートである。この代表画像の選択処理は、図８に示す代表画像の選択処理の一部を変形したものであり、図８に示すステップＳ９２５の代わりに、ステップＳ９６１乃至ステップＳ９６３を実行する点が異なる。このため、ここでは、ステップＳ９６１乃至ステップＳ９６３について説明して、その他については、図８に示す代表画像の選択処理と同様であるため、ここでの説明を省略する。
【０１１６】
この例では、操作受付部１８０において、各イベントにおいて選択される代表画像の上限数をユーザが指定することができるようにする。この上限数の指定方法としては、例えば、操作受付部１８０に備えられているテンキーを用いて、数字を直接入力して指定する方法や、１０枚、２０枚等の選択ボタンを操作受付部１８０に備え、これらの選択ボタンの押下により指定する方法等が考えられる。また、システムのデフォルト値として、上限数を予め設定しておくようにしてもよい。なお、これらの各種キーや選択ボタンを操作受付部１８０に設ける代わりに、これらの各種キーや選択ボタンを表示部１９０に表示させ、これらの各種キーや選択ボタンをタッチパネル等で操作することによって指定するようにしてもよい。この例では、上限数としてＮ（Ｎ：自然数）が指定された場合について説明する。
【０１１７】
また、この例では、ステップＳ９２２で取り出されたイベントに属する各撮影画像について、最初の画像選択処理（ステップＳ９３０）については、図８に示す代表画像の選択処理と同様である。そして、最初の画像選択処理（ステップＳ９３０）の後に（ステップＳ９２４）、ステップＳ９２２で取り出されたイベントについて、代表画像として選択された撮影画像の数が、指定された上限数（Ｎ）以下であるか否かが判断される（ステップＳ９６１）。
【０１１８】
選択された代表画像の数が、指定された上限数以下である場合には（ステップＳ９６１）、ステップＳ９２６に進み、全てのイベントについて画像選択処理が終了したか否かが判断される（ステップＳ９２６）。このように、代表画像の数が指定された上限数以下である場合には、最初の画像選択処理により選択された代表画像を最終的な代表画像として、２回目の画像選択処理（ステップＳ９３０）を実行しない。
【０１１９】
一方、選択された代表画像の数が、指定された上限数以下でない場合には（ステップＳ９６１）、パラメータ保持部１５０に保持されているパラメータのうちで、最初に用いたパラメータとは異なるパラメータが取得される（ステップＳ９６２）。例えば、図３に示すパラメータ２３０のパラメータＢが取得される。
【０１２０】
続いて、２回目の画像選択処理（ステップＳ９３０）に用いる類似閾値が計算される（ステップＳ９６３）。具体的には、ステップＳ９２２で取り出されたイベントについて、代表画像として選択された各撮影画像のうちの各隣接画像間の類似距離が計算される。続いて、計算して求められた各類似距離が、類似距離の大きい順にソートされる。続いて、ソートされた各類似距離において、先頭からＮ番目の類似距離の値が取り出され、このＮ番目の類似距離の値が類似閾値として求められる（ステップＳ９６３）。
【０１２１】
続いて、ステップＳ９６２で取得されたパラメータ２３０のパラメータＢの類似閾値の代わりに、ステップＳ９６３で求められた類似距離の値が設定される（ステップＳ９６４）。すなわち、パラメータ２３０のパラメータＢのうちの類似閾値のみを、ステップＳ９６３で求められた類似距離の値で置き換える。続いて、ステップＳ９３０に戻り、画像選択処理を繰り返す。
【０１２２】
このように、ステップＳ９６３で求められた類似閾値を、２回目の画像選択処理（ステップＳ９３０）に用いることによって、２回目の画像選択処理により選択される代表画像の数を、指定された上限数以下となるようにすることができる。
【０１２３】
また、このようにイベント毎の上限数を指定することによって、各イベントに属する撮影画像の数が大きく異なる場合であっても、各イベントについて所定枚数以内の代表画像を表示させることができる。これにより、各イベントに属する撮影画像についての代表画像を閲覧する場合に、ユーザがさらに見易くなる。
【０１２４】
また、例えば、１つのイベントを１枚のサムネイル画像で表現することが可能となり、多数のイベントを短時間で容易に閲覧することができる。
【０１２５】
また、本発明の実施の形態において、最初の画像選択処理（ステップＳ９３０）ではパラメータ２３０のパラメータＡを用いて、２回目の画像選択処理（ステップＳ９３０）ではパラメータ２３０のパラメータＢを用いて、１つのパターンのパラメータを用いた例について説明したが、各項目の値が異なる複数パターンのパラメータをパラメータ保持部１５０に保持させておき、これらのパターンの中から所望するパターンをユーザの操作で指定するようにしてもよい。また、操作受付部１８０において、２つのパラメータの各項目の値をユーザが入力して設定するようにしてもよい。
【０１２６】
例えば、用意するパターンとしては、「顔重視」および「風景重視」のパターンが考えられる。「顔重視」の場合には、パラメータにおける「顔の個数の重み付け係数」、「顔の位置の重み付け係数」、「顔のサイズの重み付け係数」、「笑顔の度合いの重み付け係数」の項目についての重み付け係数の値を大きくする。これにより、顔に重点をおいた代表画像を選択することができる。なお、顔に重点をおいた画像が選択される場合には、例えば、顔が写っていない画像よりも写っている画像が選択され易く、顔が写っている画像同士ならば、比較的大きい顔を含む画像が選択され易くなる。
【０１２７】
また、「風景重視」の場合には、「色の広がり具合の重み付け係数」の項目についての重み付け係数の値を大きくする。この場合には、画像に顔が写っているか否かに大きく影響を受けず、画像の配色の見栄えの良い画像が代表画像として選出されるように設定することができる。
【０１２８】
また、本発明の実施の形態では、各撮影画像間における類似距離に基づいてグループ化をしているが、他の画像の特徴量に基づいてグループ化をするようにしてもよい。例えば、撮影画像の撮影時刻を用いることができる。
【０１２９】
また、本発明の実施の形態では、類似画像のグルーピング処理をする場合において、時系列的に１つ前の撮影画像を、比較の対象となる撮影画像としているが、比較の対象となる撮影画像を時系列的に１つ後の撮影画像とするようにしてもよい。また、比較の対象となる撮影画像を、時系列的に隣接する１つおきの撮影画像、または２つおきの撮影画像等とするようにしてもよい。
【０１３０】
また、本発明の実施の形態では、２回目の画像選択処理で選択された代表画像を表示部１９０に表示する例について説明したが、この代表画像を印刷する場合についても本発明の実施の形態を適用することができる。また、この代表画像を出力する出力手段を画像管理装置１００に設け、この代表画像を他の画像出力装置において出力するようにしてもよい。これにより、多数の画像が存在する場合においても、適切な少数の画像のみを出力することができる。
【０１３１】
また、本発明の実施の形態では、類似画像のグルーピング処理および代表画像の選択処理を含む画像選択処理を異なるパラメータの値を用いて２段階に亘って実行して代表画像を選択する例について説明したが、さらに異なるパラメータの値を用いて画像選択処理を３段階以上に亘って実行して代表画像を選択する場合についても本発明の実施の形態を適用することができる。
【０１３２】
また、本発明の実施の形態では、画像管理装置を例にして説明したが、複数の画像を保持することができる携帯端末装置等の画像表示装置や、デジタルスチルカメラ等の撮像装置に本発明の実施の形態を適用することができる。
【０１３３】
このように、本発明の実施の形態によれば、デジタルスチルカメラ等で撮影された大量の撮影画像について、これらの撮影画像の中から適切な撮影画像をダイジェスト生成部１６０により絞り込むことができる。このため、複数の画像を表示部１９０に表示する場合にその閲覧性を向上させることができる。また、写真等の撮影画像をサムネイル画像として表示部１９０に一覧表示する場合には、何ページにも亘って操作受付部１８０からスクロール操作をする必要がないため、閲覧性を向上させることができる。さらに、表示部１９０におけるスライドショー再生においても、似たような画像が連続して表示部１９０に再生されるような冗長性を省くことができる。このように、本発明の実施の形態によれば、複数の画像の中からそれら画像全体の概要を示す画像を選択することができる。
【０１３４】
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、以下に示すように特許請求の範囲における発明特定事項とそれぞれ対応関係を有するが、これに限定されるものではなく本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。
【０１３５】
すなわち、請求項１乃至請求項１１において、画像管理装置は、例えば画像管理装置１００に対応する。また、請求項１２において、画像表示装置は、例えば画像管理装置１００に対応する。請求項１３において、撮像装置は、例えば画像管理装置１００に対応する。
【０１３６】
また、請求項１、１２、１３において、画像保持手段は、例えば撮影画像保持部１１０に対応する。また、特徴量記録手段は、例えば類似特徴記録部１４１または画像スコア記録部１４２に対応する。
【０１３７】
また、請求項１、８、１２、１３において、パラメータ保持手段は、例えばパラメータ保持部１５０に対応する。
【０１３８】
また、請求項１乃至５、９、１２、１３において、第１の画像選択手段は、例えばダイジェスト生成部１６０に対応する。
【０１３９】
また、請求項１乃至５、７、１２、１３において、第２の画像選択手段は、例えばダイジェスト生成部１６０に対応する。
【０１４０】
また、請求項７または請求項８において、操作受付手段は、例えば操作受付部１８０に対応する。
【０１４１】
また、請求項９において、イベントクラスタ記録手段は、例えばイベントクラスタ記録部１２３に対応する。
【０１４２】
また、請求項１０において、出力手段は、例えば表示部１９０に対応する。
【０１４３】
また、請求項１１乃至１３において、表示手段は、例えば表示部１９０に対応する。
【０１４４】
また、請求項１４または請求項１５において、第１の画像選択手順は、例えばステップＳ９３０に対応する。また、第２の画像選択手順は、例えばステップＳ９３０に対応する。
【０１４５】
なお、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。
【図面の簡単な説明】
【０１４６】
【図１】画像管理装置１００の機能構成例を示すブロック図である。
【図２】複数の画像の撮影頻度と撮影時刻との関係を表すグラフ、および、撮影画像をイベント毎に分類する場合に行うイベントクラスタリングの概略を示す図である。
【図３】パラメータ保持部１５０に保持されるパラメータの一例を示す図である。
【図４】１つのイベントに属する撮影画像から代表画像を選出する場合における遷移を概略的に示す遷移図である。
【図５】撮影画像保持部１１０に保持されている撮影画像が表示部１９０に表示される場合における表示例を示す図である。
【図６】画像管理装置１００による撮影画像の特徴抽出処理の処理手順を示すフローチャートである。
【図７】画像管理装置１００によるイベントクラスタの作成処理の処理手順を示すフローチャートである。
【図８】画像管理装置１００による代表画像の選択処理の処理手順を示すフローチャートである。
【図９】画像管理装置１００による代表画像の選択処理の処理手順のうちの画像選択処理手順を示すフローチャートである。
【図１０】画像管理装置１００による画像選択処理の処理手順のうちの類似画像のグルーピング処理手順を示すフローチャートである。
【図１１】画像管理装置１００による画像選択処理の処理手順のうちの代表画像の選択処理手順を示すフローチャートである。
【図１２】画像管理装置１００による代表画像の選択処理の処理手順を示すフローチャートである。
【符号の説明】
【０１４７】
１００  画像管理装置
１１０  撮影画像保持部
１２１  時刻情報取得部
１２２  クラスタリング部
１２３  イベントクラスタ記録部
１３０  特徴抽出部
１４１  類似特徴記録部
１４２  画像スコア記録部
１５０  パラメータ保持部
１６０  ダイジェスト生成部
１７０  表示制御部
１８０  操作受付部
１９０  表示部
【図１】
2008276668.tif 000005
【図２】
2008276668.tif 000006
【図３】
2008276668.tif 000007
【図４】
2008276668.tif 000008
【図５】
2008276668.tif 000009
【図６】
2008276668.tif 000010
【図７】
2008276668.tif 000011
【図８】
2008276668.tif 000012
【図９】
2008276668.tif 000013
【図１０】
2008276668.tif 000014
【図１１】
2008276668.tif 000015
【図１２】
2008276668.tif 000016