(57)【要約】【課題】複数の画像を互いに類似する画像からなる複数のグループに分類する際に、類似判定の処理を効率よく行う。【解決手段】ペア画像作成部３０が、所望とする分類精度に応じて複数の画像から２枚１組のペア画像を複数組作成する。類似判定部３２が、ペア画像の特徴量に基づいて、ペア画像の類似判定を行う。分類部３４が、類似判定結果に基づいて、互いに類似する画像同士を１つのグループに分類する。【選択図】図１
2011227915.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像を、互いに類似する画像からなる複数のグループに分類する画像分類装置において、
前記複数の画像から２枚１組のペア画像を複数組作成するペア画像作成手段と、
前記ペア画像に対して該ペア画像間の相関値を最小とする前処理を施す前処理手段と、
前記前処理後のペア画像の特徴量に基づいて、該ペア画像の類似判定を行う類似判定手段と、
該類似判定結果に基づいて、互いに類似する画像同士を１つの前記グループに分類する分類手段とを備えたことを特徴とする画像分類装置。
【請求項２】
前記前処理が、前記ペア画像の明るさを一致させる処理、前記ペア画像の色を一致させる処理、並びに前記ペア画像における一方の画像を他方の画像に対して相対的に移動、回転および拡大縮小する処理の少なくとも１つであることを特徴とする請求項１記載の画像分類装置。
【請求項３】
前記分類手段は、前記前処理の結果にも基づいて、前記複数の画像を分類する手段であることを特徴とする請求項１または２記載の画像分類装置。
【請求項４】
前記ペア画像作成手段は、撮影時刻が隣接する２つの画像から前記ペア画像を作成する手段であることを特徴とする請求項１から３のいずれか１項記載の画像分類装置。
【請求項５】
前記ペア画像作成手段は、撮影時刻が所定時間以内の画像間においてのみ前記ペア画像を作成する手段であることを特徴とする請求項１から３のいずれか１項記載の画像分類装置。
【請求項６】
前記ペア画像作成手段は、前記複数の画像を複数のグループに分類し、該グループに分類された画像間においてのみ前記ペア画像を作成する手段であることを特徴とする請求項１から３のいずれか１項記載の画像分類装置。
【請求項７】
複数の画像を、互いに類似する画像からなる複数のグループに分類する画像分類方法において、
前記複数の画像から２枚１組のペア画像を複数組作成し、
前記ペア画像に対して該ペア画像間の相関値を最小とする前処理を施し、
前記前処理後のペア画像の特徴量に基づいて、該ペア画像の類似判定を行い、
該類似判定結果に基づいて、互いに類似する画像同士を１つの前記グループに分類することを特徴とする画像分類方法。
【請求項８】
複数の画像を、互いに類似する画像からなる複数のグループに分類する画像分類方法をコンピュータに実行させるためのプログラムにおいて、
前記複数の画像から２枚１組のペア画像を複数組作成する手順と、
前記ペア画像に対して該ペア画像間の相関値を最小とする前処理を施す手順と、
前記前処理後のペア画像の特徴量に基づいて、該ペア画像の類似判定を行う手順と、
該類似判定結果に基づいて、互いに類似する画像同士を１つの前記グループに分類する手順とを有することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像を互いに類似する画像からなる複数のグループに分類する画像分類装置および方法、並びに画像分類方法をコンピュータに実行させるためのプログラムに関するものである。
【背景技術】
【０００２】
従来より、複数の画像を、各画像に付与された撮影時刻や撮影場所の情報に基づいて、複数のグループに分類することが行われている（特許文献１参照）。また、複数の画像のそれぞれについて、色、明るさ、周波数情報およびエッジ情報等の特徴量を算出し、この特徴量を重みづけして総合的な特徴量を算出し、これを画像間において比較して複数の画像を互いに類似する複数の画像からなるグループに分類する手法が提案されている（特許文献１，２参照）。さらに、あらかじめ類似する画像を学習パターンとして用いて学習を行い、この学習結果を用いて与えられた２つの画像が類似するか否かを判別する手法も提案されている（特許文献３参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−１１２９９７号公報
【特許文献２】特開２０００−４８１８１号公報
【特許文献３】特開２０００−９０１１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献２，３に記載された手法においては、すべての画像について総当たりで類似判定を行っているため、精度良く複数の画像を分類できるものの、類似判定の処理に非常に長時間を有するものとなっている。
【０００５】
本発明は上記事情に鑑みなされたものであり、求める類似判定の精度に応じて、類似判定の処理を効率よく行うことを目的とする。
【課題を解決するための手段】
【０００６】
本発明による第１の画像分類装置は、複数の画像を、互いに類似する画像からなる複数のグループに分類する画像分類装置において、
所望とする分類精度に応じて前記複数の画像から２枚１組のペア画像を複数組作成するペア画像作成手段と、
前記ペア画像の特徴量に基づいて、該ペア画像の類似判定を行う類似判定手段と、
該類似判定結果に基づいて、互いに類似する画像同士を１つの前記グループに分類する分類手段とを備えたことを特徴とするものである。
【０００７】
本発明による第２の画像分類装置は、複数の画像を、互いに類似する画像からなる複数のグループに分類する画像分類装置において、
前記複数の画像から２枚１組のペア画像を複数組作成するペア画像作成手段と、
前記ペア画像の特徴量に基づいて、該ペア画像の類似判定を行う類似判定手段と、
該類似判定結果および前記各画像の撮影時刻に基づいて、互いに類似する画像同士を１つの前記グループに分類する分類手段とを備えたことを特徴とするものである。
【０００８】
本発明による第３の画像分類装置は、複数の画像を、互いに類似する画像からなる複数のグループに分類する画像分類装置において、
前記複数の画像から２枚１組のペア画像を複数組作成するペア画像作成手段と、
前記ペア画像に対して類似判定精度向上のための前処理を施す前処理手段と、
前記前処理後のペア画像の特徴量に基づいて、該ペア画像の類似判定を行う類似判定手段と、
該類似判定結果に基づいて、互いに類似する画像同士を１つの前記グループに分類する分類手段とを備えたことを特徴とするものである。
【０００９】
「前処理」としては、ペア画像間において類似判定精度を向上できるものであればどのような処理であってもよく、例えば明るさを一致させる処理、色を一致させる処理、一方の画像を他方の画像に対して相対的に、移動、回転、拡大縮小する処理等を前処理として用いることができる。
【００１０】
なお、本発明による第３の画像分類装置においては、前記分類手段を、前記前処理の結果にも基づいて、前記複数の画像を分類する手段としてもよい。
【００１１】
また、本発明による第１から第３の画像分類装置においては、前記ペア画像作成手段を、撮影時刻が隣接する２つの画像から前記ペア画像を作成する手段としてもよい。
【００１２】
また、本発明による第１から第３の画像分類装置においては、前記ペア画像作成手段を、撮影時刻が所定時間以内の画像間においてのみ前記ペア画像を作成する手段としてもよい。
【００１３】
また、本発明による第１から第３の画像分類装置においては、前記ペア画像作成手段を、前記複数の画像を複数のグループに分類し、該グループに分類された画像間においてのみ前記ペア画像を作成する手段としてもよい。
【００１４】
本発明による第１の画像分類方法は、複数の画像を、互いに類似する画像からなる複数のグループに分類する画像分類方法において、
所望とする分類精度に応じて前記複数の画像から２枚１組のペア画像を複数組作成し、
前記ペア画像の特徴量に基づいて、該ペア画像の類似判定を行い、
該類似判定結果に基づいて、互いに類似する画像同士を１つの前記グループに分類することを特徴とするものである。
【００１５】
本発明による第２の画像分類方法は、複数の画像を、互いに類似する画像からなる複数のグループに分類する画像分類方法において、
前記複数の画像から２枚１組のペア画像を複数組作成し、
前記ペア画像の特徴量に基づいて、該ペア画像の類似判定を行い、
該類似判定結果および前記各画像の撮影時刻に基づいて、互いに類似する画像同士を１つの前記グループに分類することを特徴とするものである。
【００１６】
本発明による第３の画像分類方法は、複数の画像を、互いに類似する画像からなる複数のグループに分類する画像分類方法において、
前記複数の画像から２枚１組のペア画像を複数組作成し、
前記ペア画像に対して類似判定精度向上のための前処理を施し、
前記前処理後のペア画像の特徴量に基づいて、該ペア画像の類似判定を行い、
該類似判定結果に基づいて、互いに類似する画像同士を１つの前記グループに分類することを特徴とするものである。
【００１７】
なお、本発明による第１から第３の画像分類方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【発明の効果】
【００１８】
本発明の第１の画像分類装置および方法は、所望とする分類精度に応じて複数の画像から２枚１組のペア画像を複数組作成し、ペア画像の特徴量に基づいてペア画像の類似判定を行い、類似判定結果に基づいて互いに類似する画像同士を１つのグループに分類するようにしたものである。このため、所望とする分類精度に応じて、総当たりで類似判定を行ったり、撮影時刻が隣接する画像間のみで類似判定を行う等、適応的に類似判定を行うことができる。
【００１９】
本発明の第２の画像分類装置および方法は、複数の画像から２枚１組のペア画像を複数組作成し、ペア画像の特徴量に基づいてペア画像の類似判定を行い、類似判定結果および各画像の撮影時刻に基づいて互いに類似する画像同士を１つのグループに分類するようにしたものである。このため、複数の画像を分類する際の精度を向上させることができる。
【００２０】
本発明の第３の画像分類装置および方法は、複数の画像から２枚１組のペア画像を複数組作成し、ペア画像に対して類似判定精度向上のための前処理を施し、前処理後のペア画像の特徴量に基づいてペア画像の類似判定を行い、類似判定結果に基づいて互いに類似する画像同士を分類するようにしたものである。このため、類似判定精度を向上でき、その結果、複数の画像を分類する際の精度を向上させることができる。
【００２１】
この場合、前処理の結果にも基づいて複数の画像を分類することにより、より細かく複数の画像を分類することができる。
【００２２】
また、ペア画像を作成する際に、撮影時刻が隣接する２つの画像からペア画像を作成することにより、類似判定する画像の組数を低減することができるため、類似判定の処理を高速に行うことができる。
【００２３】
また、ペア画像を作成する際に、撮影時刻が所定時間以内の画像間においてのみペア画像を作成することにより、類似判定する画像の組数を低減することができるため、類似判定の処理を高速に行うことができる。
【００２４】
また、ペア画像を作成する際に、複数の画像を複数のグループに分類し、グループに分類された画像間においてのみペア画像を作成することにより、類似判定する画像の組数を低減することができるため、類似判定の処理を高速に行うことができる。
【図面の簡単な説明】
【００２５】
【図１】本発明の第１の実施形態による画像分類装置の構成を示す概略ブロック図
【図２】第１の実施形態において行われる処理を示すフローチャート
【図３】ペア画像の作成を説明するための図（その１）
【図４】ペア画像の作成を説明するための図（その２）
【図５】第２の実施形態において行われる処理を示すフローチャート
【図６】第２の実施形態における分類を説明するための図
【図７】本発明の第３の実施形態による画像分類装置の構成を示す概略ブロック図
【図８】第３の実施形態において行われる処理を示すフローチャート
【図９】第４の実施形態において行われる処理を示すフローチャート
【図１０】第４の実施形態における分類を説明するための図
【図１１】第１から第４の実施形態の処理を実施するプログラムのアプリケーションを搭載したデジタルカメラの背面図
【図１２】サムネイル画像の一覧が表示された液晶モニタを示す図
【図１３】選択した画像が拡大されて表示された液晶モニタを示す図
【図１４】選択した画像が分類されているグループのすべての画像のサムネイル画像が表示された液晶モニタを示す図
【図１５】類似する画像が存在することを表すマークが付与された状態を示す図
【発明を実施するための形態】
【００２６】
以下、図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態による画像分類装置の構成を示す概略ブロック図である。図１に示すように第１の実施形態による画像分類装置１は、画像データの記録制御および表示制御等の各種制御を行うとともに、装置１を構成する各部の制御を行うＣＰＵ１２と、ＣＰＵ１２を動作させるプログラム、画像を閲覧するためのビューアソフトおよび各種定数が記録されているＲＯＭおよびＣＰＵ１２が処理を実行する際の作業領域となるＲＡＭにより構成されるシステムメモリ１４と、種々の指示を装置１に対して行うためのキーボードおよびマウス等からなる入力部１６と、各種表示を行う液晶モニタ等からなる表示部１８とを備える。
【００２７】
また、画像分類装置１は、画像データを記録したメモリカード２から画像データを読み出したり、メモリカード２に画像データを記録したりするためのカードスロット２０と、画像データをＪＰＥＧに代表される手法で圧縮したり、圧縮した画像データを解凍する圧縮解凍部２２と、画像データやＣＰＵ１２が実行する各種プログラム等を記録するハードディスク２４と、システムメモリ１４、カードスロット２０およびハードディスク２４を制御するメモリ制御部２６と、表示部１８の表示を制御する表示制御部２８とを備える。
【００２８】
また、画像分類装置１は、複数の画像から２枚１組のペア画像を複数組作成するペア画像作成部３０と、ペア画像の特徴量に基づいて、ペア画像の類似判定を行う類似判定部３２と、類似判定結果に基づいて、複数の画像を互いに類似する画像からなる複数のグループに分類する分類部３４とを備える。
【００２９】
以下、第１の実施形態において行われる処理について説明する。図２は第１の実施形態において行われる処理を示すフローチャートである。なお、分類する画像はメモリカード２から読み出されてハードディスク２４に保存されているものとする。
【００３０】
画像分類の指示をユーザが入力部１６から行うことによりＣＰＵ１２が処理を開始し、ペア画像作成部３０が、複数の画像から２枚１組のペア画像を複数組作成する（ステップＳＴ１）。以下、ペア画像の作成について説明する。
【００３１】
第１の実施形態においては、ユーザが類似判定の精度を優先するか、速度を優先するかをあらかじめ入力部１６から設定する。そして、ユーザが精度を優先している場合には、ペア画像作成部３０は、複数の画像のすべての組合せについてペア画像を作成する。例えば５つの画像がある場合、１０組のペア画像を作成する。
【００３２】
一方、ユーザが速度を優先している場合には、複数の画像を撮影時刻順に並べた場合における、撮影時刻が互いに隣接する画像から２枚１組のペア画像を作成する。例えば、図３に示すような撮影時刻に撮影された５つの画像Ａ〜Ｅの場合、（Ａ，Ｂ）、（Ｂ，Ｃ）、（Ｃ，Ｄ）、（Ｄ，Ｅ）の４組のペア画像を作成する。
【００３３】
なお、ペア画像作成部３０は、撮影時刻が所定の時間以内の画像間においてのみペア画像を作成するものであってもよい。例えば、所定の時間を１時間とすると、図４に示すような撮影時刻に撮影された８つの画像Ａ〜Ｈの場合、画像Ａ〜Ｂについてはこれら３つの画像間においてのみペア画像を作成し、画像Ｄについてはいずれの画像と比較しても１時間以上撮影時刻が離れているためペア画像を作成せず、さらに、画像Ｅについては画像Ｆ，Ｇと撮影時刻の差が１時間未満であるため、画像Ｅ〜Ｇについてはこれら３つの画像間においてのみペア画像を作成する。また、画像Ｇについては、画像Ｈとの撮影時刻の差が１時間未満であるため、画像Ｈとペア画像を作成する。
【００３４】
ここで、画像Ａ〜Ｂおよび画像Ｅ〜Ｇの間においては、総当たりにてペア画像を作成してもよく、画像を撮影時刻順に並べた場合における、撮影時刻が互いに隣接する画像から２枚１組のペア画像を作成してもよい。例えば、画像Ａ〜Ｂについては後者の、画像Ｅ〜Ｆについては前者の方法でペア画像を作成した場合、図４に示す８つの画像Ａ〜Ｈからは、（Ａ，Ｂ）、（Ｂ，Ｃ）、（Ｅ，Ｆ）、（Ｅ，Ｇ）、（Ｆ，Ｇ）、（Ｇ，Ｈ）の６組のペア画像が作成される。
【００３５】
また、ペア画像作成部３０は、各画像に付与された撮影時刻、撮影場所、撮影シーンおよび撮影者等の情報に基づいて、複数の画像を複数のグループに分類し、分類したグループ内においてペア画像を作成するものであってもよい。例えば、撮影時刻順に複数の画像を並べた場合において撮影時刻の差が所定のしきい値以上となる２つの画像の間を分類の区切りとして複数の画像を複数のグループに分類してもよく、撮影場所の情報が付与されている場合には、複数の画像を撮影場所単位で分類して複数のグループを作成するようにしてもよい。なお、分類したグループ内においては、総当たりにてペア画像を作成してもよく、画像を撮影時刻順に並べた場合における、撮影時刻が互いに隣接する画像から２枚１組のペア画像を作成してもよい。
【００３６】
次いで、類似判定部３２が、作成されたペア画像における２つの画像のそれぞれから特徴量を算出し（ステップＳＴ２）、２つの画像の特徴量から２つの画像の類似度を算出する（ステップＳＴ３）。ここで、特徴量としては、画像の色、画像の明るさ、周波数情報およびエッジ情報等を用いることができる。なお、周波数情報としては画像に対してフーリエ変換を施すことにより得られるフーリエ変換係数を用いることができる。
【００３７】
また、類似度は各画像について個々に算出した特徴量を重みづけ加算することにより総合特徴量を算出し、ペア画像を構成する２つの画像のそれぞれについての総合特徴量の差の絶対値を類似度として算出する。このようにして算出した類似度は、値が小さいほど２つの画像が類似する度合が高いものとなる。
【００３８】
続いて、類似判定部３２が、算出した類似度が所定のしきい値未満であるか否かを判定することにより、ペア画像の類似判定を行う（ステップＳＴ４）。そして、分類部３４が類似判定の結果を用いて複数の画像を分類し（ステップＳＴ５）、処理を終了する。具体的には、類似すると判定された場合には、ペア画像を構成する２つの画像を同一のグループに分類し、ペア画像が類似しないと判定された場合には、ペア画像を構成する２つの画像を別のグループに分類する。
【００３９】
このように第１の実施形態においては、ペア画像を作成する際に、所望とする分類精度に応じて複数の画像から２枚１組のペア画像を複数組作成し、ペア画像の特徴量に基づいてペア画像の類似判定を行い、類似判定結果に基づいて互いに類似する画像を１つのグループに分類するようにしたものである。このため、所望とする分類精度に応じて、総当たりで類似判定を行ったり、撮影時刻が隣接する画像間のみで類似判定を行う等、適応的に類似判定を行うことができることとなる。
【００４０】
とくに、ペア画像を作成する際に、撮影時刻が隣接する２つの画像からペア画像を作成することにより、類似判定する画像の組数を低減することができるため、類似判定の処理を高速に行うことができる。
【００４１】
また、ペア画像を作成する際に、撮影時刻が所定時間以内の画像間においてのみペア画像を作成することにより、類似判定する画像の組数を低減することができるため、類似判定の処理を高速に行うことができる。
【００４２】
また、ペア画像を作成する際に、各画像に付与された撮影時刻、撮影場所、撮影シーンおよび撮影者等の情報に基づいて複数の画像を複数のグループに分類し、グループに分類された画像間においてのみペア画像を作成することにより、類似判定する画像の組数を低減することができるため、類似判定の処理を高速に行うことができる。
【００４３】
次いで、本発明の第２の実施形態について説明する。なお、第２の実施形態においては、分類部３４が行う処理が第１の実施形態と異なるのみであり、装置の構成としては第１の実施形態と同一であるため、ここでは詳細な説明は省略する。
【００４４】
次いで、第２の実施形態において行われる処理について説明する。図５は第２の実施形態において行われる処理を示すフローチャートである。なお、分類する画像はメモリカード２から読み出されてハードディスク２４に保存されているものとする。
【００４５】
画像分類の指示をユーザが入力部１６から行うことによりＣＰＵ１２が処理を開始し、ペア画像作成部３０が、複数の画像から２枚１組のペア画像を複数組作成する（ステップＳＴ１１）。なお、ペア画像の作成は、上記第１の実施形態において説明したいずれかの手法を用いればよい。
【００４６】
次いで、類似判定部３２が、作成されたペア画像における２つの画像のそれぞれから特徴量を算出し（ステップＳＴ１２）、２つの画像の特徴量から２つの画像の類似度を算出する（ステップＳＴ１３）。
【００４７】
続いて、類似判定部３２が、算出した類似度が所定のしきい値未満であるか否かを判定することにより、ペア画像の類似判定を行う（ステップＳＴ１４）。そして、分類部３４が類似判定の結果および画像の撮影時刻を用いて複数の画像を分類し（ステップＳＴ１５）、処理を終了する。
【００４８】
具体的には、画像間の類似度および撮影時刻の差を参照し、類似度のみを見れば類似しているものの、撮影時刻の差が所定のしきい値（例えば１時間）以上である場合には、類似しないと見なして、ペア画像を構成する２つの画像を別のグループに分類する。なお、撮影時刻の差が所定のしきい値未満である場合には、ペア画像を構成する２つの画像を同一のグループに分類する。
【００４９】
例えば、上記図４に示すような撮影時刻に撮影された８つの画像Ａ〜Ｈについて、図６に示すように画像Ａと画像Ｂ，Ｃ，Ｄ，Ｈとが類似すると判定されたものとする。なお、図６においては「○」が互いに類似することを表している。この場合、類似度の判定結果のみを用いると、画像Ａ，Ｂ，Ｃ，Ｄ，Ｈが同一のグループに分類される。一方、第２の実施形態のように撮影時刻をも参照すると、画像Ａと画像Ｂ，Ｃとは撮影時刻が１時間以内であるが、画像Ａと画像Ｄさらには画像Ｈとは撮影時刻が１時間以上離れている。したがって、第２の実施形態においては、画像Ａおよび画像Ｂ，Ｃのみが同一のグループに分類される。
【００５０】
このように、第２の実施形態によれば、類似判定結果および各画像の撮影時刻に基づいて互いに類似する画像同士を１つのグループに分類するようにしたため、複数の画像を分類する際の精度を向上させることができる。
【００５１】
次いで、本発明の第３の実施形態について説明する。図７は本発明の第３の実施形態による画像分類装置の構成を示す概略ブロック図である。なお、第３の実施形態において第１の実施形態と同一の構成については同一の参照番号を付与し、詳細な説明は省略する。図７に示すように第３の実施形態による画像分類装置１Ａは、ペア画像に対して類似判定精度向上のための前処理を施す前処理部３６をさらに備えた点が第１の実施形態と異なる。
【００５２】
次いで、第３の実施形態において行われる処理について説明する。図８は第３の実施形態において行われる処理を示すフローチャートである。なお、分類する画像はメモリカード２から読み出されてハードディスク２４に保存されているものとする。
【００５３】
画像分類の指示をユーザが入力部１６から行うことによりＣＰＵ１２が処理を開始し、ペア画像作成部３０が、複数の画像から２枚１組のペア画像を複数組作成する（ステップＳＴ２１）。なお、ペア画像の作成は、上記第１の実施形態において用いたいずれかの手法を用いればよい。
【００５４】
次いで、前処理部３６がペア画像に対して前処理を施す（ステップＳＴ２２）。前処理は、ペア画像の類似判定精度を向上させるための処理であり、具体的には、２つの画像間の相関値が最小となるように、２つの画像の明るさを一致させる処理、２つの画像の色を一致させる処理、並びに一方の画像を他方の画像に対して相対的に移動、回転および拡大縮小する処理を用いることができる。
【００５５】
例えば同一人物を含む２つの画像がある場合において、含まれる顔のサイズが異なる場合、２つの画像に含まれる顔のサイズが一致するように、前処理により一方の画像のサイズを変更する。また、同一人物を含む２つの画像がある場合において、一方が横長の画像、他方が縦長の画像である場合、２つの画像に含まれる顔の回転角度が一致するように、前処理により一方の画像を回転する。また、同一人物を含む２つの画像がある場合において、画像上における顔の位置が異なる場合、２つの画像に含まれる顔の位置が一致するように、前処理により一方の画像のサイズを変更する。
【００５６】
次いで、類似判定部３２が、前処理後のペア画像における２つの画像のそれぞれから特徴量を算出し（ステップＳＴ２３）、２つの画像の特徴量から２つの画像の類似度を算出する（ステップＳＴ２４）。
【００５７】
続いて、類似判定部３２が、算出した類似度が所定のしきい値未満であるか否かを判定することにより、ペア画像の類似判定を行う（ステップＳＴ２５）。そして、分類部３４が類似判定の結果を用いて複数の画像を分類し（ステップＳＴ２６）、処理を終了する。
【００５８】
このように、第３の実施形態においては、ペア画像の各組に対して類似判定精度向上のための前処理を施し、前処理後のペア画像の特徴量に基づいてペア画像の類似判定を行い、類似判定結果に基づいて互いに類似する画像同士を１つのグループに分類するようにしたものである。このため、類似判定精度を向上でき、その結果、複数の画像をグループに分類する際の精度を向上させることができる。
【００５９】
次いで、本発明の第４の実施形態について説明する。なお、第４の実施形態においては、分類部３４が行う処理が第３の実施形態と異なるのみであり、装置の構成としては第３の実施形態と同一であるため、ここでは詳細な説明は省略する。
【００６０】
次いで、第４の実施形態において行われる処理について説明する。図９は第４の実施形態において行われる処理を示すフローチャートである。なお、分類する画像はメモリカード２から読み出されてハードディスク２４に保存されているものとする。
【００６１】
画像分類の指示をユーザが入力部１６から行うことによりＣＰＵ１２が処理を開始し、ペア画像作成部３０が、複数の画像から２枚１組のペア画像を複数組作成する（ステップＳＴ３１）。なお、ペア画像の作成は、上記第１の実施形態において用いたいずれかの手法を用いればよい。
【００６２】
次いで、前処理部３６が上記第３の実施形態と同様にペア画像に前処理を施し（ステップＳＴ３２）、前処理の結果をハードディスク２４に保存する（ステップＳＴ３３）。なお、前処理の結果は、２つの画像の明るさを一致させる処理を施した場合には明るさの変更量、２つの画像の色を一致させる処理を施した場合には色の変更量、一方の画像を他方の画像に対して相対的に移動、回転および拡大縮小した場合には、移動量、回転角度および倍率の各情報である。
【００６３】
次いで、類似判定部３２が、前処理後のペア画像における２つの画像のそれぞれから特徴量を算出し（ステップＳＴ３４）、２つの画像の特徴量から２つの画像の類似度を算出する（ステップＳＴ３５）。
【００６４】
続いて、類似判定部３２が、算出した類似度が所定のしきい値未満であるか否かを判定することにより、ペア画像の類似判定を行う（ステップＳＴ３６）。そして、分類部３４が類似判定の結果および前処理の結果を用いて複数の画像を分類し（ステップＳＴ３７）、処理を終了する。
【００６５】
例えば、６つの画像Ａ〜Ｆにおいて、画像Ａ〜Ｄおよび画像Ｆが類似するとした場合、類似判定結果にのみ基づいて分類を行うと、図１０に示すように画像Ａ〜Ｄおよび画像Ｆが１つのグループに分類される。なお、画像Ｅは画像Ａ〜Ｄおよび画像Ｆとは類似しないため、単独で１つのグループに分類される。ここで、画像Ａ，Ｂ，Ｅ，Ｆは横長、画像Ｃ，Ｄは縦長の画像とすると、前処理において画像Ｃ，Ｄは右回りに９０度回転されている。第３の実施形態においては、類似判定結果を用いて分類された画像をさらに前処理の結果を用いて分類するものであり、これにより、類似するグループに分類された画像Ａ〜Ｄおよび画像Ｆは、横長の画像Ａ，Ｂ，Ｆのグループおよび縦長の画像Ｃ，Ｄのグループにさらに分類される。
【００６６】
このように、第４の実施形態においては、類似判定結果のみならず前処理の結果にも基づいて分類を行うようにしたため、複数の画像をより細かく分類することができる。
【００６７】
また、第４の実施形態において、各画像に付与された撮影時刻、撮影場所、撮影シーンおよび撮影者等の情報に基づいて、複数の画像を複数のグループに分類し、分類したグループ内においてペア画像を作成するようにしてもよい。これにより、より精度良くかつ細かく複数の画像をグループに分類することができる。
【００６８】
以上、本発明の実施形態に係る装置について説明したが、コンピュータを、上記のペア画像作成部３０、類似判定部３２、分類部３４および前処理部３６に対応する手段として機能させ、図２，５，７，８に示すような処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の１つである。また、このようなプログラムを、画像を閲覧するためのビューアソフトに組み込むようにしてもよい。
【００６９】
なお、上記第１から第４の実施形態においては、分類した画像を表示する際に、分類の結果を反映させて表示することが好ましい。以下、分類した画像の表示について説明する。
【００７０】
図１１は上記第１から第４の実施形態の処理を実施するプログラムのアプリケーションを搭載したデジタルカメラの背面図である。図１１に示すようにデジタルカメラ４０の背面には、液晶モニタ４２およびデジタルカメラ４０に対して各種指示を行うためのボタン群４４が設けられている。
【００７１】
そして、ユーザが撮影により取得した画像のサムネイル画像の表示を行うと、図１２に示すようにサムネイル画像の一覧画面が液晶モニタ４２に表示される。ここに表示されるサムネイル画像は、類似画像が分類されたグループの代表画像である。なお、代表画像は各グループに分類された画像を代表する画像であり、例えば、撮影時刻が最新の画像、最古の画像、ランダムに選択した画像等のいずれかを用いることができる。
【００７２】
次いで、ユーザがサムネイル画像の一覧から所望とする画像を選択して拡大表示の指示を行うと、選択した画像が類似画像のグループに分類されていない場合には、図１３に示すように、選択した画像が拡大されて液晶モニタ４２に表示される。一方、選択した画像が類似画像のグループに分類されている画像の代表画像である場合には、図１４に示すように、選択された代表画像が分類されているグループのすべての画像のサムネイル画像が液晶モニタ４２に表示される。この状態において所望とする画像を選択すると、選択した画像が図１３に示すように拡大されて液晶モニタ４２に表示される。
【００７３】
なお、選択した画像が、互いに類似する画像が分類されているグループの代表画像である場合には、図１５に示すように、選択した代表画像を拡大して表示するとともに、その画像に類似する画像が存在することを表すマーク４６を併せて表示するようにしてもよい。この状態において、類似画像のグループに分類された画像の表示の指示を行うと、図１４に示すように、選択した画像が分類されているグループのすべての画像のサムネイル画像を液晶モニタ４２に表示する。
【００７４】
なお、図１２に示すサムネイル画像の一覧において、代表画像を削除した場合には、代表画像が分類されたグループのすべての画像を削除するようにしてもよい。これにより、不要な画像を削除する際の操作性を向上させることができる。
【符号の説明】
【００７５】
１，１Ａ，１Ｂ    画像分類装置
２    メモリカード
１２    ＣＰＵ
１４    システムメモリ
１６    入力部
１８    表示部
２０    カードスロット
２２    圧縮解凍部
２４    ハードディスク
２６    メモリ制御部
２８    表示制御部
３０    ペア画像作成部
３２    類似判定部
３４    分類部
３６    前処理部
【図１】
2011227915.tif 000003
【図２】
2011227915.tif 000004
【図３】
2011227915.tif 000005
【図４】
2011227915.tif 000006
【図５】
2011227915.tif 000007
【図６】
2011227915.tif 000008
【図７】
2011227915.tif 000009
【図８】
2011227915.tif 000010
【図９】
2011227915.tif 000011
【図１０】
2011227915.tif 000012
【図１１】
2011227915.tif 000013
【図１２】
2011227915.tif 000014
【図１３】
2011227915.tif 000015
【図１４】
2011227915.tif 000016
【図１５】
2011227915.tif 000017