(57)【要約】【課題】画像自体や画像の属性情報から、その画像を撮影したときのイベントを識別することができるようにする。【解決手段】ディジタルカメラ２から画像やEXIF情報を取り込んだパーソナルコンピュータ１においては、対象としている画像自体や、その画像のEXIF情報からメタデータが抽出され、抽出されたメタデータに基づいて、画像を撮影したときのイベントが識別される。パーソナルコンピュータ１には、画像に写っている人の顔の数や位置の情報、画像の明度、色相、彩度などの色空間情報、撮影日時、フラッシュを焚いたか否かなどの情報よりなるメタデータに基づいてイベントを識別するための識別ファイルがあらかじめ用意されている。識別されたイベントは画像に対応付けて管理され、画像の閲覧時などに用いられる。本発明は、画像を扱うことのできる装置に適用することができる。【選択図】図１
2007129434.tif 000002
【特許請求の範囲】
【請求項１】
対象とする画像自体と、画像の属性情報のうちの少なくともいずれかから、画像を撮影したときのイベントの識別に用いられるメタデータを抽出する抽出手段と、
識別可能なものとしてあらかじめ用意される複数のイベントのうち、対象とする前記画像を撮影したときの１つのイベントを前記抽出手段により抽出された前記メタデータに基づいて識別する識別手段と
を備える情報処理装置。
【請求項２】
前記識別手段は、さらに、識別したイベントを表す情報を、イベント識別の対象とした前記画像と対応付けて管理する
請求項１に記載の情報処理装置。
【請求項３】
複数の画像のグループ分けを行う演算手段をさらに備え、
前記識別手段は、さらに、前記演算手段により求められたグループに対して１つのイベントを設定する
請求項１に記載の情報処理装置。
【請求項４】
同じイベントが設定されたグループのそれぞれに含まれる画像を並べて表示させる表示制御手段をさらに備える
請求項３に記載の情報処理装置。
【請求項５】
前記表示制御手段は、並べて表示される画像の中から選択された画像を含むグループに含まれる画像を一覧表示させる
請求項４に記載の情報処理装置。
【請求項６】
前記演算手段は、グループ分けの対象となる複数の画像を、それぞれの画像の属性情報に含まれる時刻情報により表される時刻の時間間隔のばらつきの程度が閾値より大きい部分がグループの境界部分となるようにグループ分けを行う
請求項３に記載の情報処理装置。
【請求項７】
対象とする画像自体と、画像の属性情報のうちの少なくともいずれかから、画像を撮影したときのイベントの識別に用いられるメタデータを抽出し、
識別可能なものとしてあらかじめ用意される複数のイベントのうち、対象とする前記画像を撮影したときの１つのイベントを抽出された前記メタデータに基づいて識別する
ステップを含む情報処理方法。
【請求項８】
対象とする画像自体と、画像の属性情報のうちの少なくともいずれかから、画像を撮影したときのイベントの識別に用いられるメタデータを抽出し、
識別可能なものとしてあらかじめ用意される複数のイベントのうち、対象とする前記画像を撮影したときの１つのイベントを抽出された前記メタデータに基づいて識別する
ステップを含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置および方法、並びにプログラムに関し、特に、画像を撮影したときのイベントを識別することができるようにした情報処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来より、ディジタルカメラで撮影された画像を分類する技術として様々なものが提案されている。
【０００３】
特許文献１には、撮影した画像に書き換えのできないIDを組み込み、そのIDを用いて、画像の分類や検索、あるいは、画像の再生の制限などを行う技術が開示されている。特許文献２には、１枚の画像全体から所定の領域を切り出し、切り出した領域から抽出された特徴に基づいて画像のカテゴリを決定する技術が開示されている。
【特許文献１】特開平１０−５１７２１号公報
【特許文献２】特開２００２−３２７５１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、ある「飲み会」で撮影した画像をひとまとまりの画像として管理したり、ある「旅行」で撮影した画像をひとまとまりの画像として管理したりするように、撮影した画像をイベント毎に管理することが一般的に行われている。このように管理しておくことにより、ユーザは、例えば、「飲み会」の画像を見たいと思ったときに、「飲み会」としてまとめられた画像を指定するだけでそれを見ることができる。
【０００５】
従来、このようなイベント毎に画像を管理するためには、ユーザ自らがイベント毎にフォルダを作成し、撮影した画像をそれぞれのフォルダに振り分ける必要があり、このような整理に慣れていない人には面倒であることから、仮に、画像などから、それを撮影したときのイベントが機器によって自動的に識別され、イベント毎に画像が管理されるとすれば非常に便利であると考えられる。
【０００６】
本発明はこのような状況に鑑みてなされたものであり、画像自体や画像の属性情報から、その画像を撮影したときのイベントを識別することができるようにするものである。
【課題を解決するための手段】
【０００７】
本発明の一側面の情報処理装置は、対象とする画像自体と、画像の属性情報のうちの少なくともいずれかから、画像を撮影したときのイベントの識別に用いられるメタデータを抽出する抽出手段と、識別可能なものとしてあらかじめ用意される複数のイベントのうち、対象とする前記画像を撮影したときの１つのイベントを前記抽出手段により抽出された前記メタデータに基づいて識別する識別手段とを備える。
【０００８】
前記識別手段には、さらに、識別したイベントを表す情報を、イベント識別の対象とした前記画像と対応付けて管理させることができる。
【０００９】
複数の画像のグループ分けを行う演算手段をさらに設けることができる。この場合、前記識別手段には、さらに、前記演算手段により求められたグループに対して１つのイベントを設定させることができる。
【００１０】
同じイベントが設定されたグループのそれぞれに含まれる画像を並べて表示させる表示制御手段をさらに設けることができる。
【００１１】
前記表示制御手段には、並べて表示される画像の中から選択された画像を含むグループに含まれる画像を一覧表示させることができる。
【００１２】
前記演算手段には、グループ分けの対象となる複数の画像を、それぞれの画像の属性情報に含まれる時刻情報により表される時刻の時間間隔のばらつきの程度が閾値より大きい部分がグループの境界部分となるようにグループ分けを行わせることができる。
【００１３】
本発明の一側面の情報処理方法またはプログラムは、対象とする画像自体と、画像の属性情報のうちの少なくともいずれかから、画像を撮影したときのイベントの識別に用いられるメタデータを抽出し、識別可能なものとしてあらかじめ用意される複数のイベントのうち、対象とする前記画像を撮影したときの１つのイベントを抽出された前記メタデータに基づいて識別するステップを含む。
【００１４】
本発明の一側面においては、対象とする画像自体と、画像の属性情報のうちの少なくともいずれかから、画像を撮影したときのイベントの識別に用いられるメタデータが抽出され、識別可能なものとしてあらかじめ用意される複数のイベントのうち、対象とする画像を撮影したときの１つのイベントが抽出されたメタデータに基づいて識別される。
【発明の効果】
【００１５】
本発明の一側面によれば、画像を撮影したときのイベントを識別することができる。
【発明を実施するための最良の形態】
【００１６】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外には対応しないものであることを意味するものでもない。
【００１７】
本発明の一側面の情報処理装置（例えば、図１のパーソナルコンピュータ１）は、対象とする画像自体と、画像の属性情報（例えば、EXIF情報）のうちの少なくともいずれかから、画像を撮影したときのイベント（例えば、旅行、花見、飲み会）の識別に用いられるメタデータを抽出する抽出手段（例えば、図６の特徴抽出部６２）と、識別可能なものとしてあらかじめ用意される複数のイベントのうち、対象とする前記画像を撮影したときの１つのイベントを前記抽出手段により抽出された前記メタデータに基づいて識別する識別手段（例えば、図６のイベント識別部６３）とを備える。
【００１８】
この装置には、複数の画像のグループ分けを行う演算手段（例えば、図６の演算部６４）をさらに設けることができる。
【００１９】
この装置には、同じイベントが設定されたグループのそれぞれに含まれる画像を並べて表示させる表示制御手段（例えば、図６のユーザインタフェース制御部６５）をさらに設けることができる。
【００２０】
本発明の一側面の情報処理方法またはプログラムは、対象とする画像自体と、画像の属性情報（例えば、EXIF情報）のうちの少なくともいずれかから、画像を撮影したときのイベント（例えば、旅行、花見、飲み会）の識別に用いられるメタデータを抽出し、識別可能なものとしてあらかじめ用意される複数のイベントのうち、対象とする前記画像を撮影したときの１つのイベントを抽出された前記メタデータに基づいて識別するステップ（例えば、図３６のステップＳ４）を含む。
【００２１】
以下、本発明の実施の形態について図を参照して説明する。
【００２２】
図１は、本発明の一実施形態に係るパーソナルコンピュータ１に、ディジタルカメラ２が接続されている状態を示す図である。
【００２３】
図１の例においては、パーソナルコンピュータ１とディジタルカメラ２がケーブル３を介して接続され、パーソナルコンピュータ１とディジタルカメラ２の間では、ケーブル３を介して相互に通信を行うことができるようになされている。ディジタルカメラ２の内部にはフラッシュメモリなどの記録媒体が設けられており、その記録媒体にはユーザにより撮影された画像が記録されている。
【００２４】
パーソナルコンピュータ１とディジタルカメラ２が接続されている図１の状態で、ユーザがパーソナルコンピュータ１を操作するなどしてディジタルカメラ２に記録されている画像をパーソナルコンピュータ１に取り込んだとき、パーソナルコンピュータ１上で起動するアプリケーション（アプリケーションプログラム）により、取り込まれたそれぞれの画像を撮影したときのイベントの識別が行われる。識別されたイベントを表す情報は、画像に対応付けてパーソナルコンピュータ１において管理される。
【００２５】
例えば、パーソナルコンピュータ１においては、「旅行」、「花見」、「花火」、「ドライブ・おでかけ」、「飲み会」、「結婚式」、「バーベキュー・キャンプ」、「スポーツ」の８つのイベントが識別可能なものとしてあらかじめ用意されており、その中から選択された１つのイベントを表す情報が、イベント識別の対象としている画像に対応付けられる。
【００２６】
詳細については後述するが、パーソナルコンピュータ１においては、例えば、イベント識別の対象とする画像自体や、EXIF(Exchangeable Image File Format)情報などの、画像の属性情報からメタデータが抽出され、抽出されたメタデータに基づいて、対象としている画像のイベントがSVM(Support Vector Machine)によって識別される。１枚の画像から抽出されたメタデータには、画像から抽出された、画像に写っている人の顔の数や位置の情報、画像の明度、色相、彩度などの色空間情報、EXIF情報から抽出された撮影日時、フラッシュを焚いたか否かなどの情報などが含まれ、それらに基づいて、画像を撮影したときのイベントが識別される。
【００２７】
このように、撮影されたそれぞれの画像を撮影したときのイベントがパーソナルコンピュータ１によって自動的に（ユーザによる選択によらずに）識別され、例えば、イベント毎にフォルダが生成されて同じイベントで撮影した画像が管理されるため、ユーザは、容易に、イベント毎に画像を管理することができる。また、ユーザは、イベントを指定して画像を閲覧したりすることができる。
【００２８】
一方、パーソナルコンピュータ１側からすれば、最近撮影した「花見」の画像をユーザが見ているときに前の年に撮影した「花見」の画像を自動的に表示することによって、画像を見ているユーザの記憶を想起させることができる。
【００２９】
このように、パーソナルコンピュータ１においては、画像に対応付けて管理されているイベントに基づいて各種の処理が実現される。
【００３０】
図２は、パーソナルコンピュータ１のディスプレイに表示される、画像の閲覧画面の例を示す図である。
【００３１】
図２の例においては、画面の上方に画像表示領域１１が形成され、ここには、イベントの識別対象となる画像が表示される。図２の画像表示領域１１には、木や人を被写体として撮影した画像が表示されている。
【００３２】
また、図２の例においては、画像表示領域１１に表示されている画像の保存場所の情報（C:\Document and Setting〜）が画像表示領域１１の下に表示され、その下に、識別結果表示領域１２が形成されている。図２の識別結果表示領域１２には、画像表示領域１１に表示されている画像を撮影したときのイベントの識別結果（認識結果）として「花見」が表示されている。
【００３３】
このように、ユーザは、識別結果表示領域１２の表示から、画像表示領域１１に表示されている画像を撮影したときのイベントを確認することができる。
【００３４】
図２の例においては、識別結果表示領域１２の下には、例えば、画像表示領域１１に表示されている画像に替えて、同じフォルダで管理されている画像のうちの先頭の画像を画像表示領域１１に表示させるときに操作されるボタン１３、画像表示領域１１に表示されている画像に替えて１つ前の画像を画像表示領域１１に表示させるときに操作されるボタン１４、画像表示領域１１に表示されている画像に替えて１つ後の画像を画像表示領域１１に表示させるときに操作されるボタン１５、および、画像表示領域１１に表示されている画像に替えて、同じフォルダで管理されている画像のうちの最後の画像を画像表示領域１１に表示させるときに操作されるボタン１６が横方向に並べて表示されている。ユーザは、これらのボタンを押すことによって、画像表示領域１１に表示させる画像、すなわちイベントの識別対象とする画像を切り替えることができる。
【００３５】
また、図２の例においては、ボタン１３乃至１６の下には、「認識間違いだったら、以下のボタンを押し、直してください。」の文字が表示され、その下に、それぞれのイベントを選択するときに操作されるイベントボタン１７が表示されている。イベントボタン１７は、上述したそれぞれのイベントを指定するときに操作されるボタンから構成されている。
【００３６】
ユーザは、画像表示領域１１に表示される画像の内容と、識別結果表示領域１２に表示される識別結果を比較し、イベントが正しく判断されていないと感じたときにイベントボタン１７を操作して正しいイベントを指定することによって、画像表示領域１１に表示されている画像を、正しいイベントを対応付けた形でパーソナルコンピュータ１に管理させることができる。
【００３７】
このようにユーザにより正しいイベントが指定されたとき、パーソナルコンピュータ１内に保存される、イベントの識別時に参照されるファイル（どのようなメタデータが抽出された画像を、どのイベントとして判断するのかを記述したファイル）は、イベントの識別精度がより高まるように更新される。
【００３８】
図３は、パーソナルコンピュータ１のディスプレイに表示される、画像の閲覧画面の他の例を示す図である。
【００３９】
パーソナルコンピュータ１においては、ディジタルカメラ２から取り込まれた画像は自動的にグループ分けされて管理され、ユーザは、画像の閲覧やコピーなどをグループ単位で行うことができるようになされている。
【００４０】
後述するように、ディジタルカメラ２から取り込まれた画像は、例えば、それぞれの画像の撮影時刻のばらつきの程度が閾値より大きい部分がグループの境界部分となるようにグループ分けされる。１つのグループには、グループに含まれる画像や属性情報から抽出されたデータに基づいて識別された１つのイベントが設定される。
【００４１】
図３の閲覧画面は、基本的に、画面の左方に形成される代表画表示領域３１と、画面の右方に形成される画像表示領域３２とから構成される。
【００４２】
代表画表示領域３１は、同じイベントが設定されたグループの代表画が表示される領域である。図３の例においては、代表画表示領域３１には、「２００５年  花火」、「２００４年  花火」、「２００３年  花火」のイベント名が設定された、「花火」のイベントのグループの代表画が縦方向に並べて表示されている。
【００４３】
例えば、ユーザが「２００５年  花火」のグループの画像を閲覧する画像として選択したとき、そのグループと同じ「花火」のイベントが設定された、「２００４年  花火」のグループと、「２００３年  花火」のグループがパーソナルコンピュータ１において管理されているグループの中から自動的に選択され、選択されたグループの代表画が表示されることによって、図３に示されるような閲覧画面の表示が実現される。
【００４４】
なお、それぞれのグループに設定されているイベント名のうち、「花火」は、グループに設定されたイベントを表すものとして設定されたものであり、「２００５年」、「２００４年」、「２００３年」は、グループに含まれる画像の撮影日（年月日）の情報に基づいて設定されたものである。
【００４５】
ユーザは、このようにして代表画が表示されるグループから所定のグループを選択し、選択したグループの画像を一覧表示させることができる。
【００４６】
図３の例においては、「２００５年  花火」のグループが選択されており、「２００５年  花火」のグループに含まれる１４枚の画像が画像表示領域３２に一覧表示（サムネイル表示）されている。図３の画像表示領域３２に表示されているそれぞれの画像は、「花火」のときに撮影した画像である。
【００４７】
このように、ユーザが選択したグループと同じイベントが設定されているグループ（グループの代表画）が自動的に表示されるから、いわば、イベントに基づく賢い検索機能が実現されることになり、ユーザは、自分が選択した画像を撮影したときの状況と同じ状況で過去に撮影した画像を見て楽しむことができる。
【００４８】
なお、イベントが設定されるそれぞれのグループは、図４に示されるように、階層構造を有する形でパーソナルコンピュータ１において管理される。図４の白抜き矢印の先に示される階層構造においては、「旅行」のイベントが設定されたルートノードｎrootには「ドライブ・おでかけ」のイベントが設定されたノードｎ1と「飲み会」のイベントが設定されたノードｎ2が子のノードとして連結され、ノードｎ2には、同じく「飲み会」のイベントが設定されたノードｎ3と「B.B.Q（バーベキュー・キャンプ）」のイベントが設定されたノードｎ4が子のノードとして連結されている。ノードｎ3とｎ4には複数の画像が含まれるものとされている。
【００４９】
それぞれのノード（グループ）に含まれる画像は、ノードに直接に、または他のノードを介して間接的に連結される画像であり、ユーザは、所定のノードを選択し、好みの粒度のイベント単位で画像を閲覧したり、整理したりすることができる。
【００５０】
以上のようにして画像を管理し、閲覧画面を表示するパーソナルコンピュータ１の動作についてはフローチャートを参照して後述する。
【００５１】
図５は、図１のパーソナルコンピュータ１の構成例を示すブロック図である。
【００５２】
CPU(Central Processing Unit)４１は、ROM(Read Only Memory)４２、または記憶部４８に記録されているプログラムに従って各種の処理を実行する。RAM(Random Access Memory)４３には、CPU４１が実行するプログラムやデータなどが適宜記録される。これらのCPU４１、ROM４２、およびRAM４３は、バス４４により相互に接続されている。
【００５３】
なお、CPU４１として、”Cell誕生”、日経エレクトロニクス、日経BP社、２００５年２月２８日、８９頁乃至１１７頁に記載されているCellを採用することができる。
【００５４】
CPU４１にはまた、バス４４を介して入出力インターフェース４５が接続されている。入出力インターフェース４５には、キーボード、マウス、マイクロホンなどよりなる入力部４６、ディスプレイ、スピーカなどよりなる出力部４７が接続されている。CPU４１は、入力部４６から入力される指令に対応して各種の処理を実行する。そして、CPU４１は、処理の結果を出力部４７に出力する。
【００５５】
入出力インターフェース４５に接続されている記憶部４８は、例えばハードディスクからなり、CPU４１が実行するプログラム、ディジタルカメラ２から取り込まれた画像などの各種のデータを記録する。通信部４９は、ディジタルカメラ２との間で通信を行い、ディジタルカメラ２から取り込まれた画像やEXIF情報をCPU４１などに出力する。通信部４９においては、インターネットやローカルエリアネットワークなどのネットワークを介した外部の装置との通信なども行われる。
【００５６】
入出力インターフェース４５に接続されているドライブ５０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部４８に転送され、記録される。ディジタルカメラ２からの画像やEXIF情報の取り込みは、このリムーバブルメディア５１を介しても行われる。
【００５７】
図６は、パーソナルコンピュータ１の機能構成例を示すブロック図である。図６に示す機能部のうちの少なくとも一部は、図５のCPU４１により所定のプログラムが実行されることによって実現される。
【００５８】
パーソナルコンピュータ１においては、画像DB６１、特徴抽出部６２、イベント識別部６３、演算部６４、およびユーザインタフェース制御部６５が実現される。特徴抽出部６２はEXIF情報処理部７１、顔情報抽出部７２、および類似画像認識処理部７３から構成され、演算部６４はクラスタリング部８１と階層決定部８２から構成される。
【００５９】
画像DB６１にはディジタルカメラ２から取り込まれた画像や、それぞれの画像の属性情報であるEXIF情報（JEITAで規定されている、主にディジタルカメラ用の画像情報タグ。JEITA CP-3451-1 EXIF Ver.2.21およびJEITA CP-3461 DCF Ver.2.0に準拠）が記録される。
【００６０】
特徴抽出部６２は、イベントの識別対象とする画像をEXIF情報とともに画像DB６１から読み出し、読み出したデータから抽出した、画像の特徴を表すメタデータをイベント識別部６３に出力する。
【００６１】
具体的には、特徴抽出部６２のEXIF情報処理部７１は、画像DB６１から読み出されたEXIF情報から、撮影時刻などの所定の情報を抽出する。また、EXIF情報処理部７１は、EXIF情報に含まれる撮影時刻の情報を演算部６４にも出力する。
【００６２】
顔情報抽出部７２は、画像DB６１から読み出された画像を解析することによって、画像に写っている人の顔の情報を抽出する。顔の情報を抽出する技術については例えば特開２００５−４４３３０号公報に開示されており、この技術により、画像に写っている人の顔の数などの情報が抽出される。
【００６３】
類似画像認識処理部７３は、画像DB６１から読み出された画像を解析することによって、画像の色空間の情報などを抽出する。色空間の情報などを抽出する技術については例えば国際公開第００／３９７１２号パンフレットに開示されている。
【００６４】
図７は、特徴抽出部６２を構成する各部により抽出される情報の例を示す図である。
【００６５】
「DateTimeOriginal」のタグ名で表される情報は画像の撮影日時を表し、「Flash」のタグ名で表される情報は画像を撮影するときのフラッシュの状態を表す。「ExposureTime」のタグ名で表される情報は画像の撮影時の露出時間を表し、「FNumber」のタグ名で表される情報は画像の撮影時のＦ値（絞り値）を表す。
【００６６】
これらの４つの情報（「DateTimeOriginal」、「Flash」、「ExposureTime」、「FNumber」）が、対象とする画像のEXIF情報からEXIF情報処理部７１により抽出される。
【００６７】
「nx」の名前で表される値は、画像に写っている人の顔のＸ軸方向の位置を表し、「ny」の名前で表される値は、画像に写っている人の顔のＹ軸方向の位置を表す。例えば、１枚の画像の左上端を（０，０）、右上端を（１，０）、左下端を（０，１）、右下端を（１，１）とし、検出された顔の範囲を表す枠のＸ軸方向、Ｙ軸方向の位置（枠の左上の位置）が、「nx」、「ny」の値により表される。
【００６８】
「nwidth」の名前で表される値は、画像に写っている人の顔の幅を表し、「nheight」の名前で表される値は、画像に写っている人の顔の高さを表す。「Pitch」の名前で表される値は、画像に写っている人の顔の上下方向の向きを表し、「yaw」の名前で表される値は画像に写っている人の顔の左右方向の向きを表す。「TotalFace」の名前で表される値は、画像に写っている人の顔の数を表す。
【００６９】
これらの７つの情報（「nx」、「ny」、「nwidth」、「nheight」、「Pitch」、「yaw」、「TotalFace」）が、対象とする画像から顔情報抽出部７２により抽出される。なお、「nx」、「ny」、「nwidth」、「nheight」、「Pitch」、「yaw」のそれぞれの値は、イベント識別の対象とする１つの画像に写っている人の顔の数の分だけ抽出される。
【００７０】
「Ｌ」の名前で表される値は画像の明度を表し、「ａ」の名前で表される値は画像の色相を表す。「ｂ」の名前で表される値は画像の彩度を表す。
【００７１】
これらの３つの情報（「Ｌ」、「ａ」、「ｂ」）が、対象とする画像から類似画像認識処理部７３により抽出される。
【００７２】
以上のような各種の情報が記述されたメタデータが特徴抽出部６２からイベント識別部６３に出力され、画像を撮影したときのイベントの識別に用いられる。
【００７３】
図６の説明に戻り、イベント識別部６３は、特徴抽出部６２から供給されたメタデータから、対象とする画像を撮影したときのイベントを例えば上述した８種類のうちの１つを選択することによって識別し、識別したイベントの情報をメタデータに書き込んで管理する。イベントの情報も書き込まれたメタデータは、適宜、イベント識別部６３から演算部６４やユーザインタフェース制御部６５に出力される。
【００７４】
図８は、イベント識別部６３により管理されるメタデータ（イベントの情報も書き込み済みのメタデータ）の例を示す図である。図８において、それぞれの行の左端に示される数字と「；」は説明の便宜上付したものであり、メタデータの一部を構成するものではない。
【００７５】
図８に示されるように、メタデータは例えばXML(eXtensible Markup Language)文書として管理される。
【００７６】
１行目の「Photo」は、１枚の画像に対応付けられるメタデータの開始位置を表す。
【００７７】
２行目の「guid」タグは、図８のメタデータが対応付けられている画像のGUID(Global Unique Identifier)を表す。図８の例においては、画像のGUIDは「{624D4F19-1249-4d18-AAF8-15E1BFFF076F}」とされている。このGUIDにより、メタデータが対応付けられる画像が識別される。
【００７８】
３行目の「FilePath」タグは、図８のメタデータが対応付けられている画像のパーソナルコンピュータ１上での保存場所を表す。図８の例においては、画像の保存場所は「C:\Documents and Settings\aaa\デスクトップ\test\IMGP2198.JPG」とされている。
【００７９】
４行目の「PixelXDimension」タグ、５行目の「PixelYDimension」は、それぞれ、図８のメタデータが対応付けられている画像の横方向（Ｘ軸方向）、縦方向（Ｙ軸方向）の画素数を表す。図８の例においては、画像の横方向、縦方向の画素数はそれぞれ「2400」、「1600」とされている。
【００８０】
６行目の「Make」タグは、図８のメタデータが対応付けられている画像を撮影したディジタルカメラ２の製造元を表す。図８の例においては、ディジタルカメラ２の製造元は「AAA」とされている。
【００８１】
７行目の「Model」タグは、図８のメタデータが対応付けられている画像を撮影したディジタルカメラ２のモデル名を表す。図８の例においては、ディジタルカメラ２のモデル名は「BBB」とされている。
【００８２】
８行目の「EXIFversion」タグは、図８のメタデータが対応付けられている画像に付加されたEXIF情報のバージョンを表す。図８の例においては、EXIF情報のバージョンは「0221」（バージョン2.21）とされている。この８行目以降に、EXIF情報処理部７１により抽出されたEXIF情報が記述される。
【００８３】
９行目の「DateTimeOriginal」タグと１０行目の「DateTimeDigitized」タグは、図８のメタデータが対応付けられている画像の撮影日、撮影時刻を表す。図８の例においては、撮影日は「2005:06:05」（２００５年６月５日）、撮影時刻「12:02:26」（１２時２分２６秒）とされている。
【００８４】
１１行目の「SceneCaptureType」タグは、図８のメタデータが対応付けられている画像の撮影時のモードを表す。図８の例においては、撮影時のモードは「Portrait」とされている。
【００８５】
１２行目の「Flash」タグは、図８のメタデータが対応付けられている画像の撮影時のフラッシュのモードを表す。図８の例においては、フラッシュのモードは「reserved」とされている。
【００８６】
１３行目の「ExposureTime」タグは、図８のメタデータが対応付けられている画像の撮影時の露出時間を表す。図８の例においては、露出時間は「1/8」とされている。
【００８７】
１４行目の「FNumber」タグは、図８のメタデータが対応付けられている画像の撮影時のＦ値を表す。図８の例においては、Ｆ値は「35/10」とされている。
【００８８】
１５行目の「FocalLength」タグは、図８のメタデータが対応付けられている画像の撮影時の焦点距離を表す。図８の例においては、焦点距離は「18/1」とされている。
【００８９】
１６行目の「FocalLengthIn35mmFilm」タグは、図８のメタデータが対応付けられている画像の撮影時の３５mm換算の焦点距離を表す。図８の例においては、３５mm換算の焦点距離は「27」とされている。
【００９０】
１７行目の「ExposureProgram」タグは、図８のメタデータが対応付けられている画像の撮影時の露出調整プログラムを表す。図８の例においては、露出調整プログラムは「Portrait mode」とされている。
【００９１】
１８行目の「MeteringMode」タグは、図８のメタデータが対応付けられている画像の撮影時の測光モードを表す。図８の例においては、測光モードは「Pattern」とされている。
【００９２】
１９行目の「ExposureMode」タグは、図８のメタデータが対応付けられている画像の撮影時の露出モードを表す。図８の例においては、露出モードは「Manual exposure」とされている。
【００９３】
２０行目の「WhiteBalance」タグは、図８のメタデータが対応付けられている画像の撮影時のホワイトバランスの設定を表す。図８の例においては、ホワイトバランスの設定は「Auto white balance」とされている。
【００９４】
２１行目の「FaceNumber」タグは、図８のメタデータが対応付けられている画像に写っている人の顔の数を表す。図８の例においては、人の顔の数は「2」（２人の顔が写っている）とされている。この２１行目以降に、顔情報抽出部７２により抽出された顔情報が記述される。
【００９５】
２２行目の「FaceData」タグは、図８のメタデータが対応付けられている画像に写っている２つの顔のうちの一方の顔の情報を表す。図８の例においては、顔情報は「0.766962,0.477876,0.088496,0.058997,0.000000,-30.000000」とされており、それぞれの値は、先頭のものから順に、顔のＸ軸方向の位置（図７の「nx」）、顔のＹ軸方向の位置（図７の「ny」）、顔の幅（図７の「nwidth」）、顔の高さ（図７の「nheight」）、顔の上下方向の向き（図７の「Pitch」）、顔の左右方向の向き（図７の「yaw」）を表す。
【００９６】
２３行目の「FaceData」タグは、図８のメタデータが対応付けられている画像に写っている２つの顔のうちの他方の顔の情報を表す。図８の例においては、顔情報は「0.501475,0.433628,0.088496,0.058997,0.000000,-30.000000」とされている。このように、顔情報は、画像に写っているとして検出された顔毎に記述される。
【００９７】
２４行目の「ClassifiedEvent」タグは、図８のメタデータが対応付けられている画像を撮影したときのイベントを表す。イベント識別部６３によりイベントが識別されたとき、このタグの部分に、識別結果のイベントが書き込まれる。図８の例においては、イベントの識別結果は「結婚式」とされている。
【００９８】
２５行目の「UpdatedEvent」タグは、図８のメタデータが対応付けられている画像を撮影したときのイベントを表す。例えば、図２に示される画面からイベントボタン１７が操作されることによって正しいイベントが指定されたとき、指定されたイベントがこのタグの部分にイベント識別部６３によって書き込まれる。図８の例においては、指定されたイベントは「No Update」（イベントの指定なし）とされている。
【００９９】
２６行目の「/Photo」はメタデータの終了位置を表す。このような情報からなるメタデータが画像毎に用意され、イベント識別部６３により管理される。なお、類似画像認識処理部７３により抽出された情報も、適宜、同様にしてメタデータに書き込まれる。
【０１００】
ここで、イベント識別部６３によるイベントの識別について説明する。
【０１０１】
イベント識別部６３においては、例えば、SVMによりイベントが識別される。
【０１０２】
SVMはクラス分類を行う学習機械の一種であり、与えられた訓練点のなかで、サポートベクトルと呼ばれるクラス境界近傍に位置する訓練点と識別面との距離であるマージンを最大化するように分離超平面を構築し、その構築した分離超平面を用いてクラス分類を行うものである。線形での分類が難しい場合には、カーネルトリックによって入力空間をより高次の特徴空間に写像し、そこで線形分離を行うことで非線形の問題にも適用が可能となる。SVMの特徴には、従来のパターン認識の分野でよく用いられていた逆誤差伝播法によって学習を行う多層パーセプトロンに比べ、高い汎化性能を持つことや、２次の凸計画問題として定式化されるため学習の結果最適解を得ることができる、などがある。
【０１０３】
図９は、イベント識別部６３による学習と、イベント識別のテストの概念を示す図である。このような学習とテストが、例えば、図６に示されるような機能部を実現するアプリケーションの開発時に行われ、イベントの識別時に参照されるデータとして得られた識別ファイルがイベント識別部６３に用意される。
【０１０４】
１枚の画像のメタデータが供給された場合、SVM識別器６３Ａが学習を行う状態にあるときには、そのメタデータは判定器を経て教師データとしてSVM識別器６３Ａに出力される。SVM識別器６３Ａにおいては、例えば８００枚分の画像のメタデータを用いたSVMの学習が行われ、イベントの識別時に参照される識別ファイルが生成される。
【０１０５】
一方、SVM識別器６３Ａがテストを行う状態にあるときには、供給されたメタデータは判定器を経て生徒データとしてSVM識別器６３Ａに出力される。SVM識別器６３Ａにおいては、学習時に得られた識別ファイルが参照され、供給されたメタデータに基づいてイベントが識別される。
【０１０６】
SVM識別器６３Ａによる識別結果は例えば図２に示されるような形で画面上に出力され、その識別結果を見たアプリケーションの開発者は、識別結果が正しいか否かを選択することによってテスト結果の評価を行う。開発者による選択に応じて識別ファイルが更新され、１枚の画像を対象とした評価が終了される。
【０１０７】
このような評価が、例えば、学習に用いられたものと同じ、８００枚分の画像のメタデータを用いて繰り返し行われ、最終的に得られた識別ファイルがイベント識別部６３に用意される。評価手法にはHoldoutやK-fold cross-validationなどがある。
【０１０８】
図１０は、学習の具体的な例を示す図である。
【０１０９】
図１０に示されるように、学習用の画像（Training photo data）を用いて、学習アルゴリズム（Training Algorithm）に従った学習が行われ、識別ファイル（Classification）が生成される。図１０の例においては、メタデータの内容が、画像に写っている人の顔の数が「５」より大きく、画像の撮影時のフラッシュの状態が「No」（発光させていない状態）であり、撮影時刻が「１９：００〜２２：００」の間である場合には、「飲み会」の識別結果が得られるような識別ファイルが生成されている。
【０１１０】
図１１は、テストを含めたイベント識別の具体的な例を示す図である。
【０１１１】
図１１に示されるように、テスト用の画像（Test photo data（学習に用いられた図１０の画像と同じ画像））を対象としたイベントの識別が、学習時に生成された識別ファイル（Classification）を参照して行われる。また、学習やテストなどに用いられた画像とは異なる新たな画像（New photo）のメタデータが供給されたとき、同じ識別ファイルが参照され、その新たな画像を撮影したときのイベントが識別される。図１１の例においては、新たな画像である「New.jpg」のファイル名の画像を撮影したときのイベントは「飲み会」として識別されている。
【０１１２】
図６の説明に戻り、イベント識別部６３はまた、上述したような１枚の画像を撮影したときのイベントを識別するだけでなく、演算部６４により分けられた画像のグループに対してもイベントを設定する。
【０１１３】
例えば、イベント識別部６３は、グループ分けの結果を表す情報を演算部６４から読み込み、それぞれのグループの画像のメタデータの平均をグループのメタデータとして上述したイベントの識別を行い、識別結果のイベントをグループに設定する。なお、グループに含まれるそれぞれの画像のメタデータは特徴抽出部６２から供給されているから、イベント識別部６３においては、グループに含まれる画像のメタデータの平均を求めることが可能となる。
【０１１４】
グループに対して設定されたイベントは、例えば、ユーザにより閲覧されている画像を撮影したときと同じイベントで撮影した画像のグループを提示する図３に示されるような画面を表示するときに用いられる。
【０１１５】
演算部６４のクラスタリング部８１は、保持しているクラスタデータと、EXIF情報処理部７１から供給された撮影時刻に基づいて画像のクラスタリング（グループ分け）を行う。例えば、過去にクラスタリングが行われた画像も含めて、対象の画像全体が二分木構造を有する形で管理されるクラスタリング結果がクラスタリング部８１により取得される。
【０１１６】
クラスタリング部８１が保持しているクラスタデータには、それまでに求められた、それぞれの画像がどのクラスタ（グループ）に属するのかを表す情報や、画像全体の二分木構造を表す情報が含まれる。
【０１１７】
階層決定部８２は、クラスタリング部８１により取得されたクラスタリング結果である二分木構造を表す情報に基づいて、所定の条件にあうクラスタを決定する。例えば、それぞれのクラスタがどの画像を含むのかを表す情報、あるいは、それぞれの画像がどのクラスタに属するのかを表す情報などが階層決定部８２により取得され、画像全体の二分木構造を表すとともに、最終的なクラスタリングの結果を表すクラスタデータが得られる。
【０１１８】
ここで、演算部６４により行われる処理の詳細について説明する。
【０１１９】
例えば、１００枚の画像ｐ１乃至ｐ１００をクラスタリングの対象として、それらの画像をイベントクラスタＡ（グループ化条件Ａを満たす画像のクラスタ）と、サブイベントクラスタＢ（グループ化条件Ｂを満たす画像のクラスタ）に分ける処理について説明する。
【０１２０】
はじめに、図１２乃至図２０を参照して、クラスタリング部８１により行われる二分木構造の作成について説明する。
【０１２１】
図１２乃至図２０において、「ｐ」の文字と数字がその中に書かれている１つの円は１枚の画像を表し、「ｎ」の文字と数字がその中に書かれている１つの円は１つのノードを表す。また、図の右方は、左方より時間的に後の方向であるものとする。なお、ここでは、画像ｐ１乃至ｐ１００を、撮影時刻順（画像ｐ１が一番古く、画像ｐ１００が一番新しいデータ）にクラスタリングの対象とする場合について説明する。画像ｐ１とｐ２をクラスタリングの対象とした後（二分木構造に組み込んだ後）で、画像ｐ１よりも新しく、画像ｐ２より古い画像ｐ３を新たにクラスタリングの対象とするように、撮影時刻順にではなく、それぞれの画像を対象として行われるクラスタリングについては後述する。
【０１２２】
クラスタリングがまだ行われていない状態で、最初の撮影により得られ、ディジタルカメラ２から取り込まれた画像ｐ１がツリーに挿入されたとき（クラスタリングの対象とされたとき）、初期の状態ではツリーのルートとなるノードが存在しないから、図１２に示されるように、画像ｐ１自身がルートノードとなる。
【０１２３】
画像ｐ１に続けて撮影された画像ｐ２がツリーに挿入されたとき、図１３に示されるように、ノードｎ１が新たに作られ、画像ｐ２の撮影時刻は画像ｐ１の撮影時刻より後であるから、ノードｎ１には、画像ｐ１が左の子ノードとして連結され、画像ｐ２が右の子ノードとして連結される。ノードｎ１は画像ｐ１に代えてルートノードとなる。
【０１２４】
ノードｎ１の最小時刻として画像ｐ１の撮影時刻が記録され、最大時刻として画像ｐ２の撮影時刻が記録される。ノードの時刻として、そのノードを親のノードとする２つの子ノードの撮影時刻の平均値（中間の時刻）が記録されるようにしてもよい。
【０１２５】
画像ｐ２に続けて撮影された画像ｐ３がツリーに挿入され、図１４に示されるように、画像ｐ３の撮影時刻と画像ｐ２の撮影時刻の時間間隔tdp2p3が、画像ｐ２の撮影時刻と画像ｐ１の撮影時刻の時間間隔tdp1p2より小さいとき、図１５に示されるように、ノードｎ２が新たに作られ、ノードｎ２には、その左の子ノードとして画像ｐ２が連結され、右の子ノードとして画像ｐ３が連結される。また、ノードｎ２が、画像ｐ２の代わりに右の子ノードとしてノードｎ１に連結される。
【０１２６】
ノードｎ２の最小時刻として画像ｐ２の撮影時刻が記録され、最大時刻として画像ｐ３の撮影時刻が記録される。また、このとき、ノードｎ２の親のノードであるノードｎ１の最大時刻が画像ｐ３の撮影時刻で上書きされる。
【０１２７】
画像ｐ３に続けて撮影された画像ｐ４がツリーに挿入され、図１６に示されるように、画像ｐ４の撮影時刻と画像ｐ３の撮影時刻の時間間隔tdp3p4が、画像ｐ３の撮影時刻と画像ｐ２の撮影時刻の時間間隔tdp2p3より大きく、かつ、画像ｐ４の撮影時刻とノードｎ２の最大時刻の時間間隔tdn2maxp4が、ノードｎ２の最小時刻と画像ｐ１の撮影時刻の時間間隔tdp1n2minより大きいとき、図１７に示されるように、ノードｎ３が新たにルートノードとして作られる。また、ノードｎ３には、その左の子ノードとしてノードｎ１が連結され、右の子ノードとして画像ｐ４が連結される。
【０１２８】
ノードｎ３の最小時刻としてノードｎ１の最小時刻が記録され、最大時刻として画像ｐ４の撮影時刻が記録される。
【０１２９】
画像ｐ４に続けて撮影された画像ｐ５がツリーに挿入され、図１８に示されるように、画像ｐ５の撮影時刻と画像ｐ４の撮影時刻の時間間隔tdp4p5より、画像ｐ４の撮影時刻とノードｎ１の最大時刻の時間間隔tdn1maxp4の方が大きいとき、図１９に示されるように、ノードｎ４が新たに作られる。また、ノードｎ４には、その左の子ノードとして画像ｐ４が連結され、右の子ノードとして画像ｐ５が連結される。さらに、ノードｎ４が、画像ｐ４の代わりに右の子ノードとしてノードｎ３に連結される。
【０１３０】
ノードｎ４の最小時刻として画像ｐ４の撮影時刻が記録され、最大時刻として画像ｐ５の撮影時刻が記録される。また、このとき、ノードｎ４の親のノードであるノードｎ３の最大時刻が画像ｐ５の撮影時刻で上書きされる。
【０１３１】
この時点で、画像ｐ１乃至ｐ５の５枚の画像を含むノードｎ１乃至ｎ４から二分木構造が形成された状態になる。
【０１３２】
それぞれのノードに含まれる画像は、それぞれのノードに直接に、または他のノードを介して間接的に連結される画像であるから、図１９に示されるようなツリーが作成されているとき、ノードｎ３に含まれる画像は画像ｐ１乃至ｐ５の５枚の画像となり、ノードｎ１に含まれる画像は画像ｐ１乃至ｐ３の３枚の画像となる。また、ノードｎ２に含まれる画像は画像ｐ２およびｐ３の２枚の画像となり、ノードｎ４に含まれる画像は画像ｐ４およびｐ５の２枚の画像となる。
【０１３３】
このように、画像が新たに挿入される毎に、撮影時刻の時間間隔のより小さい画像同士、または、撮影時刻と設定された時刻の時間間隔のより小さい画像とノードが、同じノードにぶらさがるように連結されていく。
【０１３４】
画像ｐ６乃至ｐ１００がツリーに挿入されたときも同様にして処理が行われ、最終的に、ルートノードｎrootに画像ｐ１乃至ｐ１００が含まれる、図２０に示されるような二分木構造が得られる。
【０１３５】
次に、図２１乃至図２７を参照して、階層決定部８２により行われるグループ化条件に基づくクラスタリングについて説明する。
【０１３６】
階層決定部８２においては、二分木構造内のそれぞれのノードが注目され、ノード内の全ての画像の撮影時刻の時間間隔の標準偏差sdが下式（１）により算出される。
【０１３７】
【数１】
2007129434.tif 000003
【０１３８】
Ｎは画像の撮影時刻の時間間隔の数であり、「ノードに含まれる画像の数−１」で表される。tdnは、Ｎ個の時間間隔のうちの、時間的に先のものから見てｎ番目の時間間隔である。「￣」が付されたtdはノード内の時間間隔tdの平均値である。
【０１３９】
また、注目するノードを親のノードとする子ノード間の時間間隔の偏差dev（子ノード間の時間間隔と、撮影時刻の時間間隔の平均との差の絶対値）が下式（２）により算出される。
【０１４０】
【数２】
2007129434.tif 000004
【０１４１】
Ｎは画像の撮影時刻の時間間隔の数であり、「ノードに含まれる画像の数−１」で表される。tdcは子ノード間の時間間隔である。「￣」が付されたtdはノード内の時間間隔tdの平均値である。なお、子ノード間の時間間隔とは、注目するノードを親のノードとする２つの子ノードのうちの時間的に先の子ノードに含まれる時間的に最後の画像の撮影時刻と、時間的に後の子ノードに含まれる時間的に最初の画像の撮影時刻の時間間隔である。具体例については後述する。
【０１４２】
さらに、式（２）により算出された偏差devの、式（１）により算出された標準偏差sdに対する比が、分割パラメータthとして、注目するノードに設定される。分割パラメータthは下式（３）で表され、注目するノードを親のノードとする子ノードを、それぞれ異なるクラスタに属するものとして分割するか否かを判断する基準となるパラメータである。
【０１４３】
【数３】
2007129434.tif 000005
【０１４４】
ここで、上式により求められる値について図２１を参照して具体的に説明する。
【０１４５】
図２１は、クラスタリング部８１により作成された二分木構造全体のうちの一部の、図１９と同じ範囲の構造を示す図である。
【０１４６】
図２１において、td1は、画像ｐ１の撮影時刻と画像ｐ２の撮影時刻の時間間隔であり、td2は、画像ｐ２の撮影時刻と画像ｐ３の撮影時刻の時間間隔である。また、td3は、画像ｐ３の撮影時刻と画像ｐ４の撮影時刻の時間間隔であり、td4は、画像ｐ４の撮影時刻と画像ｐ５の撮影時刻の時間間隔である。
【０１４７】
例えば、図２１のうちのルートノードに最も近いノードであるノードｎ３が注目されている場合、はじめに、式（１）にそれぞれの値が代入され、標準偏差sdは下式（４）で表される。また、撮影時刻の時間間隔の平均値は下式（５）で表される。
【０１４８】
【数４】
2007129434.tif 000006
【０１４９】
【数５】
2007129434.tif 000007
【０１５０】
偏差devは下式（６）で表される。
【０１５１】
【数６】
2007129434.tif 000008
【０１５２】
すなわち、注目するノードｎ３を親のノードとする２つの子ノードはノードｎ１とｎ４であり、そのうちの時間的に先のノードｎ１に含まれる時間的に最後の画像ｐ３の撮影時刻と、時間的に後のノードｎ４に含まれる時間的に最初の画像ｐ４の撮影時刻の時間間隔td3がノードｎ１とノードｎ４の時間間隔であり、それが、ノードｎ３に注目したときの偏差devの算出に用いられる。
【０１５３】
式（４）により算出された標準偏差sdと、式（６）により算出された偏差devから、ノードｎ３に注目したときの分割パラメータthが算出され、ノードｎ３に設定される。
【０１５４】
以上のようにして全てのノードに対する分割パラメータの設定が終了したとき、階層決定部８２においては、次に、グループ化条件としての閾値が設定される。
【０１５５】
例えば、グループ化条件Ａとして閾値ａが設定され、グループ化条件Ｂとして閾値ｂが設定された場合、「ａ＝３．０」、「ｂ＝２．６」などのように、「ａ＞ｂ」の条件を満たすときには、図２２に示されるように、「グループ化条件Ａにより規定されるクラスタ＞グループ化条件Ｂにより規定されるクラスタ」となる（グループ化条件Ａにより規定されるクラスタの中に、グループ化条件Ｂにより規定されるクラスタがいくつかできることになる）。
【０１５６】
図２２の例においては、対象となる画像全体が、グループ化条件Ａによりグループｇ1とｇ2の２つのクラスタに分けられ、グループ化条件Ｂによりグループｇ3乃至ｇ7の５つのクラスタに分けられている。
【０１５７】
すなわち、後述するように、設定されている分割パラメータの値が閾値より大きい場合に、その分割パラメータが設定されているノードの部分がクラスタの境界部分となるから、閾値が大きいほど、そのノードの部分はクラスタの境界部分となりにくく、従って、全体として見たときにクラスタの粒度は粗くなる。反対に、閾値が小さいほど、そのノードの部分はクラスタの境界部分となりやすく、従って、全体として見たときにクラスタの粒度は細かくなる。
【０１５８】
なお、ある画像の撮影時刻と、次に撮影された画像の撮影時刻の時間間隔が３０分以上ある場合（時間間隔td＞３０min）や１日以上ある場合（時間間隔td＞１day）、その時間間隔のある部分がクラスタの境界部分となるようなグループ化条件、いわば、１つのクラスタに含まれる画像の撮影時刻の時間間隔の上限を規定するようなグループ化条件が設定されるようにしてもよい。これにより、撮影時刻の時間間隔が３０分、あるいは１日以上ある画像同士はそれぞれ異なるクラスタに含まれる画像となる。
【０１５９】
グループ化条件としての閾値が設定された後、階層決定部８２においては、次に、設定された閾値と、上述したようにしてそれぞれのノードに設定された分割パラメータthに基づいてそれぞれのノードに分割フラグが設定される。
【０１６０】
例えば、分割パラメータthが、グループ化条件Ａとして設定された閾値ａを越えるノードには１の値のグループＡ分割フラグが設定され、閾値ａを越えないノードには０の値のグループＡ分割フラグが設定される。
【０１６１】
分割フラグとして１の値が設定されていることは、その分割フラグが設定されているノードを親のノードとする子ノード間の時間間隔が、注目しているノード内全体の画像の撮影時刻の時間間隔より比較的大きいことを表す。反対に、分割フラグとして０の値が設定されていることは、その分割フラグが設定されているノードを親のノードとする子ノード間の時間間隔が、注目しているノード内全体の画像の撮影時刻の時間間隔とあまり変わらないことを表す。
【０１６２】
グループＡ分割フラグの値の設定が終了したとき、二分木構造内のノードが昇順で（葉から根の方向に順に）注目され、子ノードの時間間隔がノード内全体の画像の撮影時刻の時間間隔より比較的大きいノード、すなわち、グループＡ分割フラグとして１の値が設定されているノードを境界として画像が区切られ、グループ化条件Ａによりクラスタが規定される。
【０１６３】
図２３はグループＡ分割フラグの設定の例を示す図である。
【０１６４】
図２３の例においては、ルートノードに最も近いノードであるノードｎ１０には、ノードｎ１１とｎ１２がそれぞれ左右の子ノードとして連結され、ノードｎ１１には、ノードｎ１３とｎ１４がそれぞれ左右の子ノードとして連結される。また、ノードｎ１２には、ノードｎ１５とｎ１６がそれぞれ左右の子ノードとして連結され、ノードｎ１４には、ノードｎ１７とｎ１８がそれぞれ左右の子ノードとして連結される。
【０１６５】
また、図２３の例においては、これらのノードのうちのノードｎ１０，ｎ１１，ｎ１２，ｎ１４のそれぞれにグループＡ分割フラグとして１の値が設定されており、それらのノードの部分を境界として、太線で示されるようにクラスタが分けられる。
【０１６６】
なお、図２３の右方に示されるように、ノードｎ１３は画像ｐ１乃至ｐ１７を含むノードであり、ノードｎ１７は画像ｐ１８乃至ｐ３０を含むノードである。また、ノードｎ１８は画像ｐ３１乃至ｐ６８を含むノードであり、ノードｎ１５は画像ｐ６９乃至ｐ９３を含むノードである。ノードｎ１６は画像ｐ９４乃至ｐ１００を含むノードである。
【０１６７】
従って、グループＡ分割フラグの値として１が設定されているノードの部分を境界としてクラスタが分けられた場合、いまクラスタリングの対象とされている画像ｐ１乃至ｐ１００は、図２４に示されるようなそれぞれのクラスタ（イベントクラスタＡ）に分けられる。
【０１６８】
すなわち、ノードｎ１３に含まれる画像ｐ１乃至ｐ１７からクラスタＡ1が構成され、ノードｎ１７に含まれる画像ｐ１８乃至ｐ３０からクラスタＡ2が構成される。
【０１６９】
また、ノードｎ１８に含まれる画像ｐ３１乃至ｐ６８からクラスタＡ3が構成され、ノードｎ１５に含まれる画像ｐ６９乃至ｐ９３からクラスタＡ4が構成される。さらに、ノードｎ１６に含まれる画像ｐ９４乃至ｐ１００からクラスタＡ5が構成される。
【０１７０】
以上のようにしてグループ化条件Ａに基づくクラスタリングが行われ、グループ化条件Ａにより規定されるそれぞれのクラスタがどの範囲の画像を含むのかを表す情報、あるいは、それぞれの画像がどのクラスタに属するのかを表す情報などが、グループ化条件Ａに基づくクラスタリング結果として取得される。
【０１７１】
グループ化条件Ａに基づくクラスタリングが行われたとき、同様にして、グループ化条件Ｂに基づくグループ分けが行われる。
【０１７２】
すなわち、階層決定部８２においては、分割パラメータthが、グループ化条件Ｂとして設定された閾値ｂを越えるノードには１の値のグループＢ分割フラグが設定され、閾値ｂを越えないノードには０の値のグループＢ分割フラグが設定される。
【０１７３】
グループＢ分割フラグの値の設定が終了したとき、二分木構造内のノードが昇順で注目され、子ノードの時間間隔がノード内全体の画像の撮影時刻の時間間隔より比較的大きいノード、すなわち、グループＢ分割フラグとして１の値が設定されているノードを境界として画像が区切られ、グループ化条件Ｂによりクラスタが規定される。
【０１７４】
図２５はグループＢ分割フラグの設定の例を示す図である。
【０１７５】
図２５の例においては、ルートノードに最も近いノードであるノードｎ１０には、ノードｎ１１が左の子ノードとして連結され、ノードｎ１１には、ノードｎ１３とｎ１４がそれぞれ左右の子ノードとして連結される。また、ノードｎ１４には、ノードｎ１７とｎ１８がそれぞれ左右の子ノードとして連結され、ノードｎ１７には、ノードｎ１９とｎ２０がそれぞれ左右の子ノードとして連結される。さらに、ノードｎ１８には、ノードｎ２１とｎ２２がそれぞれ左右の子ノードとして連結され、ノードｎ１９には、ノードｎ２３とｎ２４がそれぞれ左右の子ノードとして連結される。
【０１７６】
また、図２５の例においては、これらのノードのうちのノードｎ１０，ｎ１１，ｎ１４，ｎ１７，ｎ１８，ｎ１９のそれぞれにグループＢ分割フラグとして１の値が設定されており、それらのノードの部分を境界として、太線で示されるようにクラスタが分けられる。
【０１７７】
なお、図２５の右側に示されるように、ノードｎ１３は画像ｐ１乃至ｐ１７を含むノードであり、ノードｎ２３は画像ｐ１８乃至ｐ２１を含むノードである。また、ノードｎ２４は画像ｐ２２乃至ｐ２６を含むノードであり、ノードｎ２０は画像ｐ２７乃至ｐ３０を含むノードである。ノードｎ２１は画像ｐ３１乃至ｐ５７を含むノードであり、ノードｎ２２は画像ｐ５８乃至ｐ６８を含むノードである。
【０１７８】
従って、グループＢ分割フラグの値として１が設定されているノードの部分を境界としてクラスタが分けられた場合、いまクラスタリングの対象とされている画像ｐ１乃至ｐ１００のうちの画像ｐ１乃至ｐ６８は、図２６に示されるようなそれぞれのクラスタ（サブイベントクラスタＢ）に分けられる。
【０１７９】
すなわち、ノードｎ１３に含まれる画像ｐ１乃至ｐ１７からクラスタＢ1が構成され、ノードｎ２３に含まれる画像ｐ１８乃至ｐ２１からクラスタＢ2が構成される。
【０１８０】
また、ノードｎ２４に含まれる画像ｐ２２乃至ｐ２６からクラスタＢ3が構成され、ノードｎ２０に含まれる画像ｐ２７乃至ｐ３０からクラスタＢ4が構成される。さらに、ノードｎ２１に含まれる画像ｐ３１乃至ｐ５７からクラスタＢ5が構成され、ノードｎ２２に含まれる画像ｐ５８乃至ｐ６８からクラスタＢ6が構成される。
【０１８１】
以上のようにしてグループ化条件Ｂに基づくクラスタリングが行われ、グループ化条件Ｂにより規定されるそれぞれのクラスタがどの範囲の画像を含むのかを表す情報、あるいは、それぞれの画像がどのクラスタに属するのかを表す情報などが、グループ化条件Ｂに基づくクラスタリング結果として取得される。取得されたクラスタリング結果は階層決定部８２により管理される。
【０１８２】
図２７は、グループ化条件Ａに基づくクラスタリング結果（図２４）と、グループ化条件Ｂに基づくクラスタリング結果（図２６）を重ねて示す図である。
【０１８３】
図２７に示されるように、複数のグループ化条件に基づいてグループ化が行われた場合、クラスタリング結果のクラスタは入れ子関係を有する。
【０１８４】
図２７の例においては、クラスタＡ1とクラスタＢ1は同じ範囲の画像を含むクラスタであり、クラスタＡ2にはクラスタＢ2乃至Ｂ4が含まれる。また、クラスタＡ3にはクラスタＢ5とＢ6が含まれる。
【０１８５】
図２７に示されるような関係をそれぞれのクラスタが有する場合、例えば、クラスタＡ2を表すフォルダの下位の階層のフォルダとして、クラスタＢ2乃至Ｂ4を表すフォルダがそれぞれ表示され、クラスタＡ3を表すフォルダの下位の階層のフォルダとして、クラスタＢ5とＢ6を表すフォルダがそれぞれ表示される。
【０１８６】
以上のように、演算部６４においては、階層的なクラスタリングと、分散に基づくクラスタリング（画像全体の撮影間隔の平均を基準としたクラスタリング）が行われる。これにより、単に撮影間隔の近い画像同士が同じクラスタに含まれるようにクラスタリングが行われるのではなく、時間間隔が揃っている画像同士が同じクラスタに含まれるようにクラスタリングが行われることになる。
【０１８７】
次に、クラスタリング部８１により行われる二分木構造の作成の他の例について図２８乃至図３５を参照して説明する。
【０１８８】
ここでは、それぞれの画像を、撮影時刻順にではなくクラスタリングの対象とする場合について説明する。例えば、ディジタルカメラ２で撮影された画像のクラスタリングをパーソナルコンピュータ１に行わせた後に、人からもらった画像などの、他のディジタルカメラで撮影された画像をもパーソナルコンピュータ１に取り込み、それらの画像全体をクラスタリングさせる場合などに、撮影時刻順にではなく、それぞれの画像を対象としたクラスタリングが行われる。
【０１８９】
例えば、図１３に示されるように、ノードｎ１の左の子ノードとして画像ｐ１が連結され、右の子ノードとして画像ｐ２が連結されている状態で、画像ｐ１よりも新しく、画像ｐ２より古い画像である画像ｐ３がツリーに新たに挿入された場合、図２８に示されるように、画像ｐ１の撮影時刻と画像ｐ３の撮影時刻の時間間隔tdp1p3が、画像ｐ２の撮影時刻と画像ｐ３の撮影時刻の時間間隔tdp2p3より大きいときには、図２９に示されるように、ノードｎ２が新たに作られる。ノードｎ２には、その左の子ノードとして画像ｐ３が連結され、右の子ノードとして画像ｐ２が連結される。また、ノードｎ２が、画像ｐ２の代わりに右の子ノードとしてノードｎ１に連結される。
【０１９０】
ノードｎ２の最小時刻として画像ｐ３の撮影時刻が記録され、最大時刻として画像ｐ２の撮影時刻が記録される。このとき、ノードｎ２の親のノードであるノードｎ１の最小時刻と最大時刻に変更はない（最小時刻は画像ｐ１の撮影時刻、最大時刻は画像ｐ２の撮影時刻のままとなる）。
【０１９１】
一方、図１３に示されるように、ノードｎ１の左の子ノードとして画像ｐ１が連結され、右の子ノードとして画像ｐ２が連結されている状態で、画像ｐ１よりも新しく、画像ｐ２より古い画像である画像ｐ３がツリーに新たに挿入され、図３０に示されるように、画像ｐ１の撮影時刻と画像ｐ３の撮影時刻の時間間隔tdp1p3が、画像ｐ２の撮影時刻と画像ｐ３の撮影時刻の時間間隔tdp2p3より小さいとき、図３１に示されるように、ノードｎ２が新たに作られる。ノードｎ２には、その左の子ノードとして画像ｐ１が連結され、右の子ノードとして画像ｐ３が連結される。また、ノードｎ２が、画像ｐ１の代わりに左の子ノードとしてノードｎ１に連結される。
【０１９２】
ノードｎ２の最小時刻として画像ｐ１の撮影時刻が記録され、最大時刻として画像ｐ３の撮影時刻が記録される。このとき、ノードｎ２の親のノードであるノードｎ１の最小時刻と最大時刻に変更はない（最小時刻は画像ｐ１の撮影時刻、最大時刻は画像ｐ２の撮影時刻のままとなる）。
【０１９３】
また、図１３に示されるように、ノードｎ１の左の子ノードとして画像ｐ１が連結され、右の子ノードとして画像ｐ２が連結されている状態で、画像ｐ１よりも古い画像である画像ｐ３がツリーに新たに挿入された場合、図３２に示されるように、画像ｐ１の撮影時刻と画像ｐ３の撮影時刻の時間間隔tdp1p3が、画像ｐ１の撮影時刻と画像ｐ２の撮影時刻の時間間隔tdp1p2より小さいときには、図３３に示されるように、ノードｎ２が新たに作られる。ノードｎ２には、その左の子ノードとして画像ｐ３が連結され、右の子ノードとして画像ｐ１が連結される。また、ノードｎ２が、画像ｐ１の代わりに左の子ノードとしてノードｎ１に連結される。
【０１９４】
ノードｎ２の最小時刻として画像ｐ３の撮影時刻が記録され、最大時刻として画像ｐ１の撮影時刻が記録される。このとき、ノードｎ２の親のノードであるノードｎ１の最小時刻が画像ｐ３の撮影時刻で上書きされる。ノードｎ１の最大時刻に変更はない（最大時刻は画像ｐ２の撮影時刻のままとなる）。
【０１９５】
一方、図１３に示されるように、ノードｎ１の左の子ノードとして画像ｐ１が連結され、右の子ノードとして画像ｐ２が連結されている状態で、画像ｐ１よりも古い画像である画像ｐ３がツリーに新たに挿入され、図３４に示されるように、画像ｐ１の撮影時刻と画像ｐ３の撮影時刻の時間間隔tdp1p3が、画像ｐ１の撮影時刻と画像ｐ２の撮影時刻の時間間隔tdp1p2より大きいときには、図３５に示されるように、ノードｎ２が新たにルートノードとして作られる。また、ノードｎ２には、その左の子ノードとして画像ｐ３が連結され、右の子ノードとしてノードｎ１が連結される。
【０１９６】
ノードｎ２の最小時刻として画像ｐ３の撮影時刻が記録され、最大時刻として画像ｐ２の撮影時刻が記録される。このとき、ノードｎ１の最小時刻と最大時刻に変更はない（最小時刻は画像ｐ１の撮影時刻、最大時刻は画像ｐ２の撮影時刻のままとなる）。
【０１９７】
画像ｐ４以降が新たに挿入された場合も同様に、その画像ｐ４が、クラスタリングが既に行われた画像の中で最も新しい画像である場合には、図１２乃至図２０を参照して説明したような処理が行われ、それ以外の場合には、図２８乃至図３５を参照して説明した処理が行われる。
【０１９８】
図６のイベント識別部６３においては、以上のようにして生成されたそれぞれのクラスタ（ノード）に１つのイベントが設定されることになる。従って、例えば、図２４に示されるようなクラスタが生成されている場合、クラスタＡ1に対しては、画像ｐ１乃至ｐ１７自体やそれらの画像のEXIF情報から抽出されたメタデータの平均がクラスタのメタデートされ、クラスタのメタデータに基づいて識別されたイベントが対応付けて管理される。これにより、ユーザは、あるイベントを指定して、指定したイベントが設定されたクラスタに含まれる画像だけを閲覧したりすることができる。
【０１９９】
図６の説明に戻り、ユーザインタフェース制御部６５はディスプレイの表示を制御する。例えば、ユーザインタフェース制御部６５は、画像DB６１から読み出した画像を表示させるとともに、イベント識別部６３により管理されているメタデータに記述されるイベントの識別結果を表示する。これにより、図２に示されるような、画像と、それを撮影したときのイベントが表示される画面がディスプレイに表示される。
【０２００】
また、ユーザインタフェース制御部６５は、あるグループの画像を表示しているとき、そのグループと同じイベントが設定されているグループを演算部６４の階層決定部８２により管理されている情報に基づいて判断し、同じイベントが設定されているグループの代表画を並べて表示させる。これにより、図３に示されるような、同じイベントが設定されたグループの代表画が並んで表示される画面がディスプレイに表示される。
【０２０１】
次に、以上のような構成を有するパーソナルコンピュータ１の動作について説明する。
【０２０２】
はじめに、１枚の画像のイベントを識別し、図２に示されるような画面を表示させるパーソナルコンピュータ１の一連の処理について図３６と図３７のフローチャートを参照して説明する。
【０２０３】
図３６は、パーソナルコンピュータ１のイベント識別処理について説明するフローチャートである。
【０２０４】
ステップＳ１において、通信部４９は、記録媒体に記録されている画像をEXIF情報とともにディジタルカメラ２から取り込む。通信部４９により取り込まれた画像とEXIF情報は、例えば記憶部４８に形成される画像DB６１に記録され、所定のタイミングでイベント識別に用いられる。
【０２０５】
ステップＳ２において、特徴抽出部６２は、イベント識別の対象とする画像とEXIF情報から特徴を抽出する。すなわち、特徴抽出部６２のEXIF情報処理部７１により、EXIF情報に含まれる各種の情報のうちの所定の情報が抽出され、顔情報抽出部７２により、画像に写っている人の顔の情報が抽出される。また、類似画像認識処理部７３により、画像の色空間の情報などが抽出される。
【０２０６】
ステップＳ３において、特徴抽出部６２は、ステップＳ２で抽出した情報を記述したメタデータを生成し（画像をベクトル化し）、生成したメタデータをイベント識別部６３に出力する。
【０２０７】
ステップＳ４において、イベント識別部６３は、特徴抽出部６２から供給されたメタデータに記述される各種の情報から、あらかじめ用意される識別ファイルを参照してイベントを識別し、ステップＳ５に進み、識別したイベントをメタデータに書き込む。これにより、図８に示されるようなメタデータが画像毎に生成される。
【０２０８】
ステップＳ６において、イベント識別部６３は、生成したメタデータをファイルに書き込み、処理を終了させる。例えば、複数の画像のメタデータが１つのファイルで管理されており、生成されたメタデータが、この１つのファイルに書き込まれる。
【０２０９】
次に、図３７のフローチャートを参照して、パーソナルコンピュータ１の画像表示処理について説明する。
【０２１０】
ステップＳ１１において、ユーザインタフェース制御部６５は、表示対象の画像を画像DB６１から読み出し、読み出した画像を撮影したときのイベントをイベント識別部６３により管理されているメタデータから確認する。
【０２１１】
ステップＳ１２において、ユーザインタフェース制御部６５は、画像DB６１から読み出した画像を表示させるとともに、ステップＳ１１で確認したイベントを画像の近傍に表示させる。これにより、ディスプレイには、図２に示されるような画面が表示される。
【０２１２】
次に、クラスタに設定されたイベントに基づいて図３に示されるような画面を表示するパーソナルコンピュータ１の一連の処理について図３８乃至図４０を参照して説明する。
【０２１３】
はじめに、図３８のフローチャートを参照して、クラスタデータを生成するパーソナルコンピュータ１の処理について説明する。
【０２１４】
ステップＳ２１において、通信部４９は、記録媒体に記録されている画像をEXIF情報とともにディジタルカメラ２から取り込む。取り込まれた画像とEXIF情報は画像DB６１に記録される。
【０２１５】
ステップＳ２２において、特徴抽出部６２のEXIF情報処理部７１は、イベント識別の対象となる画像のEXIF情報から撮影時刻を取得し、取得した撮影時刻を演算部６４に出力する。
【０２１６】
ステップＳ２３において、演算部６４のクラスタリング部８１は、EXIF情報処理部７１から供給された撮影時刻と、保持しているクラスタデータに基づいて、クラスタリングの対象となる画像全体からなる二分木構造を例えば図１２乃至図２０を参照して説明したようにして作成する。
【０２１７】
ステップＳ２４において、階層決定部８２は、二分木構造の所定の階層にある１つのノードに注目し、ステップＳ２５に進み、注目するノード内の全ての画像の撮影時刻の時間間隔の標準偏差sdを算出する。
【０２１８】
ステップＳ２６において、階層決定部８２は、注目するノードを親のノードとする子ノード間の時間間隔の偏差devを算出する。
【０２１９】
ステップＳ２７において、階層決定部８２は、ステップＳ２６で算出した偏差devの、ステップＳ２５で算出した標準偏差sdに対する比を算出し、算出した比を分割パラメータthとして、いま注目しているノードに記録する。
【０２２０】
ステップＳ２８において、階層決定部８２は、二分木構造の全てのノードに注目したか否かを判定し、注目していないと判定した場合、ステップＳ２４に戻り、注目するノードを切り替えてそれ以降の処理を繰り返す。
【０２２１】
一方、階層決定部８２は、ステップＳ２８において、二分木構成の全てのノードに注目したと判定した場合、ステップＳ２９に進み、グループ化条件としての閾値を設定する。同じ画像を対象として異なる粒度のクラスタを求める場合、ここでは、複数のグループ化条件が設定される。
【０２２２】
ステップＳ３０において、階層決定部８２は、ステップＳ２９で設定したグループ化条件としての閾値と、それぞれのノードに設定された分割パラメータthを比較し、例えば、分割パラメータthが閾値を越えるノードには１の値の分割フラグを設定し、閾値を越えないノードには０の値の分割フラグを設定する。グループ化条件が複数設定されている場合、それぞれのグループ化条件について分割パラメータの設定が行われる。
【０２２３】
ステップＳ３１において、階層決定部８２は、二分木構造のそれぞれのノードに昇順で注目し、分割フラグに１の値が設定されているノードを境界としてクラスタを分け、それぞれのクラスタの範囲を表すクラスタデータを作成する。
【０２２４】
ステップＳ３２において、階層決定部８２は、作成したクラスタデータを保存し、処理を終了させる。
【０２２５】
次に、図３９のフローチャートを参照して、以上のようにして生成されたクラスタのイベントを識別するパーソナルコンピュータ１の処理について説明する。
【０２２６】
ステップＳ４１において、イベント識別部６３は、階層決定部８２により管理されているクラスタデータを読み込み、ステップＳ４２に進み、クラスタの特徴を抽出する。例えば、それぞれのクラスタに含まれる画像のメタデータの平均が求められ、クラスタの特徴とされる。
【０２２７】
ステップＳ４３において、イベント識別部６３は、ステップＳ４２で求めたクラスタの特徴が記述されたメタデータを生成する。
【０２２８】
ステップＳ４４において、イベント識別部６３は、ステップＳ４３で生成したメタデータに基づいてクラスタのイベントを識別し、ステップＳ４５に進み、それぞれのクラスタとイベントの識別結果を対応付けることによってイベントの設定（ラベリング）を行う。設定されたイベントの情報は階層決定部８２に出力される。
【０２２９】
ステップＳ４６において、階層決定部８２は、それぞれのクラスタにイベントが設定された二分木構造を表すクラスタデータを保存し、処理を終了させる。
【０２３０】
次に、図４０のフローチャートを参照して、パーソナルコンピュータ１の画像表示処理について説明する。
【０２３１】
ステップＳ５１において、ユーザインタフェース制御部６５は、ある画像を表示してユーザに閲覧させる。
【０２３２】
例えば、画像を表示している状態で所定の操作が行われたとき、ユーザインタフェース制御部６５は、ステップＳ５２において、それぞれのクラスタにイベントが設定された二分木構造を表すクラスタデータを演算部６４の階層決定部８２から読み込む。
【０２３３】
ステップＳ５３において、ユーザインタフェース制御部６５は、ユーザに閲覧させている画像を撮影したときのイベントと同じイベントが設定されたクラスタであって、かつ、同じ粒度のクラスタを閲覧対象のクラスタとして選択する。例えば、ここで選択されたクラスタの代表画が表示され、それぞれの代表画で表されるクラスタの中から選択された１つのクラスタに含まれる全ての画像がサムネイル表示されることによって、図３に示されるような閲覧画面の表示が実現される。
【０２３４】
ユーザが見ている画像と同じイベントで撮影した画像が自動的に提示されるから、これにより、ユーザの記憶を想起させることができる。
【０２３５】
なお、ユーザの記憶の想起を図るための画面の表示は、図３に示されるものに限られず、他の表示によってユーザの記憶の想起を図ることもできる。
【０２３６】
図４１は、画像の閲覧画面の他の例を示す図である。
【０２３７】
画面の横方向に表示される帯状の領域９１は、撮影時刻に従って時系列順に並べられた、それぞれのクラスタの代表画が表示される領域である。右側が時間的に後の時刻を示し、図４１の例においては、画像９１Ａ乃至９１Ｆが左から順に表示されている。
【０２３８】
また、図４１の例においては、クラスタに含まれる画像が、領域９１と直交する方向の縦方向に並べて表示されるようになされており、帯状の領域９２と９３が表示されている。
【０２３９】
例えば、領域９１に並べて表示されている画像の中からユーザが画像９１Ｂを選択したとき、画像９１Ｂの位置を基準として、画像９１Ｂを代表画とするクラスタに含まれる画像が領域９２に表示される。
【０２４０】
また、ユーザが画像９１Ｂを選択したとき、領域９２に画像が表示されることに連動して、画像９１Ｅの位置を基準として、画像９１Ｅを代表画とするクラスタに含まれる画像が領域９３に表示される。このような表示は、ユーザが領域９１の中から選択した画像９１Ｂを代表画とするクラスタに設定されているイベントと、画像９１Ｅを代表画とするクラスタに設定されているイベントが同じであることに基づいて行われるものである。
【０２４１】
すなわち、図４１の画面においては、領域９１に表示されているものの中からある画像にユーザが注目したとき、注目した画像を代表画とするクラスタに含まれる画像が表示されるとともに、そのクラスタと同じイベントが設定されたクラスタに含まれる画像が、自動的に表示される。同じような状況で撮影した画像が自動的に表示されるから、このような表示によっても、ユーザの記憶の想起が図られることになる。
【０２４２】
同様に、例えば、図４１の状態から、ユーザが、注目する画像を画像９１Ｃに切り替えたとき、画像９１Ｃを代表画とするクラスタに含まれる画像が画像９１Ｃの位置を基準として縦方向に並べて表示されるとともに、それに連動して、画像９１Ｃを代表画とするクラスタと同じイベントが設定されたクラスタに含まれる画像も、そのクラスタの代表画の位置を基準として縦方向に並べて表示される。
【０２４３】
なお、図４１において、画面のほぼ中央に形成される領域９４は、ユーザが選択した所定のクラスタに含まれる画像がスライドショー表示される領域であり、領域９５は、スライドショー表示されている画像の情報が表示される領域である。また、画面の右方に形成される領域９６は、ユーザが注目している画像（図４１の場合、画像９１Ｂ）の情報と、ユーザが注目している画像を代表画とするクラスタと同じイベントが設定されているクラスタの代表画（図４１の場合、画像９１Ｅ）の情報が表示される領域である。
【０２４４】
以上においては、イベントの識別はパーソナルコンピュータ１により行われるものとしたが、ネットワーク上のサーバによりイベントの識別が行われ、画像やEXIF情報をサーバに送信してきたユーザに識別結果が返されるイベント識別サービスが実現されるようにしてもよい。
【０２４５】
図４２は、イベント識別サービスを実現する構成の例を示す図である。
【０２４６】
図４２においては、ディジタルカメラ２とサーバ１０１がインターネットなどのネットワーク１０２を介して接続され、ディジタルカメラ２とサーバ１０１が通信を行うことができるようになされている。
【０２４７】
例えば、ディジタルカメラ２のユーザが所定の操作を行ったとき、ディジタルカメラ２内に記録されている画像がEXIF情報とともにネットワーク１０２を介してサーバ１０１に送信され、ディジタルカメラ２から送信された情報を受信したサーバ１０１において、上述したようなイベント識別が行われる。イベントの識別結果は、ディジタルカメラ２やユーザが使用するパーソナルコンピュータにネットワーク１０２を介して送信され、図２に示されるような閲覧画面を表示させるために用いられる。
【０２４８】
このように、ネットワーク１０２を介して接続されるサーバ１０１上でイベントの識別が行われ、画像やEXIF情報を送信してきた機器に対してイベントの識別結果がサーバ１０１から返されるようなサービスが実現されるようにしてもよい。
【０２４９】
なお、上述したようなクラスタリングもサーバ１０１において行われ、クラスタリング結果がサーバ１０１から返されることによって、イベントの識別結果とクラスタリング結果を受信した機器において、図３に示されるような画面が表示されるようにしてもよい。また、イベント識別に用いられるメタデータがディジタルカメラ２において抽出され、画像自体は送信されることなく、抽出されたメタデータだけがサーバ１０１に送信され、サーバ１０１においてイベントの識別が行われるようにしてもよい。
【０２５０】
以上においては、「旅行」、「花見」、「花火」、「ドライブ・おでかけ」、「飲み会」、「結婚式」、「バーベキュー・キャンプ」、「スポーツ」の８つのイベントが識別されるものとしたが、他のイベントを識別するための識別ファイルを学習によって生成し、あらかじめ用意しておくことによって他の様々なイベントを識別することができるようにしてもよい。
【０２５１】
また、イベントを識別するために用いられるデータは、図８に示されるようなデータに限られるものではなく、撮影した画像やEXIF情報から得られた他のデータなどの各種の情報を用いることも可能である。例えば、GPS(Global Positioning System)センサにより得られた撮影位置の情報などが用いられるようにしてもよい。
【０２５２】
以上においては、イベントの識別やクラスタリング、あるいは、それらの結果を用いた画像の表示がパーソナルコンピュータ１において行われるものとしたが、このような機能が、ディジタルカメラ自体や、ディジタルカメラを内蔵する携帯電話機、PDA(Personal Digital Assistants)、ポータブルゲーム機などの他の機器に搭載されるようにしてもよい。
【０２５３】
また、以上においては、ディジタルカメラ２により撮影された画像（静止画）を対象としてイベントの識別が行われるものとしたが、動画を撮影したときのイベントの識別や、音楽の雰囲気の識別などの、他のコンテンツを対象とした識別が行われるようにしてもよい。音楽の雰囲気を識別することができる場合、例えば、あるイベントで撮影した画像をスライドショー表示しているときに、そのイベントにあった雰囲気の音楽を自動的に再生したりすることができる。
【０２５４】
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０２５５】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば、汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０２５６】
この記録媒体は、図５に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布されるリムーバブルメディア５１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM４２や、記憶部４８に含まれるハードディスクなどで構成される。
【０２５７】
なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【図面の簡単な説明】
【０２５８】
【図１】本発明の一実施形態に係るパーソナルコンピュータに、ディジタルカメラが接続されている状態を示す図である。
【図２】画像の閲覧画面の例を示す図である。
【図３】画像の閲覧画面の他の例を示す図である。
【図４】パーソナルコンピュータにおける画像の管理の概念を示す図である。
【図５】パーソナルコンピュータの構成例を示すブロック図である。
【図６】パーソナルコンピュータの機能構成例を示すブロック図である。
【図７】特徴抽出部により抽出される情報の例を示す図である。
【図８】メタデータの例を示す図である。
【図９】学習とテストの概念を示す図である。
【図１０】学習の具体的な例を示す図である。
【図１１】テストの具体的な例を示す図である。
【図１２】二分木構造の作成について説明する図である。
【図１３】二分木構造の作成について説明する図１２に続く図である。
【図１４】二分木構造の作成について説明する図１３に続く図である。
【図１５】二分木構造の作成について説明する図１４に続く図である。
【図１６】二分木構造の作成について説明する図１５に続く図である。
【図１７】二分木構造の作成について説明する図１６に続く図である。
【図１８】二分木構造の作成について説明する図１７に続く図である。
【図１９】二分木構造の作成について説明する図１８に続く図である。
【図２０】二分木構造の作成について説明する図１９に続く図である。
【図２１】グループ化条件に基づくクラスタリングについて説明する図である。
【図２２】クラスタの粒度の例を示す図である。
【図２３】グループＡ分割フラグの設定の例を示す図である。
【図２４】グループ化条件Ａに基づくクラスタリング結果の例を示す図である。
【図２５】グループＢ分割フラグの設定の例を示す図である。
【図２６】グループ化条件Ｂに基づくクラスタリング結果の例を示す図である。
【図２７】クラスタの入れ子関係を示す図である。
【図２８】二分木構造の作成について説明する他の図である。
【図２９】二分木構造の作成について説明する図２８に続く図である。
【図３０】二分木構造の作成について説明する図２９に続く図である。
【図３１】二分木構造の作成について説明する図３０に続く図である。
【図３２】二分木構造の作成について説明する図３１に続く図である。
【図３３】二分木構造の作成について説明する図３２に続く図である。
【図３４】二分木構造の作成について説明する図３３に続く図である。
【図３５】二分木構造の作成について説明する図３４に続く図である。
【図３６】パーソナルコンピュータのイベント識別処理について説明するフローチャートである。
【図３７】パーソナルコンピュータの画像表示処理について説明するフローチャートである。
【図３８】パーソナルコンピュータのクラスタデータ生成処理について説明するフローチャートである。
【図３９】パーソナルコンピュータの他のイベント識別処理について説明するフローチャートである。
【図４０】パーソナルコンピュータの他の画像表示処理について説明するフローチャートである。
【図４１】画像の閲覧画面の他の例を示す図である。
【図４２】イベント識別サービスを実現する構成の例を示す図である。
【符号の説明】
【０２５９】
１  パーソナルコンピュータ，  ２  ディジタルカメラ，  ６１  画像DB，  ６２  特徴抽出部，  ６３  イベント識別部，  ６４  演算部，  ６５  ユーザインタフェース制御部，  ７１  EXIF情報処理部，  ７２  顔情報抽出部，  ７３  類似画像認識処理部，  ８１  クラスタリング部，  ８２  階層決定部
【図１】
2007129434.tif 000009
【図２】
2007129434.tif 000010
【図３】
2007129434.tif 000011
【図４】
2007129434.tif 000012
【図５】
2007129434.tif 000013
【図６】
2007129434.tif 000014
【図７】
2007129434.tif 000015
【図８】
2007129434.tif 000016
【図９】
2007129434.tif 000017
【図１０】
2007129434.tif 000018
【図１１】
2007129434.tif 000019
【図１２】
2007129434.tif 000020
【図１３】
2007129434.tif 000021
【図１４】
2007129434.tif 000022
【図１５】
2007129434.tif 000023
【図１６】
2007129434.tif 000024
【図１７】
2007129434.tif 000025
【図１８】
2007129434.tif 000026
【図１９】
2007129434.tif 000027
【図２０】
2007129434.tif 000028
【図２１】
2007129434.tif 000029
【図２２】
2007129434.tif 000030
【図２３】
2007129434.tif 000031
【図２４】
2007129434.tif 000032
【図２５】
2007129434.tif 000033
【図２６】
2007129434.tif 000034
【図２７】
2007129434.tif 000035
【図２８】
2007129434.tif 000036
【図２９】
2007129434.tif 000037
【図３０】
2007129434.tif 000038
【図３１】
2007129434.tif 000039
【図３２】
2007129434.tif 000040
【図３３】
2007129434.tif 000041
【図３４】
2007129434.tif 000042
【図３５】
2007129434.tif 000043
【図３６】
2007129434.tif 000044
【図３７】
2007129434.tif 000045
【図３８】
2007129434.tif 000046
【図３９】
2007129434.tif 000047
【図４０】
2007129434.tif 000048
【図４１】
2007129434.tif 000049
【図４２】
2007129434.tif 000050