(57)【要約】【課題】  ユーザーが容易に写真グループをアルバムに保存し、他のユーザーとグループ化された写真を共有することが可能なデジタル写真アルバムの状況基盤クラスタリング装置を提供する。【解決手段】  クラスタリング装置は、写真を記述し、少なくとも写真識別子を含む写真記述情報を生成する写真記述情報生成部１１０と、デジタル写真の状況基盤クラスタリングのための所定のパラメータを含むアルバムツール記述情報を生成するアルバムツール記述情報生成部１２０と、写真記述情報及びアルバムツール記述情報を利用して状況基盤クラスタリングにより写真アルバム化を行うアルバムツール１３０と、アルバムツール１３０の出力から所定の写真グループ記述情報を生成する写真グループ情報生成部１４０と、写真記述情報及び写真グループ記述情報を利用して所定の写真アルバム情報を生成する写真アルバム情報生成部１５０と、を備えている。【選択図】      図１
2005317004.tif 000002
【特許請求の範囲】
【請求項１】
状況基盤クラスタリングしようとする写真を撮影時刻順に整列する写真整列部と、
撮影時刻順に整列された前記写真のうち、連続した二枚の写真のそれぞれについて時刻特徴値を取得する時刻特徴値取得部と、
前記連続した二枚の写真のそれぞれについて所定の内容基盤特徴値を抽出する内容基盤特徴値抽出部と、
前記連続した二枚の写真のそれぞれについて前記時刻特徴値に所定の時刻特徴値の重要度を反映し、かつ、前記内容基盤特徴値に所定の内容基盤特徴値の重要度を反映することによって、前記連続した二枚の写真間の非類似度を測定する非類似度測定部と、
前記非類似度値の変化量が所定の閾値以上である場合に、状況変化であると判断して状況変化を検出する状況変化検出部と、
を備えていることを特徴とするデジタル写真の状況変化検出装置。
【請求項２】
前記内容基盤特徴値は、写真の画素情報を利用して生成され、色、質感及び形状特徴値を含むビジュアル記述子と、音声特徴値を含むオーディオ記述子と、を含むことを特徴とする請求項１に記載のデジタル写真の状況変化検出装置。
【請求項３】
前記時刻特徴値の重要度及び前記内容基盤特徴値の重要度は、
写真の全体的な明度情報、写真の複雑度情報、写真の均一な質感情報、写真のエッジ情報、写真が白黒写真であるか否かに関する情報、写真の色表現の華やかさ程度を表す情報、写真に表された全体色の凝集度を表す情報、写真の色の色温度を表す情報、写真ファイルが撮影時刻情報を含んでいるか否かを表す情報、同時間帯に複数のカメラで撮影された写真が同時にクラスタリングされる場合、一の写真の時刻情報が他のカメラで撮影された写真の時刻情報と重なって、一の写真が状況基盤クラスタリングされる際に時刻情報の重要度が低下することを表す情報、写真撮影時に写真と共に保存されたユーザーの音声情報がオーディオクリップファイルとして含まれているか否かを表す情報、及び、写真のオーディオファイルで認識された音声単語及び文章列を表す情報のうち、少なくとも一つを含む状況基盤クラスタリングヒントを参照して決定されることを特徴とする請求項１または請求項２に記載のデジタル写真の状況変化検出装置。
【請求項４】
写真を記述し、少なくとも写真識別子を含む写真記述情報を生成する写真記述情報生成部と、
デジタル写真の状況基盤クラスタリングのための所定のパラメータを含むアルバムツール記述情報を生成するアルバムツール記述情報生成部と、
少なくとも前記写真記述情報及び前記アルバムツール記述情報を利用して状況基盤クラスタリングにより写真アルバム化を行うアルバムツールと、
前記アルバムツールの出力から所定の写真グループ記述情報を生成する写真グループ情報生成部と、
前記写真記述情報及び前記写真グループ記述情報を利用して所定の写真アルバム情報を生成する写真アルバム情報生成部と、
を備えていることを特徴とするデジタル写真アルバムの状況基盤クラスタリング装置。
【請求項５】
前記写真記述情報は、写真識別子、写真を撮影した作者に関する情報、写真ファイル情報、カメラ情報、撮影情報及び内容基盤特徴値のうち、少なくとも前記写真識別子を含んでおり、
前記内容基盤特徴値は、写真の画素情報を利用して生成され、色、質感及び形状特徴値を含むビジュアル記述子と、音声特徴値を含むオーディオ記述子と、を含むことを特徴とする請求項４に記載のデジタル写真アルバムの状況基盤クラスタリング装置。
【請求項６】
前記アルバムツール記述情報生成部は、
写真をクラスタリングする前に写真を整列するための項目を生成する整列キー生成部、
写真クラスタリングを手助けするための状況基盤クラスタリングヒントを生成する状況基盤クラスタリングヒント生成部、
及び、写真クラスタリングに使用される情報の重要度を生成する重要度生成部のうち、少なくとも一つを備えていることを特徴とする請求項４または請求項５に記載のデジタル写真アルバムの状況基盤クラスタリング装置。
【請求項７】
前記整列キー生成部の写真整列項目は、ファイル名、撮影日時及び写真ファイル生成日時のうち、少なくとも一つを含むことを特徴とする請求項６に記載のデジタル写真アルバムの状況基盤クラスタリング装置。
【請求項８】
前記状況基盤クラスタリングヒント部の状況基盤クラスタリングヒントは、
写真の全体的な明度情報、写真の複雑度情報、写真の均一な質感情報、写真のエッジ情報、写真が白黒写真であるか否かに関する情報、写真の色表現の華やかさ程度を表す情報、写真に表された全体色の凝集度を表す情報、写真の色の色温度を表す情報、写真ファイルが撮影時刻情報を含んでいるか否かを表す情報、同時間帯に複数のカメラで撮影された写真が同時にクラスタリングされる場合、一の写真の時刻情報が他のカメラで撮影された写真の時刻情報と重なって、一の写真が状況基盤クラスタリングされる際に時刻情報の重要度が低下することを表す情報、写真撮影時に写真と共に保存されたユーザーの音声情報がオーディオクリップファイルとして含まれているか否かを表す情報、及び、写真のオーディオファイルで認識された音声単語及び文章列を表す情報のうち、少なくとも一つを含むことを特徴とする請求項６または請求項７に記載のデジタル写真アルバムの状況基盤クラスタリング装置。
【請求項９】
前記重要度生成部の重要度は、
写真が撮影された時刻に関する情報の重要度を設定するための情報、及び、写真の内容基盤特徴値情報の重要度を設定するための情報のうち、少なくとも一つを含むことを特徴とする請求項６から請求項８のいずれか一項に記載のデジタル写真アルバムの状況基盤クラスタリング装置。
【請求項１０】
前記写真の内容基盤特徴値情報の重要度を設定するための情報は、ＭＰＥＧ−７ビジュアル記述子の重要度を設定するための情報と、ＭＰＥＧ−７オーディオ記述子の重要度を設定するための情報と、を含むことを特徴とする請求項９に記載のデジタル写真アルバムの状況基盤クラスタリング装置。
【請求項１１】
前記アルバムツールは、デジタル写真データを状況に基づいてクラスタリングする状況基盤写真クラスタリングツールを備えていることを特徴とする請求項４から請求項１０のいずれか一項に記載のデジタル写真アルバムの状況基盤クラスタリング装置。
【請求項１２】
前記状況基盤写真クラスタリングツールは、
状況基盤クラスタリングしようとする写真を撮影時刻順に整列する写真整列部と、
撮影時刻順に整列された前記写真のうち、連続した二枚の写真のそれぞれについて前記写真記述情報生成部から時刻特徴値を取得する時刻特徴値取得部と、
前記連続した二枚の写真のそれぞれについて、前記写真記述情報生成部から内容基盤特徴値を抽出する内容基盤特徴値抽出部と、
前記連続した二枚の写真のそれぞれについて、前記時刻特徴値取得部から取得された時刻特徴値に前記アルバムツール記述情報生成部から取得された時刻特徴値の重要度を反映して、前記内容基盤特徴値抽出部から抽出された内容基盤特徴値に前記アルバムツール記述情報生成部から取得された内容基盤特徴値の重要度を反映して前記二枚の写真間の非類似度を測定する非類似度測定部と、
前記非類似度値の変化量を利用することによって、状況変化を判断して状況変化を検出する状況変化検出部と、
を備えていることを特徴とする請求項１１に記載のデジタル写真アルバムの状況基盤クラスタリング装置。
【請求項１３】
前記時刻特徴値の重要度及び前記内容基盤特徴値の重要度は、
前記アルバムツール記述情報生成部の状況基盤クラスタリングヒントを参照して決定されることを特徴とする請求項１２に記載のデジタル写真アルバムの状況基盤クラスタリング装置。
【請求項１４】
前記写真グループ情報生成部の写真グループ記述情報は、
少なくとも一つの状況基盤写真クラスタリングによる状況基盤写真グループを含み、
前記状況基盤写真グループは、
状況を識別するための状況識別子と、
写真識別子により定められる複数の写真から構成される写真列と、
写真グループ内の写真のうち、一つ以上の代表写真を識別するための写真キー識別子と、
を含むことを特徴とする請求項４から請求項１３のいずれか一項に記載のデジタル写真アルバムの状況基盤クラスタリング装置。
【請求項１５】
状況基盤クラスタリングしようとする写真を撮影時刻順に整列するステップと、
撮影時刻順に整列された前記写真のうち、連続した二枚の写真のそれぞれについて時刻特徴値と所定の内容基盤特徴値とを取得するステップと、
前記連続した二枚の写真のそれぞれについて、前記時刻特徴値に所定の時刻特徴値の重要度を反映して、前記内容基盤特徴値に所定の内容基盤特徴値の重要度を反映して前記連続した二枚の写真間の非類似度を測定するステップと、
前記非類似度値の変化量が所定の閾値以上である場合に、状況変化であると判断して状況変化を検出するステップと、
を含むことを特徴とするデジタル写真の状況変化検出方法。
【請求項１６】
前記内容基盤特徴値は、
写真の画素情報を利用して生成され、色、質感及び形状特徴値を含むビジュアル記述子と、音声特徴値を含むオーディオ記述子と、を含むことを特徴とする請求項１５に記載のデジタル写真の状況変化検出方法。
【請求項１７】
前記時刻特徴値の重要度及び内容基盤特徴値の重要度は、
写真の全体的な明度情報、写真の複雑度情報、写真の均一な質感情報、写真のエッジ情報、写真が白黒写真であるか否かに関する情報、写真の色表現の華やかさ程度を表す情報、写真に表された全体色の凝集度を表す情報、写真の色の色温度を表す情報、写真ファイルが撮影時刻情報を含んでいるか否かを表す情報、同時間帯に複数のカメラで撮影された写真が同時にクラスタリングされる場合、一の写真の時刻情報が他のカメラで撮影された写真の時刻情報と重なって、一の写真が状況基盤クラスタリングされる際に時刻情報の重要度が低下することを表す情報、写真撮影時に写真と共に保存されたユーザーの音声情報がオーディオクリップファイルとして含まれているか否かを表す情報、及び、写真のオーディオファイルで認識された音声単語及び文章列を表す情報のうち、少なくとも一つを含む状況基盤クラスタリングヒントを参照して決定されることを特徴とする請求項１５または請求項１６に記載のデジタル写真の状況変化検出方法。
【請求項１８】
（ａ）写真を撮影したカメラに関するカメラ情報、写真の撮影情報、及び写真の内容基盤特徴値のうち、少なくとも一つを抽出して写真記述情報を生成するステップと、
（ｂ）デジタル写真の状況基盤クラスタリングのための所定のパラメータを含むアルバムツール記述情報を生成するステップと、
（ｃ）少なくとも前記写真記述情報及び前記アルバムツール記述情報を利用して状況基盤クラスタリングにより写真アルバム化を行うステップと、
（ｄ）状況基盤クラスタリングされた結果を利用して写真グループ記述情報を生成するステップと、
（ｅ）前記写真記述情報及び前記写真グループ記述情報を利用して所定の写真アルバム情報を生成するステップと、
を含むことを特徴とするデジタル写真アルバムの状況基盤クラスタリング方法。
【請求項１９】
前記（ａ）ステップの写真記述情報は、写真識別子、写真を撮影した作者に関する情報、写真ファイル情報、カメラ情報、撮影情報及び内容基盤特徴値のうち、少なくとも前記写真識別子を含んでおり、
前記内容基盤特徴値は、写真の画素情報を利用して生成され、色、質感及び形状特徴値を含むビジュアル記述子と、音声特徴値を含むオーディオ記述子と、を含むことを特徴とする請求項１８に記載のデジタル写真アルバムの状況基盤クラスタリング方法。
【請求項２０】
前記（ｂ）ステップのアルバムツール記述情報は、
写真をクラスタリングする前に写真を整列するための整列キー、
写真クラスタリングを手助けするための状況基盤クラスタリングヒントを生成する状況基盤クラスタリングヒント、
及び、写真クラスタリングに使用される情報の重要度を生成する重要度のうち、少なくとも一つを含むことを特徴とする請求項１８または請求項１９に記載のデジタル写真アルバムの状況基盤クラスタリング方法。
【請求項２１】
前記整列キーは、ファイル名、撮影日時及び写真ファイル生成日時のうち、少なくとも一つを含むことを特徴とする請求項２０に記載のデジタル写真アルバムの状況基盤クラスタリング方法。
【請求項２２】
前記状況基盤クラスタリングヒントは、
写真の全体的な明度情報、写真の複雑度情報、写真の均一な質感情報、写真のエッジ情報、写真が白黒写真であるか否かに関する情報、写真の色表現の華やかさ程度を表す情報、写真に表された全体色の凝集度を表す情報、写真の色の色温度を表す情報、写真ファイルが撮影時刻情報を含んでいるか否かを表す情報、同時間帯に複数のカメラで撮影された写真が同時にクラスタリングされる場合、一の写真の時刻情報が他のカメラで撮影された写真の時刻情報と重なって、一の写真が状況基盤クラスタリングされる際に時刻情報の重要度が低下することを表す情報、写真撮影時に写真と共に保存されたユーザーの音声情報がオーディオクリップファイルとして含まれているか否かを表す情報、及び、写真のオーディオファイルで認識された音声単語及び文章列を表す情報のうち、少なくとも一つを含むことを特徴とする請求項２０または請求項２１に記載のデジタル写真アルバムの状況基盤クラスタリング方法。
【請求項２３】
前記重要度は、写真が撮影された時刻に関する情報の重要度を設定するための情報、及び、写真の内容基盤特徴値情報の重要度を設定するための情報のうち、少なくとも一つを含むことを特徴とする請求項２０から請求項２２のいずれか一項に記載のデジタル写真アルバムの状況基盤クラスタリング方法。
【請求項２４】
前記写真の内容基盤特徴値情報の重要度を設定するための情報は、ＭＰＥＧ−７ビジュアル記述子の重要度を設定するための情報と、ＭＰＥＧ−７オーディオ記述子の重要度を設定するための情報と、を含むことを特徴とする請求項２３に記載のデジタル写真アルバムの状況基盤クラスタリング方法。
【請求項２５】
前記（ｃ）ステップは、
状況基盤クラスタリングしようとする写真を撮影時刻順に整列するステップと、
撮影時間順に整列された前記写真のうち、連続した二枚の写真のそれぞれについて前記時刻特徴値及び所定の内容基盤特徴値を取得するステップと、
前記連続した二枚の写真のそれぞれについて、前記時刻特徴値に所定の時刻特徴値の重要度を反映して、前記内容基盤特徴値に内容基盤特徴値の重要度を反映して前記連続した二枚の写真間の非類似度を測定するステップと、
前記非類似度値の変化量を利用することによって、状況変化を判断して状況変化を検出するステップと、
を含むことを特徴とする請求項１８から請求項２４のいずれか一項に記載のデジタル写真アルバムの状況基盤クラスタリング方法。
【請求項２６】
前記時刻特徴値の重要度及び前記内容基盤特徴値の重要度は、
状況基盤クラスタリングヒントを参照して決定されることを特徴とする請求項２５に記載のデジタル写真アルバムの状況基盤クラスタリング方法。
【請求項２７】
前記（ｄ）ステップの写真グループ記述情報は、
少なくとも一つの状況基盤写真クラスタリングによる状況基盤写真グループを含み、
前記状況基盤写真グループは、
状況を識別するための状況識別子と、
写真識別子により定められる複数の写真から構成される写真列と、
写真グループ内の写真のうち、一つ以上の代表写真を識別するための写真キー識別子と、
を含むことを特徴とする請求項１８から請求項２６のいずれか一項に記載のデジタル写真アルバムの状況基盤クラスタリング方法。
【請求項２８】
請求項１５から請求項１７のいずれか一項に記載のデジタル写真の状況変化検出方法をコンピュータに実行させるためのプログラムを記録したことを特徴とするコンピュータ読取可能な記録媒体。
【請求項２９】
請求項１８から請求項２７のいずれか一項に記載のデジタル写真アルバムの状況基盤クラスタリング方法をコンピュータに実行させるためのプログラムを記録したことを特徴とするコンピュータ読取可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル写真アルバムに関し、特に、デジタル写真の状況変化検出装置及び方法、デジタル写真アルバムの状況基盤クラスタリング装置及び方法、並びにコンピュータ読取可能な記録媒体に関する。
【背景技術】
【０００２】
最近、デジタルカメラの使用が広まっている。このことは、デジタルカメラがアナログカメラとは違ってフィルムおよびフィルム印画過程を必要とせず、デジタルメモリ装置を使用することによっていつでもコンテンツを保存及び削除できるという長所によるものであると考えられる。デジタルカメラ技術の発展により、デジタルカメラの性能が強化されると共にサイズも小型化しているため、ユーザーはいつでもどこでもデジタルカメラを持ち運び写真を撮ることができるようになった。デジタル映像（画像）処理技術の発展により、デジタルカメラ映像はアナログカメラの画質に近づいており、デジタルコンテンツの保管及び伝送がアナログコンテンツよりも容易であるため、複数のユーザーがより自由にコンテンツを共有することができるようになった。したがって、デジタルカメラの使用が増え、このことがカメラの価格低下を引き起こし、結果的にデジタルカメラの需要がさらに増加している。
【０００３】
特に、近年のメモリ技術の発展により、今では高容量メモリが広く使用されている。そして、画質をあまり犠牲にしないデジタル映像圧縮技術の発展により、ユーザーは、一つのメモリ装置に数百枚から数千枚もの写真を保存できるようになった。結果的には、多くのユーザーが複数の写真を管理するための道具としてデジタル写真アルバムを使用している。
【０００４】
一般的に、デジタル写真アルバムは、ユーザーによって撮影された写真をデジタルカメラまたはメモリカードからユーザーのローカル保存装置に移し、それらの写真を便利に管理するために使用される。ユーザーは、デジタル写真アルバムを使用することによって、複数の写真を撮影時刻順またはイベント順に閲覧したり、他のユーザーと写真を共有したりする。
【０００５】
しかし、多くのユーザーが、既存のデジタル写真アルバムを利用して写真を管理するのに不便さを感じている。それは、既存のアルバムのほとんどは、写真をグループ化（grouping）してラベルリングする作業をユーザーに任せているためである。写真の枚数が多くなるほど、ユーザーが一枚ずつクラスタリングするのは困難になるため、ユーザーの不便さは更に増大する。したがって、ユーザーに所望の写真をより簡単且つ迅速に発見させることができ、複数の写真からなる所望のグループを生成させることができる手段がより望まれている。
【０００６】
非特許文献１では、多くのユーザーを対象とした調査を通じて、ユーザーによって要求されるデジタル写真アルバムの機能が調べられている。調査対象となったほとんどの人は、生涯の写真をアルバムに保存することを価値ある作業と考えていた。しかし、彼らは、複数の写真を一枚ずつグループ化することにかかる時間及び労力を不便だと感じており、他の人と写真を共有することに困難さを感じていた。
【０００７】
初期の関連研究及びシステムでは、写真は、撮影時刻に関する時刻情報のみを使用することによってグループ化されていた。代表的な研究として、非特許文献２に開示されたものが挙げられる。前記非特許文献２に開示された研究のように、撮影時刻に関する時刻情報のみを利用することによって、写真は大雑把にグループ化される。しかし、この手法は、時刻情報を記憶することなく写真が撮られたり、撮影後において写真編集過程中に時刻情報が紛失されたりした場合には使用できない。さらに、複数のカメラを使用することによって、同一時間帯に相異なる状況で撮影された写真が一度にグループ化される場合には、所望しないグループ化の結果が得られる可能性が非常に高い。
【０００８】
非特許文献３では、時刻情報を利用して写真を整列できる機能を有する写真アルバムが開発され、ユーザーを対象として開発されたシステムの実用性が調査されている。前記非特許文献３には、写真を撮影時刻順に整列するだけでも、ユーザーがアルバムを構成するのに非常に役立つことが開示されている。しかし、前記非特許文献３には、ユーザーの要求をより忠実に満足させるには、内容基盤検索（content-based search：「内容に基づく検索」ともいう。以下、本明細書において、「ＡＡに基づくＢＢ」を「ＡＡ基盤ＢＢ」と記載する。）、または、イベント基盤写真クラスタリング機能が追加されなければならない旨が追記されている。
【０００９】
前記したように、時刻情報のみを使用した写真グループ化の問題点を解決するための手法として、写真の内容基盤特徴値を利用する手法がある。今までも、写真の時刻情報と内容基盤特徴値とを共に利用した研究が幾つかあった。しかし、ほとんどの場合には、写真の色情報のみ内容基盤特徴値として使用されている。最も代表的な手法として、非特許文献４には、写真の時刻情報と色情報とを利用することによって、写真列をイベント基盤クラスタリングする手法が提案されている。しかし、非特許文献４に開示された手法は、内容基盤特徴値として写真の色ヒストグラム情報のみが使用されているため、明度の変化に非常に敏感であり、質感及び形状の変化を感知し難いという問題を有している。
【００１０】
最近では、デジタル写真ファイルのほとんどは、Ｅｘｉｆ（Exchangeable Image File）形式に適合している。Ｅｘｉｆは、ＪＥＩＤＡ（Japan Electronic Industry Development Association：社団法人  日本電子工業振興協会）によって作成されたファイル形式の標準規格である。Ｅｘｉｆファイルは、写真のピクセル情報だけでなく、写真が撮影されたときの時刻に関する情報などの撮影情報及びカメラ状態情報を記憶している。
【００１１】
また、ＩＳＯ／ＩＥＣ／ＪＴＣ１／ＳＣ２９／ＷＧ１１は、ＭＰＥＧ−７という名前で、内容基盤検索に必要な要素技術を、記述子と、記述子及び記述構造間の関係と、を表現するための記述インタフェースを用いて標準化している。色、質感、形状、動きなどの内容基盤特徴値を抽出する手法が、記述子として提案されている。記述構造は、内容をモデリングするために、二以上の記述子と記述構造との関係を定義すると共に、データがどのように表現されるかを定義している。
【００１２】
したがって、写真ファイルから得られた多様な情報と内容基盤特徴値が共に使用される場合には、より効率的な写真グループ化及び検索が実行可能である。したがって、そのような多様な情報を統合的に表現するための記述構造と、かかる構造を用いた写真グループ化及び検索を提供する写真アルバムが望まれている。
【００１３】
【非特許文献１】David Frohlich，「Requirement for photoware」，ACM CSCW，２００２年
【非特許文献２】Adrian Graham，「Time as essence for photo browsing through personal digital libraries」，ACM JCDL，２００２年
【非特許文献３】Kerry Rodden，「How do people manage their digital photographs」，ACM CHI，２００３年
【非特許文献４】Alexander C Loui，「Automated event clustering and quality screening of consumer pictures for digital albuming」，IEEE Transaction on Multimedia，vol.5，no.3，pp.390-401，200-3
【発明の開示】
【発明が解決しようとする課題】
【００１４】
本発明は、前記問題点を解決するために創案されたものであり、デジタルカメラなどのデジタル撮影装置によって撮影された写真ファイルに保存された基本的な写真情報と、写真の内容から抽出された多様な内容基盤特徴値情報と、を利用して、写真を撮影した状況に基づいて写真をクラスタリングするために、デジタル写真の状況変化を検出することが可能なデジタル写真の状況変化検出装置及び方法を提供することを課題とする。
【００１５】
また、本発明は、デジタルカメラなどのデジタル撮影装置によって撮影された写真でアルバムを構成するために、前記デジタル写真の状況変化検出装置及び方法を利用して写真を撮影した状況に基づいて写真をクラスタリングすることで、ユーザーが容易に写真グループをアルバムに保存し、他のユーザーとグループ化された写真を共有することが可能なデジタル写真アルバムの状況基盤クラスタリング装置及び方法、並びにコンピュータ読取可能な記録媒体を提供することを課題とする。
【課題を解決するための手段】
【００１６】
前記した技術的課題を解決するため、本発明に係るデジタル写真の状況変化検出装置は、状況基盤クラスタリングしようとする写真を撮影時刻順に整列する写真整列部と、撮影時刻順に整列された前記写真のうち、連続した二枚の写真のそれぞれについて時刻特徴値を取得する時刻特徴値取得部と、前記連続した二枚の写真のそれぞれについて所定の内容基盤特徴値を抽出する内容基盤特徴値抽出部と、前記連続した二枚の写真のそれぞれについて前記時刻特徴値に所定の時刻特徴値の重要度を反映し、かつ、前記内容基盤特徴値に所定の内容基盤特徴値の重要度を反映することによって、前記連続した二枚の写真間の非類似度を測定する非類似度測定部と、前記非類似度値の変化量が所定の閾値以上である場合に、状況変化であると判断して状況変化を検出する状況変化検出部と、を備えていることを特徴とする。
【００１７】
本発明における「写真」は、デジタル写真である。
また、本発明における「時刻」は、写真撮影時点を示すものであり、例えば、写真が撮影された「年、月、日、時、分、秒」によって表される。この「時刻」表示の細かさは、適宜変更可能であり、例えば、「月、日、時、分」によって表されても良い。
【００１８】
前記内容基盤特徴値は、写真の画素情報を利用して生成され、色、質感及び形状特徴値を含むビジュアル記述子と、音声特徴値を含むオーディオ記述子と、を含むことが好ましい。
【００１９】
前記時刻特徴値の重要度及び前記内容基盤特徴値の重要度は、写真の全体的な明度情報、写真の複雑度情報、写真の均一な質感情報、写真のエッジ情報、写真が白黒写真であるか否かに関する情報、写真の色表現の華やかさ程度を表す情報、写真に表された全体色の凝集度を表す情報、写真の色の色温度を表す情報、写真ファイルが撮影時刻情報を含んでいるか否かを表す情報、同時間帯に複数のカメラで撮影された写真が同時にクラスタリングされる場合、一の写真の時刻情報が他のカメラで撮影された写真の時刻情報と重なって、一の写真が状況基盤クラスタリングされる際に時刻情報の重要度が低下することを表す情報、写真撮影時に写真と共に保存されたユーザーの音声情報がオーディオクリップファイルとして含まれているか否かを表す情報、及び、写真のオーディオファイルで認識された音声単語及び文章列を表す情報のうち、少なくとも一つを含む状況基盤クラスタリングヒントを参照して決定されることが好ましい。
【００２０】
また、前記した技術的課題を解決するため、本発明に係るデジタル写真の状況変化検出方法は、状況基盤クラスタリングしようとする写真を撮影時刻順に整列するステップと、撮影時刻順に整列された前記写真のうち、連続した二枚の写真のそれぞれについて時刻特徴値と所定の内容基盤特徴値とを取得するステップと、前記連続した二枚の写真のそれぞれについて、前記時刻特徴値に所定の時刻特徴値の重要度を反映して、前記内容基盤特徴値に所定の内容基盤特徴値の重要度を反映して前記連続した二枚の写真間の非類似度を測定するステップと、前記非類似度値の変化量が所定の閾値以上である場合に、状況変化であると判断して状況変化を検出するステップと、を含むことを特徴とする。
【００２１】
前記内容基盤特徴値は、写真の画素情報を利用して生成され、色、質感及び形状特徴値を含むビジュアル記述子と、音声特徴値を含むオーディオ記述子と、を含むことが好ましい。
【００２２】
前記時刻特徴値の重要度及び内容基盤特徴値の重要度は、写真の全体的な明度情報、写真の複雑度情報、写真の均一な質感情報、写真のエッジ情報、写真が白黒写真であるか否かに関する情報、写真の色表現の華やかさ程度を表す情報、写真に表された全体色の凝集度を表す情報、写真の色の色温度を表す情報、写真ファイルが撮影時刻情報を含んでいるか否かを表す情報、同時間帯に複数のカメラで撮影された写真が同時にクラスタリングされる場合、一の写真の時刻情報が他のカメラで撮影された写真の時刻情報と重なって、一の写真が状況基盤クラスタリングされる際に時刻情報の重要度が低下することを表す情報、写真撮影時に写真と共に保存されたユーザーの音声情報がオーディオクリップファイルとして含まれているか否かを表す情報、及び、写真のオーディオファイルで認識された音声単語及び文章列を表す情報のうち、少なくとも一つを含む状況基盤クラスタリングヒントを参照して決定されることが好ましい。
【００２３】
前記した他の技術的課題を解決するため、本発明に係るデジタル写真アルバムの状況基盤クラスタリング装置は、写真を記述し、少なくとも写真識別子を含む写真記述情報を生成する写真記述情報生成部と、デジタル写真の状況基盤クラスタリングのための所定のパラメータを含むアルバムツール記述情報を生成するアルバムツール記述情報生成部と、少なくとも前記写真記述情報及び前記アルバムツール記述情報を利用して状況基盤クラスタリングにより写真アルバム化を行うアルバムツールと、前記アルバムツールの出力から所定の写真グループ記述情報を生成する写真グループ情報生成部と、前記写真記述情報及び前記写真グループ記述情報を利用して所定の写真アルバム情報を生成する写真アルバム情報生成部と、を備えていることを特徴とする。
【００２４】
前記写真記述情報は、写真識別子、写真を撮影した作者に関する情報、写真ファイル情報、カメラ情報、撮影情報及び内容基盤特徴値のうち、少なくとも前記写真識別子を含んでおり、前記内容基盤特徴値は、写真の画素情報を利用して生成され、色、質感及び形状特徴値を含むビジュアル記述子と、音声特徴値を含むオーディオ記述子と、を含むことが好ましい。
【００２５】
前記アルバムツール記述情報生成部は、写真をクラスタリングする前に写真を整列するための項目を生成する整列キー生成部、写真クラスタリングを手助けするための状況基盤クラスタリングヒントを生成する状況基盤クラスタリングヒント生成部、及び、写真クラスタリングに使用される情報の重要度を生成する重要度生成部のうち、少なくとも一つを備えていることが好ましい。
【００２６】
前記整列キー生成部の写真整列項目は、ファイル名、撮影日時及び写真ファイル生成日時のうち、少なくとも一つを含むことが好ましい。
【００２７】
前記状況基盤クラスタリングヒント部の状況基盤クラスタリングヒントは、写真の全体的な明度情報、写真の複雑度情報、写真の均一な質感情報、写真のエッジ情報、写真が白黒写真であるか否かに関する情報、写真の色表現の華やかさ程度を表す情報、写真に表された全体色の凝集度を表す情報、写真の色の色温度を表す情報、写真ファイルが撮影時刻情報を含んでいるか否かを表す情報、同時間帯に複数のカメラで撮影された写真が同時にクラスタリングされる場合、一の写真の時刻情報が他のカメラで撮影された写真の時刻情報と重なって、一の写真が状況基盤クラスタリングされる際に時刻情報の重要度が低下することを表す情報、写真撮影時に写真と共に保存されたユーザーの音声情報がオーディオクリップファイルとして含まれているか否かを表す情報、及び、写真のオーディオファイルで認識された音声単語及び文章列を表す情報のうち、少なくとも一つを含むことが好ましい。
【００２８】
前記重要度生成部の重要度は、写真が撮影された時刻に関する情報の重要度を設定するための情報、及び、写真の内容基盤特徴値情報の重要度を設定するための情報のうち、少なくとも一つを含むことが好ましい。
【００２９】
前記写真の内容基盤特徴値情報の重要度を設定するための情報は、ＭＰＥＧ−７ビジュアル記述子の重要度を設定するための情報と、ＭＰＥＧ−７オーディオ記述子の重要度を設定するための情報と、を含むことが好ましい。
【００３０】
前記アルバムツールは、デジタル写真データを状況に基づいてクラスタリングする状況基盤写真クラスタリングツールを備えていることが好ましい。
【００３１】
前記状況基盤写真クラスタリングツールは、状況基盤クラスタリングしようとする写真を撮影時刻順に整列する写真整列部と、撮影時刻順に整列された前記写真のうち、連続した二枚の写真のそれぞれについて前記写真記述情報生成部から時刻特徴値を取得する時刻特徴値取得部と、前記連続した二枚の写真のそれぞれについて、前記写真記述情報生成部から内容基盤特徴値を抽出する内容基盤特徴値抽出部と、前記連続した二枚の写真のそれぞれについて、前記時刻特徴値取得部から取得された時刻特徴値に前記アルバムツール記述情報生成部から取得された時刻特徴値の重要度を反映して、前記内容基盤特徴値抽出部から抽出された内容基盤特徴値に前記アルバムツール記述情報生成部から取得された内容基盤特徴値の重要度を反映して前記二枚の写真間の非類似度を測定する非類似度測定部と、前記非類似度値の変化量を利用することによって、状況変化を判断して状況変化を検出する状況変化検出部と、を備えていることが好ましい。
【００３２】
前記時刻特徴値の重要度及び前記内容基盤特徴値の重要度は、前記アルバムツール記述情報生成部の状況基盤クラスタリングヒントを参照して決定されることが好ましい。
【００３３】
前記写真グループ情報生成部の写真グループ記述情報は、少なくとも一つの状況基盤写真クラスタリングによる状況基盤写真グループを含み、前記状況基盤写真グループは、
状況を識別するための状況識別子と、写真識別子により定められる複数の写真から構成される写真列と、写真グループ内の写真のうち、一つ以上の代表写真を識別するための写真キー識別子と、を含むことが好ましい。
【００３４】
前記した他の技術的課題を解決するため、本発明に係るデジタル写真アルバムの状況基盤クラスタリング方法は、（ａ）写真を撮影したカメラに関するカメラ情報、写真の撮影情報、及び写真の内容基盤特徴値のうち、少なくとも一つを抽出して写真記述情報を生成するステップと、（ｂ）デジタル写真の状況基盤クラスタリングのための所定のパラメータを含むアルバムツール記述情報を生成するステップと、（ｃ）少なくとも前記写真記述情報及び前記アルバムツール記述情報を利用して状況基盤クラスタリングにより写真アルバム化を行うステップと、（ｄ）状況基盤クラスタリングされた結果を利用して写真グループ記述情報を生成するステップと、（ｅ）前記写真記述情報及び前記写真グループ記述情報を利用して所定の写真アルバム情報を生成するステップと、を含むことを特徴とする。
【００３５】
前記（ａ）ステップの写真記述情報は、写真識別子、写真を撮影した作者に関する情報、写真ファイル情報、カメラ情報、撮影情報及び内容基盤特徴値のうち、少なくとも前記写真識別子を含んでおり、前記内容基盤特徴値は、写真の画素情報を利用して生成され、色、質感及び形状特徴値を含むビジュアル記述子と、音声特徴値を含むオーディオ記述子と、を含むことが好ましい。
【００３６】
前記（ｂ）ステップのアルバムツール記述情報は、写真をクラスタリングする前に写真を整列するための整列キー、写真クラスタリングを手助けするための状況基盤クラスタリングヒントを生成する状況基盤クラスタリングヒント、及び、写真クラスタリングに使用される情報の重要度を生成する重要度のうち、少なくとも一つを含むことが好ましい。
【００３７】
前記整列キーは、ファイル名、撮影日時及び写真ファイル生成日時のうち、少なくとも一つを含むことが好ましい。
【００３８】
前記状況基盤クラスタリングヒントは、写真の全体的な明度情報、写真の複雑度情報、写真の均一な質感情報、写真のエッジ情報、写真が白黒写真であるか否かに関する情報、写真の色表現の華やかさ程度を表す情報、写真に表された全体色の凝集度を表す情報、写真の色の色温度を表す情報、写真ファイルが撮影時刻情報を含んでいるか否かを表す情報、同時間帯に複数のカメラで撮影された写真が同時にクラスタリングされる場合、一の写真の時刻情報が他のカメラで撮影された写真の時刻情報と重なって、一の写真が状況基盤クラスタリングされる際に時刻情報の重要度が低下することを表す情報、写真撮影時に写真と共に保存されたユーザーの音声情報がオーディオクリップファイルとして含まれているか否かを表す情報、及び、写真のオーディオファイルで認識された音声単語及び文章列を表す情報のうち、少なくとも一つを含むことが好ましい。
【００３９】
前記重要度は、写真が撮影された時刻に関する情報の重要度を設定するための情報、及び、写真の内容基盤特徴値情報の重要度を設定するための情報のうち、少なくとも一つを含むことが好ましい。
【００４０】
前記写真の内容基盤特徴値情報の重要度を設定するための情報は、ＭＰＥＧ−７ビジュアル記述子の重要度を設定するための情報と、ＭＰＥＧ−７オーディオ記述子の重要度を設定するための情報と、を含むことが好ましい。
【００４１】
前記（ｃ）ステップは、状況基盤クラスタリングしようとする写真を撮影時刻順に整列するステップと、撮影時間順に整列された前記写真のうち、連続した二枚の写真のそれぞれについて前記時刻特徴値及び所定の内容基盤特徴値を取得するステップと、前記連続した二枚の写真のそれぞれについて、前記時刻特徴値に所定の時刻特徴値の重要度を反映して、前記内容基盤特徴値に内容基盤特徴値の重要度を反映して前記連続した二枚の写真間の非類似度を測定するステップと、前記非類似度値の変化量を利用することによって、状況変化を判断して状況変化を検出するステップと、を含むことが好ましい。
【００４２】
前記時刻特徴値の重要度及び前記内容基盤特徴値の重要度は、状況基盤クラスタリングヒントを参照して決定されることが望ましい。
【００４３】
前記（ｄ）ステップの写真グループ記述情報は、少なくとも一つの状況基盤写真クラスタリングによる状況基盤写真グループを含み、前記状況基盤写真グループは、状況を識別するための状況識別子と、写真識別子により定められる複数の写真から構成される写真列と、写真グループ内の写真のうち、一つ以上の代表写真を識別するための写真キー識別子と、を含むことが好ましい。
【００４４】
そして、本発明は、前記したデジタル写真の状況変化検出方法をコンピュータに実行させるためのプログラムを記録したことを特徴とするコンピュータ読取可能な記録媒体を提供する。
さらに、本発明は、前記したデジタル写真アルバムの状況基盤クラスタリング方法をコンピュータに実行させるためのプログラムを記録したことを特徴とするコンピュータ読取可能な記録媒体を提供する。
【発明の効果】
【００４５】
本発明によれば、写真から抽出可能な情報を効率的に記述するための記述構造と、写真の状況基盤クラスタリング機能を適切に行うためのパラメータと、が定義され、前記パラメータを記述するための効果的な記述構造を提供することができる。
また、写真に保存されたカメラ情報及びファイル情報のように、基本的に写真から得られる項目に加えて、写真の内容から得られる色、質感、形状などの内容基盤特徴値情報を利用して、状況基盤写真クラスタリングが行われる。
それにより、デジタル写真について記述された情報を利用することによって、多くの写真で便利かつ容易にアルバムを構成でき、大容量の写真データをより速く、より効率的にアルバム化できる。
【発明を実施するための最良の形態】
【００４６】
以下、添付図面を参照して、本発明の好適な実施形態について詳細に説明する。
【００４７】
図１は、本発明に係るデジタル写真アルバムの状況基盤クラスタリング装置の構成を示すブロック図である。図１に示すように、本発明に係るデジタル写真アルバムの状況基盤クラスタリング装置（apparatus for situation-based clustering in digital photo album：以下、単に「クラスタリング装置」と記載する。）は、写真記述情報生成部１１０、アルバムツール記述情報生成部１２０、アルバムツール１３０、写真グループ情報生成部１４０及び写真アルバム情報生成部１５０を備えている。そして、クラスタリング装置は、写真入力部１００を更に備えることが好ましい。
【００４８】
写真入力部（photo input unit）１００は、デジタルカメラの内部メモリ装置または携帯用メモリ装置から写真列が入力される。
【００４９】
写真記述情報生成部（photo description information generation unit）１１０は、写真を記述し、少なくとも写真識別子を含む写真記述情報を生成する。より具体的には、写真記述情報生成部１１０は、入力された写真のそれぞれから写真ファイル内に保存されたカメラ情報及び撮影情報の有無を確認し、該当情報が写真ファイル内に存在する場合には、情報が抽出され、写真記述構造によって表現される。同時に、内容基盤特徴値が写真の画素情報から抽出され、写真記述構造によって表現される。写真記述情報は、写真をグループ化するための写真アルバムツール１３０に入力される。
【００５０】
アルバムツール記述情報生成部（albuming tool description information generation unit）１２０は、生成された多様な写真記述情報を利用して写真をより効率的に検索してグループ化するために、状況基盤写真クラスタリングのための所定のパラメータを含むアルバムツール記述情報を生成する。図２は、アルバムツール記述情報生成部１２０を示す詳細ブロック図である。図２に示すように、アルバムツール記述情報生成部１２０は、整列キー生成部２００、状況基盤クラスタリングヒント生成部２２０及び重要度生成部２４０のうち、少なくとも一つを備えている。
【００５１】
整列キー生成部（sort key generation unit）２００は、写真がクラスタリングされる前に、写真を整列するための項目（写真整列項目）を生成する。写真整列項目は、ファイル名、撮影日時及び写真ファイル生成日時のうち、少なくとも一つを含むことが好ましい。状況基盤クラスタリングヒント生成部（situation-based clustering hint generation unit）２２０は、写真クラスタリングを手助けするための状況基盤クラスタリングヒントを生成する。重要度生成部（importance generation unit）２４０は、写真クラスタリングに使用される情報の重要度を生成する。
【００５２】
図１に示すように、アルバムツール（albuming tool）１３０は、少なくとも写真記述情報及びアルバムツール記述情報を利用して状況基盤写真クラスタリングを通じて写真アルバム化（photo albuming）を行うものであり、状況基盤クラスタリングツール１３５を備えている。状況基盤クラスタリングツール（situation-based clustering tool）１３５は、デジタル写真の状況変化を判断して検出するデジタル写真の状況変化検出装置（apparatus for detecting situation change of digital photo）である。
【００５３】
状況基盤クラスタリングツール１３５は、デジタル写真データを状況に基づいてクラスタリングする。図３は、本発明に係る状況基盤クラスタリングツールの構成を示すブロック図である。図３に示すように、状況基盤クラスタリングツール１３５は、写真整列部３００、時刻特徴値取得部３２０、内容基盤特徴値抽出部３４０、非類似度測定部３６０及び状況変化検出部３８０を備えている。
【００５４】
写真整列部（photo sort unit）３００は、状況基盤クラスタリングしようとする写真を撮影時刻順に整列する。時刻特徴値取得部（time feature value obtaining unit）３２０は、撮影時刻順に整列された写真のうち、連続した二枚の写真のそれぞれについて、写真記述情報生成部１１０から時刻特徴値を取得する。内容基盤特徴値抽出部（content-based feature value extraction unit）３４０は、連続した二枚の写真のそれぞれについて、写真記述情報生成部１１０から内容基盤特徴値を抽出する。非類似度測定部（dissimilarity measuring unit）３６０は、連続した二枚の写真のそれぞれについて、時刻特徴値取得部３２０から取得された時刻特徴値に、アルバムツール記述情報生成部１２０から取得された時刻特徴値の重要度を反映し、内容基盤特徴値抽出部３４０で抽出された内容基盤特徴値に、アルバムツール記述情報生成部１２０から取得された内容基盤特徴値の重要度を反映して、二枚の写真間の非類似度を測定する。状況変化検出部（situation change detection unit）３８０は、非類似度の値の変化量を利用して状況変化を判断して検出する。
【００５５】
図１に示すように、写真グループ情報生成部（photo group information generation unit）１４０は、アルバムツール１３０の出力から所定の写真グループ記述情報を生成する。写真アルバム情報生成部（photo albuming information generation unit）１５０は、写真記述情報及び写真グループ記述情報を利用して所定の写真アルバム情報を生成する。
【００５６】
図４は、写真記述情報生成部１１０で生成される写真記述情報の構造を説明するための図である。写真記述情報は、デジタルカメラの内部メモリ装置または携帯用メモリ装置から入力された写真から、ファイル内に保存されたカメラ情報及び撮影情報と写真の内容から抽出された内容基盤特徴値情報を表現する。図４に示すように、前記写真記述情報４０は、各写真を識別するための写真識別子（Photo ID）４００と、写真を撮影した作者（撮影者）を表すための項目（Author）４２０と、写真ファイルに保存されたファイル情報を表すための項目（File information）４４０と、写真ファイルに保存されたカメラ情報及び撮影情報を表すための項目（Camera information  photographing information）４６０と、内容基盤特徴値を表すための項目（Content-based information）４８０と、を含む。
【００５７】
また、写真ファイルに保存されたファイル情報４４０を表すための細部項目として、前記ファイル情報４４０は、写真ファイルの名前を表すための項目（File name）４４２と、写真ファイルの形式を表すための項目（File format）４４４と、写真ファイルの容量をバイト単位で表すための項目（File size）４４６と、写真ファイルが作成された日時を表すための項目（File creation date/time）４４８と、を含む。
【００５８】
また、写真ファイルに保存されたカメラ情報及び撮影情報４６０を表すための細部項目として、前記カメラ情報および撮影情報４６０は、写真ファイルがＥｘｉｆ情報を含んでいるか否かを表すための項目（IsExifInformation）４６２と、写真を撮影したカメラモデルを表すための項目（Camera model）４６４と、写真が撮影された日時を表すための項目（Taken date/time）４６６と、写真が撮影された位置をＧＰＳ（Global Positioning System）により取得された情報で正確に表すための項目（GPS information）４６８と、写真の幅情報を表すための項目（Image width）４７０と、写真の高さ情報を表すための項目（Image height）４７２と、写真を撮るためにカメラフラッシュが使用されたか否かを表すための項目（Flash on/off）４７４と、写真の明度情報を表すための項目（Brightness）４７６と、写真のコントラスト情報を表すための項目（Contrast）４７８と、写真の画質（鮮明度）情報を表すための項目（Sharpness）４７９と、を含む。
【００５９】
また、写真から抽出された内容基盤特徴値を表すための項目４８０は、ＭＰＥＧ−７ビジュアル記述子を利用して抽出された色、質感及び形状の特徴値を表すための項目（Visual descriptor（s））４８２と、ＭＰＥＧ−７オーディオ記述子を利用して抽出された音声特徴値を表すための項目（Audio descriptor（s））４８４と、を含む。
【００６０】
図５は、図４の写真記述情報４０を利用して写真の状況基盤クラスタリングを行う過程において、効率的な写真クラスタリングのために必要なパラメータを表すための記述構造を示すブロック図である。時刻情報と単一の内容基盤特徴値とのみで十分なクラスタリング性能を達成することは困難であるため、本発明では時刻情報と多重の内容基盤特徴値情報とが共に使用される。
【００６１】
さらに、より高い内容基盤クラスタリング性能を達成するために、内容基盤クラスタリングヒント情報が定義され、各写真のヒントに従い、写真クラスタリングに使用する特徴情報の重要度が適宜設定される。図５に示すように、効率的な写真クラスタリングのためのパラメータ５０として、パラメータ（アルバムツール記述子）５０は、写真をクラスタリングする前に写真を整列するための項目（Sort key）５００と、写真が有する状況基盤クラスタリングヒントを表すための項目（Situation-based clustering hint）５２０と、写真クラスタリングに使用される情報の重要度を表すための項目（Feature importance）５６０と、を含む。
【００６２】
写真を整列するための項目５００は、写真を名前順に整列するための項目（File name）５０２と、写真を撮影日時順に整列するための項目（Taken date/time）５０４と、写真ファイルを作成日時順に整列するための項目（File creation date/time）５０６と、を含む。
【００６３】
写真が有する上位概念の意味情報を表すためのクラスタリングヒント項目５２０の細部項目として、状況基盤クラスタリングヒント項目５２０は、写真の全体的な明度に関する情報を表すための項目（Brightness）５２２と、写真の複雑度を表すための項目（Level of detail）５２４と、写真の均一な質感に関する情報を表すための項目（Homogeneous texture）５２６と、写真のエッジに関する情報（写真の不均一な質感に関する情報）を表すための項目（Heterogeneous texture）５２８と、写真が白黒写真であるか否かを表すための項目（Monochromatic）５３０と、写真の色表現の華やかさ程度（彩度）を表すための項目（Colorfulness）５３２と、写真に表された全体色の凝集度を表すための項目（Color coherence）５３４と、写真の色の色温度を表すための項目（Color temperature）５３６と、写真ファイルが撮影時刻情報を含んでいるか否かを表すための項目（Taken time）５３８と、同時間帯に複数のカメラで撮影された写真が同時にクラスタリングされる場合、一の写真の時刻情報が他のカメラで撮影された写真の時刻情報と重なって、一の写真が状況基盤クラスタリングされる際に時刻情報の重要度が低下することを表すための項目（Time overlap）５４０と、写真撮影時に写真と共に保存されたユーザーの音声情報をオーディオクリップファイルとして含まれているか否かを表すための項目（Audio clip）５４２と、写真のオーディオファイルで認識された音声単語及び文章列を表すための項目（Recognized speech）５４４と、を含む。
【００６４】
写真の全体的な明度を表すための項目（Brightness）５２２の値は、写真の各画素から抽出された画素強度（pixel intensity）を平均することによって測定でき、写真の複雑度を表すための項目（Level of detail）５２４の値は、写真の画素情報から測定されたエントロピー、または、各写真の実複雑性（actual complexity）を判断する要素である「isopreference curve」から推定できる。写真の均一な質感に関する情報を表すための項目（Homogeneous texture）５２６の値は、ＭＰＥＧ−７ビジュアル記述子のうち、質感閲覧記述子（Texture Browsing descriptor）の特徴値から質感の均質さ（regularity）、方向（direction）及びサイズ（scale）を利用して測定できる。写真のエッジに関する情報（写真の不均一な質感に関する情報）を表すための項目（Heterogeneous texture）５２８の値は、写真からエッジ情報を抽出して、抽出されたエッジの強度を正規化することによって測定できる。色情報のない、すなわち、写真が白黒写真であるか否かを表すための項目（Monochromatic）５３０の値は、写真の各画素に割り当てられたビット数によって決定できる。写真の色表現の華やかさ程度（彩度）を表すための項目（Colorfulness）５３２の値は、色ヒストグラムから各色値のヒストグラム高さと、全体色値の配分値と、を正規化することによって測定できる。写真に表された全体色の凝集度を表す項目（Color coherence）５３４の値は、ＭＰＥＧ−７ビジュアル記述子のうち、主要色記述子（Dominant Color descriptor）を利用して測定でき、また、色ヒストグラムから各色値のヒストグラム高さと、全体色値の配分値と、を正規化することによっても測定できる。写真の色の色温度を表すための項目（Color temperature）５３６の値は、ＭＰＥＧ−７ビジュアル記述子のうち、色温度記述子（Color Temperature descriptor）を利用して測定された色温度値を正規化することによって測定できる。写真ファイルが撮影時刻情報を含んでいるか否かを表すための項目（Taken time）５３８は、写真ファイルのＥｘｉｆ情報から抽出できる。同時間帯に複数のカメラで撮影された写真が同時にクラスタリングされる場合、一の写真の時刻情報が他のカメラで撮影された写真の時刻情報と重なって、一の写真が状況基盤クラスタリングされる際に時刻情報の重要度が低下することを表すための項目（Time overlap）５４０は、一の写真を中心とした任意の長さのスライディングウィンドウを配置し、このスライディングウィンドウに属する写真のカメラモデル情報を比較することによって得られる。写真撮影時に写真と共に保存されたユーザーの音声情報をオーディオクリップファイルとして含まれているか否かを表すための項目（Audio clip）５４２は、写真のファイルと同じファイル名であって、拡張子が音声ファイルを表すｗａｖ、ｍｐ２／３などであるファイルの存否を検査することによって得られる。写真のオーディオファイルで認識された音声単語及び文章列を表すための項目（Recognized speech）５４４に関しては、認識された音声は、ＬＰＣケプストラム、ＰＬＰケプストラム、フィルターバンクエネルギー（filter bank energy）、ＭＦＣＣ（Mel Frequency Cepstral Coefficient）などを利用して抽出された音声特徴値に対し、ＨＭＭ（Hidden Markov Model）、ニューラルネットワーク（Neural Network）、ＤＴＷ（Dynamic Time Warping）などの方���を使用することによって得られる。
前記方法は、状況基盤クラスタリングヒント情報５２０を得るための方法の好ましい一実施形態であり、その他の方法を使用してもよい。
【００６５】
写真クラスタリングに使用される情報の重要度を表すための項目（Feature importance）５６０の細部項目として、項目５６０は、撮影時刻情報の重要度を設定するための項目（Taken time）５６２と、写真の内容基盤特徴値に関する情報の重要度を設定するための項目（Low-level feature）５６６と、を含む。
【００６６】
撮影時刻情報の重要度を設定するための項目（Taken time）５６２は、対応する重要度値を表すための項目（Importance value）５６４を含む。写真の内容基盤特徴値に関する情報の重要度を設定するための項目（Low-level feature）５６６は、ＭＰＥＧ−７ビジュアル記述子の重要度を設定するための項目（Visual descriptor）５６８と、対応する重要度値を表すための項目（Importance value）５７０と、ＭＰＥＧ−７オーディオ記述子の重要度を設定するための項目（Audio descriptor）５７２と、対応する重要度値を表すための項目（Importance value）５７４と、を含む。重要度値は、０.０〜１.０の範囲内の値を有する。
【００６７】
図６は、写真をクラスタリングした後の写真グループ情報を表すための記述構造６０００を示すブロック図である。写真グループは、状況基盤写真クラスタリングによる写真グループ６１００を含み、各写真グループ６１００は、いくつかの状況による下位グループ（Photo series）６４００を含む。各写真グループ６１００は、いくつかの写真を写真識別子（Photo ID（s））６４１０として含む。また、各写真グループ６１００は、状況識別子（Situation ID（s））６２００を有する。グループ内の写真のうち、一枚以上の代表写真（Key photo ID）６３００が、写真識別子により設定できる。
【００６８】
図７は、本発明に係る写真情報記述構造をＸＭＬスキーマで表現したブロック図である。写真ファイル内に保存されたカメラ情報及び撮影情報と、写真の内容から抽出された内容基盤特徴値情報とを表現するための記述構造をＸＭＬ形式で表現したものを以下に示す。
【００６９】
<complexType name="PhotoType">
<complexContent>
<extension base="mpeg7:DSType">
<sequence>
<element name="Author" type="mpeg7:TextualType"/>
<element name="FileInfomation">
<complexType>
<complexContent>
<extension base="mpeg7:DType">
<choice>
<element name="FileName" type="mpeg7:TextualType"/>
<element name="FileFormat" type="mpeg7:TextualType"/>
<element name="FileSize" type="nonNegativeInteger"/>
<element name="CreationDateTime" type="mpeg7:timePointType"/>
</choice>
</extension>
</complexContent>
</complexType>
</element>
<element name="CameraInfomation">
<complexType>
<choice>
<element name="IsEXIFInfomation" type="boolean"/>
<choice>
<element name="CameraModel" type="mpeg7:TextualType"/>
<element name="ImageWidth" type="nonNegativeInteger"/>
<element name="ImageHeight" type="nonNegativeInteger"/>
<element name="TakenDateTime" type="mpeg7:timePointType"/>
<element name="BrightnessValue" type="integer"/>
<element name="GPSInfomation" type="nonNegativeInteger"/>
<element name="Saturation" type="integer"/>
<element name="Sharpness" type="integer"/>
<element name="Contrast" type="integer"/>
<element name="Flash" type="boolean"/>
</choice>
</choice>
</complexType>
</element>
<element name="ContentInfomation">
<complexType>
<complexContent>
<extension base="mpeg7:DType">
<choice>
<element name="VisualDescriptor" type="mpeg7:VisualDType"/>
<element name="AudioDescriptor" type="mpeg7:AudioDType"/>
</choice>
</extension>
</complexContent>
</complexType>
</element>
</sequence>
<attribute name="PhotoID" type="ID" use="required"/>
</extension>
</complexContent>
</complexType>
【００７０】
図８は、本発明に係る写真アルバム化のためのパラメータ記述構造をＸＭＬスキーマで表現したブロック図である。効率的な写真クラスタリングのために必要なパラメータを表現するための記述構造をＸＭＬ形式で表現したものを以下に示す。
【００７１】
<complexType name="PhotoAlbumingToolType">
<complexContent>
<extension base="mpeg7:DSType">
<sequence>
<element name="SortKey" type="mpeg7:PhotoSortType"/>
<element name="SituationBasedClusteringHint" type="mpeg7:SituationBasedClusteringHintType"/>
<element name="Features" type="mpeg7:FeatureType"/>
</sequence>
</extension>
</complexContent>
</complexType>
<complexType name="SituationBasedClusteringHintType">
<complexContent>
<extension base="mpeg7:PhotoAlbumingToolType">
<sequence>
<element name="Brightness" type="mpeg7:zeroToOneType"/>
<element name="LevelOfDetail" type="mpeg7:zeroToOneType"/>
<element name="HomogeneousTexture" type="boolean"/>
<element name="HeterogeneousTexture" type="boolean"/>
<element name="Monochromatic" type="boolean"/>
<element name="Colorfulness" type="mpeg7:zeroToOneType"/>
<element name="ColorCoherence" type="mpeg7:zeroToOneType"/>
<element name="ColorTemperature" type="mpeg7:zeroToOneType"/>
<element name="TakenTime" type="boolean"/>
<element name="TimeOverlap" type="boolean"/>
<element name="AudioClip" type="boolean"/>
<element name="SpeechRecognition" type="mpeg7:TextualType"/>
</sequence>
</extension>
</complexContent>
</complexType>
<complexType name="FeatureType">
<complexContent>
<extension base="mpeg7:DSType">
<sequence>
<choice>
<element name="TakenDateTime" type="mpeg7:timePointType"/>
<element name="LowLevelFeature" type="mpeg7:LowLevelFeatureType"/>
</choice>
</sequence>
<attribute name="ImportanceValue" type="mpeg7:zeroToOneType" use="optional"/>
</extension>
</complexContent>
</complexType>
<complexType name="LowLevelFeatureType">
<complexContent>
<extension base="mpeg7:DSType">
<sequence>
<element name="AudioDescriptor" type="mpeg7:AudioDType"/>
<element name="VisualDescriptor" type="mpeg7:VisualDType"/>
</sequence>
</extension>
</complexContent>
</complexType><complexType name="PhotoAlbumingToolType">
<complexContent>
<extension base="mpeg7:DSType">
<sequence>
<element name="SortKey" type="mpeg7:PhotoSortType"/>
<element name="SituationBasedClusteringHint" type="mpeg7:SituationBasedClusteringHintType"/>
<element name="Features" type="mpeg7:FeatureType"/>
</sequence>
</extension>
</complexContent>
</complexType>
<complexType name="SituationBasedClusteringHintType">
<complexContent>
<extension base="mpeg7:PhotoAlbumingToolType">
<sequence>
<element name="Brightness" type="mpeg7:zeroToOneType"/>
<element name="LevelOfDetail" type="mpeg7:zeroToOneType"/>
<element name="HomogeneousTexture" ="mpeg7:zeroToOneType"/>
<element name="HeterogeneousTexture" ="mpeg7:zeroToOneType"/>
<element name="Monochromatic" type="boolean"/>
<element name="Colorfulness" type="mpeg7:zeroToOneType"/>
<element name="ColorCoherence" type="mpeg7:zeroToOneType"/>
<element name="ColorTemperature" type="mpeg7:zeroToOneType"/>
</sequence>
</extension>
</complexContent>
<complexType name="PhotoSortType">
<simpleContent>
<restriction base="NMTOKEN">
<enumeration value="FileName"/>
<enumeration value="TakenDateTime"/>
<enumeration value="CreationDateTime"/>
</restriction>
</simpleContent>
</complexType>
<complexType name="FeatureType">
<complexContent>
<extension base="mpeg7:DSType">
<sequence>
<choice>
<element name="TakenDateTime" type="mpeg7:timePointType"/>
<element name="LowLevelFeature" type="mpeg7:LowLevelFeatureType"/>
</choice>
</sequence>
<attribute name="ImportanceValue" type="mpeg7:zeroToOneType" use="optional"/>
</extension>
</complexContent>
</complexType>
<complexType name="LowLevelFeatureType">
<complexContent>
<extension base="mpeg7:DSType">
<sequence>
<choice>
<element name="VisualDescriptor">
<simpleType>
<restriction base="NMTOKEN">
<enumeration value="HomogeneousTexture"/>
<enumeration value="ColorStructure"/>
<enumeration value="ColorLayout"/>
<enumeration value="IlluminationInvariantColor"/>
</restriction>
</simpleType>
</element>
</choice>
</sequence>
</extension>
</complexContent>
</complexType>
【００７２】
図９は、本発明に係る写真グループ記述構造をＸＭＬスキーマで表現したブロック図である。写真をクラスタリングした後の写真グループ情報を表現するための記述構造をＸＭＬ形式で表現したものを以下に示す。
【００７３】
<complexType name="PhotoGroupType">
<complexContent>
<extension base="mpeg7:DSType">
<sequence>
<element name="SituationBasedPhotoGroup" type="mpeg7:SituationBasedPhotoGroupType"/>
</sequence>
</extension>
</complexContent>
</complexType>
<complexType name="SituationBasedPhotoGroupType">
<complexContent>
<extension base="mpeg7:PhotoGroupType">
<sequence>
<element name="PhotoSeries">
<complexType>
<complexContent>
<extension base="mpeg7:DSType">
<sequence>
<element name="PhotoID" type="IDREF" maxOccurs="unbounded"/>
</sequence>
</extension>
</complexContent>
</complexType>
</element>
<element name="KeyPhotoID" type="IDREF" minOccurs="0"/>
</sequence>
<attribute name="SituationID" type="IDREF" use="required"/>
</extension>
</complexContent>
</complexType>
【００７４】
図１０は、本発明に係るデジタル写真アルバム化のための全体記述構造をＸＭＬスキーマで表現したブロック図である。デジタル写真アルバム化のための全体記述構造をＸＭＬ形式で表現したものを以下に示す。
【００７５】
<schema targetNamespace="urn:mpeg:mpeg7:schema:2001" xmlns="http://www.w3.org/2001/XMLSchema" xmlns:mpeg7="urn:mpeg:mpeg7:schema:2001" elementFormDefault="qualified" attributeFormDefault="unqualified">
<annotation>
<documentation>
This document contains visual tools defined in ISO/IEC 15938-3
</documentation>
</annotation>
<include schemaLocation="./mds-2001.xsd"/>
<complexType name="PhotoAlbumDSType">
<complexContent>
<extension base="mpeg7:DSType">
<sequence>
<element name="PhotoAlbumDescription" type="mpeg7:PhotoAlbumType"/>
<element name="AlbumingToolDescription" type="mpeg7:PhotoAlbumingToolType"/>
</sequence>
</extension>
</complexContent>
</complexType>
<complexType name="PhotoAlbumType">
<complexContent>
<extension base="mpeg7:DSType">
<sequence>
<element name="Photo" type="mpeg7:PhotoType"/>
<element name="PhotoGroup" type="mpeg7:PhotoGroupType"/>
</sequence>
</extension>
</complexContent>
</complexType>
</schema>
【００７６】
一方、図１１は、本発明に係るデジタル写真の状況基盤クラスタリング方法を示すフローチャートである。図１１を参照して、本発明に係るデジタル写真の状況基盤クラスタリング装置の動作を説明する。
【００７７】
本発明に係るデジタル写真の状況基盤クラスタリング装置及び方法は、前記した記述情報を利用し、デジタル写真データのデジタル写真アルバム化を効率的に実行する。したがって、まず、デジタル写真が写真入力部１００を通じて入力されると（ステップ１１００）、写真を記述する情報であり、少なくとも写真識別子を含む写真記述情報が生成される（ステップ１１１０）。
【００７８】
また、デジタル写真クラスタリングのための所定のパラメータを含むアルバムツール記述情報が生成される（ステップ１１２０）。それから、入力写真、写真記述情報及びアルバムツール記述情報を利用することによって、写真が状況基盤クラスタリングされる（ステップ１１３０）。続いて、状況基盤クラスタリングされた結果が、所定の写真グループ記述情報として生成される（ステップ１１４０）。続いて、写真記述情報及び写真グループ記述情報を利用することによって、所定の写真アルバム情報が生成される（ステップ１１５０）。
【００７９】
図１２は、図１１のステップ１１１０で実行される動作を示す詳細フローチャートである。以下、図１２を参照して、写真記述情報の生成について説明する。まず、写真ファイルから、写真を撮影したカメラに関するカメラ情報及び写真撮影に関する撮影情報が抽出される（ステップ１２００）。続いて、写真の画素情報から所定の内容基盤特徴値が抽出される（ステップ１２２０）。続いて、抽出されたカメラ情報、撮影情報及び内容基盤特徴値を利用することによって、所定の写真記述情報が生成される（ステップ１２４０）。内容基盤特徴値は、色、質感及び形状特徴値を含むビジュアル記述子と、音声特徴値を含むオーディオ記述子と、を含む。写真記述情報は、写真識別子、写真を撮影した作者に関する作者情報、写真ファイル情報、カメラ情報、撮影情報及び内容基盤特徴値のうち、少なくとも写真識別子を含む。
【００８０】
ステップ１１２０のアルバムツール記述情報は、図５に示すように、デジタル写真をクラスタリングする前に写真を整列する整列キー、写真クラスタリングを手助けするための状況基盤クラスタリングヒントを生成する状況基盤クラスタリングヒント、及び、写真クラスタリングに使用される情報の重要度を生成する重要度のうち、少なくとも一つを含むことが好ましい。整列キーは、ファイル名、写真撮影日時及び写真ファイル生成日時のうち、少なくとも一つを含む。状況基盤クラスタリングヒントは、写真の全体的な明度情報（Brightness）、写真の複雑度情報（Level of detail）、写真の均一な質感情報（Homogeneous texture）、写真のエッジ情報（写真の不均一な質感情報）（Heterogeneous texture）、写真が白黒写真であるか否かに関する情報（Monochromatic）、写真の色表現の華やかさ程度（彩度）を表す情報（Colorfulness）、写真に表された全体色の凝集度を表す情報（Color coherence）、写真の色の色温度を表す情報（Color temperature）、写真ファイルが撮影時刻情報を含んでいるか否かを表す項目（Taken time）と、同時間帯に複数のカメラで撮影された写真が同時にクラスタリングされる場合、一の写真の時刻情報が他のカメラで撮影された写真の時刻情報と重なって、一の写真が状況基盤クラスタリングされる際に時刻情報の重要度が低下することを表す情報（Time overlap）と、写真撮影時に写真と共に保存されたユーザーの音声情報がオーディオクリップファイルとして含まれているか否かを表す情報（Audio clip）、及び、写真のオーディオファイルで認識された音声単語及び文章列を表す情報（Recognized speech）のうち、少なくとも一つを含む。
【００８１】
重要度は、撮影時刻情報の重要度を設定する情報（Taken time）、及び、写真の内容基盤特徴値に関する情報の重要度を設定する情報（Low-level feature）のうち、少なくとも一つを含む。写真の内容基盤特徴値に関する情報の重要度を設定する情報（Low-level feature）は、ＭＰＥＧ−７ビジュアル記述子の重要度を設定する情報（Visual descriptor）と、ＭＰＥＧ−７オーディオ記述子の重要度を設定する情報（Audio descriptor）と、を含む。
【００８２】
図１３は、図１１のステップ１１３０で実行される動作を示す詳細フローチャートである。以下、図１３を参照して、状況基盤クラスタリングのためのデジタル写真の状況変化検出方法について説明する。まず、状況基盤クラスタリングしようとする写真が、撮影時刻順に整列される（ステップ１３００）。続いて、撮影時刻順に整列された写真のうち、連続した二枚の写真のそれぞれから、時刻特徴値及び所定の内容基盤特徴値が取得（抽出）される（ステップ１３２０）。続いて、連続した二枚の写真のそれぞれについて、時刻特徴値に所定の時刻特徴値の重要度を反映し、内容基盤特徴値に内容基盤特徴値の重要度を反映する（ステップ１３４０）。続いて、二枚の写真間の非類似度が測定される（ステップ１３６０）。続いて、非類似度値の変化量を利用することによって、状況が変化しているか否かが判断され、状況変化が検出される（ステップ１３８０）。
【００８３】
本発明は、前記した情報を利用することによって、大容量のデジタル写真データをより速く、より効率的にデジタル写真アルバム化するための方法を提供するものであり、デジタル写真データを、写真を撮影した状況に基づいて自動的にクラスタリングする方法を含む。図１４は、図１３に示すステップ１１３０の一実施形態を示す図であり、デジタル写真データを、写真が撮影された状況に基づいて自動的にクラスタリングする方法を示すフローチャートである。
【００８４】
図１４において、１番目ないしＮ番目の写真が時刻順に並べられたとき、（ｉ）番目の写真で状況変化が発生したか否かは、（ｉ）番目の写真の特徴値と（ｉ−１）番目の写真の特徴値とを比較することによって判断される。本発明では、撮影日時情報と多重の内容基盤特徴値とを利用して、任意の写真列における状況変化地点を検出する方法が提案されている。
【００８５】
まず、（ｉ）番目の写真から相異なるＮ種類の内容基盤特徴値が抽出されたときには、（ｉ）番目の写真の内容基盤特徴値Ｆcontent（ｉ）は、式（１）によって表される。
【数１】
2005317004.tif 000003
ここで、（ｉ）番目の写真から抽出されたＦk（ｉ）は、それぞれの特徴値ベクトルを表しており、色、質感または形状特徴値である。
【００８６】
（ｉ）番目の写真の時刻特徴値Ｆtime（ｉ）は秒単位まで抽出され、式（２）によって表される。
【数２】
2005317004.tif 000004
ここで、ｆyear，ｆmonth，ｆday，ｆminute，ｆsecondは、それぞれ写真が撮影された年、月、日、時、分、秒を表す。
【００８７】
前記したように、本発明では、より高いクラスタリング性能を達成するために、写真に含まれるより上位概念である意味情報が、状況基盤クラスタリングヒント情報として表され、各写真のヒントに従い、写真クラスタリングに利用される特徴値の重要度が適宜設定される。
各内容基盤特徴値の重要度Ｖcontent（ｉ）は、与えられた状況基盤クラスタリングヒントによって決定され、式（３）によって表される。
【数３】
2005317004.tif 000005
ここで、ｖk（ｉ）は特徴値Ｆk（ｉ）の重要度を表し、０.０から１.０の範囲内の値を有することができ、与えられた状況基盤クラスタリングヒントに従い、式（４）によって表される。
【数４】
2005317004.tif 000006
ここで、functionk（・）は特徴値Ｆk（ｉ）の重要度測定関数を表しており、状況基盤クラスタリングヒントを変数とする関数値を有する。
なお、特徴値の種類による測定関数が使用される。
【００８８】
また、内容基盤特徴値の重要度と時刻特徴値の重要度との合計は、１.０になるようにする。したがって、撮影時刻の重要度Ｖtime（ｉ）は、式（５）を満たす値に設定される。
【数５】
2005317004.tif 000007
【００８９】
前記のように決定された特徴値重要度を反映した内容基盤特徴値Ｆ'content（ｉ）及び時刻特徴値Ｆ'time（ｉ）は、式（６）によって表される。
【数６】
2005317004.tif 000008
次いで、（ｉ）番目の写真と（ｉ−１）番目の写真との非類似性を決定するために、まず、各特徴値の類似度の比較が、式（７）及び式（８）によって行われる。
【００９０】
時刻特徴値についての類似度の比較Ｄtime（ｉ）は、式（７）によって表される。
【数７】
2005317004.tif 000009
ここで、Φは、小さな時間間隔に対する感度を高めるために、時間差をスケーリングする関数であり、例えば、ログ関数などが使用できる。時刻情報がそのまま使用される場合において、二枚の写真間の時間間隔が小さい場合には、その差分値の変化が微小であり、時間間隔の増大に伴い差分値が急激に増大する。したがって、スケーリングが必要である。
【００９１】
内容基盤特徴値についての類似度の比較Ｄcontent（ｉ）は、式（８）によって表される。
【数８】
2005317004.tif 000010
ここで、Ｄk（ｉ）は、それぞれの特徴値ベクトルについての類似度の比較を表しており、色、質感または形状特徴値についての類似度の比較である。
【００９２】
（ｉ）番目の写真と（ｉ−１）番目の写真との間の最終的な非類似度Ｄtotal（ｉ）は、時刻特徴値の重要度及び内容基盤特徴値の重要度によって、式（９）によって表される。
【数９】
2005317004.tif 000011
ここで、Ｄtime＿maxは、対応するクラスタにおける最大時刻類似度値（maximum time similarity value）を表しており、状況変化が発生した写真で０に初期化され、次の状況変化が発生するまで、対応する状況クラスタにおける最大時刻類似度値が常に維持される。Ｄtime＿maxは、（ｉ）番目の写真と（ｉ−１）番目の写真との時間間隔が小さいほど値が小さくなる。指数関数及びαの値は、最終非類似度値が小さい値では変化量が小さく、大きい値では変化量を大きくするための役割を行う。αの値が大きいほど、最終非類似度値が小さな値における変化量と、最終非類似度値が大きい値における変化量との差は大きい。
【００９３】
最後に、（ｉ）番目の写真と（ｉ−１）番目の写真との間に状況変化が発生したか否かが、（ｉ−１）番目の写真と（ｉ−２）番目の写真との非類似度値と、（ｉ）番目の写真と（ｉ−１）番目の写真の非類似度値と、（ｉ＋１）番目の写真と（ｉ）番目の写真との非類似度値とを共に利用することによって判断される。
【００９４】
（ｉ）番目の写真と（ｉ−１）番目の写真との間に状況変化が発生したか否かは、隣接写真の非類似度値間の変化量によって決定される。図１５Ａは、一枚以上の写真から構成された状況クラスタの場合の非類似度差分値のパターンを説明する図であり、図１５Ｂは、一枚の写真から構成された状況クラスタの場合の非類似度差分値のパターンを説明する図である。
【００９５】
図１５Ａに示す例のように、（ｉ）番目の写真で状況変化が発生している場合には、相異なる状況で撮影された（ｉ）番目の写真と（ｉ−１）番目の写真との非類似度値は大きく、一方、互いに同じ状況で撮影された（ｉ＋１）番目の写真と（ｉ）番目の写真との非類似度値は小さい。
【００９６】
そのようなパターンを適用することによって、（ｉ）番目の写真と（ｉ−１）番目の写真との間に状況変化が発生しているか否かは、式（１０）によって求められる。
【数１０】
2005317004.tif 000012
ここで、
ΔＤtotal（ｉ）＝Ｄtotal（ｉ）−Ｄtotal（ｉ−１）＋Ｄtotal（ｉ）−Ｄtotal（ｉ＋１）
であり、βは、状況変化が発生しているか否かを決定するための非類似度差分値の閾値を決める任意の定数である。
【００９７】
式（１０）で表された状況変化が発生しているか否かの検出方法は、一枚の写真から構成された状況クラスタを検出できない。一枚の写真から構成された状況クラスタの場合、図１５Ａで示すパターンではなく、図１５Ｂで示すパターンを有する。したがって、一枚の写真から構成された状況クラスタを検出できるようにするために、式（１１）のような方法が使用される。
【数１１】
2005317004.tif 000013
ここで、
ΔＤ'total（ｉ）＝Ｄtotal（ｉ）−Ｄtotal（ｉ−１）
であり、γは、一枚の写真に状況変化が発生しているか否かを決定するための非類似度差分値の閾値を決める任意の定数である。
。
【００９８】
本発明は、コンピュータ読取可能な記録媒体に記録されたコンピュータ（情報処理機能を有するあらゆる装置を含む）読取可能なコードとして具現することが可能である。コンピュータ読取可能な記録媒体は、コンピュータシステムによって読取可能なデータを保存可能なあらゆる種類のデータ記録装置を含む。コンピュータ読取可能な記録装置の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などがある。
【００９９】
以上、本発明の好適な実施形態について詳細に説明したが、本発明は前記実施形態に限定されず、本発明の要旨を逸脱しない範囲で適宜設計変更可能である。前記した実施形態は、当業者が本発明を容易に理解して実施できるようにするためのものであって、本発明の権利範囲を限定するためのものではない。したがって、当業者は、本発明の権利範囲内で多様な変形または変更が可能であるということに注目しなければならない。本発明の権利範囲は、原則的には特許請求の範囲によって決まる。
【産業上の利用可能性】
【０１００】
本発明は、デジタル写真について記述された情報を利用して、多くの写真で便利且つ容易にアルバムを構成することによって、大容量の写真データをより速く、より効率的にアルバム化するデジタル写真アルバムに有用に適用可能である。
【図面の簡単な説明】
【０１０１】
【図１】本発明に係るデジタル写真アルバムの状況基盤クラスタリング装置の構成を示すブロック図である。
【図２】アルバムツール記述情報生成部１２０を示す詳細ブロック図である。
【図３】本発明に係る状況基盤クラスタリングツールの構成を示すブロック図である。
【図４】写真記述情報生成部１１０で生成される写真記述情報の構造を説明するための図である。
【図５】図４の写真記述情報４０を利用して写真の状況基盤クラスタリングを行う過程において、効率的な写真クラスタリングのために必要なパラメータを表すための記述構造を示すブロック図である。
【図６】写真をクラスタリングした後の写真グループ情報を表すための記述構造６０００を示すブロック図である。
【図７】本発明に係る写真情報記述構造をＸＭＬスキーマで表現したブロック図である。
【図８】本発明に係る写真アルバム化のためのパラメータ記述構造をＸＭＬスキーマで表現したブロック図である。
【図９】本発明に係る写真グループ記述構造をＸＭＬスキーマで表現したブロック図である。
【図１０】本発明に係るデジタル写真アルバム化のための全体記述構造をＸＭＬスキーマで表現したブロック図である。
【図１１】本発明に係るデジタル写真の状況基盤クラスタリング方法を示すフローチャートである。
【図１２】図１１のステップ１１１０で実行される動作を示す詳細フローチャートである。
【図１３】図１１のステップ１１３０で実行される動作を示す詳細フローチャートである。
【図１４】図１３に示すステップ１１３０の一実施形態を示す図であり、デジタル写真データを、写真が撮影された状況に基づいて自動的にクラスタリングする方法を示すフローチャートである。
【図１５Ａ】一枚以上の写真から構成された状況クラスタの場合の非類似度差分値のパターンを説明する図であり、図１５Ｂは、一枚の写真より構成された状況クラスタの場合の非類似度差分値のパターンを説明する図である。
【図１５Ｂ】一枚の写真から構成された状況クラスタの場合の非類似度差分値のパターンを説明する図である。
【符号の説明】
【０１０２】
１００  写真入力部
１１０  写真記述情報生成部
１２０  アルバムツール記述情報生成部
１３０  アルバムツール
１３５  状況基盤クラスタリングツール
１４０  写真グループ情報生成部
１５０  写真アルバム情報生成部
１６０  アルバムデータベース
【図１】
2005317004.tif 000014
【図２】
2005317004.tif 000015
【図３】
2005317004.tif 000016
【図４】
2005317004.tif 000017
【図５】
2005317004.tif 000018
【図６】
2005317004.tif 000019
【図７】
2005317004.tif 000020
【図８】
2005317004.tif 000021
【図９】
2005317004.tif 000022
【図１０】
2005317004.tif 000023
【図１１】
2005317004.tif 000024
【図１２】
2005317004.tif 000025
【図１３】
2005317004.tif 000026
【図１４】
2005317004.tif 000027
【図１５Ａ】
2005317004.tif 000028
【図１５Ｂ】
2005317004.tif 000029