(57)【特許請求の範囲】
【請求項１】
撮影時刻を表す撮影時刻情報及び対応する利用者を表す利用者情報が関連付けられた複数の写真画像が格納された写真画像格納部から、前記写真画像を取得して前記利用者毎の写真系列を複数生成する写真系列生成部と、
前記写真画像が撮影された期間を任意の時間間隔で複数の区間に分割し、前記写真系列生成部によって取得された前記写真画像の各々を、前記撮影時刻情報に基づいて前記複数の区間の何れかに割り当てることにより、前記複数の区間毎に区間写真画像集合を生成する区間写真画像集合生成部と、
前記写真系列生成部によって取得された前記写真画像に含まれる部分構成要素を抽出する部分構成要素抽出部と、
前記写真系列に属する前記写真画像に含まれる前記部分構成要素の出現頻度に基づいて、前記写真系列における前記部分構成要素の頻出性重要度を、前記複数の写真系列毎及び前記部分構成要素毎に算出する頻出性重要度算出部と、
前記区間写真画像集合生成部によって生成された前記区間写真画像集合に属する前記写真画像に含まれる前記部分構成要素の出現頻度に基づいて、前記部分構成要素の同時性重要度を前記部分構成要素毎に算出する同時性重要度算出部と、
前記頻出性重要度算出部によって算出された前記頻出性重要度と前記同時性重要度算出部によって算出された前記同時性重要度とに基づいて、前記部分構成要素の前記写真系列に対する重要度を前記複数の写真系列毎及び前記部分構成要素毎に算出する重要度合成部と、
前記重要度合成部によって算出された前記複数の写真系列毎及び前記部分構成要素毎の重要度に基づいて、前記複数の写真系列同士の類似度を算出する類似度算出部と、
を含む写真系列の類似度算出装置。
【請求項２】
前記部分構成要素抽出部は、前記写真画像から複数の特徴点を抽出する特徴点抽出部と、前記特徴点抽出部によって抽出された複数の特徴点の多次元特徴量を算出する多次元特徴量算出部と、前記多次元特徴量算出部によって算出された前記多次元特徴量により表される多次元空間上において前記複数の特徴点をクラスタリングし、クラスタリングした特徴点を前記部分構成要素として抽出するクラスタリング部と、
を含む請求項１記載の写真系列の類似度算出装置。
【請求項３】
前記頻出性重要度算出部は、特定の前記写真系列における前記部分構成要素の出現頻度が増加すると共に、特定の写真系列以外の前記写真系列における前記部分構成要素の出現頻度が減少するに従って、前記特定の前記写真系列における前記部分構成要素の前記頻出性重要度が大きくなるように、前記頻出性重要度を算出する
請求項１又は請求項２記載の写真系列の類似度算出装置。
【請求項４】
前記同時性重要度算出部は、特定の前記区間写真画像集合における前記部分構成要素の出現頻度が増加すると共に、特定の区間写真画像集合以外の前記区間写真画像集合における前記部分構成要素の出現頻度が減少するに従って、前記部分構成要素の前記同時性重要度が大きくなるように、前記同時性重要度を算出する
請求項１〜３の何れか１項に記載の写真系列の類似度算出装置。
【請求項５】
前記重要度合成部は、前記重要度をＷ、前記頻出性重要度をＷｕ、前記同時性重要度をＷｔ、前記同時性重要度の前記重要度Ｗに対する影響度を表す定数をｄとした場合に、前記写真系列における前記部分構成要素の前記重要度Ｗを次式により算出する
Ｗ＝Ｗｕ＋ｄ×Ｗｕ×Ｗｔ
請求項１〜４の何れか１項に記載の写真系列の類似度算出装置。
【請求項６】
コンピュータが、
撮影時刻を表す撮影時刻情報及び対応する利用者を表す利用者情報が関連付けられた複数の写真画像が格納された写真画像格納部から、前記写真画像を取得し、前記コンピュータの演算処理によって前記利用者毎の写真系列を複数生成し、メモリに記憶する写真系列生成ステップと、
前記写真画像が撮影された期間を前記コンピュータの演算処理によって任意の時間間隔で複数の区間に分割し、前記写真系列生成ステップによって取得された前記写真画像の各々を、前記撮影時刻情報に基づき前記コンピュータの演算処理によって前記複数の区間の何れかに割り当てることにより、前記複数の区間毎に区間写真画像集合を生成し、前記メモリに記憶する区間写真画像集合生成ステップと、
前記写真系列生成ステップによって取得された前記写真画像に含まれる部分構成要素を前記コンピュータの演算処理によって抽出する部分構成要素抽出ステップと、
前記写真系列に属する前記写真画像に含まれる前記部分構成要素の出現頻度に基づいて、前記写真系列における前記部分構成要素の頻出性重要度を、前記複数の写真系列毎及び前記部分構成要素毎に算出し、前記メモリに記憶する頻出性重要度算出ステップと、
前記区間写真画像集合生成ステップによって生成された前記区間写真画像集合に属する前記写真画像に含まれる前記部分構成要素の出現頻度に基づいて、前記部分構成要素の同時性重要度を前記コンピュータの演算処理によって前記部分構成要素毎に算出し、前記メモリに記憶する同時性重要度算出ステップと、
前記頻出性重要度算出ステップによって算出されて前記メモリに記憶された前記頻出性重要度と前記同時性重要度算出ステップによって算出されて前記メモリに記憶された前記同時性重要度とを前記メモリから読み出し、読み出した前記頻出性重要度と前記同時性重要度とに基づいて、前記部分構成要素の前記写真系列に対する重要度を前記コンピュータの演算処理によって前記複数の写真系列毎及び前記部分構成要素毎に算出し、前記メモリに記憶する重要度合成ステップと、
前記重要度合成ステップによって算出されて前記メモリに記憶された前記複数の写真系列毎及び前記部分構成要素毎の重要度を前記メモリから読み出し、読み出した前記複数の写真系列毎及び前記部分構成要素毎の重要度に基づいて、前記コンピュータの演算処理によって前記複数の写真系列同士の類似度を算出する類似度算出ステップと、
を行う写真系列の類似度算出方法。
【請求項７】
コンピュータに、
撮影時刻を表す撮影時刻情報及び対応する利用者を表す利用者情報が関連付けられた複数の写真画像が格納された写真画像格納部から、前記写真画像を取得し、前記コンピュータの演算処理によって前記利用者毎の写真系列を複数生成し、メモリに記憶する写真系列生成ステップと、
前記写真画像が撮影された期間を前記コンピュータの演算処理によって任意の時間間隔で複数の区間に分割し、前記写真系列生成ステップによって取得された前記写真画像の各々を、前記撮影時刻情報に基づき前記コンピュータの演算処理によって前記複数の区間の何れかに割り当てることにより、前記複数の区間毎に区間写真画像集合を生成し、前記メモリに記憶する区間写真画像集合生成ステップと、
前記写真系列生成ステップによって取得された前記写真画像に含まれる部分構成要素を前記コンピュータの演算処理によって抽出する部分構成要素抽出ステップと、
前記写真系列に属する前記写真画像に含まれる前記部分構成要素の出現頻度に基づいて、前記写真系列における前記部分構成要素の頻出性重要度を、前記複数の写真系列毎及び前記部分構成要素毎に算出し、前記メモリに記憶する頻出性重要度算出ステップと、
前記区間写真画像集合生成ステップによって生成された前記区間写真画像集合に属する前記写真画像に含まれる前記部分構成要素の出現頻度に基づいて、前記部分構成要素の同時性重要度を前記コンピュータの演算処理によって前記部分構成要素毎に算出し、前記メモリに記憶する同時性重要度算出ステップと、
前記頻出性重要度算出ステップによって算出されて前記メモリに記憶された前記頻出性重要度と前記同時性重要度算出ステップによって算出されて前記メモリに記憶された前記同時性重要度とを前記メモリから読み出し、読み出した前記頻出性重要度と前記同時性重要度とに基づいて、前記部分構成要素の前記写真系列に対する重要度を前記コンピュータの演算処理によって前記複数の写真系列毎及び前記部分構成要素毎に算出し、前記メモリに記憶する重要度合成ステップと、
前記重要度合成ステップによって算出されて前記メモリに記憶された前記複数の写真系列毎及び前記部分構成要素毎の重要度を前記メモリから読み出し、読み出した前記複数の写真系列毎及び前記部分構成要素毎の重要度に基づいて、前記コンピュータの演算処理によって前記複数の写真系列同士の類似度を算出する類似度算出ステップと、
を含む処理を実行させるための写真系列の類似度算出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
開示の技術は写真系列の類似度算出装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
複数の利用者からアップロードされた写真画像等をサーバに蓄積し、蓄積された写真画像等を利用者が共有できる写真共有サービスにおいて、例えば自分が参加したイベントと同じイベントに参加した他人が撮影した写真を閲覧したい場合がある。
【０００３】
この場合、各写真画像に対してイベント名等のタグを付与すれば、自分が参加したイベントと同じイベントに参加した他人が撮影した写真を閲覧することが容易となるが、各写真画像にタグを付与するのは煩雑である。
【０００４】
このため、自分の保有する写真画像に含まれる物体と同じ物体が、他人の保有する写真画像に現れる確率に基づいて両者の類似度スコアを算出し、算出した類似度スコアに基づいて両者を関連付ける技術がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特表２００９−５３３７２５号公報
【非特許文献】
【０００６】
【非特許文献１】David G. Lowe, "Distinctive image features from scale-invariant keypoints", International Journal of Computer Vision, 60, 2 (2004), pp. 91-110.
【非特許文献２】H.Bay,T.Tuytelaars, and L.V.Gool,"SURF:Speed Up Robust Features",Proc. of Int. Conf. of ECCV, (2006)
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記技術は、各写真画像に含まれる物体（人物、建物、景色等）を認識し、同一の物体が含まれる写真画像同士の類似性を高いと判定する技術である。そして、物体を認識するためには、例えば人物（個人）、建物（東京タワー、エンパイアステートビルなど）、景色（富士山、ナイアガラの滝など）、その他の物体を特定するためのそれぞれの参照用データ（モデルデータ）が必要となる。このため、精度良く類似性を判定しようとすると、膨大な量のモデルデータが必要となる。
【０００８】
近年、大学などの研究機関で物体認識への適用を目指して画像データセットを充実する活動が行われている。例えば、PENN STATE UNIVERSITYの実験用データセットSIMPLIcity collectionは、１０カテゴリーで合計１０００枚の画像から構成されているが、この程度のモデルデータ量では、精度良く類似性を判定するには不十分である。
【０００９】
例えば、写真共有サービスにおいて、同じ結婚式を撮影した画像群毎にグループ化して共有しようとした場合、写真共有サイトの利用者が利用した全ての会場やチャペルの個別のモデルデータが必要となる。すなわち、写真共有サービスの利用者が全国規模で存在する場合、全国の全ての結婚式会場のモデルデータが必要となるので、実現は困難である。
【００１０】
また、上記技術では、写真画像に含まれる物体をカテゴリー（人物、有名な建物、ペット、風景、有名人、乗り物、有名でない建物など）に分類し、写真画像群の類似度に寄与する重要度をカテゴリー毎に設定している。例えば、人物は0.9、有名な建物は0.1、有名でない建物は0.3などとしている。
【００１１】
しかしながら、このような方法で適切な重要度を設定するのは困難であり、カテゴリーをどのように設定するのが適切か、カテゴリー毎の適切な重要度はどのように決定するべきかについて、上記技術には開示されていない。
【００１２】
また、自分が参加したイベントと同じイベントに参加した他人が撮影した写真画像を自動で検出するには、そのイベントを撮影した写真画像からイベントの特徴を良く表す部分構成要素を検出する必要があるが、それはイベント毎に異なる。例えば、或る人物の結婚式であれば、その人物の顔やその時の服装、会場の独特な装飾品等であり、また、展示会などの場合、展示されている製品等である。従って、どのような部分構成要素を重視すべきかの決定を人手で行うのは極めて難しく、非常に煩雑な作業となる。
【００１３】
開示の技術は、写真画像に含まれる部分構成要素の重要度を設定する作業を必要とすることなく、写真系列の類似度を精度良く算出することが目的である。
【課題を解決するための手段】
【００１４】
開示の技術は、写真系列生成部は、撮影時刻を表す撮影時刻情報及び対応する利用者を表す利用者情報が関連付けられた複数の写真画像が格納された写真画像格納部から、前記写真画像を取得して前記利用者毎の写真系列を複数生成する。区間写真画像集合生成部は、前記写真画像が撮影された期間を任意の時間間隔で複数の区間に分割する。また、区間写真画像集合生成部は、前記写真系列生成部によって取得された前記写真画像の各々を、前記撮影時刻情報に基づいて前記複数の区間の何れかに割り当てることにより、前記複数の区間毎に区間写真画像集合を生成する。部分構成要素抽出部は、前記写真系列生成部によって取得された前記写真画像に含まれる部分構成要素を抽出する。頻出性重要度算出部は、前記写真系列に属する前記写真画像に含まれる前記部分構成要素の出現頻度に基づいて、前記写真系列における前記部分構成要素の頻出性重要度を、前記複数の写真系列毎及び前記部分構成要素毎に算出する。同時性重要度算出部は、前記区間写真画像集合生成部によって生成された前記区間写真画像集合に属する前記写真画像に含まれる前記部分構成要素の出現頻度に基づいて、前記部分構成要素の同時性重要度を前記部分構成要素毎に算出する。重要度合成部は、頻出性重要度算出部によって算出された頻出性重要度と同時性重要度算出部によって算出された同時性重要度とに基づいて、部分構成要素の写真系列に対する重要度を複数の写真系列毎及び部分構成要素毎に算出する。類似度算出部は、前記重要度合成部によって算出された前記複数の写真系列毎及び前記部分構成要素毎の重要度に基づいて、前記複数の写真系列同士の類似度を算出する。
【発明の効果】
【００１５】
開示の技術は、写真画像に含まれる部分構成要素の重要度を設定する作業を必要とすることなく、写真系列の類似度を精度良く算出することができる、という効果を有する。
【図面の簡単な説明】
【００１６】
【図１】写真系列の類似度算出装置の機能ブロック図である。
【図２】部分構成要素抽出部の機能ブロック図である。
【図３】写真系列の類似度算出装置として機能するコンピュータの概略ブロック図である。
【図４】写真系列の類似度算出処理の一例を示すフローチャートである。
【図５】各利用者が撮影した写真の写真系列について説明するための図である。
【図６】写真管理テーブルの一例を示す図である。
【図７】指定期間を１０分間隔で分割した場合のイメージ図である。
【図８】各利用者が撮影した写真の種類を示すイメージ図である。
【図９】（Ａ）は元画像を示すジ図、（Ｂ）は元画像に特徴点抽出処理を施した後の画像を示す図である。
【図１０】多次元特徴量計算について説明するための図である。
【図１１】クラスタリング処理について説明するための図である。
【図１２】部分構成要素抽出処理について説明するための図である。
【図１３】写真管理テーブルの一例を示す図である。
【図１４】頻出性重要度テーブルの一例を示す図である。
【図１５】頻出性重要度の算出について説明するための図である。
【図１６】同時性重要度テーブルの一例を示す図である。
【図１７】同時性重要度の算出について説明するための図である。
【図１８】重要度の算出について説明するための図である。
【図１９】重要度テーブルの一例を示す図である。
【図２０】類似度算出について説明するための図である。
【図２１】類似度テーブルの一例を示す図である。
【図２２】類似度算出処理が適用されるサービスについて説明するための図である。
【図２３】特徴点抽出処理の変形例について説明するための図である。
【発明を実施するための形態】
【００１７】
以下、図面を参照して開示の技術の実施形態の一例を詳細に説明する。
【００１８】
図１には、本実施形態に係る写真系列の類似度算出装置１０が示されている。写真系列の類似度算出装置１０は、複数の利用者の写真画像が格納された写真画像格納部から指定期間内に撮影された写真画像を取得して利用者毎の写真系列を生成し、写真系列同士の類似度を算出する装置である。
【００１９】
図１に示すように、写真系列の類似度算出装置１０は、写真系列生成部１２、区間写真画像集合生成部１４、部分構成要素抽出部１６、頻出性重要度算出部１８、同時性重要度算出部２０、重要度合成部２２、及び類似度算出部２４を備えている。写真系列生成部１２には、写真画像格納部３０が接続されている。また、写真系列生成部１２、区間写真画像集合生成部１４、部分構成要素抽出部１６、頻出性重要度算出部１８、同時性重要度算出部２０、重要度合成部２２、及び類似度算出部２４には、テーブル格納部３２が接続されている。本実施形態では、写真系列の類似度算出装置１０が、複数の利用者からアップロードされた写真画像を格納し、類似する写真系列を検索するサービス等の各種写真共有サービスを提供するサーバ４０に設けられた場合について説明する。サーバ４０は、写真系列の類似度算出装置１０、写真画像格納部３０、及びテーブル格納部３２を含んで構成されている。
【００２０】
写真画像格納部３０には、撮影時刻を表す撮影時刻情報及び利用者を表す利用者情報が関連付けられた複数の写真画像が格納されている。
【００２１】
写真系列生成部１２は、写真画像格納部３０に接続されており、写真画像格納部３０から、指定期間内に撮影された写真画像を取得して利用者毎の複数の写真系列を生成する。指定期間は、例えばユーザが指定してもよいし、予め定めた期間を自動で指定してもよい。
【００２２】
指定期間は、例えばイベントの識別に適した時間（例えば、半日、１日程度）に設定する。本実施形態では、一例として、写真系列とは、同一の利用者が指定期間内に撮影した写真画像の集合を言う。  また、写真画像とは、デジタル画像データであり、本実施形態では、例えばデジタルカメラ等の撮影装置によって撮影された静止画像の場合を例に説明するが、これに限らず、動画像の各フレームの画像でもよい。また、スキャナ等の画像読取装置によって写真を読み取ることで得られる読み取り画像でもよい。
【００２３】
区間写真画像集合生成部１４は、指定期間を一定時間間隔で複数の区間に分割し、写真系列生成部１２によって取得された写真画像の各々を、各写真画像に関連つけられた撮影時刻情報に基づいて複数の区間の何れかに割り当てる。これにより、複数の区間毎に区間写真画像集合が生成される。
【００２４】
部分構成要素抽出部１６は、写真系列生成部１２によって取得された写真画像の全てから部分構成要素を抽出する。部分構成要素は、例えば色及び形状の少なくとも一方を含む特徴によって分類される。また、図２に示すように、部分構成要素抽出部１６は、特徴点抽出部１６Ａ、多次元特徴量算出部１６Ｂ、及びクラスタリング部１６Ｃと、を含む。
【００２５】
特徴点抽出部１６Ａは、写真画像から複数の特徴点を抽出する。多次元特徴量算出部１６Ｂは、特徴点抽出部１６Ａによって抽出された複数の特徴点の多次元特徴量を算出する。クラスタリング部１６Ｃは、多次元特徴量算出部１６Ｂによって算出された多次元特徴量により表された多次元空間上において複数の特徴点をクラスタリングし、クラスタリングした特徴点を部分構成要素として抽出する。
【００２６】
頻出性重要度算出部１８は、或る写真系列に属する写真画像に含まれる部分構成要素の出現頻度に基づいて、当該写真系列における部分構成要素の頻出性重要度を算出することを複数の写真系列毎及び部分構成要素毎に各々行う。頻出性重要度算出部１８は、特定の写真系列における部分構成要素の出現頻度が増加すると共に特定の写真系列以外の写真系列における部分構成要素の出現頻度が減少するに従って、特定の写真系列における部分構成要素の頻出性重要度が大きくなるように算出する。なお、この算出方法は、頻出性重要度の算出方法の一例である。
【００２７】
同時性重要度算出部２０は、区間写真画像集合生成部１４によって生成された区間写真画像集合に属する写真画像に含まれる部分構成要素の出現頻度に基づいて、部分構成要素の同時性重要度を部分構成要素毎に算出する。同時性重要度算出部２０は、特定の区間写真画像集合における部分構成要素の出現頻度が増加すると共に特定の区間写真画像集合以外の区間写真画像集合における部分構成要素の出現頻度が減少するに従って部分構成要素の同時性重要度が大きくなるように算出する。なお、この算出方法は、同時性重要度の算出方法の一例である。
【００２８】
重要度合成部２２は、頻出性重要度算出部１８によって算出された頻出性重要度と同時性重要度算出部２０によって算出された同時性重要度とに基づいて、部分構成要素の写真系列に対する重要度を複数の写真系列毎及び部分構成要素毎に算出する。また、重要度合成部２２は、一例として、同時性重要度の重要度に対する影響度を定めた定数によって同時性重要度を重み付けした値に頻出性重要度を乗算した値に頻出性重要度を加えた値を重要度として算出する。
【００２９】
類似度算出部２４は、重要度合成部２２によって算出された複数の写真系列毎及び部分構成要素毎の重要度に基づいて、複数の写真系列同士の類似度を算出する。
【００３０】
写真系列の類似度算出装置１０は、例えば図３に示すコンピュータ７０で実現することができる。コンピュータ７０はＣＰＵ７２、メモリ７４、及び不揮発性の記憶部７６を備え、これらはバス７８を介して互いに接続されている。
【００３１】
また、記憶部７６はフラッシュメモリやＨＤＤ(Hard Disk Drive)等によって実現できる。記録媒体としての記憶部７６には、コンピュータ７０を写真系列の類似度算出装置１０として機能させるための写真系列の類似度算出プログラム８０が記憶されている。
【００３２】
ＣＰＵ７２は、写真系列の類似度算出プログラム８０を記憶部７６から読み出してメモリ７４に展開し、写真系列の類似度算出プログラム８０が有するプロセスを順次実行する。
【００３３】
類似度算出プログラム８０は、写真画像取得プロセス８２、区間写真画像集合生成プロセス８４、部分構成要素抽出プロセス８６、頻出性重要度算出プロセス８８、同時性重要度算出プロセス９０、重要度合成プロセス９２、及び類似度算出プロセス９４を有する。
【００３４】
ＣＰＵ７２は、写真画像取得プロセス８２を実行することで、図１に示す写真系列生成部１２として動作する。またＣＰＵ７２は、区間写真画像集合生成プロセス８４を実行することで、図１に示す区間写真画像集合生成部１４として動作する。またＣＰＵ７２は、部分構成要素抽出プロセス８６を実行することで、図１に示す部分構成要素抽出部１６として動作する。またＣＰＵ７２は、頻出性重要度算出プロセス８８を実行することで、図１に示す頻出性重要度算出部１８として動作する。またＣＰＵ７２は、同時性重要度算出プロセス９０を実行することで、図１に示す同時性重要度算出部２０として動作する。またＣＰＵ７２は、重要度合成プロセス９２を実行することで、図１に示す重要度合成部２２として動作する。またＣＰＵ７２は、類似度算出プロセス９４を実行することで、図１に示す類似度算出部２４として動作する。
【００３５】
これにより、写真系列の類似度算出プログラム８０を実行したコンピュータ７０が、写真系列の類似度算出装置１０として機能することになる。なお、写真系列の類似度算出プログラム８０は開示の技術における写真系列の類似度算出プログラムの一例である。
【００３６】
次に本実施形態の作用として、写真系列の類似度算出処理について説明する。
【００３７】
写真共有サービスの利用者は、例えば結婚式や観光等のイベントで自身が撮影した写真の写真画像をサーバ４０にアップロードする。アップロードされた写真画像は、写真画像格納部３０に格納される。写真画像格納部３０は、写真共有サービスを利用する複数の利用者の写真を格納する。
【００３８】
利用者は、例えばメール、ウェブアプリケーション、専用アプリケーションなどを用いて例えばインターネット等のネットワーク経由で写真画像をサーバ４０にアップロードする。各写真画像は、撮影時刻を表す撮影時刻情報及び利用者を表す利用者情報と関連付けられて写真画像格納部３０に格納される。格納方法としては、例えば、格納フォルダを利用者毎に設ける方法でも良いし、RDB(Relational Data Base)などの方法を用いても良い。また、写真画像に撮影に関する様々な情報を付加する標準的な方法であるExif情報に、撮影時刻を自動的に書き込むことができるため、この情報をそのまま保持するようにしてもよい。
【００３９】
本実施形態に係る写真系列の類似度算出装置１０では、図４に示す類似度算出処理を例えば定期的（例えば１週間に１回、１日に１回など）に実行する。この場合、指定期間は例えば１日とし、予め定めた期間（例えば過去数ヶ月分）について図４に示す類似度算出処理を実行する。
【００４０】
まず、ステップ１００では、写真系列生成部１２が、利用者から指定された指定期間に撮影された全ての写真画像を写真画像格納部３０から取得して利用者毎の複数の写真系列を生成する。図５には、指定期間を１日（２４時間）として、写真系列生成部１２から取得した複数の利用者が撮影した写真画像を撮影時刻の順序で並べた場合のイメージ図を示した。また、写真系列生成部１２は、全利用者が指定期間内に撮影した写真画像に各々固有の写真ＩＤを付与すると共に、各利用者が指定期間内に撮影した写真画像を一つのグループとしてまとめ、これを写真系列として固有の写真系列ＩＤを各々付与する。
【００４１】
本実施形態において、写真系列は、同一の利用者が指定期間内に撮影した写真画像の集合である。例えば、図５に示すように利用者Ａが指定期間内に撮影した写真画像Ｘ１〜Ｘ５には、一つの写真系列として固有の写真系列ＩＤ（例えば写真系列ＩＤ＝１）が付与される。これにより、利用者毎の写真系列が生成される。
【００４２】
写真系列生成部１２は、より詳しくは、図６に示すような写真管理テーブルを生成することにより、利用者毎の写真系列を生成する。同図に示すように、写真管理テーブルは、個々の写真画像毎に写真ＩＤ、写真系列ＩＤ、区間写真画像集合ＩＤ、及び部分構成要素の各情報を設定可能な記録欄を含むテーブルである。同図の例では、全ての利用者が指定期間内に撮影した写真画像に対して、写真ＩＤとして１〜Ｎ（Ｎは自然数）が付与されている。また、各利用者が指定期間内に撮影した写真画像の集合である写真系列の各々に対して、写真系列ＩＤとして１〜Ｍ（Ｍは自然数）が付与されている。本実施形態では、写真系列は利用者毎に生成されるので、Ｍは利用者の人数と同一である。
【００４３】
ステップ１０２では、区間写真画像集合生成部１４が、指定期間を一定時間間隔で複数の区間に分割し、写真系列生成部１２によって取得された写真画像の各々を、各写真画像に関連つけられた撮影時刻情報に基づいて複数の区間の何れかに割り当てる。これにより、同じ区間内で撮影された写真画像を一つのグループとした区間写真画像集合が区間毎に生成される。具体的には、区間写真画像集合生成部１４は、図６に示すように、写真管理テーブルの区間写真画像集合ＩＤの欄に各写真画像に対して付与した区間写真画像集合ＩＤとして１〜Ｌ（Ｌは自然数）の何れかを書き込む。図７には、一例として指定期間を１０分間隔で複数の区間に分割した場合のイメージ図を示した。この場合、２４時間を１０分間隔で１４４分割されることになる（Ｌ＝１４４）。また、図８には、利用者Ａ、Ｃ、Ｄが結婚式に参加して写真を撮影した場合、利用者Ｂ、Ｅ、Ｆが東京観光に参加して写真を撮影した場合における写真画像の種類の一例を示した。
【００４４】
一区間の長さは、例えばイベントの見所（例えばイベントが結婚式であればケーキカットなど）での撮影時刻の同時性の識別に適した時間（例えば、５分、１０分）に設定する。なお、全区間の長さを一定とすることに限られるものではなく、例えば或る区間に属する写真画像の数が閾値未満であれば、当該区間の長さを長くする等、区間の長さを不定長としてもよい。
【００４５】
ステップ１０４では、部分構成要素抽出部１６が、写真系列生成部１２によって取得された写真画像の全て、すなわち全ての写真系列（全ての区間写真画像集合）から部分構成要素を抽出する。なお、部分構成要素は、例えば色及び形状の少なくとも一方の特徴で分類される。これにより、各写真画像は、どのような部分構成要素を含むかという形で表現することができる。
【００４６】
部分構成要素を抽出する方法としては、例えば画像を特徴ベクトルで表すVisual Wordsを利用することができる。
【００４７】
具体的には、まず、特徴点抽出部１６Ａが、全ての写真画像から複数の特徴点を抽出する。例えば、画像中のコントラストの変化の大きい部分など画像の局所的な形状を判定して特徴点を抽出する方法や、画像内に等間隔またはランダムに複数の点を設定し、その点を特徴点として抽出する方法等がある。図９（Ｂ）には、同図（Ａ）に示す元画像に対して特徴点抽出処理を施した後の画像の例を示した。
【００４８】
次に、多次元特徴量算出部１６Ｂが、特徴点抽出部１６Ａによって抽出された複数の特徴点の多次元特徴量を算出する。例えば、各特徴点の周辺を一定のサイズで切り出した部分画像（例えば４、８、１２、１６ピクセルなどの小さな画像）から多次元特徴量を算出する。これにより写真から抽出された全ての特徴点は多次元空間上の点として表現される。図１０には、多次元特徴量算出部１６Ｂが算出した多次元特徴量に表された多次元空間上における複数の特徴点の例を示した。
【００４９】
これらの特徴点の抽出処理及び多次元特徴量算出処理では、所謂SIFT(Scale Invariant Feature Transform)やSIFTを高速化したSURF(Speed Up Robust Features)（下記の非特許文献１、２参照）等の方法を用いることができるが、これらに限られるものではない。SIFT（またはSURF）では、まず、元画像に対して段階的にスケールの異なる複数のガウスフィルタを用いて平滑化画像を生成し、隣り合うスケールの平滑化画像同士の差分画像であるDoG（Difference of Gaussian）画像を生成する。そして、DoG画像から極大値を求めることにより、特徴点の位置を決定する。次に、特徴点周辺の一定範囲を１６ブロックに分割（縦横各４分割）し、各ブロック内の画素の勾配方向を８方向に量子化しヒストグラムを生成することにより、１２８次元の特徴量を得ることができる。
【００５０】
そして、クラスタリング部１６Ｃは、多次元特徴量算出部１６Ｂによって算出された多次元特徴量により表された多次元空間上における複数の特徴点をクラスタリングし、クラスタリングされた特徴点を部分構成要素として抽出する。具体的には、多次元空間上で距離の近い特徴点をまとめてクラスタを作成する。クラスタリング方法としては、例えばK-平均法（k-means法）などの一般的なクラスタリング手法を用いる。この場合、図１１に示すように、各クラスタをVisual Wordとし、例えばword1,word2など便宜上の名前を付与する。
【００５１】
K-平均法は、一般には以下のような処理を実行する。まず、データの数をn、クラスタの数をKと定義する。そして、各データをランダムにK個のクラスタに分類する。次に、各クラスタの中心（割り振られたデータの平均値）を算出する。次に、各データと各クラスタの中心との距離を求め、各データを最も近いクラスタに分類し直す。次に、中心の算出と再分類を繰り返し、分類の変更が発生しなくなったら処理を終了する。これにより、全ての写真画像は、何れのVisual words（写真画像の部分構成要素）を含むかで表現することができる。
【００５２】
例えば、図１２に示すように、利用者Ａが撮影した結婚式の入場の写真画像Ａ１は、新郎の上着に取り付けられたブーケの部分画像Ｙ１を部分構成要素１として含むと共に、他にも様々な部分構成要素を含む。また、同じく利用者Ａが撮影した結婚式のケーキカットの写真画像Ａ２は、写真画像Ａ１と同様に、ブーケの部分画像Ｙ１を部分構成要素１として含むと共に、ケーキの一部の部分画像Ｙ２を部分構成要素３として含む。また、写真画像Ａ２は、その他にも様々な部分構成要素を含む。また、利用者Ｂが東京タワーを撮影した写真画像Ｂ１は、東京タワーの展望台の部分画像Ｙ３を部分構成要素２として含むと共に、他にも様々な部分構成要素を含む。
【００５３】
このように、全ての写真画像から部分構成要素を抽出した後、部分構成要素抽出部１６は、各写真画像に部分構成要素１〜Ｐ（Ｐは自然数）がそれぞれ何個含まれているかを算出して、図１３に示すように写真管理テーブルに書き込む。図１３の例では、写真ＩＤ１の写真画像には、部分構成要素１が１０個、部分構成要素２が５個、部分構成要素３が３個、部分構成要素４が２２個、部分構成要素Ｐが１個含まれている。
【００５４】
ステップ１０６では、頻出性重要度算出部１８が、写真系列に属する写真画像に含まれる部分構成要素の出現頻度に基づいて、当該写真系列における部分構成要素の頻出性重要度を複数の写真系列毎及び部分構成要素毎に算出する。これは、写真系列に多く含まれる部分構成要素（例えば結婚式の場合、新郎新婦の顔や服装の一部など）はその写真系列の特徴を良く表しており、同様の部分構成要素を含む写真系列同士は同じイベントを撮影したものである可能性が高いということに基づいている。
【００５５】
頻出性重要度の算出方法としては、写真系列内の部分構成要素の有無を２値で表して頻出性重要度としてもよいし（binary表現）、写真系列内の部分構成要素の出現頻度を正規化して頻出性重要度としてもよい。すなわち、写真系列内の部分構成要素の出現頻度の増加関数となる値であればよい。
【００５６】
本実施形態では、頻出性重要度の算出方法の具体例として、文書の分類や検索で用いられるtf-idf法を用いて写真系列の部分構成要素の頻出性重要度を算出する場合について説明する。tf(term frequency)は、ある１つの文書内に含まれるある単語の頻度を表し、idf(inverse document frequency)は、文書集合全体にその単語が含まれる割合の逆数を表す。そして、このtfとidfを乗算したtf-idf（＝tf*idf）値をその単語の特徴を表す値とするものである。このtf-idf値は、ある文書内のある単語がその文書に多く含まれ、文書集合全体には多く含まれない場合、つまり、その単語がその文書の特徴を良く表している場合に大きな値となる。tf及びidfの算出には様々な方法があるが、もっとも基本的な式を以下に示す。
【００５７】
【数１】
0005834950.tif 000002
【００５８】
ここで、ni,jは単語iが文書ｊに含まれる個数を表す。kは文書jに含まれる単語の種類の数を表す。また、|D|は、文書の総数、|{d: d ∋ ti}|は単語iを含む文書数を表す。
【００５９】
写真系列にtf-idf法を適用する場合、単語を部分構成要素（上述のvisual wordsなど）に、１つ１つの文書を写真系列に置き換えればよい。この場合、tfは、（写真系列内の対象部分構成要素の数／写真系列内の全ての部分構成要素の数）となる。また、idfは、log (全ての写真系列の数／対象部分構成要素を含む写真系列の数)となる。
【００６０】
写真系列にtf-idf法を適用した場合、tf-idf値が頻出性重要度となる。この場合、特定の写真系列における部分構成要素の出現頻度が増加すると共に、特定の写真系列以外の写真系列における部分構成要素の出現頻度が減少するに従って、特定の写真系列における部分構成要素の頻出性重要度が大きくなる。すなわち、特定の写真系列において頻出性重要度が大きい部分構成要素は、その部分構成要素が特定の写真系列の特徴を良く表していることになる。
【００６１】
頻出性重要度算出部１８は、写真系列毎に各部分構成要素について算出した頻出性重要度を、図１４に示すように、頻出性重要度テーブルに書き込む。
【００６２】
図１５には、頻出性重要度をtf-idf法で算出した場合の算出例を示した。
【００６３】
同図に示す例では、利用者Ａが撮影した写真系列ＩＤ１の写真系列に、５個の写真画像Ｐ１〜Ｐ５が含まれ、その中に部分構成要素１が５個、部分構成要素３が１個含まれている。また、写真系列内に含まれる全ての部分構成要素の数が１００個、全ての写真系列の数が１００個である。また、部分構成要素１、３が含まれる写真系列の数はともに３個である。この場合、写真系列ＩＤ１の写真系列における部分構成要素１の頻出性重要度Ｗｕ（要素１）、部分構成要素３の頻出性重要度Ｗｕ（要素３）は、それぞれ次式で算出される。
【００６４】
Wu（要素１）＝tf*idf＝（5/100）×log(100/3）＝0.0076
【００６５】
Wu（要素３）＝tf*idf＝（5/100）×log(100/3）＝0.0015
【００６６】
このように、部分構成要素１は、部分構成要素３と比較して、写真系列ＩＤ１の写真画像に多く含まれるため、部分構成要素１の頻出性重要度は、部分構成要素３の頻出性重要度よりも大きい値となる。
【００６７】
ステップ１０８では、同時性重要度算出部２０が、区間写真画像集合生成部１４によって生成された区間写真画像集合に属する写真画像に含まれる部分構成要素の出現頻度に基づいて、部分構成要素の同時性重要度を部分構成要素毎に算出する。
【００６８】
頻出性重要度算出部１８では、各写真系列に対する各部分構成要素の出現頻度に基づく頻出性重要度を算出した。同時性重要度算出部２０は、各部分構成要素が複数の写真系列で同じ区間に出現する頻度に基づいて同時性重要度を算出する。写真系列に含まれる部分構成要素のうち複数の撮影者が同時に撮影しているもの（例えば結婚式であればケーキカットのケーキの一部など）は、写真系列全体に多く出現しなくても、その写真系列の特徴を良く表している。また、同様の部分構成要素を含む写真系列同士は同じイベントを撮影したものである可能性が高い。このため、同時性重要度を上記のように算出する。
【００６９】
同時性重要度は、写真系列毎にではなく、全写真系列に対して共通の値として算出し、図１６に示すような同時性重要度テーブルへ書き込む。
【００７０】
同時性重要度の算出方法は、特定の区間写真画像集合における部分構成要素の出現頻度が増加すると共に、全ての区間写真画像集合における部分構成要素の出現頻度が減少するに従って、部分構成要素の同時性重要度が大きくなる算出方法とすることが好ましい。すなわち、特定の区間写真画像集合における部分構成要素の出現頻度の増加関数であり、その他の区間写真画像集合における部分構成要素の出現頻度が減少関数となることが好ましい。
【００７１】
このような算出方法として、例えば前述のif-idf法を用いることができる。この場合、まず、それぞれの区間写真画像集合を文書とみなし、区間写真画像集合に含まれる部分構成要素を単語とみなして算出すればよい。次に、区間毎に算出されたtf-idfの最大値、または、全区間での平均値を求め、これを全写真系列（全写真画像）に対する同時性重要度とする。これにより、同じ区間に出現する部分構成要素の同時性重要度を大きく、時間に関係なくおしなべて出現する部分構成要素の同時性重要度を小さく算出することができる。
【００７２】
図１７には、同時性重要度をtf-idf法で算出した場合の算出例を示した。同図に示す例では、全区間数を１００とし、或る区間写真画像集合Ｋ１に含まれる全写真画像に部分構成要素１、３がそれぞれ４個含まれている。また、部分構成要素１は、１００個全ての区間写真画像集合に含まれており、部分構成要素３は、一つの区間写真画像集合Ｋ１にのみ含まれている。この場合、区間写真画像集合Ｋ１における部分構成要素１のtf*idf（要素１）、部分構成要素３のtf*idf（要素３）は、それぞれ次式で算出される。
【００７３】
tf*idf（要素１）＝（4/100）×log(100/100）＝0
【００７４】
tf*idf（要素３）＝（4/100）×log(100/1）＝0.008
【００７５】
このように、部分構成要素３は、部分構成要素１と比較して、一つの区間写真画像集合Ｋ１にのみ出現するため、部分構成要素３のtf*idfは、部分構成要素１のtf*idfよりも大きい値となる。
【００７６】
このようにして、全ての区間写真画像集合について各部分構成要素のtf*idfを求め、これらの平均値を同時性重要度とする。図１７の例では、部分構成要素１は、全ての区間写真画像集合に含まれるため、tf*idfは全ての区間写真画像集合において０となる。このため、図１７に示すように、部分構成要素１の同時性重要度Wt（要素１）は０となる。また、部分構成要素３は、区間写真画像集合Ｋ１にのみ含まれるため、他の区間写真画像集合におけるtf*idfは全て０となる。このため、図１７に示すように、部分構成要素３の同時性重要度Wt（要素１）は０．０８となる。
【００７７】
ステップ１１０では、重要度合成部２２が、ステップ１０６で算出された頻出性重要度と同時性重要度算出部２０によって算出された同時性重要度とに基づいて、部分構成要素の写真系列に対する重要度を複数の写真系列毎及び部分構成要素毎に算出する。
【００７８】
重要度の算出方法としては、例えば重要度をＷ、頻出性重要度をＷｕ、同時性重要度をＷｓ、同時性重要度Ｗｔの重要度Ｗに対する影響度を表す定数をｄとした場合に、全ての写真系列における全ての部分構成要素の重要度Ｗを次式により各々算出する方法がある。
【００７９】
Ｗ＝Ｗｕ＋ｄ×Ｗｔ    ・・・（１）
【００８０】
上記（１）式は、同時性重要度Ｗｔを定数ｄで重み付けした上で、頻出性重要度Ｗｕを加算した値を重要度とするものである。
【００８１】
ここで、dは同時性重要度の影響度を決定する定数である。このため、dが大きいほど、イベントのある時間に同時に撮影されるもの（例えば結婚式であればケーキカットのケーキなど）が重要度へ与える影響が大きくなる。また、ｄが小さいほど、イベント全体に共通して出現するもの（結婚式であれば新郎新婦の顔など）が重要度へ与える影響が大きくなる。
【００８２】
しかしながら、同時性重要度はすべての写真系列に共通する値となるため、ある部分構成要素の同時性重要度が高い場合、その部分構成要素を全く含まない写真系列に対してもその部分構成要素の重みが高くなってしまう。そこで、以下のように、定数dに頻出性重要度Wuをかけた値を同時性重要度の重みとする方法が好ましい。
【００８３】
W = Wu + d * Wu * Wt＝Wu( 1 + d * Wt )    ・・・（２）
【００８４】
上記（２）式で重要度Wを算出した場合、写真系列に全く出現しない又はほとんど出現しない部分構成要素は、同時性重要度が高くても、その写真系列での重要度が0又は小さくなる。例えば、コンサートの写真系列にケーキが出現しなければ、ケーキの重要度は0である必要があるが、上記（２）式で重要度を算出すれば、ケーキを含まないコンサートの写真系列におけるケーキの重要度が高くなってしまうのを防ぐことができる。
【００８５】
図１８には、例えばｄ＝１００として、利用者Ａが撮影した写真画像を含む写真系列ＩＤ１の写真系列における部分構成要素１の重要度Ｗ（要素１）、部分構成要素３の重要度Ｗ（要素３）を上記（２）式により算出した場合を示した。同図に示すように、部分構成要素１は、全ての写真系列に万遍なく含まれているため、部分構成要素３よりも頻出性重要度Wtは大きいものの、同時性重要度Wtが０であるため、重要度は部分構成要素３よりも小さくなる。このようにして重要度合成部２２により写真系列毎及び部分構成要素毎に重要度Wが算出され、算出された重要度Wは、図１９に示すような重要度テーブルに書き込まれる。
【００８６】
ステップ１１２では、類似度算出部２４が、重要度合成部２２によって算出された写真系列毎及び部分構成要素毎の重要度に基づいて、複数の写真系列同士の類似度を算出する。各写真系列は、その写真系列に含まれる全ての部分構成要素の重要度Wを要素とするベクトルで表現できる。すなわち、各写真系列は、図２０に示すように、全ての部分構成要素の重要度Wを軸とする多次元空間内の点として表現できる。このため、類似度算出部２４は、多次元空間内の全ての点同士のユークリッド距離をそれぞれ求め、それらの逆数をそれぞれの類似度として算出する。算出した各写真系列同士の類似度は、図２１に示すような類似度テーブルに書き込まれる。図２１には、一例として８月１日の利用者が１０００人（写真系列が１０００個）の場合における写真系列同士（利用者同士）の類似度を算出した結果を示した。
【００８７】
この類似度テーブルに基づいて、予め定めた閾値以上の類似度の写真系列同士は、同じイベントを撮影した写真系列であると判定することが可能となる。なお、図４に示す処理を定期的に、例えば１週間に１回や１日に１回実行して類似度テーブルを算出するようにしてもよい。
【００８８】
このように、本実施形態では、頻出性重要度と同時性重要度とに基づいて、部分構成要素の写真系列に対する重要度を複数の写真系列毎及び部分構成要素毎に算出し、算出した重要度に基づいて、複数の写真系列同士の類似度を各々算出する。このため、部分構成要素の重要度の煩雑な設定作業を必要とすることなく、精度良く写真系列の類似度を算出することができる。
【００８９】
なお、本実施形態では、図４に示す処理を、定期的に実行する場合について説明したが、過去に撮影された写真画像が後からアップロードされる場合もあるので、その場合には、図４に示す類似度算出処理を実行して類似度テーブルを更新するようにしてもよい。
【００９０】
次に、図４に示す類似度算出処理によって生成された類似度テーブルを用いてサーバ４０が提供する機能について説明する。図２２には、サーバ４０が提供する写真共有サービスにおいて、利用者の提供するサービスの概念図を示した。
【００９１】
利用者は、利用者のパーソナルコンピュータ（ＰＣ）や携帯電話等の携帯端末にインストールされた写真管理プログラム５０を用いて、写真画像をインターネット等のネットワークを介してサーバ４０へアップロードする。なお、写真管理プログラム５０は、写真アップロードモジュール５０Ａや推薦メッセージ表示モジュール５０Ｂを含む。また、写真管理プログラム５０は、ブラウザや専用アプリケーションによって提供される。
【００９２】
サーバ４０では、利用者からアップロードされた写真画像を写真ＤＢ（写真画像格納部３０）に格納する。そして、図４に示す類似度算出処理の処理プログラムを含むイベント検索プログラム６０によって類似度テーブルを算出し、類似度が予め定めた閾値以上となる写真系列同士については、同じイベントを撮影した写真系列であるものと判断する。そして、推薦メッセージ生成プログラム６２によって推薦メッセージを生成する。生成した推薦メッセージは、同じイベントを撮影した写真系列を撮影した各利用者のＰＣや携帯電話等の携帯端末に送信される。例えば、利用者Ａと利用者Ｂが撮影した写真系列同士の類似度が閾値以上であった場合には、利用者Ａに対しては、「○月×日にあなたが参加したイベントにＢさんも参加していたようです。Ｂさんが公開している写真を閲覧しますか？」等の推薦メッセージを生成して送信する。これにより、利用者Ａは、容易に同じイベントに参加していた他人の写真を閲覧することが可能となる。
【００９３】
また、図２１に示すように類似度テーブルを日毎に生成していた場合において、例えば利用者Ａと利用者Ｃの写真系列同士の類似度が閾値以上となる日が複数ある場合には、利用者Ａと利用者Ｃは同じイベントに何度も参加している可能性が高い。このような場合には、例えば利用者Ａに対しては、「Ｃさんはあなたが参加した同じイベントに何度も参加しているようです。お友達登録しますか？」等の推薦メッセージを生成して送信する。これにより、利用者Ａは、容易に同じイベントに参加している他人の存在を知ることができる。
【００９４】
また、この他にも、利用者が自分と同じイベントを撮影した他の利用者を検索するようサーバ４０に依頼する検索サービスにも適用できる。この場合、利用者は、イベントが有った日をサーバ４０に送信して検索を依頼する。サーバ４０は、指定された日の類似度テーブルから、類似度が閾値以上となる写真系列（利用者）を検索し、その結果を利用者の端末装置に送信する。
【００９５】
また、同じイベントを撮影した異なる利用者の写真画像集合同士で写真の付加情報（イベント名、イベントの説明、GPS情報など）を共有するサービスにも適用できる。
【００９６】
なお、本実施形態では、部分構成要素をVisual Wordsを利用して抽出する場合について説明したが、十分な数の物体のモデルデータを準備できるのであれば、このモデルデータを用いて部分構成要素を抽出するようにしてもよい。この場合、図２３に示すように、結婚式の写真画像Ｄ１の場合、新郎Ａさん、新婦Ｂさん、木、ケーキ等のモデルデータが必要となる。また、東京タワーの写真画像Ｄ２の場合、東京タワーや空のモデルデータが必要となる。そして、これらのモデルデータで表される部分構成要素が写真画像Ｄ１に含まれるか否かを判断して、前述した方法によって頻出性重要度や同時性重要度を算出すればよい。
【００９７】
また、上記では開示の技術に係る写真系列の類似度算出プログラムの一例である写真系列の類似度算出プログラムが記憶部７６に予め記憶（インストール）されている態様を説明したが、これに限定されるものではない。開示の技術に係る画像処理プログラムは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記録媒体に記録されている形態で提供することも可能である。
【００９８】
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
【００９９】
以上の実施形態に関し、更に以下の付記を開示する。
【０１００】
（付記１）
前記部分構成要素抽出ステップは、前記写真画像から複数の特徴点を抽出する特徴点抽出ステップと、前記特徴点抽出ステップによって抽出された複数の特徴点の多次元特徴量を算出する多次元特徴量算出ステップと、前記多次元特徴量算出ステップによって算出された前記多次元特徴量により表される多次元空間上において前記複数の特徴点をクラスタリングし、クラスタリングした特徴点を前記部分構成要素として抽出するクラスタリングステップと、を含む請求項６記載の写真系列の類似度算出方法。
【０１０１】
（付記２）
前記頻出性重要度算出ステップは、特定の前記写真系列における前記部分構成要素の出現頻度が増加すると共に、全ての前記写真系列における前記部分構成要素の出現頻度が減少するに従って、前記特定の前記写真系列における前記部分構成要素の前記頻出性重要度が大きくなるように、前記頻出性重要度を算出する請求項６又は付記１記載の写真系列の類似度算出方法。
【０１０２】
（付記３）
前記同時性重要度算出ステップは、特定の前記区間写真画像集合における前記部分構成要素の出現頻度が増加すると共に、全ての前記区間写真画像集合における前記部分構成要素の出現頻度が減少するに従って、前記部分構成要素の前記同時性重要度が大きくなるように、前記同時性重要度を算出する請求項６、付記１、及び付記２の何れか１項に記載の写真系列の類似度算出方法。
【０１０３】
（付記４）
前記重要度合成ステップは、前記重要度をＷ、前記頻出性重要度をＷｕ、前記同時性重要度をＷｔ、前記同時性重要度の前記重要度Ｗに対する影響度を表す定数をｄとした場合に、前記写真系列における前記部分構成要素の前記重要度Ｗを次式により算出する
Ｗ＝Ｗｕ＋ｄ×Ｗｕ×Ｗｔ
請求項６、付記１〜３の何れか１項に記載の写真系列の類似度算出方法。
【０１０４】
（付記５）
前記部分構成要素抽出ステップは、前記写真画像から複数の特徴点を抽出する特徴点抽出ステップと、前記特徴点抽出ステップによって抽出された複数の特徴点の多次元特徴量を算出する多次元特徴量算出ステップと、前記多次元特徴量算出ステップによって算出された前記多次元特徴量により表される多次元空間上において前記複数の特徴点をクラスタリングし、クラスタリングした特徴点を前記部分構成要素として抽出するクラスタリングステップと、を含む請求項７記載の写真系列の類似度算出プログラム。
【０１０５】
（付記６）
前記頻出性重要度算出ステップは、特定の前記写真系列における前記部分構成要素の出現頻度が増加すると共に、全ての前記写真系列における前記部分構成要素の出現頻度が減少するに従って、前記特定の前記写真系列における前記部分構成要素の前記頻出性重要度が大きくなるように、前記頻出性重要度を算出する請求項７又は付記５記載の写真系列の類似度算出プログラム。
【０１０６】
（付記７）
前記同時性重要度算出ステップは、特定の前記区間写真画像集合における前記部分構成要素の出現頻度が増加すると共に、全ての前記区間写真画像集合における前記部分構成要素の出現頻度が減少するに従って、前記部分構成要素の前記同時性重要度が大きくなるように、前記同時性重要度を算出する請求項７、付記５、及び付記６の何れか１項に記載の写真系列の類似度算出方法。
【０１０７】
（付記８）
前記重要度合成ステップは、前記重要度をＷ、前記頻出性重要度をＷｕ、前記同時性重要度をＷｔ、前記同時性重要度の前記重要度Ｗに対する影響度を表す定数をｄとした場合に、前記写真系列における前記部分構成要素の前記重要度Ｗを次式により算出する
Ｗ＝Ｗｕ＋ｄ×Ｗｕ×Ｗｔ
請求項７、付記５〜７の何れか１項に記載の写真系列の類似度算出方法。
【符号の説明】
【０１０８】
１０  類似度算出装置
１２  写真系列生成部
１４  区間写真画像集合生成部
１６  部分構成要素抽出部
１６Ａ      特徴点抽出部
１６Ｂ      多次元特徴量算出部
１６Ｃ      クラスタリング部
１８  頻出性重要度算出部
２０  同時性重要度算出部
２２  重要度合成部
２４  類似度算出部
３０  写真画像格納部
３２  テーブル格納部
４０  サーバ
【図１３】
0005834950.tif 000003
【図１４】
0005834950.tif 000004
【図１】
0005834950.tif 000005
【図２】
0005834950.tif 000006
【図３】
0005834950.tif 000007
【図４】
0005834950.tif 000008
【図５】
0005834950.tif 000009
【図６】
0005834950.tif 000010
【図７】
0005834950.tif 000011
【図８】
0005834950.tif 000012
【図９】
0005834950.tif 000013
【図１０】
0005834950.tif 000014
【図１１】
0005834950.tif 000015
【図１２】
0005834950.tif 000016
【図１５】
0005834950.tif 000017
【図１６】
0005834950.tif 000018
【図１７】
0005834950.tif 000019
【図１８】
0005834950.tif 000020
【図１９】
0005834950.tif 000021
【図２０】
0005834950.tif 000022
【図２１】
0005834950.tif 000023
【図２２】
0005834950.tif 000024
【図２３】
0005834950.tif 000025