【手続補正書】
【提出日】平成24年11月9日(2012.11.9)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】変更
【補正の内容】
【００２７】
表示制御部２１は、記憶部１４の人物相関データベース４１に記憶されているデータに基づき表示部１１の表示を制御する。人物相関データベース４１に記憶されるデータは、人物相関データ生成部２３により生成される。人物相関データ生成部２３は、グループ化部２５によるグループ化の結果や、顔クラスタリング部２６のクラスタリングの結果に基づいて、人物同士の相関に関するデータを生成する。グループ化部２５は、画像解析部２７の顔認識部３１による画像に写っている人物（顔）の認識結果に基づき、人物同士のグループを作成する。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００４３
【補正方法】変更
【補正の内容】
【００４３】
ステップＳ１７において、タグが決定されると、その情報から人物相関データが生成され、人物相関データベース４１に記憶される（ステップＳ１８）。このようにして、人物相関データベース４１は生成される。この人物相関データベース４１のデータは、画像から抽出された人物同士が、どのような関係にあるかに関するデータである。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００７８
【補正方法】変更
【補正の内容】
【００７８】
暫定近似直線は、次式（９）に基づいて算出される。
暫定近似曲線(interim-approxLine) l_interim ：ｙ＝ａｘ＋ｂ  ・・・（９）
式（９）における係数ａ、係数ｂは、それぞれ、式（５）、式（６）に基づいて算出される。ただし、ｎは、この場合、処理対象とされた画像内の「可」顔の数とされる。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００９６
【補正方法】変更
【補正の内容】
【００９６】
このような状況の場合、ステップＳ１３３において、距離Ｌ１４１と距離Ｌ１４３との差分値が算出される。この差分値は、０もしくは、０に近い小さい値となる。よって、ステップＳ１３４において、差分値は、平均顔サイズよりも小さいと判断される。このような場合、「可」顔１４１乃至１４６は、１つのグループとされる。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０１０２
【補正方法】変更
【補正の内容】
【０１０２】
ステップＳ１６１において、基準となる第１番目の顔が、画像内の全ての「可」顔の中から１つ選択される。この選択は、ステップＳ８１（図６、図７）の処理結果を用いて行われる。すなわちソートされた結果が用いられ、近似直線からの距離が小さい順に選択されることで行われる。後に、他の顔も順次、第１番目の顔とされるため、ステップＳ１６３において、全ての顔を第１番目の顔としたか否かが判断される処理がある。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０１０５
【補正方法】変更
【補正の内容】
【０１０５】
一方、ステップＳ１６３において、全ての顔が第１番目の顔として処理が実行されたと判断された場合、ステップＳ１６４に処理が進められる。ステップＳ１６４において、ステップＳ１６３までの処理でグループが生成された場合、そのグループに関する情報として、グループ化に使用した近似直線が登録される。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】０１３４
【補正方法】変更
【補正の内容】
【０１３４】
ステップＳ１６３において、全ての顔を第１番目の顔としたか否かが判断される。このステップＳ１６３以降の処理は、既に説明したので、ここではその説明を省略する。ステップＳ１６４において、グループ化に使用した近似直線が登録されると、ステップＳ８４（図６）に処理が進められる。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】０１３８
【補正方法】変更
【補正の内容】
【０１３８】
一方、ステップＳ３３２において、近似直線を利用したグループがあると判断された場合、ステップＳ３３３に処理が進められる。ステップＳ３３３において、処理対象とされるグループが選択される。ステップＳ３３４において、選択されたグループ内に含まれる顔の平均顔サイズが算出される。そして、ステップＳ３３５において、グループ化されていない「可」顔または「未定」顔のうちの１つの顔が選択され、処理対象に設定される。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】０１４８
【補正方法】変更
【補正の内容】
【０１４８】
一方、ステップＳ３４２において、全てのグループ化されていない「可」顔および「未定」顔を処理対象としたと判断された場合、ステップＳ３４３に処理が進められる。ステップＳ３４３において、全てのグループ化に使用した近似直線を処理対象としたか否かが判断される。ステップＳ３４３において、全てのグループ化した近似直線（全てのグループ）を処理対象としていないと判断された場合、ステップＳ３４３に処理が戻され、まだ処理対象とされていないグループが選択され、ステップＳ３３４以降の処理が繰り返される。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】０１５２
【補正方法】変更
【補正の内容】
【０１５２】
ステップＳ３６２において、グループ化されてない「可」顔が２以上あるか否かが判断される。この“座標の平均からの距離を利用したグループ化の処理”は、“孤立顔の近似直線グループへの追加処理”（ステップＳ８４（図６））と異なり、「可」とのタグが付けられている「可」顔のみが処理対象とされ、「未定」とのタグが付けられた「未定」顔は、処理対象とされない。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】０１６５
【補正方法】変更
【補正の内容】
【０１６５】
例えば、集合候補Ｇｃに第１番目の顔のみが登録されている状態のときであれば、第１番目の顔と追加顔との座標の平均値が算出される（算出されている座標平均が用いられる）。そして、集合候補Ｇｃ内には、第１番目の顔のみが登録されている状態なので、第１番目の顔と座標平均との距離が求められ、その距離が、距離の総和とされる。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】０１７７
【補正方法】変更
【補正の内容】
【０１７７】
ステップＳ３８８において、集合Ｇは空であるか否かが判断される。ステップＳ３８８において、集合Ｇが空ではないと判断された場合、ステップＳ３８９に処理が進められる。ステップＳ３８９において、集合Ｇ内の顔の数の合計と、集合候補Ｇｃ内の顔の数の合計が比較され、集合候補Ｇｃ内の顔の数の合計の方が、集合Ｇ内の顔の数の合計よりも大きいか否かが判断される。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】０１７８
【補正方法】変更
【補正の内容】
【０１７８】
ステップＳ３８９において、集合候補Ｇｃ内の顔の数の合計の方が、集合Ｇ内の顔の数の合計よりも大きくはないと判断された場合、換言すれば、同数、またはそれ以下であると判断された場合、ステップＳ３９０に処理が進められる。ステップＳ３９０において、集合Ｇ内の顔の数の合計と、集合候補Ｇｃ内の顔の数の合計が、同数であり、座標平均と各顔の距離の総和は、集合候補Ｇｃの方が小さいか否かが判断される。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】０１８０
【補正方法】変更
【補正の内容】
【０１８０】
ステップＳ３９０において、集合Ｇ内の顔の数の合計と、集合候補Ｇｃ内の顔の数の合計が同数であり、座標平均と各顔の距離の総和は、集合候補Ｇｃの方が小さいと判断された場合、ステップＳ３９１に処理が進められる。ステップＳ３９１には、ステップＳ３８８において、集合Ｇは空ではないと判断された場合、またはステップＳ３８９において、集合候補Ｇｃ内の顔の数の合計の方が、集合Ｇ内の顔の数の合計よりも大きくないと判断された場合にもくる。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】０１９３
【補正方法】変更
【補正の内容】
【０１９３】
ステップＳ３６８における処理で、集合Ｇが新規グループとして追加されることにより、その追加される集合Ｇに含まれる「可」顔は、グループ化された「可」顔になるため、ステップＳ３６２以降の処理の対象とはされなくなる。その結果、ステップＳ３６２において、グループ化されていない「可」顔が２個以上ないと判断された場合、換言すれば、グループ化されていない「可」顔が、１個または０個であると判断された場合、図１７に示した“座標平均からの距離を利用したグループ化の処理”は終了され、ステップＳ８６（図６）に処理が進められる。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】０１９４
【補正方法】変更
【補正の内容】
【０１９４】
図６のフローチャートの説明に戻る。ステップＳ８５において、座標平均からの距離を利用したグループ化の処理が実行されることにより、グループ化されていない「可」顔の個数は、１個または０個となっている。１個の場合、まだグループ化されていない「可」顔が存在することになるため、ステップＳ８６において、単独で残った顔のグループ化の処理が実行される。この“単独で残った顔のグループ化の処理”とは、グループに含まれていない顔を処理対象として、単独で残った顔をグループとする処理であり、顔のサイズが、顔のサイズの平均値に対して一定値以上の大きさがある顔を１つのグループとする処理である。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】０１９５
【補正方法】変更
【補正の内容】
【０１９５】
「グループ化の処理における単独で残った顔のグループ化の処理」
ステップＳ８６において実行される単独で残った顔のグループ化の処理について、図１９のフローチャートを参照して説明する。ステップＳ４１１において、グループ化されてない「可」顔があるか否かが判断される。この“単独で残った顔のグループ化の処理”は、「可」とのタグが付けられている「可」顔のみが処理対象とされ、「未定」とのタグが付けられた「未定」顔は、処理対象とされない。また、仮にグループ化されていない「可」顔が１つであった場合も処理が実行される。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】０１９６
【補正方法】変更
【補正の内容】
【０１９６】
ステップＳ４１１において、グループ化されていない「可」顔はないと判断された場合、処理すべき「可」顔がないことを意味するため、図１９に示したフローチャートの処理は終了される。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】０１９９
【補正方法】変更
【補正の内容】
【０１９９】
一方で、ステップＳ８３乃至Ｓ８５の各処理が実行されたが、グループが１つも生成されなかった場合、全ての「可」顔のサイズの平均値が、ステップＳ４１３において用いられる平均顔サイズとされる。この場合、全ての「可」顔の個数は１個である。これは、上述したように、ステップＳ３６２（図１７）において、グループ化されていない「可」顔が２個以上ないと判断されたときに、ステップＳ８６に処理が進められ、このステップＳ４１３の処理が実行されるため、この時点で、全ての「可」顔の個数は１個である。
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】０２００
【補正方法】変更
【補正の内容】
【０２００】
よって、グループが１つも生成されていない状態で、ステップＳ４１３の処理が実行されるときには、平均顔サイズとは、１個の「可」顔のサイズとされる。
【手続補正２１】
【補正対象書類名】明細書
【補正対象項目名】０２０５
【補正方法】変更
【補正の内容】
【０２０５】
ステップＳ８７の処理に関する説明の前に、ここまでの処理で作成されたグループについて、図２０を参照して説明する。図２０に示した処理対象とされた画像２０１には、顔２１１乃至２２７が撮像されている。図２０中、顔の周りの四角形は、抽出された顔の範囲を示している。顔２１１乃至顔２２０は、ほぼ直線上に並んでいるため、“近似直線を用いたグループ化の処理”（図６のステップＳ８３における処理）により、グループ化（グループＡとする）される。ただし、顔２１６は、“孤立顔の近似直線への追加処理”（図６のステップＳ８４の処理）によりグループＡに追加される。同様に、顔２２１乃至顔２２５も、ほぼ直線上に並んでいるため、近似直線を用いたグループ化の処理（図６のステップＳ８３における処理）により、グループ化（グループＢとする）される。
【手続補正２２】
【補正対象書類名】明細書
【補正対象項目名】０２５９
【補正方法】変更
【補正の内容】
【０２５９】
テーブル３２１を参照することで、“ATR_FRIENDS_GROUP_ADULT”とのタグ名は、“グループ化あり”であり、“人数＞2”かつ“ (ATR_MAN+ ATR_WOMAN) > Th2* ATR_CHILD”であるという条件が満たされるときのグループに対して付けられることがわかる。そして、これらの情報が満たされるとき、“ATR_FRIENDS_GROUP_ADULT”とのタグ名は、“友人３人以上（大人）”という意味であり、そのようなグループに対してはＩＤとして“３０”が付けられることが、テーブル３２２を参照することでわかる。
【手続補正２３】
【補正対象書類名】明細書
【補正対象項目名】０２６０
【補正方法】変更
【補正の内容】
【０２６０】
テーブル３２１を参照することで、“ATR_FRIENDS_GROUP_CHILD”とのタグ名は、“グループ化あり”であり、“人数＞2 ”かつ“ATR_CHILD > Th3* (ATR_MAN+ ATR_WOMAN)”であるという条件が満たされるときのグループに対して付けられることがわかる。そして、これらの情報が満たされるとき、“ATR_FRIENDS_GROUP_CHILD”とのタグ名は、“友人３人以上（子供）”という意味であり、そのようなグループに対してはＩＤとして“３１”が付けられることが、テーブル３２２を参照することでわかる。
【手続補正２４】
【補正対象書類名】明細書
【補正対象項目名】０２６２
【補正方法】変更
【補正の内容】
【０２６２】
テーブル３２１を参照することで、“ATR_WOMAN”とのタグ名は、“個人追加時”であり、“adult - baby > Th7 adult > Th8 gender < Th9”であるという条件が満たされるときのグループに対して付けられることがわかる。そして、これらの情報が満たされるとき、“ATR_WOMAN”とのタグ名は、“女性”という意味であり、そのようなグループに対してはＩＤとして“５２”が付けられることが、テーブル３２２を参照することでわかる。なお、Th7、Th8、Th9は、それぞれ所定の閾値である。
【手続補正２５】
【補正対象書類名】明細書
【補正対象項目名】０２８４
【補正方法】変更
【補正の内容】
【０２８４】
同様に、顔３６１と顔３６３は、第１階層と第２の階層にそれぞれ属するため、Ｎtreeは、“１”である。よって、このＮtree＝１を、式（１３）に代入すると、“１”というScoreｆが算出される。よって、顔３６１と顔３６３の距離スコアは、１である。図２６Ｃに示した表３９１では、顔ＩＤとして“３６１”と顔ＩＤとして“３６３”が交わる欄には、距離スコアとして“１”との数値が書き込まれる。また、顔３６１と顔３６３は、“友達”というタグが付けられているので、“Friend”とのタグ名が書き込まれている。
【手続補正２６】
【補正対象書類名】明細書
【補正対象項目名】０２８５
【補正方法】変更
【補正の内容】
【０２８５】
同様に、顔３６１と顔３６４は、第１階層と第３の階層にそれぞれ属するため、Ｎtreeは、“２”である。よって、このＮtree＝２を、式（１３）に代入すると、“０．５”というScoreｆが算出される。よって、顔３６１と顔３６４の距離スコアは、０．５である。図２６Ｃに示した表３９１では、顔ＩＤとして“３６１”と顔ＩＤとして“３６４”が交わる欄には、距離スコアとして“０．５”との数値が書き込まれる。また、顔３６１と顔３６４は、“友達”というタグが付けられているので、“Friend”とのタグ名が書き込まれている。
【手続補正２７】
【補正対象書類名】明細書
【補正対象項目名】０２８７
【補正方法】変更
【補正の内容】
【０２８７】
同様に、顔３６２と顔３６４は、第１階層と第３の階層にそれぞれ属するため、Ｎtreeは、“２”である。よって、このＮtree＝２を、式（１３）に代入すると、“０．５”というScoreｆが算出される。よって、顔３６２と顔３６４の距離スコアは、０．５である。図２６Ｃに示した表３９１では、顔ＩＤとして“３６２”と顔ＩＤとして“３６４”が交わる欄には、距離スコアとして“０．５”との数値が書き込まれる。また、顔３６２と顔３６４は、“友達”というタグが付けられているので、“Friend”とのタグ名が書き込まれている。
【手続補正２８】
【補正対象書類名】明細書
【補正対象項目名】０２９９
【補正方法】変更
【補正の内容】
【０２９９】
表４２１において、顔ＩＤとして“３６１”と顔ＩＤとして“３６４”が交わる欄には、親密度スコアとして“１”との数値が書き込まれ、“Friend”というタグが付けられている。これは、顔３６１と顔３６４の距離スコアは、表３９１では“０．５”であり、表４１１では“０．５”であるため、それらの値が加算された“１”が、親密度スコアとして表４２１に書き込まれるからである。また、顔３６１と顔３６４のタグは、表３９１、表４１１ともに“Friend”であるため、この１つのタグが表４２１に書き込まれるからである。
【手続補正２９】
【補正対象書類名】明細書
【補正対象項目名】０３００
【補正方法】変更
【補正の内容】
【０３００】
表４２１において、顔ＩＤとして“３６１”と顔ＩＤとして“３６４”が交わる欄には、親密度スコアとして“１”との数値が書き込まれ、“Friend”というタグが付けられている。これは、顔３６１と顔３６４の距離スコアは、表３９１では“０．５”であり、表４１１では“０．５”であるため、それらの値が加算された“１”が、親密度スコアとして表４２１に書き込まれるからである。また、顔３６１と顔３６４のタグは、表３９１、表４１１ともに“Friend”であるため、この１つのタグが表４２１に書き込まれるからである。
【手続補正３０】
【補正対象書類名】明細書
【補正対象項目名】０３０１
【補正方法】変更
【補正の内容】
【０３０１】
表４２１において、顔ＩＤとして“３６２”と顔ＩＤとして“３６３”が交わる欄には、親密度スコアとして“２”との数値が書き込まれ、“Friend”というタグが付けられている。これは、顔３６２と顔３６３の距離スコアは、表３９１では“１”であり、表４１１では“１”であるため、それらの値が加算された“２”が、親密度スコアとして表４２１に書き込まれるからである。また、顔３６２と顔３６３のタグは、表３９１、表４１１ともに“Friend”であるため、この１つのタグが表４２１に書き込まれるからである。
【手続補正３１】
【補正対象書類名】明細書
【補正対象項目名】０３０２
【補正方法】変更
【補正の内容】
【０３０２】
表４２１において、顔ＩＤとして“３６２”と顔ＩＤとして“３６４”が交わる欄には、親密度スコアとして“１．５”との数値が書き込まれ、“Friend”というタグが付けられている。これは、顔３６２と顔３６４の距離スコアは、表３９１では“０．５”であり、表４１１では“１”であるため、それらの値が加算された“１．５”が、親密度スコアとして表４２１に書き込まれるからである。また、顔３６２と顔３６４のタグは、表３９１、表４１１ともに“Friend”であるため、この１つのタグが表４２１に書き込まれるからである。
【手続補正３２】
【補正対象書類名】明細書
【補正対象項目名】０３０３
【補正方法】変更
【補正の内容】
【０３０３】
表４２１において、顔ＩＤとして“３６３”と顔ＩＤとして“３６４”が交わる欄には、親密度スコアとして“１．５”との数値が書き込まれ、“Friend”というタグが付けられている。これは、顔３６３と顔３６４の距離スコアは、表３９１では“１”であり、表４１１では“０．５”であるため、それらの値が加算された“１．５”が、親密度スコアとして表４２１に書き込まれるからである。また、顔３６３と顔３６４のタグは、表３９１、表４１１ともに“Friend”であるため、この１つのタグが表４２１に書き込まれるからである。
【手続補正３３】
【補正対象書類名】明細書
【補正対象項目名】０３１１
【補正方法】変更
【補正の内容】
【０３１１】
テーブル４５１は、タグ名と、そのタグ名が付けられているタグに乗算する係数が関連付けられて管理されているテーブルである。図２８に示したテーブル４５１を参照するに、“Couple”というタグ名には、“１．５”という係数が関連付けられている。“Parent Child”というタグ名には、“１．５”という係数が関連付けられている。“Family”というタグ名には、“１．２”という係数が関連付けられている。“Friend”というタグ名には、“１．０”という係数が関連付けられている。
【手続補正３４】
【補正対象書類名】明細書
【補正対象項目名】０３４４
【補正方法】変更
【補正の内容】
【０３４４】
顔画像６１１には、紐６２１と紐６２２が張られている。紐は、顔画像同士（人物同士）が何らかの関係があることを示す。また、親密度が高い顔画像同士の紐は短く、親密度が高くない顔同士の紐は長く表示されるようにしても良い。顔画像６１１と顔画像６１２との間には、紐６２１が張られ、その間柄を表すタグとして、タグ６４１が紐６２１の近傍に表示されている。このタグ６４１の情報は、データ５０３から抽出された情報である。具体的には、例えば、顔画像６１１の人物ＩＤが“００１”であり、顔画像６１２の人物ＩＤが“００２”である場合、データ５０３が参照されることで、タグが“Couple”であることがわかる。そしてこのタグの情報から、タグ６４１の画像が生成され、顔画像６１１と顔画像６１２との間に張られた紐６２１の近傍に表示される。
【手続補正３５】
【補正対象書類名】明細書
【補正対象項目名】０３４８
【補正方法】変更
【補正の内容】
【０３４８】
顔画像６１１と顔画像６１５の間には、紐６２５が張られ、その間柄を表すタグとして、“Parent”とのタグ６４４が紐６２５の近傍に表示されている。この場合、顔画像６１１の人物と、顔画像６１５の人物は、親子関係があることがわかり、かつ、その親子関係は、顔画像６１１の人物を中心として考えた場合、顔画像６１５の人物は親にあたることがわかる。すなわち、中心人物が、顔画像６１１の人物であるため、顔画像６１１の人物に対して、顔画像６１３の人物は子であり、顔画像６１５の人物は親となる。
【手続補正３６】
【補正対象書類名】明細書
【補正対象項目名】０３６５
【補正方法】変更
【補正の内容】
【０３６５】
このような状態から、撮影者が、さらに顔画像６１４から顔画像６１２の方にドラッグなどの所定の操作を実行すると、図３３に示すように、顔画像６１２と顔画像６１４との間に紐６２４が表示され、さらに“Friend”というタグ６４３も表示される。このように、撮影者は、顔画像にリンクを張りたいとき、ツール表示部６０２から所望の紐６６１乃至６６４を選択し、顔画像同士を接続するような所定の操作を実行することで、リンクを張ることが可能な構成とされている。
【手続補正３７】
【補正対象書類名】明細書
【補正対象項目名】０３６７
【補正方法】変更
【補正の内容】
【０３６７】
図３４に示したフローチャートは、図３１を参照して説明した紐の削除（リンクの削除）が行われたときに実行される処理について説明するためのフローチャートである。紐が削除される操作が実行されたと判断された場合、ステップＳ５１１において、２つの人物ＩＤをキーに、対応するデータが検索される。例えば、図３１に示した例では、顔画像６１２と顔画像６１４との間の紐６２４（タグ６４３）が削除される操作が実行されたときであるので、この顔画像６１２に対応する人物ＩＤと、顔画像６１４に対応する人物ＩＤとがキーにされる。
【手続補正３８】
【補正対象書類名】明細書
【補正対象項目名】０３７９
【補正方法】変更
【補正の内容】
【０３７９】
まず、図３７のフローチャートを参照して、個別の顔の追加処理について説明する。個別の顔の追加処理とは、例えば、相関画像表示部６０１内に表示されている同一の人物の顔画像が２以上表示されている場合、換言すれば、誤った判断により同一人物であるのに、異なる人物として処理されているような場合、ユーザにより同一の人物として扱われるように修正が入ったときの処理である。また、相関画像表示部６０１に表示されていないが、表示させたい顔（顔画像）があるときに、その顔が追加される処理でもある。
【手続補正３９】
【補正対象書類名】明細書
【補正対象項目名】０３８０
【補正方法】変更
【補正の内容】
【０３８０】
ステップＳ６０１において、ユーザにより指定された顔（顔画像）が、人物ＩＤを持つか否かが判断される。ステップＳ６０１において、ユーザにより指定された顔が人物ＩＤを持つと判断された場合、ステップＳ６０２に処理が進められる。ステップＳ６０２において、反映されている、元の人物ＩＤが存在するという情報が更新される。すなわち、ユーザにより指定された顔に対応する人物ＩＤに関する情報が更新される。
【手続補正４０】
【補正対象書類名】明細書
【補正対象項目名】０３８３
【補正方法】変更
【補正の内容】
【０３８３】
次に、図３８のフローチャートを参照して、人物間の追加処理について説明する。人物間の追加処理とは、人物間の関係性を１００％の精度で判定することはできない可能性であり、そのためにまずは、上記したようにして人物相関に関するデータを生成し、その後、ユーザにより関係の追加や誤判定の削除を行えるようにするための処理である。
【手続補正４１】
【補正対象書類名】明細書
【補正対象項目名】０３８７
【補正方法】変更
【補正の内容】
【０３８７】
ステップＳ５５１において、分離が指示された顔が人物ＩＤを持つか否かが判断される。ステップＳ６５１において、顔が人物ＩＤを持つと判断された場合、ステップＳ６５２に処理が進められる。ステップＳ６５２において、反映されている、元の人物ＩＤが存在するという情報が修正される。すなわち、ユーザにより指定された顔に対応する人物ＩＤに関する情報が修正される。
【手続補正４２】
【補正対象書類名】明細書
【補正対象項目名】０３９１
【補正方法】変更
【補正の内容】
【０３９１】
このようにして、顔の識別精度は１００％の制度ではないのが一般的であり、そのために、間違いが発生する可能性がある。そのような間違いをユーザにより訂正できることで、より精度の高い人物相関に関する情報を生成させることが可能となる。
【手続補正４３】
【補正対象書類名】明細書
【補正対象項目名】０４０５
【補正方法】変更
【補正の内容】
【０４０５】
すなわち、顔クラスタリング部２６は、まず、イベントクラスタリング部８０１の処理結果から、同一のイベントの画像の画像ＩＤを取得する。そして、顔クラスタリング部２６は、顔認識処理の結果から、イベント単位で該当する画像ＩＤの顔識別特徴量および顔ＩＤを取得し、顔識別特徴量同士の類似度を用いて同一イベント内の写真に写っている同一人物ごとにグルーピングを行なう。
【手続補正４４】
【補正対象書類名】明細書
【補正対象項目名】０４０６
【補正方法】変更
【補正の内容】
【０４０６】
このような処理が実行されることで、イベント毎に、画像毎に、人物が生成され、同一人物が同一人物として扱われる状態となる。そのような状態になると、ステップＳ８１０において、人物間の親密度の算出処理が実行される。このステップＳ８０８乃至Ｓ８１０の各処理は、図２に示したフローチャートのステップＳ１５乃至Ｓ１７の各処理と同様に行われ、その詳細な説明は既にしたので、ここではその説明を省略する。