(57)【要約】【課題】画像の被写体に関する情報の推定精度を向上させる。【解決手段】情報処理装置は、時間クラスタリングにより同一の時間クラスタに分類された画像から抽出される顔画像を取得する顔画像取得部と、上記顔画像を上記時間クラスタ毎に分類し、分類された上記顔画像に基づいて同一人物とみなされる人物が特定された人物情報を生成する人物情報生成部と、を有する。【選択図】図１
2013003631.tif 000002
【特許請求の範囲】
【請求項１】
時間クラスタリングにより同一の時間クラスタに分類された画像から抽出される顔画像を取得する顔画像取得部と、
前記顔画像を前記時間クラスタ毎に分類し、分類された前記顔画像に基づいて同一人物とみなされる人物が特定された人物情報を生成する人物情報生成部と、
を備える、情報処理装置。
【請求項２】
前記人物情報生成部は、前記顔画像の類似度及び前記顔画像の所定の属性の値を示す顔特徴量に基づいて、前記同一人物とみなされる人物を特定する、請求項１に記載の情報処理装置。
【請求項３】
前記人物情報生成部は、前記顔画像を前記類似度に基づいてクラスタリングした顔クラスタ毎の前記顔特徴量を比較し、当該顔特徴量の差が所定の閾値以下である前記顔クラスタのうち、同一の画像内に含まれない前記顔クラスタを統合する、請求項２に記載の情報処理装置。
【請求項４】
前記顔特徴量は、前記顔画像に基づいた年齢属性値を含み、
前記人物情報生成部は、前記年齢属性値と前記顔画像の撮影日時とに基づいて、それぞれの人物の誕生年を推定し、推定した誕生年の情報を用いて、さらに前記時間クラスタ毎に特定された前記人物のうち同一人物とみなされる人物を統合する、請求項２に記載の情報処理装置。
【請求項５】
前記同一の時間クラスタに分類された画像に基づいて、前記人物情報生成部により特定された人物を前記時間クラスタ毎に分類して人物グループを生成する人物グループ情報生成部、
をさらに備える、請求項１に記載の情報処理装置。
【請求項６】
前記人物グループ情報生成部は、前記時間クラスタ毎に特定された人物グループを、前記人物グループに含まれる人物の構成に基づいて統合する、請求項５に記載の情報処理装置。
【請求項７】
前記人物情報生成部により特定される人物間の人間関係情報を、前記人物グループ情報生成部により生成された人物グループに含まれる人物の構成に基づいて生成する人間関係情報生成部、
をさらに備える、請求項６に記載の情報処理装置。
【請求項８】
前記人物情報生成部は、さらにソーシャルネットワークサービスから抽出された情報に基づいて前記人物情報を生成する、請求項１に記載の情報処理装置。
【請求項９】
前記人物情報生成部は、ソーシャルネットワークサービスから抽出された顔画像と、前記顔画像取得部により取得された顔画像との類似度、及び、ソーシャルネットワークサービスから抽出された人物の属性値と前記顔画像を解析することにより得られる人物の属性値の類似度に基づいて同一人物であるか否かを判断する、請求項８に記載の情報処理装置。
【請求項１０】
前記人物グループ情報生成部は、さらに前記ソーシャルネットワークサービスから抽出された情報に基づいて前記人物グループ情報を生成する、請求項８に記載の情報処理装置。
【請求項１１】
前記人物グループ情報生成部は、前記ソーシャルネットワークサービスから抽出された人物グループ情報と、前記画像に基づいて生成された人物グループ情報とにそれぞれ含まれる人物の構成を比較して同一の人物グループを特定することにより人物グループ情報を統合する、請求項１０に記載の情報処理装置。
【請求項１２】
時間クラスタリングにより同一の時間クラスタに分類された画像から抽出される顔画像を取得することと、
前記顔画像を前記時間クラスタ毎に分類し、分類された前記顔画像に基づいて同一人物とみなされる人物が特定された人物情報を生成することと、
を含む、情報処理方法。
【請求項１３】
コンピュータを、
時間クラスタリングにより同一の時間クラスタに分類された画像から抽出される顔画像を取得する顔画像取得部と、
前記顔画像を前記時間クラスタ毎に分類し、分類された前記顔画像に基づいて同一人物とみなされる人物が特定された人物情報を生成する人物情報生成部と、
を備える、情報処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法、情報処理システム、及びプログラムに関する。
【背景技術】
【０００２】
画像解析技術の向上に伴い、画像を解析して得られる情報から、当該画像の被写体に関する情報を推定することができるようになってきた。例えば特許文献１には、画像撮影時に被写体の顔を認識し、その特徴量から、性別・距離・顔の向き・笑顔度などを判定することによって、画像の被写体の人間関係及び親密度を推定することが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１６７９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
この技術分野では、画像の被写体に関する情報の推定精度をさらに向上することが望まれている。そこで、本開示では、画像の被写体に関する情報の推定精度を向上させることのできる、新規かつ改良された情報処理装置、情報処理方法、情報処理システム、及びプログラムを提案する。
【課題を解決するための手段】
【０００５】
本開示によれば、時間クラスタリングにより同一の時間クラスタに分類された画像から抽出される顔画像を取得する顔画像取得部と、上記顔画像を上記時間クラスタ毎に分類し、分類された上記顔画像に基づいて同一人物とみなされる人物が特定された人物情報を生成する人物情報生成部と、を有する情報処理装置が提供される。
【０００６】
かかる構成によれば、時間クラスタ毎に顔画像が分類され、同一人物であるとみなされる人物が特定される。同じ時間クラスタに分類される画像には、同じ時期の同じ人物が複数含まれる可能性が高い。このため、人物特定の精度が向上される。
【０００７】
また、本開示によれば、時間クラスタリングにより同一の時間クラスタに分類された画像から抽出される顔画像を取得することと、上記顔画像を上記時間クラスタ毎に分類し、分類された上記顔画像に基づいて同一人物とみなされる人物が特定された人物情報を生成することと、を含む情報処理方法が提供される。
【０００８】
また、本開示によれば、コンピュータを、時間クラスタリングにより同一の時間クラスタに分類された画像から抽出される顔画像を取得する顔画像取得部と、上記顔画像を上記時間クラスタ毎に分類し、分類された上記顔画像に基づいて同一人物とみなされる人物が特定された人物情報を生成する人物情報生成部とを備える情報処理装置として機能させるためのプログラムが提供される。
【発明の効果】
【０００９】
以上説明したように本開示によれば、画像の被写体に関する情報の推定精度を向上させることができる。
【図面の簡単な説明】
【００１０】
【図１】本開示の第１の実施形態に係る情報処理装置の概略構成図である。
【図２】同実施形態にかかる情報処理システムの動作例を示すフローチャートである。
【図３】同実施形態において用いられる画像解析情報の生成について説明するための説明図である。
【図４】同実施形態において用いられる画像情報の一例である。
【図５】同実施形態において用いられる顔情報の一例である。
【図６】同実施形態において用いられる顔クラスタ情報の一例である。
【図７】同実施形態において用いられる顔特徴量情報の一例である。
【図８】同実施形態において用いられる顔特徴量についての説明図である。
【図９】同実施形態において用いられる画像時間クラスタ情報の一例である。
【図１０】同実施形態において用いられる画像解析情報の生成について説明するための説明図である。
【図１１】同実施形態において用いられるエラー除去後の顔クラスタ情報の一例である。
【図１２】同実施形態において用いられる顔クラスタ毎の顔特徴量情報の一例である。
【図１３】同実施形態にかかる情報処理装置の詳細構成例を示す説明図である。
【図１４】同実施形態にかかる人物特定処理を示すフローチャートである。
【図１５】同実施形態において生成される人物情報の一例である。
【図１６】同実施形態における人物統合処理の効果について説明するための説明図である。
【図１７】同実施形態における人物統合処理の効果について説明するための説明図である。
【図１８】同実施形態において生成される時間クラスタ毎の人物グループ情報の一例である。
【図１９】同実施形態における人物グループ特定について説明するための説明図である。
【図２０】同実施形態において生成される時間クラスタ毎の人物グループ情報の他の一例である。
【図２１】同実施形態において生成される統合された人物グループ情報の一例である。
【図２２】同実施形態における人間関係算出の一例についての説明図である。
【図２３】同実施形態における人間関係算出の他の一例についての説明図である。
【図２４】同実施形態において生成されるグループ種別情報の一例である。
【図２５】同実施形態において生成される人間関係情報の一例である。
【図２６】本開示の第２の実施形態に係る情報処理装置の概略構成図である。
【図２７】同実施形態にかかる情報処理システムの動作例を示すフローチャートである。
【図２８】同実施形態におけるＳＮＳ情報の抽出について説明するための説明図である。
【図２９】同実施形態にかかる情報処理装置の詳細構成例を示す説明図である。
【発明を実施するための形態】
【００１１】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１２】
なお、説明は以下の順序で行うものとする。
１．第１の実施形態（画像解析情報からの被写体情報の推定）
１−１．概略構成
１−２．全体動作例
１−３．画像解析情報の生成
１−４．詳細構成例
２．第２の実施形態（ＳＮＳ情報をさらに用いる被写体情報の推定）
２−１．概略構成
２−２．全体動作例
２−３．ＳＮＳ情報の抽出
２−４．詳細構成例
【００１３】
＜１．第１の実施形態（画像解析情報からの被写体情報の推定）＞
〔１−１．概略構成〕
まず、図１を参照しながら、本開示の第１の実施形態にかかる情報処理装置１０ａの概略構成について説明する。図１は、本開示の第１の実施形態に係る情報処理装置の概略構成図である。
【００１４】
情報処理装置１０ａは、画像と当該画像を解析することにより得られる画像解析情報とに基づいて、画像の被写体に関する被写体情報を推定する機能を有する。ここで被写体情報は、人物と、人物グループと、人物間の人間関係とに関する情報を含む概念である。すなわち、情報処理装置１０ａは、人物情報生成部２０ａと、人物グループ情報生成部３０ａと、人間関係情報生成部４０ａとを主に有する。なお、ここでは情報処理装置１０ａが人物情報生成部２０ａの機能と、人物グループ情報生成部３０ａの機能と、人間関係情報生成部４０ａの機能とを有することとしたが、本技術はかかる例に限定されない。人物情報生成部２０ａの機能と、人物グループ情報生成部３０ａの機能と、人間関係情報生成部４０ａの機能とは、それぞれ別体の装置により実現されてよい。また、１つの機能部として描かれている機能を、複数の情報処理装置による分散処理で実現することも可能である。
【００１５】
人物情報生成部２０ａは、画像及び画像解析情報から同一人物とみなされる人物を特定し、分類した人物情報を人物格納部３１ａに記憶させることができる。人物グループ情報生成部３０ａは、人物情報生成部２０ａにより特定された人物をグループに分類した人物グループ情報を生成して人物グループ格納部３２ａに記憶させることができる。また人間関係情報生成部４０ａは、人物情報生成部２０ａにより分類された人物間の人間関係を、人物グループ情報生成部３０ａにより分類されたグループの情報に基づいて特定する機能を有する。
【００１６】
ここで情報処理装置１０ａは、クラスタリング技術を用いて同一人物とみなされる人物をひとつの顔クラスタにまとめることができる。しかし、初めから全画像に対して顔画像の類似度のみに基づいた顔クラスタリングを実行すると、似ている人物同士がひとりの人物にまとめられてしまうことがあった。例えば、２歳離れた兄と弟について、２年前の兄の写真と現在の弟の写真とでは、写真中の人物の年齢も同じであるため、顔が似ている場合には、ひとりの人物にまとめられてしまうことがあった。また、実際には同一の人物であっても、時間経過によって顔つきが変わってしまった場合に別の人物であるものとして扱われてしまい追跡することが困難であった。
【００１７】
そこで、本実施形態においては、まずは時間クラスタ毎に人物を特定し、この情報を徐々に統合する方法により、人物特定の精度を向上させた。このとき、顔の所定の属性の値を示す顔特徴量を用いて顔特徴量の大きく異なる顔画像を除くことにより誤って同じ人物であると特定される可能性を低減することができる。また、顔特徴量に基づいて顔クラスタの統合を行うことにより、誤って異なる人物であると特定された顔クラスタを統合することができる。このような処理によって、人物特定の精度を高めることができる。また、人物特定の精度が高まることによって、この人物を分類した人物グループの特定精度も高まる。さらに、人物の特定精度が高まることによって、これを用いた人物間の人間関係の特定精度も高めることができる。
【００１８】
〔１−２．全体動作例〕
次に、図２を参照しながら、本実施形態にかかる情報処理システムの動作例について説明する。図２は、同実施形態にかかる情報処理システムの動作例を示すフローチャートである。
【００１９】
まず、処理対象とする画像群に対して画像解析処理が行われる（Ｓ１００）。この画像解析処理は、人物算出処理が行われるときに実行されてよい。或いは、画像解析処理は、予め行われており、蓄積された画像解析情報を取得することもできる。なお、ここで用いられる画像群は、例えばオンラインストレージに記憶された画像群であってよい。例えば画像解析を実行する装置は、ユーザＩＤに基づいてオンラインストレージ上から特定のユーザの画像を取得することができる。
【００２０】
ここで画像解析処理は、例えば顔認識により顔画像を生成する処理が含まれてよい。また画像解析処理は、顔画像を類似度に基づいて分類する顔クラスタリング処理が含まれてよい。また、画像解析処理は、人物の所定の属性値である顔特徴量の算出処理が含まれてよい。また、画像解析処理は、画像を時間クラスタに分類する画像時間クラスタリング処理が含まれてよい。
【００２１】
次に、顔クラスタのエラー除去処理が行われる（Ｓ１０５）。このエラー除去処理は、ステップＳ１００の画像解析処理において算出された顔特徴量を用いて行われる。顔特徴量の詳細については後述されるが、顔の属性値を示す顔特徴量が大きくことなる顔画像は、異なる人物の顔画像である可能性が高い。このため、顔クラスタリングにより分類された顔クラスタの中に、顔特徴量が大きく異なる顔画像が含まれている場合には、この顔画像を除外するエラー除去処理が行われる。
【００２２】
次に、このエラー除去処理が行われた後の顔クラスタについて、顔クラスタ毎の顔特徴量が算出される（Ｓ１０７）。エラー除去後の顔クラスタに含まれる顔画像は、同一人物である可能性が高い。そこで、ステップＳ１００の画像解析処理により算出された顔画像毎の顔特徴量を用いて、顔クラスタ毎の顔特徴量を算出することができる。例えばここで算出される顔クラスタ毎の顔特徴量は、顔クラスタに含まれる顔画像それぞれの顔特徴量の平均値であってよい。
【００２３】
次に、人物情報生成部２０ａは、時間クラスタ別人物算出処理を実行することができる（Ｓ１１０）。ここで時間クラスタは、例えば画像の撮影された日時などに基づき、イベント単位にクラスタリングされたまとまりを指す。イベントは、例えば「運動会」、「旅行」、「パーティー」などであってよい。このようなイベントにおいて撮影された画像には、同じ人物、同じグループが繰返し登場する可能性が高い。また、イベントは、時間に基づいてクラスタリングされたまとまりであるため、上述のように２年前の兄の写真と現在の弟の写真とが混在することがない。このため、時間クラスタ毎に同一人物を特定する人物算出処理を行うことで、人物算出の精度を向上させることができる。具体的には、人物情報生成部２０ａは、顔クラスタ毎の顔特徴量を用いることによって、顔クラスタの統合処理を行うことができる。人物情報生成部２０ａは、顔特徴量が近く、且つ、同一の画像に登場しない顔クラスタを一人の人物とみなして統合することができる。
【００２４】
そして人物グループ情報生成部３０ａは、次に時間クラスタ別人物グループ算出処理を実行することができる（Ｓ１１５）。同一のイベントに分類された画像には、同じグループが繰返し登場する可能性が高い。また、このとき人物グループ情報生成部３０ａは、時間クラスタ毎に算出された人物の情報を用いて、この人物をグループに分類する。このため、時間クラスタ毎に算出された人物グループは、精度が高いものとなる可能性が高い。
【００２５】
次に、人物情報生成部２０ａ及び人物グループ情報生成部３０ａは、時間クラスタ別人物・人物グループ算出処理を実行することができる（Ｓ１２０）。この時間クラスタ別人物・人物グループ算出処理は、例えば人物情報と人物グループ情報とを合わせて用いることにより、それぞれの算出精度を向上させる処理である。例えば、人物グループに含まれる顔クラスタ群の構成（人数、男女比、年齢比など）から、グループ同士の統合とそれに伴う人物の再統合などを実施することができる。
【００２６】
また、上述の処理により、時間クラスタ毎に人物情報と人物グループ情報とが生成されると、次に人物情報生成部２０ａ及び人物グループ情報生成部３０ａは、人物・人物グループ統合処理を実行することができる（Ｓ１２５）。人物・人物グループ統合処理は、時間クラスタに跨って人物及び人物グループを特定することができる。このとき、画像の撮影日時と顔クラスタ毎の顔特徴量とに基づいて算出される推定誕生年を用いることで、さらに人物及び人物グループの特定精度を向上させることができる。この人物・人物グループ統合処理によれば、時間クラスタ毎に特定されたグループを統合するため、時間経過によるグループ構成の変遷に関する情報を得ることができる。
【００２７】
次に、人間関係情報生成部４０ａは、人物・人物グループ統合処理により得られた人物情報及び人物グループ情報を用いて、人物間の人間関係算出処理を実行することができる（Ｓ１３０）。人間関係情報生成部４０ａは、例えば人物グループの構成からグループ種別を判別する。そして、人間関係情報生成部４０ａは、グループ内の各人物の属性値に基づいて人間関係を算出することができる。例えばここで用いられる人物の属性値は、性別・年齢などであってよい。
【００２８】
〔１−３．画像解析情報の生成〕
ここで、図３〜図１２を参照しながら、人物情報・人物グループ情報・人間関係情報の生成に用いられる画像解析情報の生成について説明する。図３は、同実施形態において用いられる画像解析情報の生成について説明するための説明図である。図４は、同実施形態において用いられる画像情報の一例である。図５は、同実施形態において用いられる顔情報の一例である。図６は、同実施形態において用いられる顔クラスタ情報の一例である。図７は、同実施形態において用いられる顔特徴量情報の一例である。図８は、同実施形態において用いられる顔特徴量についての説明図である。図９は、同実施形態において用いられる画像時間クラスタ情報の一例である。図１０は、同実施形態において用いられる画像解析情報の生成について説明するための説明図である。図１１は、同実施形態において用いられるエラー除去後の顔クラスタ情報の一例である。図１２は、同実施形態において用いられる顔クラスタ毎の顔特徴量情報の一例である。
【００２９】
まず図３を参照すると、画像解析情報は、例えば画像入力部１０１と、顔認識（検出）部１０２と、顔類似度算出部１０３と、顔クラスタリング算出部１０４と、顔特徴量算出部１０５と、画像時間クラスタリング算出部１０６とにより生成することができる。
【００３０】
画像入力部１０１は、解析対象の画像情報を画像格納部１１から取得して顔認識（検出）部１０２及び画像時間クラスタリング算出部１０６に供給することができる。画像格納部１１に格納された画像情報は、例えば図４に示されるように、画像ファイルと各種のメタデータとを含んでよい。メタデータは、タイトル、撮影日時、撮影場所、タグ情報、などを含んでもよい。また、メタデータは、さらに解像度、撮影方向、シャッタースピード、絞り（Ｆ値）、フラッシュの有無、焦点距離などの撮影条件に関する情報を含んでもよい。
【００３１】
顔認識（検出）部１０２は、画像入力部１０１から供給された画像情報に基づいて、画像中の人物の顔領域を認識して顔画像を生成することができる。顔認識（検出）部１０２は、生成した顔画像を顔情報格納部１２に格納するとともに、顔類似度算出部１０３及び顔特徴量算出部１０５に供給することができる。ここで生成される顔情報の一例が図５に示される。顔情報は、顔サムネイル画像が抽出元コンテンツの情報と対応づけて格納されてよい。
【００３２】
顔類似度算出部１０３は、顔認識（検出）部１０２から供給された顔情報を用いて、顔画像間の類似度を算出することができる。ここで算出される顔類似度は、顔画像を分類する顔クラスタリングにおいて用いられる。顔類似度算出部１０３は、算出した顔類似度の情報を顔クラスタリング算出部１０４に供給することができる。
【００３３】
顔クラスタリング算出部１０４は、顔類似度算出部１０３により算出された、顔画像間の類似度に基づいて、顔画像を分類することができる。ここで分類されたひとまとまりの顔画像を顔クラスタと呼ぶ。この顔クラスタ情報の一例が、図６に示される。顔クラスタ情報は、顔クラスタを識別するための顔クラスタＩＤと、当該顔クラスタに分類される顔画像とが対応づけられた情報であってよい。顔クラスタリング算出部１０４は、生成した顔クラスタ情報を顔クラスタ格納部１３に格納することができる。
【００３４】
顔特徴量算出部１０５は、顔認識（検出）部１０２から供給された顔情報を解析することによって、それぞれの顔画像の顔特徴量を算出することができる。顔特徴量算出部１０５は、算出した顔特徴量情報を顔特徴量格納部１４に格納することができる。
【００３５】
ここで算出される顔特徴量の一例が図７に示される。顔特徴量は、例えば年齢、性別、赤ちゃん度、大人度、及び老人度を含むことができる。ここで図８を参照しながら顔特徴量のそれぞれの属性について説明をする。例えば顔特徴量の一例である年齢は、０から９０の値をとることができる。例えば年齢は、１０歳区切りの年齢を表してもよい。なお、ここでは年齢は１０歳区切りの年齢で表すこととしたが、本技術はかかる例に限定されない。例えば、顔特徴量に含まれる年齢は、１歳区切りの年齢であってもよい。また顔特徴量の一例である性別は、推定される性別を表す。この性別は、０．０から１．０の値をとることができる。この値は、０．０に近いほど女性である可能性が高く、１．０に近いほど男性である可能性が高い。
【００３６】
また顔特徴量の一例である赤ちゃん度は、赤ちゃんであるかどうかの確信度を表す。赤ちゃん度は、０．０から１．０の値をとることができる。この値は、１．０に近いほど赤ちゃんである可能性が高く、０．０に近いほど赤ちゃんである可能性が低い。また顔特徴量の一例である大人度は、大人であるかどうかの確信度を表す。大人度は、０．０から１．０の値をとることができる。この値は、１．０に近いほど大人である可能性が高く、０．０に近いほど大人である可能性が低い。また顔特徴量の一例である老人度は、老人であるかどうかの確信度を表す。老人度は、０．０から１．０の値をとることができる。この値は、１．０に近いほど老人である可能性が高く、０．０に近いほど老人である可能性が低い。
【００３７】
画像時間クラスタリング算出部１０６は、クラスタリング処理により、画像を時間に基づいて分類することができる。例えば画像時間クラスタリング算出部１０６は、画像入力部１０１から供給された画像群を、それぞれの画像の撮影時間の情報を用いてイベント単位に分類することができる。例えばここで生成される画像時間クラスタ情報の一例が図９に示される。画像時間クラスタ情報は、例えば時間クラスタを識別する時間クラスタＩＤと、それぞれの時間クラスタに分類される画像ファイルとが対応づけられた情報が含まれてよい。
【００３８】
次に図１０を参照しながら、上記の処理により生成された各種の画像解析情報に基づいてさらに生成される画像解析情報の一例について説明する。例えば画像解析情報は、顔クラスタエラー除去部１１１と顔クラスタ特徴量算出部１１２とにより生成される。
【００３９】
顔クラスタエラー除去部１１１は、顔クラスタ格納部１３から取得する顔クラスタ情報と顔特徴量格納部１４から取得する顔特徴量情報とに基づいて、エラー除去された顔クラスタ情報を生成することができる。顔クラスタエラー除去部１１１は、生成したエラー除去顔クラスタ情報をエラー除去顔クラスタ格納部２１に格納することができる。具体的には、顔クラスタエラー除去部１１１は、顔クラスタ毎に顔クラスタに分類された顔画像についての顔特徴量を比較し、同じ顔クラスタに分類される他の顔画像の顔特徴量に対して極端に外れた値を持つ顔画像を顔クラスタから除外することができる。このとき顔クラスタエラー除去部１１１は、例えば標準偏差を用いて外れ値を持つ顔画像を検出することができる。
【００４０】
例えば図６の顔クラスタ情報のうち、顔クラスタＩＤがＦＣ００１の顔クラスタについて考えてみる。顔クラスタエラー除去部１１１は、顔クラスタ格納部１３に格納された顔クラスタ情報から、ＦＣ００１に含まれる顔画像が「００１．ｊｐｇ、００２．ｊｐｇ、００３．ｊｐｇ」であるという情報を取得することができる。すると次に顔クラスタエラー除去部１１１は、顔特徴量格納部１４から、この顔画像に対する顔特徴量情報を取得する。図７の顔特徴量情報を参照すると、顔画像「００１．ｊｐｇ、００２．ｊｐｇ、００３．ｊｐｇ」のうち、「００３．ｊｐｇ」のみが極端に外れた特徴量を有することがわかる。そこで、顔クラスタエラー除去部１１１は、顔クラスタＦＣ００１からこの「００３．ｊｐｇ」を除外する。この除外後の顔クラスタ情報が図１１に示される。
【００４１】
顔クラスタ特徴量算出部１１２は、顔クラスタエラー除去部１１１により顔特徴量に基づいてエラーが除去された顔クラスタ情報を用いて、顔クラスタ毎の顔特徴量を算出することができる。例えば顔クラスタ特徴量算出部１１２は、顔クラスタに分類される顔画像の特徴量の平均値をとることによって、顔クラスタの顔特徴量を算出してもよい。
【００４２】
以上説明してきた画像解析情報の生成は、例えば複数の情報処理装置による分散処理で行われてよい。また、画像解析情報の生成は、情報処理装置１０ａの内部で行われてもよい。この画像解析情報を用いた人物、人物グループ、及び人間関係情報を生成するための情報処理装置１０ａの詳細な構成の一例について、次に説明される。
【００４３】
〔１−４．詳細構成例〕
次に図１３〜図２５を参照しながら、本実施形態に係る情報処理装置１０ａの詳細な構成の一例について説明する。図１３は、同実施形態にかかる情報処理装置の詳細構成例を示す説明図である。図１４は、同実施形態にかかる人物特定処理を示すフローチャートである。図１５は、同実施形態において生成される人物情報の一例である。図１６は、同実施形態における人物統合処理の効果について説明するための説明図である。図１７は、同実施形態における人物統合処理の効果について説明するための説明図である。図１８は、同実施形態において生成される時間クラスタ毎の人物グループ情報の一例である。図１９は、同実施形態における人物グループ特定について説明するための説明図である。図２０は、同実施形態において生成される時間クラスタ毎の人物グループ情報の他の一例である。図２１は、同実施形態において生成される統合された人物グループ情報の一例である。図２２は、同実施形態における人間関係算出の一例についての説明図である。図２３は、同実施形態における人間関係算出の他の一例についての説明図である。図２４は、同実施形態において生成されるグループ種別情報の一例である。図２５は、同実施形態において生成される人間関係情報の一例である。
【００４４】
人物情報生成部２０ａは、例えば時間クラスタ別人物算出部１２１、時間クラスタ別人物・人物グループ統合部１２３、及び人物・人物グループ統合部１２４の機能を含むことができる。また人物グループ情報生成部３０ａは、例えば時間クラスタ別人物グループ算出部１２２、時間クラスタ別人物・人物グループ統合部１２３、及び人物・人物グループ統合部１２４の機能を含むことができる。また人間関係情報生成部４０ａは、人間関係算出部１２５の機能により実現することができる。
【００４５】
時間クラスタ別人物算出部１２１は、時間クラスタ毎に同一人物とみなされる人物を同じ顔クラスタに分類することができる。時間クラスタ別人物算出部１２１の実行する人物算出処理の動作例が図１４に示される。時間クラスタ別人物算出部１２１は、同一時間クラスタに分類された画像に関する情報を取得する（Ｓ１３５）。例えば時間クラスタ別人物算出部１２１は、エラー除去顔クラスタ格納部２１からエラー除去顔クラスタ情報を取得し、顔クラスタ特徴量格納部２２から顔クラスタ特徴量情報を取得することができる。そして、時間クラスタ別人物算出部１２１は、顔クラスタ毎の顔特徴量を比較する（Ｓ１４０）。
【００４６】
時間クラスタ別人物算出部１２１は、顔クラスタの顔特徴量の差が所定の閾値以下であるか否かを判断する（Ｓ１４５）。ステップＳ１４５の判断において顔特徴量の差が所定の閾値以下でない場合には、比較した二つの顔クラスタは別人物のものであるとして処理は終了される。
【００４７】
一方、ステップＳ１４５の判断において、顔クラスタの顔特徴量の差が所定の閾値以下であると判断された場合には、次に時間クラスタ別人物算出部１２１は、比較する２つの顔クラスタが同じ画像内に登場するか否かを判断する（Ｓ１５０）。同じ人物であれば、同一の画像内に登場することはない。このため、ステップＳ１５０の判断において同じ画像内に登場する顔画像が含まれると判断された場合には、比較する２つの顔クラスタは別人物のものであるとして処理は終了される。
【００４８】
一方、ステップＳ１５０の判断において比較する顔クラスタに分類される顔画像が同じ画像内に含まれない場合には、時間クラスタ別人物算出部１２１は、顔クラスタを統合する（Ｓ１５５）。例えば図１１の顔クラスタ情報について、顔クラスタＦＣ００１と顔クラスタＦＣ００３を比較する場合について考えると、ＦＣ００１とＦＣ００３の顔特徴量の差がそれぞれ所定の閾値以内であり、顔クラスタに含まれる顔画像が同じ画像内に登場しないとき、すなわち００１．ｊｐｇ、００２．ｊｐｇ、００９．ｊｐｇ、０１０．ｊｐｇの抽出元コンテンツが異なるコンテンツである場合に顔クラスタＦＣ００１と顔クラスタＦＣ００３とは統合される。統合された後の顔クラスタ情報の一例が図１５に示される。
【００４９】
時間クラスタ別人物算出部１２１は、図１４に示した人物算出処理を時間クラスタ毎、顔クラスタの組合せ毎に実行することにより、顔クラスタの分類精度（すなわち人物特定の精度）が向上される。人物特定の精度が向上すると、この人物情報を用いた人物グループの特定精度も向上する。例えば、図１６に示される画像と図１７に示される画像とが同じ時間クラスタに分類されているとする。このとき、単純に類似度のみによる顔クラスタリングでは、顔クラスタＦＣ００１と顔クラスタＦＣ００３とは別人物であるとみなされていた。しかし、上記の時間クラスタ別人物算出処理により、顔特徴量を用いた統合処理を行うと、この顔クラスタＦＣ００１と顔クラスタＦＣ００３とが同一人物であると特定された。これにより、ＦＣ００３はＦＣ００１に統合されるため、図１６の画像と図１７の画像とはいずれもＦＣ００１、ＦＣ００２、ＦＣ００９が同時に映っている画像であるとみなされる。このため、ＦＣ００１、ＦＣ００２、ＦＣ００９が同時に映っている画像が複数存在すれば、ＦＣ００１、ＦＣ００２、ＦＣ００９がひとつのグループに分類される。
【００５０】
時間クラスタ別人物グループ算出部１２２は、時間クラスタ毎に人物グループを算出する機能を有する。時間クラスタ別人物グループ算出部１２２は、同じ時間クラスタに分類された画像を用いて、人物グループを算出することができる。時間クラスタ別人物グループ算出部１２２は、例えば同じ画像に登場する人物（顔クラスタ）の組合せに基づいて人物グループを算出することができる。例えば図１６及び図１７を用いて説明したように、顔クラスタＦＣ００１、ＦＣ００２、ＦＣ００９が同時に写っている画像が複数存在すれば、時間クラスタ別人物グループ算出部１２２は、この顔クラスタＦＣ００１，ＦＣ００２、ＦＣ００９を同一のグループに分類することができる。ここで生成される人物グループ情報の一例が図１８に示される。例えば時間クラスタ毎に生成された人物グループ情報は、時間クラスタＩＤと、グループＩＤと、人物グループに含まれる顔クラスタＩＤとを含んでよい。
【００５１】
時間クラスタ別人物グループ算出部１２２は、時間クラスタ毎にこの人物グループを算出する。例えば時間クラスタＴＣ００１において生成された人物グループが図１８にしめされたが、同様に時間クラスタＴＣ００２についても時間クラスタＴＣ００２に分類された画像を用いて人物グループが算出される。例えば、時間クラスタＴＣ００２においては、図１９に示されるように顔クラスタＦＣ００１，ＦＣ００２、ＦＣ００９，ＦＣ０１１が同時に写っている画像が複数存在するとする。このとき生成される人物グループの一例が図２０に示される。分類されたそれぞれの人物グループには、グループＩＤが付与される。
【００５２】
時間クラスタ別人物・人物グループ統合部１２３は、人物グループに含まれる顔クラスタ群の構成（人数、男女比、年齢比など）から、グループ同士の統合処理を行うことができる。例えば、ＦＣ００１、ＦＣ００２、ＦＣ００９のグループとＦＣ００１、ＦＣ００４、ＦＣ００９のグループが存在したときに、ＦＣ００２とＦＣ００４の属性や顔特徴量が近い場合には、この２つのグループが統合されてよい。またこれに伴い、顔クラスタの再統合も行われてよい。すなわち上記例においては、顔クラスタＦＣ００２とＦＣ００４とが統合される。
【００５３】
人物・人物グループ統合部１２４は、時間クラスタに関わらず、全入力画像群に対して時間クラスタ毎の処理と同様の処理を実行することにより人物情報及び人物グループ情報を生成することができる。このとき、画像の撮影日時と年齢属性値から求められる推定誕生年が用いられてもよい。例えば、人物・人物グループ統合部１２４は、図１４に示した人物算出処理を時間クラスタに関わらず全入力画像群に対して実行することができる。このとき、比較する顔クラスタは同一人物の年齢の異なる画像が含まれている可能性がある。このため、実際には同一人物であっても顔クラスタの顔特徴量には差がある場合もある。そこで、顔特徴量の比較に当たっては、時間クラスタ毎に実行する場合よりも閾値を大きくしてもよい。
【００５４】
また人物・人物グループ統合部１２４は、人物グループの統合に際しては、グループに含まれる顔クラスタの構成を比較することによりー同一のグループであるか否かを判断することができる。例えば、図１８のグループＧ００１と図２０のグループＧ０１１とに含まれる顔クラスタの構成を比較すると、グループＧ０１１はグループＧ００１の構成に顔クラスタＦ０１１を加えた構成である。このため、人物・人物グループ統合部１２４は、グループＧ００１とグループＧ０１１とを同一の人物グループであると判断することができる。例えば人物・人物グループ統合部１２４の生成する人物グループ情報の一例が図２１に示される。このように、時間クラスタＩＤとともに人物グループ情報を記憶させれば、時間の経過に伴う人物グループの構成の変遷の情報を含むことができる。例えば時間クラスタ毎に特定した人物グループの情報を統合して生成する本実施形態にかかる人物情報は、時間の経過に伴い集まるメンバーに増減が生じる場合、家族が増えた場合にもその変化の情報を保持することができる。かかる効果は、初めから全入力画像に対して同様の処理を行ったとしても得ることができない。
【００５５】
人物・人物グループ統合部１２４は、生成した人物情報を人物格納部３１ａに格納することができる。また人物・人物グループ統合部１２４は、生成した人物グループ情報を人物グループ格納部３２ａに格納することができる。
【００５６】
人間関係算出部１２５は、人物・人物グループ統合部１２４により生成された人物情報及び人物グループ情報を用いて、人物間の人間関係情報を生成することができる。このとき人間関係算出部１２５は、まず人物グループの構成からグループ種別を判断することができる。また、人間関係算出部１２５は、グループに含まれる各人物の属性値に基づいて人間関係を算出する。
【００５７】
例えば人間関係算出部１２５は、図２２に示されるようにグループ内に人物Ａ：男性、大人、人物Ｂ：女性、大人、人物Ｃ：男性、子供の３人の人物が含まれている場合には、当該グループが家族グループであると判断してもよい。また、人間関係算出部１２５は、人物Ａと人物Ｂの人間関係は夫婦であり、人物Ａと人物Ｃ、人物Ｂと人物Ｃはそれぞれ親子であると判断することができる。
【００５８】
或いは人間関係算出部１２５は、図２３に示されるようにグループ内に人物Ｄ：男性、大人、人物Ｅ：女性、大人の２人の人物が含まれている場合には、人物Ｄと人物Ｅとの人間関係は、夫婦又は恋人であると判断してもよい。
【００５９】
このように、人間関係算出部１２５は、それぞれのグループの種別をグループに含まれる人物の属性値に基づいて判断して図２４に示されるようなグループ種別情報を生成することができる。このとき、グループ内に含まれる人物が２名であるときにはグループ種別と人間関係とは一致することもある。また人間関係算出部１２５は、グループ種別とグループに含まれる各人物の属性値（性別、年齢など）に基づいて人物間の人間関係を算出することもできる。
【００６０】
以上、本実施形態に係る情報処理装置１０ａの機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）などの演算装置がこれらの機能を実現する処理手順を記述した制御プログラムを記憶したＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などの記憶媒体から制御プログラムを読出し、そのプログラムを解釈して実行することにより行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
【００６１】
なお、上述のような本実施形態に係る情報処理装置１０ａの各機能を実現するためのコンピュータプログラムを作成し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
【００６２】
＜２．第２の実施形態（ＳＮＳ情報をさらに用いる被写体情報の推定）＞
〔２−１．概略構成〕
ここで図２６を参照しながら本開示の第２の実施形態にかかる情報処理装置１０ｂの概略構成について説明する。図２６は、本開示の第２の実施形態に係る情報処理装置の概略構成図である。
【００６３】
上記の第１の実施形態においては、画像を解析することにより得られる画像解析情報に基づいて、画像の被写体に関する情報を特定する機能について説明した。本実施形態においては、ＳＮＳ（Ｓｏｃｉａｌ  Ｎｅｔｗｏｒｋ  Ｓｅｒｖｉｃｅ）の情報を用いて、この被写体に関する情報の特定精度を向上させる。
【００６４】
ここで、ＳＮＳは、例えば人と人とのつながりをサポートするコミュニティ型の会員制サービスである。ＳＮＳは、典型的にはユーザが自らのプロフィールを登録し、共通のつながりを有する他のユーザとコミュニケーションを図る場を提供するサービスである。また、本実施形態においては、他のユーザとのコミュニケーション機能（例えばコメントの投稿、メール送信など）を有するブログサービスもＳＮＳに含むことができる。このブログサービスは、限られた少ない文字数の文章を投稿するミニブログサービスを含んでもよい。或いは本実施形態におけるＳＮＳは、写真や動画などの映像を主なコミュニケーションツールとするコミュニティ型サービスなども含むことができる。
【００６５】
情報処理装置１０ｂは、これらのＳＮＳの公開されたＷｅｂ  ＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ  Ｐｒｏｇｒａｍ  Ｉｎｔｅｒｆａｃｅ）を利用することによって取得されたＳＮＳ情報、またはこのＳＮＳ情報を解析することにより得られるＳＮＳ解析情報を取得することができる。ここで取得されるＳＮＳ情報は、ＳＮＳの仕様によって、或いはユーザの公開設定等に応じて異なる。例えばＳＮＳ情報は、ユーザがＳＮＳに登録した事実ベースの登録情報（例えば氏名、生年月日、家族構成、友人情報、プロフィール写真など）と、ユーザがＳＮＳを利用することにより生成される利用履歴情報（例えば他のユーザとのコンタクト履歴、メール送信履歴など）を含むことができる。
【００６６】
本実施形態においては、ＳＮＳ情報の解析は情報処理装置１０ｂと異なる他のサーバ等により行われることとする。情報処理装置１０ｂは、画像、画像解析情報に加えてＳＮＳ解析情報を用いて、人物情報、人物グループ情報、及び人間関係情報を生成することができる。これにより、生成する被写体に関する情報の精度をさらに向上することができる。
【００６７】
情報処理装置１０ｂは、人物情報生成部２０ｂと、人物グループ情報生成部３０ｂと、人間関係情報生成部４０ｂとを主に有する。なお、ここでは情報処理装置１０ｂが人物情報生成部２０ｂの機能と、人物グループ情報生成部３０ｂの機能と、人間関係情報生成部４０ｂの機能とを有することとしたが、本技術はかかる例に限定されない。人物情報生成部２０ｂの機能と、人物グループ情報生成部３０ｂの機能と、人間関係情報生成部４０ｂの機能とは、それぞれ別体の装置により実現されてよい。また、１つの機能部として描かれている機能を、複数の情報処理装置による分散処理で実現することも可能である。
【００６８】
人物情報生成部２０ｂは、第１の実施形態における人物情報生成部２０ａの機能に加えて、ＳＮＳ解析情報を用いた人物特定機能を有する。例えば人物情報生成部２０ｂは、ＳＮＳ解析情報に含まれる人物情報と、画像から特定された人物情報とに基づいた人物情報を生成することができる。人物情報生成部２０ｂは、ＳＮＳ解析情報に含まれる顔画像と顔クラスタに含まれる顔画像とを比較して同一人物とみなされる人物を統合することにより人物を特定することができる。また人物情報生成部２０ｂは、さらに画像を解析することにより得られる属性情報（性別、年齢など）とＳＮＳ解析情報に含まれるプロフィール情報とを比較して同一人物とみなされる人物を統合することにより人物を特定することができる。人物情報生成部２０ｂは、生成した人物情報を人物格納部３１ｂに格納することができる。
【００６９】
人物グループ情報生成部３０ｂは、第１の実施形態における人物グループ情報生成部３０ａの機能に加えて、ＳＮＳ解析情報を用いた人物グループ特定機能を有する。例えば人物グループ情報生成部３０ｂは、ＳＮＳ解析情報に含まれる人物グループと、画像から特定された人物グループとに基づいた人物グループ情報を生成することができる。例えば人物グループ情報生成部３０ｂは、画像から特定された人物グループとＳＮＳ解析情報に含まれる人物グループとの人物構成を比較して人物グループを統合することにより、人物グループを特定することができる。
【００７０】
人間関係情報生成部４０ｂは、第１の実施形態における人間関係情報生成部４０ａの機能に加えて、ＳＮＳ解析情報を用いた人間関係特定機能を有する。例えば人間関係情報生成部４０ｂは、ＳＮＳ解析情報に含まれる人間関係情報と、画像から特定された人間関係情報とを比較して統合することにより人間関係を特定することができる。人間関係情報生成部４０ｂは、ＳＮＳ解析情報に含まれる人間関係情報と画像から特定された人間関係情報とが重複する人間関係情報については統合することができる。また、両人間関係情報が重複しないものについてはそのまま独立した人間関係情報として抽出することができる。
【００７１】
〔２−２．全体動作例〕
次に、図２７を参照しながら、本開示の第２の実施形態にかかる情報処理システムの動作例について説明する。図２７は、同実施形態にかかる情報処理システムの動作例を示すフローチャートである。
【００７２】
まず画像からの人物、人物グループ、人間関係抽出処理が実行される（Ｓ２００）。ステップＳ２００の人物、人物グループ、人間関係抽出処理は、例えば第１の実施形態において説明した情報処理装置１０ａの機能により実現されてよい。
【００７３】
次に、ＳＮＳ情報からの人物・人物グループ・人間関係抽出処理が実行される（Ｓ２０５）。ステップＳ２０５の詳細な処理内容については後述される。そして次に人物情報生成部２０ｂは、人物の統合処理を実行する（Ｓ２１０）。人物の統合処理は、ステップＳ２００において抽出された画像からの人物情報と、ステップＳ２０５において抽出されたＳＮＳ情報からの人物情報とを統合することにより行われる。
【００７４】
次に人物グループ情報生成部３０ｂは、家族グループの統合処理を実行する（Ｓ２１５）。家族グループの統合処理は、ステップＳ２００において抽出された画像からの人物グループ情報のうち、家族グループに分類されたグループと、ステップＳ２０５において抽出されたＳＮＳ情報からの人物グループ情報のうち家族グループに分類されたグループとを比較することにより行われる。そして、人物グループ情報生成部３０ｂは、家族以外のグループの統合処理を実行する（Ｓ２２０）。家族以外のグループの統合処理は、ステップＳ２００において抽出された画像からの人物グループ情報のうち、家族グループ以外に分類されたグループと、ステップＳ２０５において抽出されたＳＮＳ情報からの人物グループ情報のうち家族グループ以外に分類されたグループとを比較することにより行われる。最後に人間関係情報生成部４０ｂは、人間関係の統合処理を実行する（Ｓ２２５）。
【００７５】
〔２−３．ＳＮＳ情報の抽出〕
次に、図２８を参照しながら、本開示の第２の実施形態にかかる情報処理装置１０ｂが用いるＳＮＳ情報の抽出について説明する。図２８は、同実施形態におけるＳＮＳ情報の抽出について説明するための説明図である。
【００７６】
例えばＳＮＳ解析情報は、ＳＮＳ情報取得部２０１と、プロフィール抽出部２０３と、コンタクト抽出部２０５と、グループ抽出部２０７と、家族情報抽出部２０９と、人物グループ算出部２１１と、人間関係算出部２１３と、人間関係抽出部２１５との機能により生成される。
【００７７】
ＳＮＳ情報取得部２０１は、ＳＮＳのＷｅｂ  ＡＰＩを利用することによって、ＳＮＳが保持するユーザに関する情報（ＳＮＳ情報）を取得することができる。ＳＮＳ情報取得部２０１は、ＳＮＳ情報格納部５０に取得したＳＮＳ情報を格納することができる。なお、ＳＮＳ情報取得部２０１は、複数のＳＮＳからＳＮＳ情報を取得してもよい。
【００７８】
プロフィール抽出部２０３は、ＳＮＳ情報取得部２０１により取得されたＳＮＳ情報の中から、ユーザのプロフィールを抽出することができる。ここで抽出されるプロフィールは、ユーザの顔写真とユーザの属性値（性別、生年月日、出身校、勤務先など）が含まれる。プロフィール抽出部２０３は、ＳＮＳ情報からユーザの顔写真を抽出して顔情報格納部５１に格納することができる。またプロフィール抽出部２０３は、ＳＮＳ情報からユーザの属性値を抽出して人物格納部５２に格納することができる。またプロフィール抽出部２０３は、コンタクト抽出部２０５から供給されたコンタクト情報を人物情報として人物格納部５２に格納することもできる。
【００７９】
コンタクト抽出部２０５は、ＳＮＳ情報取得部２０１により取得されたＳＮＳ情報の中から、コンタクト情報を抽出することができる。コンタクト情報は、例えばユーザの連絡先（電話番号、メールアドレスなど）、アドレス帳、アカウントの情報などを含むことができる。コンタクト抽出部２０５は、抽出したコンタクト情報をプロフィール抽出部、及び人物グループ算出部２１１に供給することができる。
【００８０】
グループ抽出部２０７は、ＳＮＳ情報取得部２０１により取得されたＳＮＳ情報の中から、グループ情報を抽出することができる。ここで抽出されるグループ情報は、例えばユーザが登録したグループ情報である。グループ抽出部２０７は、抽出したグループ情報を人物グループ算出部２１１に供給することができる。
【００８１】
家族情報抽出部２０９は、ＳＮＳ情報取得部２０１により取得されたＳＮＳ情報の中から、家族情報を抽出することができる。例えばユーザがＳＮＳ情報として家族である人物の情報を登録している場合には、家族情報抽出部２０９は、この登録された家族情報を抽出することができる。家族情報抽出部２０９は、抽出した家族情報を人物グループ算出部２１１に供給することができる。
【００８２】
人物グループ算出部２１１は、コンタクト抽出部２０５から供給されたコンタクト情報と、グループ抽出部２０７から供給されたグループ情報と、家族情報抽出部２０９から供給された家族情報とに基づいて、人物グループを算出する機能を有する。人物グループ算出部２１１は、生成した人物グループ情報を人物グループ格納部５３に格納することができる。
【００８３】
人間関係算出部２１３は、人物格納部５２に格納された人物情報と、人物グループ格納部５３に格納された人物グループ情報とに基づいて、ＳＮＳ情報に基づいた人間関係情報を生成することができる。例えば人間関係算出部２１３は、人物情報を用いることによって、例えば２人の人物が同じ会社に勤めていることを検出すると、２人の人間関係を「同僚」とすることができる。また人間関係算出部２１３は、人物情報を用いることによって、例えば２人の人物が同じ高校出身であり同い年であることを検出すると、２人の人間関係を「同級生」とすることができる。人間関係算出部２１３は、生成した人間関係情報を人間関係格納部５４に格納することができる。
【００８４】
人間関係抽出部２１５は、ＳＮＳ情報取得部２０１により取得されたＳＮＳ情報に含まれる人間関係情報を抽出することができる。人間関係抽出部２１５は、抽出した人間関係情報を人間関係格納部５４に格納することができる。
【００８５】
〔２−４．詳細構成例〕
次に、図２９を参照しながら、本開示の第２の実施形態にかかる情報処理装置の詳細構成の一例について説明する。図２９は、同実施形態にかかる情報処理装置の詳細構成例を示す説明図である。
【００８６】
人物情報生成部２０ｂは、第１の実施形態において説明された人物情報生成部２０ａの機能に加えて、同一画像検出部２２１の機能と、プロフィール解析部２２３の機能とを有することができる。また人物グループ情報生成部３０ｂは、第１の実施形態において説明された人物グループ情報生成部３０ａの機能に加えて家族グループ解析部２２５の機能とグループ解析部２２７の機能とを有することができる。また人間関係情報生成部４０ｂは、第１の実施形態において説明された人間関係情報生成部４０ａの機能に加えて、人間関係解析部２２９の機能を有することができる。
【００８７】
同一画像検出部２２１は、画像を解析することにより得られた顔画像と、ＳＮＳ情報から抽出された顔画像とを比較することによって、同一人物の顔画像を検出する機能を有する。この同一画像検出部２２１は、例えば顔画像の類似度を用いることによって同一人物の顔画像を検出することができる。同一画像検出部２２１は、同一画像として検出された顔画像の情報をプロフィール解析部２２３に供給することができる。
【００８８】
プロフィール解析部２２３は、同一画像検出部２２１が同一人物として検出した人物のプロフィールを解析することによって、同一人物であるか否かを判断する機能を有する。プロフィール解析部２２３は、画像を解析することにより生成された人物情報と、ＳＮＳ情報から抽出された人物情報とを比較することにより、同一人物であるか否かを判断する。例えばプロフィール解析部２２３は、性別、年齢などの属性値を比較してもよい。プロフィール解析部２２３は、検出された２つの人物情報が同一人物についての人物情報であると判断すると、画像を解析することにより生成された人物情報と、ＳＮＳ情報から抽出された人物情報とを統合して生成した人物情報を人物格納部３１ｂに格納することができる。またプロフィール解析部２２３は、同一人物とみなされる人物がいない場合には、そのまま人物情報として人物格納部３１ｂに格納することができる。
【００８９】
家族グループ解析部２２５は、画像を解析することにより生成された人物グループ情報のうち、家族グループとみなされたグループの情報と、ＳＮＳ情報から抽出された家族グループの情報とを比較することにより、同一のグループであると判断されたグループを統合する機能を有する。例えば家族グループ解析部２２５は、人物構成が完全に一致するグループを同一グループであるとみなして人物グループ情報を統合することができる。また家族グループ解析部２２５は、一方のグループの人物構成が、他方のグループの人物構成の一部であるグループを同一のグループであるとみなして人物グループ情報を統合することができる。或いは家族グループ解析部２２５は、人物構成の一部が一致し、残りの人物同士のプロフィールが類似するグループを同一のグループであるとみなして人物グループ情報を統合することができる。
【００９０】
このとき、例えばＳＮＳ情報からある人物が４人家族であることがわかっていて、そのうち３人のプロフィールがＳＮＳ情報に登録されているとする。このとき、画像を解析することによりその人物を含む４名の家族グループが抽出されていれば、ＳＮＳ情報に登録のない残りの家族メンバーである人物が画像に含まれる人物であると特定することができる。家族グループ解析部２２５は、生成した人物グループ情報を人物グループ格納部３２ｂに格納することができる。また家族グループ解析部２２５は、人物情報の編集を行った場合には、編集後の人物情報を人物格納部３１ｂに格納することができる。
【００９１】
グループ解析部２２７は、家族グループ以外に分類されるグループについて、家族グループ解析部２２５と同様の統合処理を実行することができる。グループ解析部２２７は、人物構成が完全に一致するグループを同一グループであるとみなして人物グループ情報を統合することができる。またグループ解析部２２７は、一方のグループの人物構成が、他方のグループの人物構成の一部であるグループを同一のグループであるとみなして人物グループ情報を統合することができる。或いはグループ解析部２２７は、人物構成の一部が一致し、残りの人物同士のプロフィールが類似するグループを同一のグループであるとみなして人物グループ情報を統合することができる。
【００９２】
人間関係解析部２２９は、画像を解析することにより生成された人間関係情報と、ＳＮＳ情報から抽出された人間関係情報とを統合することができる。このとき、人間関係解析部２２９は、家族グループ解析部２２５及びグループ解析部２２７により生成された人物グループ情報に基づいて人間関係を解析してもよい。人間関係解析部２２９は、生成した人間関係情報を人間関係格納部３３ｂに格納することができる。
【００９３】
以上、本実施形態に係る情報処理装置１０ｂの機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）などの演算装置がこれらの機能を実現する処理手順を記述した制御プログラムを記憶したＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などの記憶媒体から制御プログラムを読出し、そのプログラムを解釈して実行することにより行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
【００９４】
なお、上述のような本実施形態に係る情報処理装置１０ｂの各機能を実現するためのコンピュータプログラムを作成し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
【００９５】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【００９６】
尚、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的に又は個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。
【００９７】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
時間クラスタリングにより同一の時間クラスタに分類された画像から抽出される顔画像を取得する顔画像取得部と、
前記顔画像を前記時間クラスタ毎に分類し、分類された前記顔画像に基づいて同一人物とみなされる人物が特定された人物情報を生成する人物情報生成部と、
を備える、情報処理装置。
（２）
前記人物情報生成部は、前記顔画像の類似度及び前記顔画像の所定の属性の値を示す顔特徴量に基づいて、前記同一人物とみなされる人物を特定する、前記（１）に記載の情報処理装置。
（３）
前記人物情報生成部は、前記顔画像を前記類似度に基づいてクラスタリングした顔クラスタ毎の前記顔特徴量を比較し、当該顔特徴量の差が所定の閾値以下である前記顔クラスタのうち、同一の画像内に含まれない前記顔クラスタを統合する、前記（２）に記載の情報処理装置。
（４）
前記顔特徴量は、前記顔画像に基づいた年齢属性値を含み、
前記人物情報生成部は、前記年齢属性値と前記顔画像の撮影日時とに基づいて、それぞれの人物の誕生年を推定し、推定した誕生年の情報を用いて、さらに前記時間クラスタ毎に特定された前記人物のうち同一人物とみなされる人物を統合する、前記（２）または（３）のいずれかに記載の情報処理装置。
（５）
前記同一の時間クラスタに分類された画像に基づいて、前記人物情報生成部により特定された人物を前記時間クラスタ毎に分類して人物グループを生成する人物グループ情報生成部、
をさらに備える、前記（１）から（４）のいずれかに記載の情報処理装置。
（６）
前記人物グループ情報生成部は、前記時間クラスタ毎に特定された人物グループを、前記人物グループに含まれる人物の構成に基づいて統合する、前記（５）に記載の情報処理装置。
（７）
前記人物情報生成部により特定される人物間の人間関係情報を、前記人物グループ情報生成部により生成された人物グループに含まれる人物の構成に基づいて生成する人間関係情報生成部、
をさらに備える、前記（６）に記載の情報処理装置。
（８）
前記人物情報生成部は、さらにソーシャルネットワークサービスから抽出された情報に基づいて前記人物情報を生成する、前記（１）から（７）のいずれか１項に記載の情報処理装置。
（９）
前記人物情報生成部は、ソーシャルネットワークサービスから抽出された顔画像と、前記顔画像取得部により取得された顔画像との類似度、及び、ソーシャルネットワークサービスから抽出された人物の属性値と前記顔画像を解析することにより得られる人物の属性値の類似度に基づいて同一人物であるか否かを判断する、前記（８）に記載の情報処理装置。
（１０）
前記人物グループ情報生成部は、さらに前記ソーシャルネットワークサービスから抽出された情報に基づいて前記人物グループ情報を生成する、前記（８）または（９）のいずれかに記載の情報処理装置。
（１１）
前記人物グループ情報生成部は、前記ソーシャルネットワークサービスから抽出された人物グループ情報と、前記画像に基づいて生成された人物グループ情報とにそれぞれ含まれる人物の構成を比較して同一の人物グループを特定することにより人物グループ情報を統合する、前記（１０）に記載の情報処理装置。
（１２）
時間クラスタリングにより同一の時間クラスタに分類された画像から抽出される顔画像を取得することと、
前記顔画像を前記時間クラスタ毎に分類し、分類された前記顔画像に基づいて同一人物とみなされる人物が特定された人物情報を生成することと、
を含む、情報処理方法。
（１３）
コンピュータを、
時間クラスタリングにより同一の時間クラスタに分類された画像から抽出される顔画像を取得する顔画像取得部と、
前記顔画像を前記時間クラスタ毎に分類し、分類された前記顔画像に基づいて同一人物とみなされる人物が特定された人物情報を生成する人物情報生成部と、
を備える、情報処理装置として機能させるためのプログラム。
【符号の説明】
【００９８】
１０          情報処理装置
２０          人物情報生成部
３０          人物グループ情報生成部
４０          人間関係情報生成部
３１          人物格納部
３２          人物グループ格納部
３３          人間関係格納部
【図１】
2013003631.tif 000003
【図２】
2013003631.tif 000004
【図３】
2013003631.tif 000005
【図４】
2013003631.tif 000006
【図５】
2013003631.tif 000007
【図６】
2013003631.tif 000008
【図７】
2013003631.tif 000009
【図８】
2013003631.tif 000010
【図９】
2013003631.tif 000011
【図１０】
2013003631.tif 000012
【図１１】
2013003631.tif 000013
【図１２】
2013003631.tif 000014
【図１３】
2013003631.tif 000015
【図１４】
2013003631.tif 000016
【図１５】
2013003631.tif 000017
【図１６】
2013003631.tif 000018
【図１７】
2013003631.tif 000019
【図１８】
2013003631.tif 000020
【図１９】
2013003631.tif 000021
【図２０】
2013003631.tif 000022
【図２１】
2013003631.tif 000023
【図２２】
2013003631.tif 000024
【図２３】
2013003631.tif 000025
【図２４】
2013003631.tif 000026
【図２５】
2013003631.tif 000027
【図２６】
2013003631.tif 000028
【図２７】
2013003631.tif 000029
【図２８】
2013003631.tif 000030
【図２９】
2013003631.tif 000031