(57)【要約】 【課題】より現実に近い人物関係データベースの構築を可能にする。【解決手段】画像処理装置は、各画像の撮影日時の差と各画像から認識された人物構成の差とに基づいて複数の画像が同じ画像グループに属するか否かを判断する画像グループ化手段と、前記画像グループ化手段によって同じ画像グループに属すると判断された画像群に映る人物間の関係度を第１の値とする画像グループ内人物関係度決定手段と、前記画像グループ内人物関係度決定手段によって決定された画像グループ内人物関係度を人物関係データベースに合成する人物関係データベース合成手段と、を有する。【選択図】  図２
2014142810.tif 000002
【特許請求の範囲】
【請求項１】
各画像の撮影日時の差と各画像から認識された人物構成の差とに基づいて複数の画像が同じ画像グループに属するか否かを判断する画像グループ化手段と、
前記画像グループ化手段によって同じ画像グループに属すると判断された画像群に映る人物間の関係度を第１の値とする画像グループ内人物関係度決定手段と、
前記画像グループ内人物関係度決定手段によって決定された画像グループ内人物関係度を人物関係データベースに合成する人物関係データベース合成手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記画像グループ内人物関係度決定手段は、人物グループ化手段と、人物グループ間関係度算出手段と、未算出人物間関係度決定手段とをさらに有し、
前記人物グループ化手段は、同じ画像から認識された顔画像について、各顔画像に対応する人物が同じ人物グループに属するか否かを判断し、
前記画像グループ内人物関係度決定手段は、前記人物グループ化手段によって同じ人物グループに属すると判断され各顔画像間の人物関係度を前記第１の値とし、
前記人物グループ間関係度算出手段は、前記人物グループ化手段によって、同じ人物グループに属すると判断されなかった顔画像について、
一方の人物グループに属すると判断された人物の顔画像と、他方の人物グループに属する判断された人物の顔画像の中で最も距離が近い２つの顔画像を選択し、前記選択された２つの顔画像間の関係度を算出し、算出された関係度を、一方の人物グループに属する各人物と、他方の人物グループに属する各人物との間の関係度とし、
前記未算出人物間関係度決定手段は、
同じ画像グループに属するが異なる画像から認識されたために、関係度が未算出である人物間の関係度を、
各人物が写っている画像内で関係度が前記第１の値である人物を両者が共有している場合は、当該両者間の関係度も前記第１の値とし、
各人物が写っている画像内で関係度が前記第１の値である人物を両者が共有していない場合は、当該両者間の関係度を第２の値とする請求項１に記載の画像処理装置。
【請求項３】
前記人物グループ化手段は、
各顔画像間の距離と、
各顔画像の大きさと
に基づいて、各顔画像に対応する人物が同じ人物グループに属するか否かを判断し、
前記人物グループ間関係度算出手段は、
一方の人物グループに属すると判断された人物の顔画像と、他方の人物グループに属する判断された人物の顔画像の中で最も距離が近い２つの顔画像を選択し、
前記選択された２つの顔画像であって、
一方の人物グループに属する顔画像と他方の人物グループに属する顔画像との距離と、
一方の人物グループに属する顔画像の大きさと、
他方の人物グループに属する顔画像の大きさと
に基づいて、前記選択された２つの顔画像間の関係度を算出する請求項２に記載の画像処理装置。
【請求項４】
各画像の撮影日時の差と各画像から認識された人物構成の差とに基づいて複数の画像が同じ画像グループに属するか否かを判断する画像グループ化ステップと、
前記画像グループ化ステップにおいて同じ画像グループに属すると判断された画像群に映る人物間の関係度を第１の値とする画像グループ内人物関係度決定ステップと、
前記画像グループ内人物関係度決定ステップにおいて決定された画像グループ内人物関係度を人物関係データベースに合成する人物関係データベース合成ステップと、
を有することを特徴とする画像処理方法。
【請求項５】
コンピュータを請求項１乃至３のいずれか一項に記載の画像処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔が含まれる画像データから人物関係を構築する技術に関するものである。
【背景技術】
【０００２】
近年、デジタルカメラの普及により、手軽に写真を撮影することが可能になり、撮影する枚数も増えてきている。また、撮影した画像を家族や友人間で共有することが行われている。撮影する機会が多くなることで、所有する画像の数も多くなり、写真を効率的に管理することが課題となっていきている。一方、写真内の顔を検出する顔検出技術や、顔検出技術を応用して、検出された顔が誰であるかを認識して人物別にグループ分けされ、画像検索に利用される例などが知られている。
【０００３】
しかし、人は家族、親戚、会社、学校、サークル等様々なコミュニティーに属しており、それぞれの場面で写真を撮影する。また、画像には複数の人物が写っていることが多く、画像を効率良く適切な人と共有するためには、単に画像内の人物を認識するだけではなく、人間関係を考慮することが必要となる。
従来、画像共有する際に、画像内の顔画像を利用して人物関係データベースを構築して、データベース情報を元に写真の共有先を算出するものが知られている（例えば、特許文献１参照）。
【０００４】
また、画像に映る人物の情報からグループを生成してタグを付与することで、新たな検索キーを提供することでユーザの傾向にあった画像検索をおこなうものも知られている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−１５５３８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、先行技術では、対象となる画像全てに対して同様の処理を行うため、例えば、複数の集まりで撮影者を交代して連続して撮影した場合、複数の画像に共通して映っている人物の関係度が本来より高くなる。逆に、交代して撮影した人物同士は、共通の写真に写っていないため、関係度が追加されない。
このように、本来の人物関係とは異なる人物関係データベースが構築されてしまうという問題があった。
【０００７】
そこで、本発明の目的は、写真の連続性を解析することにより、同一グループと判断された写真群に関しては、グループ内の写真群全体に対して人物関係を解析することにより、より現実に近い人物関係データベースを構築することにある。
【課題を解決するための手段】
【０００８】
本発明の画像処理装置は、各画像の撮影日時の差と各画像から認識された人物構成の差とに基づいて複数の画像が同じ画像グループに属するか否かを判断する画像グループ化手段と、
前記画像グループ化手段によって同じ画像グループに属すると判断された画像群に映る人物間の関係度を第１の値とする画像グループ内人物関係度決定手段と、
前記画像グループ内人物関係度決定手段によって決定された画像グループ内人物関係度を人物関係データベースに合成する人物関係データベース合成手段と、を有する。
【発明の効果】
【０００９】
本発明によれば、より現実に近い人物関係データベースを構築することができる。
【図面の簡単な説明】
【００１０】
【図１】第１、第２の実施形態に係る画像処理装置の構成を示すブロック図。
【図２】第１の実施形態に係る人物関係データベースを構築する画像処理装置の構成を示すブロック図。
【図３】第１、第２の実施形態に係る人物関係データベース作成処理の手順を示すフローチャート。
【図４】第１の実施形態に係る画像の一例を示す図。
【図５】第１、第２の実施形態に係る画像グループ化処理の手順を示すフローチャート。
【図６】第１の実施形態に係る画像グループ内人物関係度決定処理の手順を示すフローチャート。
【図７】第１、第２の実施形態に係る画像グループ内人物関係度を人物関係データベースに合成する処理の手順を示すフローチャート。
【図８】第１の実施形態に係るグループ化の条件を示す図。
【図９】第１の実施形態に係る人物関係データベース算出結果を示す図。
【図１０】第２の実施形態に係る人物関係データベースを構築する画像処理装置の構成を示すブロック図。
【図１１】第２の実施形態に係る画像と第３の画像における顔画像の情報の一例を示す図。
【図１２】第２の実施形態に係る画像グループ内人物関係度決定処理の手順を示すフローチャート。
【図１３】第２の実施形態に係る人物グループ化処理の手順を示すフローチャート。
【図１４】第２の実施形態に係る人物グループ間の関係度算出処理の手順示すフローチャート。
【図１５】第２の実施形態に係る未算出人物間の関係度算出処理の手順示すフローチャート。
【図１６】第２の実施形態に係る人物関係データベース算出結果を示す図。
【発明を実施するための形態】
【００１１】
以下、本発明の実施の形態を図面を参照して詳細に説明する。尚、以下の実施の形態は本発明の特許請求の範囲を限定するものではなく、また以下の実施の形態で説明されている特徴の組み合わせの全てが本発明を構成する上で必須のものとは限らない。
【００１２】
＜第１の実施形態＞
まず、第１の実施形態について説明する。
図１は、第１の実施形態に係る画像処理装置の構成を示すブロック図である。図１において、ＣＰＵ１０１は、システム制御部であり、画像処理装置全体を制御する。ＲＯＭ１０２は、ＣＰＵ１０１の制御プログラムや各種固定データを格納する読取専用のメモリである。ＲＡＭ１０３は、ＳＲＡＭ、ＤＲＡＭ等で構成された書換え可能なメモリであり、プログラム制御変数等を格納する。各種設定パラメータ、各種ワーク用バッファ等もＲＡＭ１０３に格納される。表示部１０４は、ＬＣＤ等を用いてオペレータに表示通知する。操作部１０５は、キーボードやポインティングデバイス等で構成され、オペレータが各種入力操作を行うためのものである。システムバス１０６はＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、表示部１０４および操作部１０５を通信可能に接続する。
【００１３】
図２は、第１の実施形態に係る人物関係データベースを構築する画像処理装置の構成を示すブロック図である。ＣＰＵ１０１が、ＲＯＭ１０２やＲＡＭ１０３に記憶されているデータやプログラムを読み込み実行することによってブロック図に示す各手段として機能する。
画像グループ化手段２１０は、各画像の撮影日時の差と各画像から認識された人物構成の差とに基づいて複数の画像が同じ画像グループに属するか否かを判断する。
画像グループ内人物関係度決定手段２２０は、画像グループ化手段２１０によって同じ画像グループに属すると判断された画像群に映る人物間の関係度を第１の値（本実施形態では「１」）とする。
人物関係データベース合成手段２３０は、画像グループ内人物関係度決定手段２２０によって決定された画像グループ内人物関係度を人物関係データベース２４０に合成する。
【００１４】
図３は、本実施形態に係る、画像群をグループ化して、グループ化された画像群について人物関係を解析して人物関係データベースに反映させるまでの画像処理装置の処理の手順を示すフローチャートである。
【００１５】
図４は、ＲＡＭ１０３に記憶されている画像群の一例を示す図である。本実施形態では図４に示す２つの画像（第１の画像３１０と第２の画像３２０）を用いて説明する。
第１の画像には、Ｂ、Ｃ、Ｄ、Ｅの４つの円があるが、これは写真内の人物構成を簡略化して表したものであり、各アルファベットが人物に対応づけられるものとする。つまり、第１の画像には、４人の人物Ｂ、Ｃ、Ｄ、Ｅが存在している。同様に、第２の画像には、４人の人物Ａ、Ｃ、Ｄ、Ｅが存在している。
また、各円は、顔が写っている位置に対応しているものとする。
さらに、第１の画像の撮影日時は２０１１年１１月２５日の１３時１０分であり、撮影位置は（経度，緯度）が（１３９．８８，３５．６３）であることを表している。
また、第２の画像の撮影日時は２０１１年１１月２５日の１３時１１分であり、撮影位置は（経度，緯度）が（１３９．８８，３５．６３）であることを表している。
【００１６】
以下、第１の画像と第２の画像について、人物関係データベースを構築する処理の流れを説明する。本実施形態では、同じ画像、同じグループに存在する人物間の関係度は１とし、各画像、グループの関係度を合算したものを人物関係データベースとする。また、画像群は予め時系列に並んだ状態になっているものとし、処理もこの順番に行う。
【００１７】
［画像グループ化処理］
図３に示すフローチャートにおいて、まずＣＰＵ１０１（画像グループ化手段２１０）は画像グループ化処理をする（ステップＳ２０１）。
本実施形態では、図５に示すフローチャートに従って画像グループ化処理をする。ＣＰＵ１０１は、対象画像について以下の処理を繰り返す（ステップＳ４０１）。本実施形態では、グループ化の条件として、撮影日時と人物構成を比較する。
具体的な条件は図８に示したものに従い、一つ前の画像と比較して、撮影日時の差が５分未満であることと、人物構成の差が５０％以上の人物が共通であることとする。
【００１８】
以上の条件に従って、まずＣＰＵ１０１は、人物認識処理して画像内の人物情報を取得する（ステップＳ４０２）。
本実施形態では、予めデータベースに追加される可能性のある人物の顔情報を保持しているものとする。そのため、ステップＳ４０２によって検出された顔画像がどの人物であるかを識別することができる。人物認識技術については、様々な公知技術があり、本処理は人物認識技術の種類を問わない。第１の画像３１０については、Ｂ、Ｃ、Ｄ、Ｅの４名の人物情報が抽出される。
続いてＣＰＵ１０１は、人物関係データベースにおける新規人物情報（人物関係データベースにまだ記憶されていない人物の情報）を人物関係データベースに追加する（ステップＳ４０３）。
第１の画像３１０が処理される時点では、人物関係データベースが空の状態なので、Ｂ、Ｃ、Ｄ、Ｅの全人物が人物関係データベースに追加される。
続いてＣＰＵ１０１は、一つ前の画像との撮影日時の差が閾値以内か否かを判別する（ステップＳ４０４）。
第１の画像３１０が読みこまれた時点では一つ前の画像がないため、判別結果はＮＯとなる。
ステップＳ４０４でＮＯと判別されると、ＣＰＵ１０１は新規グループ（第１のグループ）を作成して人物情報をグループに追加する（ステップＳ４０７）。
第１の画像３１０の処理時には、Ｂ、Ｃ、Ｄ、Ｅの４名が追加される。そして、次の第２の画像３２０を読み込む。
【００１９】
第２の画像３２０の処理について、ステップＳ４０２では、Ａ、Ｃ、Ｄ、Ｅの４名の人物情報が取得される。
続くステップＳ４０３では、人物関係データベースにおける新規人物はＡのため、新規人物Ａを人物関係データベースに追加する。
そしてステップＳ４０４では、第１の画像３１０との撮影日時の差が１分であることから、図８に示す５分未満という条件を満たすため、ステップＳ４０４の判別結果はＹＥＳなる。
続いてＣＰＵ１０１は一つ前の画像との人物構成の差が閾値以内であるか否かを判別する（ステップＳ４０５）。
一つ前の画像である第１の画像３１０の人物構成は、Ｂ、Ｃ、Ｄ、Ｅの４名であり、第２の画像３２０の人物構成は、Ａ、Ｃ、Ｄ、Ｅの４名であるため、４人中３名（７５％）が共通である。そのため、図８に示す、５０％以上の人が共通という条件を満たすため、Ｓ４０５の判別結果はＹＥＳとなる。
続いてＣＰＵ１０１は、グループ内新規人物を第１のグループに追加する（ステップＳ４０６）。第１のグループ内の新規人物はＡなので、Ａを第１のグループに追加する。
【００２０】
第１の画像と第２の画像を画像グループ化処理した時点で、人物関係データベースには、Ａ、Ｂ、Ｃ、Ｄ、Ｅの５名が登録され、第１のグループにもＡ、Ｂ、Ｃ、Ｄ、Ｅの５名が登録されている状態となる。以上が画像グループ化処理である。
【００２１】
図３に示すフローチャートにおいて、ＣＰＵ１０１は続いて、全グループについて以下の処理を繰り返す（ステップＳ２０２）。
【００２２】
［画像グループ内人物関係度決定処理］
まずＣＰＵ１０１（画像グループ内人物関係度決定手段２２０）は、画像グループ内人物関係度決定処理をする（ステップＳ２０３）。本実施形態では、図６に示すフローチャートに従って処理する。つまり、グループ内人物間の関係度を１とする（ステップＳ５０４）。第１の画像と第２の画像で構成されるグループにおいては、ＡＢ間、ＡＣ間、ＡＤ間、ＡＥ間、ＢＣ間、ＢＤ間、ＢＥ間、ＣＤ間、ＣＥ間、ＤＥ間の関係度がそれぞれ１となる。
【００２３】
［人物関係データベースへの合成処理］
続いてＣＰＵ１０１（人物関係データベース合成手段２３０）は、画像グループ内人物関係度を人物関係データベースに合成処理する（ステップＳ２０４）。
本実施形態では、図７に示すフローチャートに従って処理する。
ＣＰＵ１０１は、算出された画像グループ内人物関係度について以下の処理を繰り返す（ステップＳ６０１）。
ＣＰＵ１０１は画像グループ内人物関係度を人物関係データベースに加算する（ステップＳ６０２）。
本実施形態では、第１の画像と第２の画像がグループとなった一つのグループのみがあるので、上記処理で算出した関係度が人物関係データベースに加算され、結果として第１の画像と第２の画像によるグループの関係度と一致する。
以上の処理によって、人物関係データベースを構築できる。
【００２４】
この結果として得られる、第１の画像と第２の画像を処理した後の本実施形態における人物関係データベースは、図９（ａ）のようになる。
一方、図９（ｄ）は、本実施形態と同様の処理をグループ化しなかった場合に構築される人物関係データベースである。グループ化無しの方法の処理手順を簡単に説明する。
まず、第１の画像を処理した後の時点で、図９（ｂ）に示すように、Ｂ、Ｃ、Ｄ、Ｅ間の関係度が１となり、これら関係度が人物関係データベースに加算される。
そして第２の画像の処理で、図９（ｃ）に示すように、Ａ、Ｃ、Ｄ、Ｅ間の関係度が１となり、それが、人物関係データベースに加算される。
その結果、図９（ｄ）に示すように、同じ画像に登場しないＡとＢの間の関係度が０となる。また、第１の画像と第２の画像の両方にＣ、Ｄ、Ｅが登場するため、Ｃ、Ｄ、Ｅ間の関係度は２となっている。
しかし、第１の画像と第２の画像は、撮影日時の差が短く、共通の人物も多いため、これら画像に写っている人物は共通のグループに属する人物である可能性が高く、人物間の関係度も等しい可能性が高い。
そのため、本実施形態による人物関係データベースのように、Ａ、Ｂ、Ｃ、Ｄ、Ｅ間が等しく関係度１になる方が望ましい。
【００２５】
本実施形態によれば、ある条件を満たす画像群をグループ化した上で人物構成を解析することで、より現実に近い人物関係データベースを構築することができる。
【００２６】
＜第２の実施形態＞
次に第２の実施形態について説明する。
第２の実施形態に係る画像処理装置も、図３に示すフローチャートに従って処理する点も同様である。さらに、画像グループ化処理Ｓ２０１の詳細と画像グループ内人物関係度の人物関係データベースへの合成処理Ｓ２０４の詳細も同じである。異なるのは、画像グループ内人物関係度決定処理Ｓ２０３の詳細である。
【００２７】
図１０は、第２の実施形態に係る人物関係データベースを構築する画像処理装置の構成を示すブロック図である。ＣＰＵ１０１が、ＲＯＭ１０２やＲＡＭ１０３に記憶されているデータやプログラムを読み込み実行することによってブロック図に示す各手段として機能する。
画像グループ内人物関係度決定手段２２０は、人物グループ化手段２２１と、人物グループ間関係度算出手段２２２と、未算出人物間関係度決定手段２２３とを有する。
人物グループ化手段２２１は、同じ画像から認識された顔画像について、各顔画像に対応する人物が同じ人物グループに属するか否かを判断する。
画像グループ内人物関係度決定手段２２０は、人物グループ化手段２２１によって同じ人物グループに属すると判断され各顔画像間の人物関係度を前記第１の値（本実施形態では「１」）とする。
人物グループ間関係度算出手段２２２は、人物グループ化手段２２１によって、同じ人物グループに属すると判断されなかった顔画像について、
一方の人物グループに属すると判断された人物の顔画像と、他方の人物グループに属する判断された人物の顔画像の中で最も距離が近い２つの顔画像を選択し、前記選択された２つの顔画像間の関係度を算出し、算出された関係度を、一方の人物グループに属する各人物と、他方の人物グループに属する各人物との間の関係度とする。
未算出人物間関係度決定手段２２３は、
同じ画像グループに属するが異なる画像から認識されたために、関係度が未算出である人物間の関係度を、
各人物が写っている画像内で関係度が前記第１の値である人物を両者が共有している場合は、当該両者間の関係度も前記第１の値とし、
各人物が写っている画像内で関係度が前記第１の値である人物を両者が共有していない場合は、当該両者間の関係度を第２の値（本実施形態では「０」）とする。
【００２８】
本実施形態では、図１１（ａ）、（ｂ）に示す第３の画像と第４の画像を用いて説明する。図４（ａ）、（ｂ）に示す画像と同様、図１１（ａ）、（ｂ）中の円は顔画像を表し、内部のアルファベットは人物を表している。第３の画像には、４人の人物、Ａ、Ｂ、Ｃ、Ｅが存在し、第４の画像には３人の人物Ｂ、Ｃ、Ｄが存在している。また撮影日時、撮影位置については、それぞれ第１の画像、第２の画像と同じ条件である。
【００２９】
［画像グループ化処理］
まず、ＣＰＵ１０１（画像グループ化手段２１０）は画像グループ化処理をする（Ｓ２０１）。実施形態１と同様に、図５に示す画像グループ化処理に従って処理すると、第３の画像と第４の画像は、撮影日時の差が１分であり、人物構成は、Ｃ、Ｄが共通なため、同一グループとなる。
次にＣＰＵ１０１は、全グループについて以下の処理を繰り返す（Ｓ２０２）。
【００３０】
［画像グループ内人物関係度決定処理］
まずＣＰＵ１０１（画像グループ内人物関係度決定手段２２０）は、図１２に示すフローチャートに従って画像グループ内人物関係度決定処理をする。
図１２に示すフローチャートにおいて、ＣＰＵ１０１はグループ内の全画像について以下の処理を繰り返す（Ｓ１００１）。
・人物グループ化処理
まずＣＰＵ１０１（人物グループ化手段２２１）は、人物グループ化処理を行う。本実施形態では、図１３に示すフローチャートに従って人物グループ化処理する。
【００３１】
図１３に示すフローチャートにおいて、まずＣＰＵ１０１は、画像内の全人物組合せについて以下の処理を繰り返す。
まずＣＰＵ１０１は、人物間の顔画像の大きさと距離の情報を元に人物グループ判定処理をする（Ｓ１１０２）。本実施形態では以下の処理によって、人物グループ判定する。判定対象となる人物Ｍと人物Ｎにおいて、人物Ｍの画像における顔画像の中心座標と人物Ｎの画像における顔画像の中心座標の距離をＤとし、人物Ｍの顔画像をぎりぎり包含する円の半径をＲｍとし、人物Ｎの顔画像をぎりぎり包含する円の半径をＲｎとする。このとき、下記式１および式２の２つの条件を両方ともに満たす場合に、人物Ｍと人物Ｎを同一グループとする。
【００３２】
【数１】
2014142810.tif 000003
【００３３】
式１は、２つの顔画像の位置の近さを表しており、式２は、２つの顔画像の大きさの類似度を表している。つまり、２つの顔画像の位置がある閾値より近く、２つの顔画像の大きさがある閾値より近い場合に同一グループとすることになる。
【００３４】
これは、顔画像の位置によって、被写体が近くにいるかどうかを判別し、顔画像の大きさによって、被写体がカメラからどれだけ離れているかを判別することと同様である。つまり、画像中の位置が近くても、顔画像の大きさがかけ離れている場合には、カメラからの距離が大きく異なると判断して、同一のグループとは判断しない。
【００３５】
図１１（ｃ）は、第３の画像内の各人物における顔画像を包含する円の半径を表し、図１１（ｄ）は、第３の画像内の各人物間の距離を表している。
上記の条件をこれらの値に当てはめると、人物Ａと人物Ｂが同一人物グループとなり、人物Ｂと人物Ｃが同一人物グループとなり、Ｅが単独のグループとなる。
【００３６】
そして、最後に共通人物が属するグループを統合する（Ｓ１１０６）。この処理によって、寄り添って写っている人物同士を一つのグループにすることができる。
人物Ａと人物Ｂが属する人物グループと、人物Ｂと人物Ｃが属する人物グループとは、共通人物Ｂが属する人物グループであるから、これら人物グループは統合され、人物Ａと人物Ｂと人物Ｃが同一人物グループとなる。
以上が、人物グループ化処理（Ｓ１００２）である。
【００３７】
続いて、図１２に示すフローチャートにおいてＣＰＵ１０１は、同一人物グループに属する人物間の関係度を１とする（Ｓ１００３）。
第３の画像においては、人物Ａ、人物Ｂ、人物Ｃが同一人物グループに属するので、人物Ａ−Ｂ間、人物Ａ−Ｃ間、人物Ｂ−Ｃ間の関係度を、図１６（ａ）に示すように、いずれも１とする。
【００３８】
・人物グループ間の関係度算出処理
続いてＣＰＵ１０１（人物グループ間関係度算出手段２２２）は、人物グループ間の関係度算出処理をする（Ｓ１００４）。この処理は図１４に示すフローチャートに従う。
図１４に示すフローチャートにおいて、まずＣＰＵ１０１は、同一画像内の全人物グループ間の組合せについて繰り返す。第３の画像では、人物Ａ、人物Ｂ、人物Ｃが属するグループと人物Ｅのみが属するグループがあるので、この両人物グループ間について次の処理をする。
ＣＰＵ１０１は、各人物グループ間で最も近い人物間の関係度を算出する（Ｓ１２０２）。図１１（ｄ）によれば、人物Ａ、人物Ｂ、人物Ｃが属するグループと、人物Ｅのみが属するグループ間で最も近いのは人物Ｃ−Ｅ間となるので、人物Ｃ−Ｅ間の関係度を算出する。
本実施形態における人物間の関係度は以下の式３又は式４を用いて算出する。
【００３９】
【数２】
2014142810.tif 000004
【００４０】
この式に従うと、人物Ｃ−Ｅ間の関係度は、０．３３となる。算出過程は以下のとおりである。
Ｒｍが人物Ｃの顔画像を包含する円の半径（＝７）であるとし、Ｒｎが人物Ｅの顔画像を包含する円の半径（＝３）であるとすると、Ｒｎ＜Ｒｍであるから、式３より
人物Ｃ−Ｅ間の関係度＝（３／７）*｛（３＋７）／１３｝＝０．３３
となる。
そして、ＣＰＵ１０１は、算出した関係度を人物グループ間（一方の人物グループに属する人物と、他方の人物グループに属する人物との間）の人物関係度とする（Ｓ１２０３）。
よって、第３の画像では、人物Ｃ−Ｅ間、人物Ａ−Ｅ間、人物Ｂ−Ｅ間の関係度が、図１６（ｂ）に示すように、いずれも０．３３となる。
【００４１】
以上の処理を第４の画像に対しても行う。
・人物グループ化処理
第４の画像には、人物Ｂ、人物Ｃ、人物Ｄが写っており、それぞれ顔画像を包含する円が一部重なりあっている。人物Ｂと人物Ｃが属する人物グループと、人物Ｃと人物Ｄが属する人物グループは、共通人物Ｃが属する人物グループであるから、統合されて同一人物グループとなる（Ｓ１１０６）。
・人物グループ間の関係度算出処理
第４の画像には、人物グループが一つしか存在しないから、人物グループ間の関係度算出処理は実行されない。
そして、同一人物グループに属する人物Ｂ−Ｃ間、人物Ｂ−Ｄ間、人物Ｃ−Ｄ間の関係度は、図１６（ｃ）に示すように、いずれも１となる（Ｓ１００３）。
【００４２】
・未算出人物間の関係度決定処理
最後にＣＰＵ１０１（未算出人物間関係度決定手段２２３）は、未算出人物間の関係度を決定する（Ｓ１００８）。
この処理をする前の時点では、同じ画像に写っていない人物Ａと人物Ｄ、人物Ｄと人物Ｅの関係度が未算出である。
本実施形態では、以下の条件によって、関係度を算出する。
図１５に、未算出人物間の関係度を算出する処理の流れを示す。
人物Ｍと人物Ｎの関係度を算出する場合、各人物が写っている画像内で関係度１の人物を両者が共有している場合、両者間の関係度を１とする。それ以外の場合は関係度を０とする。
【００４３】
この条件にあてはめると、人物Ａと人物Ｄの関係度は以下のようになる。
人物Ａは、人物Ａが写っている第３の画像内で人物Ｂ、人物Ｃと関係度１である（ステップＳ１３０２でＹＥＳ）。
人物Ｄは、人物Ｄが写っている第４の画像内で人物Ｂ、人物Ｃと関係度１である（ステップＳ１３０３でＹＥＳ）。
つまり人物Ａと人物Ｄは、関係度１の人物を共有している（ステップＳ１３０４でＹＥＳ）。そのため、人物Ａと人物Ｄの関係度は１となる（ステップＳ１３０５）。
【００４４】
次に、人物Ｅと人物Ｄの関係度は以下のようになる。
人物Ｅが写っている第３の画像内に、人物Ｅとの関係度が１である人物は存在しない（ステップＳ１３０２でＮＯ）。
よって、人物Ｄと人物Ｅは関係度１の人物を共有していないため、人物Ｄと人物Ｅの関係度は０となる。
以上の処理を行うことによって、第３の画像と第４の画像から算出される人物関係データベースは図１６（ｄ）のようになる。
【００４５】
本実施形態によれば、画像に写っている顔画像の大きさや位置の関係に応じて、人物間の関係度を算出することができるようになる。それにより、意図せずに小さく写ってしまった人物との関係度を小さくすることができ、より現実に近い人物関係データベースを構築することができる。
【００４６】
上述した本発明の実施形態を構成する各手段及び各ステップは、コンピュータのＲＡＭやＲＯＭ等に記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。
【符号の説明】
【００４７】
２１０  画像グループ化手段
２２０  画像グループ内人物関係度決定手段
２２１  人物グループ化手段
２２２  人物グループ間関係度算出手段
２２３  未算出人物間関係度決定手段
２３０  人物関係データベース合成手段
【図１】
2014142810.tif 000005
【図２】
2014142810.tif 000006
【図３】
2014142810.tif 000007
【図４】
2014142810.tif 000008
【図５】
2014142810.tif 000009
【図６】
2014142810.tif 000010
【図７】
2014142810.tif 000011
【図８】
2014142810.tif 000012
【図９】
2014142810.tif 000013
【図１０】
2014142810.tif 000014
【図１１】
2014142810.tif 000015
【図１２】
2014142810.tif 000016
【図１３】
2014142810.tif 000017
【図１４】
2014142810.tif 000018
【図１５】
2014142810.tif 000019
【図１６】
2014142810.tif 000020