(57)【要約】【課題】本発明は、画像から人同士の関係性を特定する処理の効率性を向上させることを目的とする。【解決手段】時系列に並んだ複数の対象画像を処理する画像処理装置は、各対象画像から顔の画像を含む画像領域である顔領域を顔の画像ごとに検出する顔領域検出部と、顔領域を用いて、被写体の顔から撮影装置までの距離である被写体距離をそれぞれ推定する被写体距離推定部と、被写体距離を用いて、顔領域に表されている顔同士の実際の距離である被写体間距離を推定する被写体間距離推定部と、連続する所定数の対象画像からそれぞれ推定された被写体間距離がすべて所定値以下となる人同士について、推定された被写体間距離を用いて、人同士の親密さの程度を表す親密度を被写体間距離が小さいほど大きい値となるように算出する親密度算出部と、を備える。【選択図】図１
2011070276.tif 000002
【特許請求の範囲】
【請求項１】
時系列に並んだ複数の対象画像を処理する画像処理装置であって、
各前記対象画像から顔の画像を含む画像領域である顔領域を顔の画像ごとに検出する顔領域検出部と、
前記顔領域を用いて、被写体の顔から撮影装置までの距離である被写体距離をそれぞれ推定する被写体距離推定部と、
前記被写体距離を用いて、前記顔領域に表されている人の顔同士の実際の距離である被写体間距離を推定する被写体間距離推定部と、
連続する所定数の前記対象画像からそれぞれ推定された前記被写体間距離がすべて所定値以下となる人同士について、推定された前記被写体間距離を用いて、人同士の親密さの程度を表す親密度を前記被写体間距離が小さいほど大きい値となるように算出する親密度算出部と、を備える画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記親密度算出部は、前記被写体間距離が推定された人同士について、前記被写体間距離が推定された前記対象画像の次に連続する対象画像において前記被写体間距離が推定されなくても、前記被写体間距離が推定されなかった対象画像の次に連続する対象画像において前記被写体間距離が推定された場合には、前記被写体間距離が推定された対象画像の合計が所定数であり、推定された前記被写体間距離がすべて所定値以下であれば前記人同士の親密度を算出する画像処理装置。
【請求項３】
請求項１または請求項２に記載の画像処理装置はさらに、
前記親密度算出部により前記親密度を算出されたそれぞれの人の顔の画像から人の特徴を判別する特徴判別部と、
前記親密度と前記人の特徴とを用いて、前記親密度を算出された人同士の間柄を判定する間柄判定部と、を備える画像処理装置。
【請求項４】
請求項３に記載の画像処理装置はさらに、
前記特徴判別部は、前記親密度を算出されたそれぞれの人物について、既に前記人の特徴を判別した人物か否かを判定し、前記人の特徴を判別していない人物についてのみ前記判別をおこなう画像処理装置。
【請求項５】
請求項３または請求項４に記載の画像処理装置において、
前記特徴判別部は、前記顔領域に含まれている顔の画像から人の年齢を判別する画像処理装置。
【請求項６】
請求項３ないし請求項５のいずれかに記載の画像処理装置において、
前記特徴判別部は、前記顔領域に含まれている顔の画像から人の性別を判別する画像処理装置。
【請求項７】
請求項３ないし請求項６のいずれかに記載の画像処理装置において、
前記間柄判定部は、
前記親密度および前記人の特徴と、前記人同士の間柄と、の対応関係が示されている２以上の間柄判定情報を記憶している記憶部と、
前記対象画像の撮影された場所に関する情報に基づき、前記記憶部から１つの間柄判定情報を選択する間柄判定情報選択部と、を備え、
前記間柄判定情報選択部により選択された間柄判定情報を用いて、前記親密度を算出された人同士の間柄を判定する画像処理装置。
【請求項８】
請求項７に記載の画像処理装置において、
前記対象画像の撮影された場所に関する情報は、ＧＰＳ情報を用いて特定される画像処理装置。
【請求項９】
請求項３ないし請求項８のいずれかに記載の画像処理装置はさらに、
前記間柄判定部により判定された人同士の間柄から、前記親密度算出部により前記親密度を算出された人全員の間柄関係を表す間柄関係図を作成する間柄関係図作成部を備える画像処理装置。
【請求項１０】
請求項９に記載の画像処理装置において、
前記間柄関係図は、前記親密度を算出された人の顔の画像と、前記顔の画像同士をつなぐ関係線とが表され、
前記親密度が高い人同士ほど前記顔の画像同士の距離が小さく、前記対象画像に現れる頻度が高い人同士ほど前記関係線の幅が大きく表されている画像処理装置。
【請求項１１】
請求項１ないし請求項１０のいずれかに記載の画像処理装置において、
前記被写体距離推定部は、前記対象画像の大きさに対する前記顔領域の大きさに基づいて前記被写体距離を推定する画像処理装置。
【請求項１２】
請求項１ないし請求項１１のいずれかに記載の画像処理装置において、
前記親密度算出部は、時系列に並んだ複数の対象画像の少なくとも一部に表され、被写体間距離がすべて所定値以下となる人同士について、前記対象画像に表れる頻度が所定数以上の人同士については前記親密度を算出し、前記対象画像に表れる頻度が所定数より少ない人同士については前記親密度を算出しない画像処理装置。
【請求項１３】
請求項１ないし請求項１１のいずれかに記載の画像処理装置において、
前記親密度算出部は、第１の対象画像に含まれている顔の画像同士の距離が、第２の対象画像に含まれている顔の画像同士の距離より小さく、第１の対象画像に表されている顔同士の実際の距離が、第２の対象画像に表されている顔同士の実際の距離より大きい場合、第１の対象画像に表されている人同士より第２の対象画像に表されている人同士の方がより親密度が高くなるように親密度を算出する画像処理装置。
【請求項１４】
請求項１０に記載の画像処理装置において、
前記間柄関係図作成部は、第１の対象画像に含まれている顔の画像同士の距離が、第２の対象画像に含まれている顔の画像同士の距離より小さく、第１の対象画像に表されている顔同士の実際の距離が、第２の対象画像に表されている顔同士の実際の距離より大きい場合、前記間柄関係図において、第１の対象画像に現れる人の顔の画像同士の距離より第２の対象画像に現れる人の顔の画像同士の距離の方が小さくなるように前記間柄関係図を作成する画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関する。
【背景技術】
【０００２】
従来から、複数の人が表されている画像を用いて、人同士の関係性を特定する技術が知られている。例えば、画像に表されている人同士の距離を用いて、２人の親密さの程度を表す親密度を算出する技術が知られている（特許文献１）。また、画像から特定された人同士の関係性を用いた画像の分類方法や、画像の検索方法が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−７９４５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、画像から人同士の関係性を特定する処理の効率性についてはなお向上の余地があった。
【０００５】
本発明は、上記した従来の課題の少なくとも一部を解決するためになされた発明であり、画像から人同士の関係性を特定する処理の効率性を向上させることを目的とする。
【課題を解決するための手段】
【０００６】
上記課題の少なくとも一部を解決するために本願発明は以下の態様を採る。
【０００７】
第１の態様は、時系列に並んだ複数の対象画像を処理する画像処理装置を提供する。本発明の第１の態様に係る画像処理装置は、各前記対象画像から顔の画像を含む画像領域である顔領域を顔の画像ごとに検出する顔領域検出部と、前記顔領域を用いて、被写体の顔から撮影装置までの距離である被写体距離をそれぞれ推定する被写体距離推定部と、前記被写体距離を用いて、前記顔領域に表されている人の顔同士の実際の距離である被写体間距離を推定する被写体間距離推定部と、連続する所定数の前記対象画像からそれぞれ推定された前記被写体間距離がすべて所定値以下となる人同士について、推定された前記被写体間距離を用いて、人同士の親密さの程度を表す親密度を前記被写体間距離が小さいほど大きい値となるように算出する親密度算出部と、を備える。
【０００８】
第１の態様に係る画像処理装置によれば、連続する所定数の対象画像においてそれぞれ推定された被写体間距離がすべて所定値以下となる人同士について親密度を算出するため、対象画像から人同士の関係性を特定する処理の効率性を向上させることができる。
【０００９】
第１の態様に係る画像処理装置において、前記親密度算出部は、前記被写体間距離が推定された人同士について、前記被写体間距離が推定された前記対象画像の次に連続する対象画像において前記被写体間距離が推定されなくても、前記被写体間距離が推定されなかった対象画像の次に連続する対象画像において前記被写体間距離が推定された場合には、前記被写体間距離が推定された対象画像の合計が所定数であり、推定された前記被写体間距離がすべて所定値以下であれば前記人同士の親密度を算出してもよい。この場合、連続していない所定数の対象画像においてそれぞれ推定された被写体間距離がすべて所定値以下となる人同士について親密度を算出するため、対象画像から人同士の関係性を特定する処理の効率性を向上させることができる。
【００１０】
第１の態様に係る画像処理装置はさらに、前記親密度算出部により前記親密度を算出されたそれぞれの人の顔の画像から人の特徴を判別する特徴判別部と、前記親密度と前記人の特徴とを用いて、前記親密度を算出された人同士の間柄を判定する間柄判定部と、を備えていてもよい。この場合、親密度と、人の特徴とを用いて、親密度を算出された人同士の間柄を判定するため、対象画像から人同士の関係性を特定する処理の効率性を向上させることができる。
【００１１】
第１の態様に係る画像処理装置はさらに、前記特徴判別部は、前記親密度を算出されたそれぞれの人物について、既に前記人の特徴を判別した人物か否かを判定し、前記人の特徴を判別していない人物についてのみ前記判別をおこなってもよい。この場合、一度、人の特徴を判別した人物について再度、判別をおこなわないため、対象画像から人同士の関係性を特定する処理の効率性を向上させることができる。
【００１２】
第１の態様に係る画像処理装置において、前記特徴判別部は、前記顔領域に含まれている顔の画像から人の年齢を判別してもよい。この場合、親密度と、人の年齢とを用いて、親密度を算出された人同士の間柄を判定するため、対象画像から人同士の関係性を特定する精度の向上を図ることができる。
【００１３】
第１の態様に係る画像処理装置において、前記特徴判別部は、前記顔領域に含まれている顔の画像から人の性別を判別してもよい。この場合、親密度と、人の性別とを用いて、親密度を算出された人同士の間柄を判定するため、対象画像から人同士の関係性を特定する精度の向上を図ることができる。
【００１４】
第１の態様に係る画像処理装置において、前記間柄判定部は、前記親密度および前記人の特徴と、前記人同士の間柄と、の対応関係が示されている２以上の間柄判定情報を記憶している記憶部と、前記対象画像の撮影された場所に関する情報に基づき、前記記憶部から１つの間柄判定情報を選択する間柄判定情報選択部と、を備え、前記間柄判定情報選択部により選択された間柄判定情報を用いて、前記親密度を算出された人同士の間柄を判定してもよい。この場合、間柄判定情報選択部により選択された間柄判定情報を用いて、親密度を算出された人同士の間柄を判定するため、対象画像から人同士の関係性を特定する精度の向上を図ることができる。
【００１５】
第１の態様に係る画像処理装置において、前記対象画像の撮影された場所に関する情報は、ＧＰＳ情報を用いて特定されてもよい。この場合、対象画像の撮影された場所に関する情報はＧＰＳ情報を用いて特定されるため、対象画像から人同士の関係性を特定する精度の向上を図ることができる。
【００１６】
第１の態様に係る画像処理装置はさらに、前記間柄判定部により判定された人同士の間柄から、前記親密度算出部により前記親密度を算出された人全員の間柄関係を表す間柄関係図を作成する間柄関係図作成部を備えていてもよい。この場合、親密度を算出された人全員の関係性を表示することができる。
【００１７】
第１の態様に係る画像処理装置において、前記間柄関係図は、前記親密度を算出された人の顔の画像と、前記顔の画像同士をつなぐ関係線とが表され、前記親密度が高い人同士ほど前記顔の画像同士の距離が小さく、前記対象画像に現れる頻度が高い人同士ほど前記関係線の幅が大きく表されていてもよい。この場合、親密度を算出された人全員の関係性を容易に表示することができる。
【００１８】
第１の態様に係る画像処理装置において、前記被写体距離推定部は、前記対象画像の大きさに対する前記顔領域の大きさに基づいて前記被写体距離を推定してもよい。この場合、顔領域に表されている顔から撮影装置までの距離である被写体距離を容易に推定することができる。
【００１９】
第１の態様に係る画像処理装置において、前記親密度算出部は、時系列に並んだ複数の対象画像の少なくとも一部に表され、被写体間距離がすべて所定値以下となる人同士について、前記対象画像に表れる頻度が所定数以上の人同士については前記親密度を算出し、前記対象画像に表れる頻度が所定数より少ない人同士については前記親密度を算出しなくてもよい。この場合、対象画像から人同士の関係性を特定する処理の効率性を向上させることができる。
【００２０】
第１の態様に係る画像処理装置において、前記親密度算出部は、第１の対象画像に含まれている顔の画像同士の距離が、第２の対象画像に含まれている顔の画像同士の距離より小さく、第１の対象画像に表されている顔同士の実際の距離が、第２の対象画像に表されている顔同士の実際の距離より大きい場合、第１の対象画像に表されている人同士より第２の対象画像に表されている人同士の方がより親密度が高くなるように親密度を算出してもよい。この場合、対象画像から人同士の関係性を精度良く特定することができる。
【００２１】
第１の態様に係る画像処理装置において、前記間柄関係図作成部は、第１の対象画像に含まれている顔の画像同士の距離が、第２の対象画像に含まれている顔の画像同士の距離より小さく、第１の対象画像に表されている顔同士の実際の距離が、第２の対象画像に表されている顔同士の実際の距離より大きい場合、前記間柄関係図において、第１の対象画像に現れる人の顔の画像同士の距離より第２の対象画像に現れる人の顔の画像同士の距離の方が小さくなるように前記間柄関係図を作成してもよい。この場合、親密度を算出された人全員の関係性を精度良く表示することができる。
【００２２】
本発明は、種々の態様で実現することが可能であり、例えば、プリンター、デジタルスチルカメラ、パーソナルコンピューター、デジタルビデオカメラ等で実現することができる。また、画像処理方法および装置、親密度算出方法および装置、間柄関係表示方法および装置、これらの方法または装置の機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体、そのコンピュータープログラムを含み搬送波内に具現化されたデータ信号、等の形態で実現することができる。
【図面の簡単な説明】
【００２３】
【図１】第１実施例における画像処理装置としてのプリンターの構成を概略的に示す説明図である。
【図２】第１実施例における画像検索・印刷処理の流れを示すフローチャートである。
【図３】動画像ファイルにより表される各対象画像の一部を例示した説明図である。
【図４】内部メモリーに格納された動画像ファイルを説明するための説明図である。
【図５】顔領域ＦＡの検出結果の一例を示す説明図である。
【図６】内部メモリーに格納された人物情報データベースを説明するための説明図である。
【図７】画像識別子と人物識別子との対応付けを説明するための説明図である。
【図８】第１実施例における人物情報設定処理の流れを示すフローチャートである。
【図９】被写体距離Ｓｄの推定方法を示す説明図である。
【図１０】被写体間距離Ｓｂｄの推定方法を示す説明図である。
【図１１】人物情報データベースＨＣに被写体間距離Ｓｂｄを設定した状態を説明するための説明図である。
【図１２】人物情報データベースＨＣに頻度情報を設定した状態を説明するための説明図である。
【図１３】人物情報データベースに年齢および性別についての人物情報を設定した状態を説明するための説明図である。
【図１４】人物情報データベースＨＣに親密度Ｄｉを設定した状態を説明するための説明図である。
【図１５】間柄判定処理の流れを示すフローチャートである。
【図１６】第１の間柄判定情報の内容を説明するための説明図である。
【図１７】第２の間柄判定情報の内容を説明するための説明図である。
【図１８】人物情報データベースＨＣに間柄情報を設定した状態を説明するための説明図である。
【図１９】間柄関係図を例示した説明図である。
【図２０】間柄関係図を含むユーザインターフェースを例示した説明図である。
【図２１】第１の印刷画面を例示した説明図である。
【図２２】第２の印刷画面を例示した説明図である。
【図２３】対象画像リストに含まれる対象画像の並び順を説明するための説明図である。
【図２４】第３の印刷画面を例示した説明図である。
【図２５】第２実施例における人物情報設定処理の流れを示すフローチャートである。
【図２６】第３の間柄判定情報の内容を説明するための説明図である。
【発明を実施するための形態】
【００２４】
以下、本発明に係る画像処理装置の一態様であるプリンターについて、図面を参照しつつ、実施例に基づいて説明する。
【００２５】
Ａ．第１実施例：
Ａ１．画像処理装置の構成：
図１は、第１実施例における画像処理装置としてのプリンターの構成を概略的に示す説明図である。本実施例のプリンター１００は、メモリーカードＭＣ等から取得した画像データに基づき画像を印刷する、いわゆるダイレクトプリントに対応したインクジェット式カラープリンターである。プリンター１００は、プリンター１００の各部を制御するＣＰＵ１１０と、ＲＯＭやＲＡＭによって構成された内部メモリー１２０と、ボタンやタッチパネルにより構成された操作部１４０と、液晶ディスプレイにより構成された表示部１５０と、印刷機構１６０と、カードインターフェース（カードＩ／Ｆ）１７０と、を備えている。プリンター１００は、さらに、他の機器（例えばデジタルスチルカメラやパーソナルコンピューター）とのデータ通信を行うためのインターフェースを備えていてもよい。プリンター１００の各構成要素は、バスを介して双方向通信可能に接続されている。
【００２６】
印刷機構１６０は、印刷データに基づき印刷を行う。カードインターフェース１７０は、カードスロット１７２に挿入されたメモリーカードＭＣとの間でデータのやり取りを行うためのインターフェースである。なお、本実施例では、メモリーカードＭＣに動画像ファイルが格納されている。この動画像ファイルは、例えば、デジタルスチルカメラ等の撮影装置によりＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ  Ｉｍａｇｅ  Ｆｉｌｅ  Ｆｏｒｍａｔ）規格に則って時間的に連続して順次生成された複数の画像ファイルを含み、それぞれの画像ファイルには撮影により生成されたＲＧＢデータとしての画像データの他に、撮影日時、撮影時の絞り値（Ｆ値）、シャッタースピード、レンズの焦点距離、撮影時の緯度経度情報等の付加データを含んでいる。動画像ファイルは、例えば、Ｍｏｔｉｏｎ  ＪＰＥＧ等の圧縮形式を採用することができる。動画像ファイルを構成する画像ファイルは、例えば、ＪＰＥＧ等の圧縮形式を採用することができる。プリンター１００は、カードインターフェース１７０を介してメモリーカードＭＣに格納された動画像ファイルの取得をおこなう。
【００２７】
内部メモリー１２０には、画像処理部２００と、表示制御部３１０と、印刷制御部３２０と、が格納されている。画像処理部２００は、コンピュータープログラムであり、所定のオペレーティングシステムの下で、ＣＰＵ１１０により実行されることで画像検索・印刷処理をおこなう。本実施例の画像検索・印刷処理は、検索対象となる複数の画像（以後、「対象画像」とも呼ぶ）から人同士の親密さの程度を表す親密度を算出し、この親密度を用いて特定の画像を検出する画像検索をおこなうとともに、検出された画像の印刷をおこなう処理である。画像検索・印刷処理については、後に詳述する。表示制御部３１０、および、印刷制御部３２０についてもＣＰＵ１１０により実行されることでぞれぞれの機能を実現する。
【００２８】
画像処理部２００は、プログラムモジュールとして、顔領域検出部２１０と、被写体距離推定部２２０と、被写体間距離推定部２３０と、親密度算出部２４０と、特徴判別部２５０と、特定情報取得部２６０と、画像検索部２７０と、間柄判定部２８０と、間柄関係図作成部２９０と、を含んでいる。間柄判定部２８０は、間柄判定情報選択部２８１を含んでいる。これら各部の機能については、後述の画像検索・印刷処理の説明において詳述する。
【００２９】
表示制御部３１０は、表示部１５０を制御して、表示部１５０上に処理メニューやメッセージ、画像等を表示させるディスプレイドライバである。印刷制御部３２０は、画像データから印刷データを生成し、印刷機構１６０を制御して、印刷データに基づく画像の印刷を実行するためのコンピュータープログラムである。ＣＰＵ１１０は、内部メモリー１２０から、これらのプログラム（画像処理部２００、表示制御部３１０、印刷制御部３２０）を読み出して実行することにより、これら各部の機能を実現する。
【００３０】
内部メモリー１２０には、また、間柄判定情報ＲＤＩが格納されている。間柄判定情報ＲＤＩは、後述の画像検索・印刷処理において参照されるために予め設定される情報である。間柄判定情報ＲＤＩの内容については、後述の画像検索・印刷処理の説明において詳述する。
【００３１】
Ａ２．画像検索・印刷処理
図２は、第１実施例における画像検索・印刷処理の流れを示すフローチャートである。本実施例の画像検索・印刷処理は、動画像に表されている人同士について算出した親密度から、人同士の間柄関係を表す間柄関係図を作成し、間柄関係図を参照したユーザーにより選択された画像の印刷をおこなう。
【００３２】
画像処理部２００は、画像検索の対象となる対象画像を取得する（ステップＳ１００）。本実施例では、メモリーカードＭＣに格納された動画像ファイルにより表されるすべての画像を画像検索・印刷処理の対象となる対象画像として説明する。なお、対象画像は、メモリーカードＭＣ以外の記憶装置に格納された動画像ファイルにより表される画像であってもよいし、メモリーカードＭＣに格納された動画像ファイルにより表される画像の一部であってもよい。本実施例では、プリンター１００は、カードスロット１７２にメモリーカードＭＣが挿入されると、メモリーカードＭＣから対象画像を取得する。すなわち、プリンター１００は、メモリーカードＭＣに格納された動画像ファイルを内部メモリー１２０に格納する。
【００３３】
図３は、動画像ファイルにより表される各対象画像の一部を例示した説明図である。各対象画像ＴＩ０〜ＴＩ３は、対象画像ＴＩ０、対象画像ＴＩ１、対象画像ＴＩ２、対象画像ＴＩ３の順に時間的に連続した画像である。すなわち、各対象画像ＴＩ０〜ＴＩ３は、対象画像ＴＩ０、対象画像ＴＩ１、対象画像ＴＩ２、対象画像ＴＩ３の順に時系列に並んだ画像である。対象画像ＴＩは、動画像ファイルにより表される動画像の各フレームに該当する。なお、動画像ファイルにより表される動画像のフレームレートには特に限定はなく、本実施例では３０ｆｐｓが採用されている。ただし、フレームレートについては、３０ｆｐｓ以外の値が採用されていてもよい。
【００３４】
図４は、内部メモリーに格納された動画像ファイルを説明するための説明図である。図４は、内部メモリー１２０に格納された動画像ファイルにより表される各対象画像ＴＩと、対象画像ＴＩをそれぞれ識別するための画像識別子とを示している。画像処理部２００は、取得した各対象画像ＴＩに対応する画像ファイルにそれぞれ画像識別子を対応付けて内部メモリー１２０の所定領域に格納する。ここで、画像識別子とは、内部メモリー１２０に格納された画像ファイルのそれぞれが一意に特定可能な識別子であり、数字や記号のほか、ファイル名等の文字列であってもよい。
【００３５】
画像処理部２００は、注目画像ＯＩを設定する（ステップＳ１１０）。具体的には、画像処理部２００は、内部メモリー１２０に格納された画像ファイルの中から１つの画像ファイルを選択する。画像処理部２００は、選択した画像ファイルに対応する対象画像ＴＩを注目画像ＯＩとして設定する。本実施例では、図４に示す、対象画像ＴＩ１を注目画像ＯＩとして設定した例について説明する。
【００３６】
顔領域検出部２１０は、注目画像ＯＩにおける顔領域ＦＡの検出をおこなう（ステップＳ１２０）。ここで、顔領域ＦＡとは、注目画像ＯＩ上の画像領域であって、少なくとも顔の一部の画像が含まれる領域を意味している。顔領域検出部２１０による顔領域ＦＡの検出は、例えばテンプレートを利用したパターンマッチングによる方法（特開２００４−３１８２０４参照）といった公知の顔検出方法を用いて実行される。
【００３７】
図５は、顔領域ＦＡの検出結果の一例を示す説明図である。図５の例では、注目画像ＯＩに２人の顔の画像が含まれている。そのため、ここでは、注目画像ＯＩから２つの顔領域ＦＡ１、ＦＡ２が検出される。顔領域ＦＡは、図５に示すように、両目と鼻と口の画像を含む矩形の領域となっている。また、顔領域検出部２１０は、顔領域ＦＡに基づいて頭全体を含む矩形の領域である頭領域ＴＡを検出する。注目画像ＯＩにおける頭領域ＴＡの位置および範囲は、検出した顔領域ＦＡの注目画像ＯＩにおける位置および範囲に対して所定となるように予め設定されている。そのため、顔領域ＦＡの検出により頭領域ＴＡの位置および範囲が一義的に規定される。頭領域ＴＡの規定方法については、特に限定はなく、例えば、頭領域ＴＡは、顔領域ＦＡから所定の画素数外側の範囲としてもよいし、顔領域ＦＡの縦横それぞれの画素数に所定の定数を掛けて算出される範囲としてもよい。本実施例では、２つの頭領域ＴＡ１、ＴＡ２が検出される。
【００３８】
なお、顔領域検出部２１０は、顔領域ＦＡおよび頭領域ＴＡの検出結果として、注目画像ＯＩにおける顔領域ＦＡおよび頭領域ＴＡのそれぞれの位置を特定可能な情報（例えば顔領域ＦＡの４つの頂点の座標、および、頭領域ＴＡの４つの頂点の座標）を出力する。また、図５に示すように、本実施例では、注目画像ＯＩの幅をＷｗｉ（単位は画素数）と表し、顔領域ＦＡの幅をそれぞれＷｆｉ１およびＷｆｉ２（単位は画素数）と表すものとする。なお、ステップＳ１２０の顔領域ＦＡの検出において、顔領域ＦＡが検出されなかった場合には、新たに別の対象画像ＴＩを注目画像ＯＩとして選択し、顔領域ＦＡの検出をおこなう。
【００３９】
ステップＳ１２０では、テンプレートを利用したパターンマッチングにより注目画像ＯＩから顔領域ＦＡが検出される。このようなテンプレートを利用したパターンマッチングによる方法等の公知の顔検出方法は、一般に、顔全体や顔の部位（目や口等）について位置や傾き（角度）を詳細に検出するものではなく、注目画像ＯＩ中から顔の画像が概ね含まれると考えられる領域を顔領域ＦＡとして設定するものである。
【００４０】
図６は、内部メモリーに格納された人物情報データベースを説明するための説明図である。画像処理部２００は、注目画像ＯＩの頭領域ＴＡに対応する画像の画像データを生成する。頭領域ＴＡには、人の頭全体を表す画像が含まれているため、生成した画像データは、注目画像ＯＩに含まれている人ごとの人物画像ＰＩを表している。画像処理部２００は、図６に示すように、人物画像ＰＩを表す画像データと、それぞれの人物画像を識別するための人物識別子と対応付けた人物情報データベースＨＣを内部メモリー１２０の所定領域に格納する。ここでは、注目画像ＯＩとして設定した対象画像ＴＩ１に２人の人物画像が含まれているため、頭領域ＴＡ１により表される人物の人物画像ＰＩ１の画像データと人物識別子ａａとを対応付けるとともに、頭領域ＴＡ２により表される人物の人物画像ＰＩ２の画像データと人物識別子ｂｂとを対応付ける。なお、本実施例では、画像処理部２００は、注目画像ＯＩの頭領域ＴＡに対応する人物画像ＰＩの画像データを生成しているが、画像データを生成せず、頭領域ＴＡの位置を特定するための情報や、頭領域ＴＡを検出した注目画像ＯＩの画像識別子などと、人物識別子と対応付けた人物情報データベースＨＣを構築してもよい。
【００４１】
図７は、画像識別子と人物識別子との対応付けを説明するための説明図である。画像処理部２００は、内部メモリーに格納されている注目画像ＯＩに対応する画像ファイルと、注目画像ＯＩに含まれている人物画像ＰＩの画像データを対応付ける。具体的には、画像処理部２００は、図７に示すように、対象画像ＴＩ１に対応する画像ファイルの画像識別子ＩＡと、２人の人物画像ＰＩ１、ＰＩ２とそれぞれ対応する人物識別子ａａ、ｂｂとを対応付ける。
【００４２】
画像処理部２００は、人物情報設定処理をおこなう（ステップＳ１３０）。人物情報設定処理とは、注目画像ＯＩから、注目画像ＯＩに表されている人の年齢や、性別のほか、注目画像ＯＩに表されている人同士の親密さの程度を表す親密度や間柄などの人物情報を取得し、人物情報データベースＨＣに設定する処理である。人物情報は、上記以外にも、例えば、注目画像ＯＩに表されている人の表情や、顔向きなどを含んでいてもよい。
【００４３】
図８は、第１実施例における人物情報設定処理の流れを示すフローチャートである。被写体距離推定部２２０は、被写体距離Ｓｄの推定を行う（ステップＳ２００）。ここで、被写体距離Ｓｄは、注目画像ＯＩの撮影時における撮影装置（より詳細には撮影装置のレンズの主点）から被写体である人の顔までの距離である。
【００４４】
図９は、被写体距離Ｓｄの推定方法を示す説明図である。図９には、注目画像ＯＩの撮影時における撮影装置の結像面ＩＳと被写体としての人Ｐの顔との位置関係を示している。図９に示すように、レンズの主点ＵＰと人Ｐの顔との間の距離である被写体距離Ｓｄは、人Ｐの顔の位置を含み結像面ＩＳに平行な面（以下「被写体面ＳＳ」とも呼ぶ）における撮影範囲の幅Ｗｗと画角θ１とにより定まる。また、画角θ１は、レンズの焦点距離ｆと結像面ＩＳの幅Ｗｘとの関係により特定される。すなわち、下記の式（１）が成り立つ。
【００４５】
【数１】
2011070276.tif 000003
【００４６】
また、被写体面ＳＳにおける撮像範囲の幅Ｗｗは、人Ｐの顔の画像が注目画像ＯＩ（図５）において占める大きさに基づき特定される。すなわち、被写体面ＳＳにおける幅Ｗｗと人Ｐの顔の幅Ｗｆとの比は、注目画像ＯＩにおける画像全体の幅Ｗｗｉと顔領域ＦＡの幅Ｗｆｉとの比に等しいと考えられる（式（２）参照）。
【００４７】
【数２】
2011070276.tif 000004
【００４８】
上記式（１）および（２）から、下記の式（３）が導かれる。
【００４９】
【数３】
2011070276.tif 000005
【００５０】
被写体距離推定部２２０は、式（３）を用いた被写体距離Ｓｄの算出に必要な情報を取得する。具体的には、被写体距離推定部２２０は、注目画像ＯＩを表す画像ファイルにメタデータとして付加されている注目画像ＯＩの全体の幅Ｗｗｉの値（画素数）を取得すると共に、顔領域ＦＡ（図５）の幅Ｗｆｉの値（画素数）を算出する。顔領域ＦＡの幅Ｗｆｉの算出は、例えば前述の顔領域ＦＡの４つの頂点のうちの２つの頂点の座標を用いて２つの頂点間の距離を算出することにより行う。
【００５１】
また、被写体距離推定部２２０は、人Ｐの顔の幅Ｗｆの値として、予め設定され内部メモリー１２０に格納された典型的な人物の顔の幅（顔の現実の大きさ）の概略値（例えば２００ｍｍ）を取得する。
【００５２】
さらに、被写体距離推定部２２０は、注目画像ＯＩの画像ファイルの付加データに含まれる撮像時のレンズの焦点距離ｆの値を取得する。ここで、取得されるレンズの焦点距離ｆの値は、３５ｍｍフィルム換算値であり、撮像装置の実際の焦点距離（実焦点距離）とは異なる場合がある。このような場合には、被写体距離推定部２２０は、結像面ＩＳの幅Ｗｘとして、予め設定された３５ｍｍフィルムの幅の値を取得する。なお、画像ファイルの付加データに実焦点距離のデータと撮像装置の撮像素子の幅のデータとが含まれている場合には、被写体距離推定部２２０が、レンズの焦点距離ｆとして実焦点距離の値を取得し、結像面ＩＳの幅Ｗｘとして撮像素子の幅の値を取得するとしてもよい。また、画像ファイルの付加データに画角そのものを示すデータが含まれている場合には、被写体距離推定部２２０が画角を示すデータを取得するとしてもよい。
【００５３】
被写体距離推定部２２０は、取得した上記各情報（対象画像ＴＩの全体の幅Ｗｗｉの値、顔領域ＦＡの幅Ｗｆｉの値、人物Ｐの顔の幅Ｗｆの値、レンズの焦点距離ｆの値、結像面ＩＳの幅Ｗｘの値）と、上記式（３）とを用いて、被写体距離Ｓｄを算出（推定）する。本実施例では、撮影装置から顔領域ＦＡ１に対応する人の顔までの距離である被写体距離Ｓｄ１と、撮影装置から顔領域ＦＡ２に対応する人の顔までの距離である被写体距離Ｓｄ２が推定される。
【００５４】
なお、撮影装置から顔領域ＦＡ１に対応する人の顔までの距離である被写体距離Ｓｄ１と、撮影装置から顔領域ＦＡ２に対応する人の顔までの距離である被写体距離Ｓｄ２との比は、顔領域ＦＡ１の幅Ｗｆｉ１と顔領域ＦＡ２の幅Ｗｆｉ２との比に等しいと考えられるため、上記式（３）を用いて、被写体距離Ｓｄ１を算出し、被写体距離Ｓｄ２を下記の式（４）により算出してもよい。
【００５５】
【数４】
2011070276.tif 000006
【００５６】
被写体距離推定部２２０により被写体距離Ｓｄが推定されると、被写体間距離推定部２３０は、被写体間距離Ｓｂｄの推定をおこなう（ステップＳ２１０）。ここで、被写体間距離Ｓｂｄは、注目画像ＯＩに表されている２人の顔の一方の顔から他方の顔までの実際の距離である。言い換えれば、被写体間距離Ｓｂｄは、顔領域ＦＡに表されている顔同士の撮影時における実際の距離である。
【００５７】
図１０は、被写体間距離Ｓｂｄの推定方法を示す説明図である。図１０には、注目画像ＯＩの撮影時における撮影装置ＰＤと被写体としての人Ｐ１および人Ｐ２の顔との位置関係を示している。人Ｐ１は、図５に示す顔領域ＦＡ１に対応する人であり、人Ｐ２は、顔領域ＦＡ２に対応する人を表している。図１０に示すように、人Ｐ１の顔と人Ｐ２の顔との間の距離である被写体間距離Ｓｂｄは、撮影装置ＰＤと人Ｐ１とを結ぶ直線上の距離成分である奥行き方向距離Ｓｈと、この奥行き方向と直交する方向の距離成分である直交方向距離Ｓｖにより特定される。すなわち、式（５）が成り立つ。
【００５８】
【数５】
2011070276.tif 000007
【００５９】
また、直交方向距離Ｓｖは、撮影装置ＰＤと人Ｐ１とを結ぶ直線と、撮影装置ＰＤと人Ｐ２とを結ぶ直線とにより形成される形成角θ２と、撮影装置から人Ｐ２の顔までの距離である被写体距離Ｓｄ２により特定される。すなわち、式（６）が成り立つ。
【００６０】
【数６】
2011070276.tif 000008
【００６１】
また、直交方向距離Ｓｖおよび奥行き方向距離Ｓｈは、撮影装置から人Ｐ１の顔までの距離である被写体距離Ｓｄ１と、形成角θ２により特定される。すなわち式（７）が成り立つ。
【００６２】
【数７】
2011070276.tif 000009
【００６３】
式（６）および式（７）により、奥行き方向距離Ｓｈは、被写体距離Ｓｄ１、Ｓｄ２および形成角θ２を用いて特定される。すなわち、式（８）が成り立つ。
【００６４】
【数８】
2011070276.tif 000010
【００６５】
式（５）、式（６）、および、式（８）により、被写体間距離Ｓｂｄを被写体距離Ｓｄ１、Ｓｄ２および形成角θ２を用いて特定できる。すなわち、式（９）が成り立つ。
【００６６】
【数９】
2011070276.tif 000011
【００６７】
被写体間距離推定部２３０は、式（９）を用いた被写体間距離Ｓｂｄの算出に必要な情報を取得する。具体的には、被写体間距離推定部２３０は、被写体距離推定部２２０により推定された被写体距離Ｓｄ１、Ｓｄ２を取得するとともに、形成角θ２の値を算出する。形成角θ２の算出は、例えば、注目画像ＯＩにおける顔領域ＦＡ１の中心と顔領域ＦＡ２との中心とを結ぶ線分の長さと、画像全体の幅Ｗｗｉとの比と、形成角θ２と、画角θ１との比を用いることにより算出することができる。
【００６８】
被写体間距離推定部２３０は、算出した被写体間距離Ｓｂｄを人物情報データベースＨＣに設定する。図１１は、人物情報データベースＨＣに被写体間距離Ｓｂｄを設定した状態を説明するための説明図である。被写体間距離推定部２３０は、人物情報データベースＨＣにおいて、算出した被写体間距離Ｓｂｄを、算出の対象となった２人の人物画像ＰＩの画像データとそれぞれ対応付ける。具体的には、注目画像ＯＩにおいて、頭領域ＴＡ１により表される人物と、頭領域ＴＡ２により表される人物との被写体間距離Ｓｂｄが「５０」であった場合、図１１に示すように、頭領域ＴＡ１と対応する人物画像ＰＩ１の画像データに、注目画像ＯＩとして設定している対象画像ＴＩの画像識別子「ＩＢ」と、被写体間距離Ｓｂｄを算出した相手の人物識別子「ｂｂ」と、被写体間距離Ｓｂｄである「５０」をそれぞれ対応付ける。また、頭領域ＴＡ２と対応する人物画像ＰＩ２の画像データに、注目画像ＯＩとして設定している対象画像ＴＩの画像識別子「ＩＢ」と、被写体間距離Ｓｂｄを算出した相手の人物識別子「ａａ」と、被写体間距離Ｓｂｄである「５０」をそれぞれ対応付ける。
【００６９】
画像処理部２００は、被写体間距離Ｓｂｄが閾値Ｔｈ１より小さいか否かを判定する（ステップＳ２２０）。具体的には、画像処理部２００は、内部メモリー１２０に予め設定されている閾値Ｔｈ１と、ステップ２１０において被写体間距離推定部２３０により算出された被写体間距離Ｓｂｄとを比較して、被写体間距離Ｓｂｄが閾値Ｔｈ１より小さいか否か判定する。被写体間距離Ｓｂｄが閾値Ｔｈ１以上である場合（ステップＳ２２０：ＮＯ）、画像処理部２００は、後述する頻度情報として「頻度ｎ＝０」を人物情報データベースＨＣに設定する（ステップＳ２２５）。画像処理部２００は、人物情報データベースＨＣに頻度情報として「頻度ｎ＝０」を設定すると、人物情報設定処理を終了する。
【００７０】
被写体間距離Ｓｂｄが閾値Ｔｈ１より小さい場合（ステップＳ２２０：ＹＥＳ）、画像処理部２００は、被写体間距離Ｓｂｄを算出したそれぞれの人物が前回以前の対象画像に表された人物であるか否かを判定する（ステップＳ２３０）。すなわち、画像処理部２００は、今回、注目画像に設定した対象画像より前に注目画像に設定したいずれかの対象画像に、今回、被写体間距離Ｓｂｄを算出したそれぞれの人物が表されているか否かについて判定をおこなう。例えば、注目画像ＯＩとして設定している対象画像ＴＩ１において被写体間距離Ｓｂｄを算出した２人の人物（頭領域ＴＡ１により表される人物と、頭領域ＴＡ２により表される人物）が対象画像ＴＩ１より時間的に前の画像である対象画像ＴＩ０に表されているか否かを判定する。画像処理部２００は、例えば、対象画像ＴＩ１から検出した頭領域ＴＡに含まれる顔の画像と、人物情報データベースＨＣに表されている人物画像ＰＩとの類似度をそれぞれ算出し、検出した頭領域ＴＡにより表される人物が既に人物情報データベースＨＣに設定されているか否かを判定することにより、被写体間距離Ｓｂｄを算出したそれぞれの人物が前回以前の対象画像に表された人物であるか否かを判定する。
【００７１】
被写体間距離Ｓｂｄを算出したそれぞれの人物が前回以前の対象画像ＴＩに表された人物ではない場合（ステップＳ２３０：ＮＯ）、画像処理部２００は、人物情報データベースＨＣに頻度情報として「頻度ｎ＝１」を設定する（ステップＳ２３５）。頻度情報は、人物情報データベースＨＣに設定されている人物ごとに設定され、それぞれの人物と特定の人物との被写体間距離Ｓｂｄが閾値Ｔｈ１より小さい値となる状態で表されている対象画像の数（頻度ｎ）を表している。被写体間距離Ｓｂｄを算出したそれぞれの人物が前回以前の対象画像ＴＩに表された人物ではない場合、今回初めて対象画像に現れた人物同士であることから、画像処理部２００は、ぞれぞれの人物に対応する頻度情報として頻度ｎ＝１を設定する。
【００７２】
図１２は、人物情報データベースＨＣに頻度情報を設定した状態を説明するための説明図である。画像処理部２００は、人物情報データベースＨＣにおいて、被写体間距離Ｓｂｄの算出対象となった２人の人物画像ＰＩの画像データに、頻度情報として、「１」をそれぞれ対応付ける。具体的には、頭領域ＴＡ１と対応する人物画像ＰＩ１の画像データに、被写体間距離Ｓｂｄを算出した相手の人物識別子「ｂｂ」と、頻度情報である「１」を対応付ける。同様に、頭領域ＴＡ２と対応する人物画像ＰＩ２の画像データに、被写体間距離Ｓｂｄを算出した相手の人物識別子「ａａ」と、頻度情報である「１」を対応付ける。画像処理部２００は、人物情報データベースＨＣに頻度情報として「頻度ｎ＝１」を設定すると、人物情報設定処理を終了する。
【００７３】
被写体間距離Ｓｂｄを算出したそれぞれの人物が前回以前の対象画像ＴＩに表されている人物である場合（ステップＳ２３０：ＹＥＳ）、画像処理部２００は、人物情報データベースＨＣに設定されているそれぞれの人物に対応する頻度情報の頻度ｎを１つインクリメントする（ステップＳ２４０）。
【００７４】
画像処理部２００は、ステップＳ２３０においてインクリメントした頻度ｎが閾値Ｔｈ２より大きいか否かを判定する（ステップＳ２５０）。頻度ｎが閾値Ｔｈ２以下である場合（ステップＳ２５０：ＮＯ）、画像処理部２００は、人物情報設定処理を終了する。頻度ｎが閾値Ｔｈ２より大きい場合（ステップＳ２５０：ＹＥＳ）、特徴判別部２５０は、被写体間距離Ｓｂｄを算出したそれぞれの人物について既に年齢および性別の判定をおこなっているか否かを判定する（ステップＳ２６０）。具体的には、特徴判別部２５０は、人物情報データベースＨＣを参照し、被写体間距離Ｓｂｄを算出したそれぞれの人物について後述する年齢情報や性別情報が設定されているか否かを判定する。被写体間距離Ｓｂｄを算出したそれぞれの人物について既に年齢および性別の判定をおこなっている場合（ステップＳ２６０：ＹＥＳ）年齢判定および性別判定（ステップＳ２７０）をスキップする。被写体間距離Ｓｂｄを算出したそれぞれの人物について年齢および性別の判定をおこなっていない場合には（ステップＳ２６０：ＮＯ）、特徴判別部２５０は、年齢判定および性別判定をおこなう（ステップＳ２７０）。
【００７５】
特徴判別部２５０による年齢判定および性別判定は、例えば顔領域ＦＡに含まれる目、鼻、髪型、色彩などについての位置、大きさ、比率などの顔特徴量に基づいて推定する方法（特開２００７−２０６９２１参照）といった公知の判別方法を用いて実行される。本実施例では、年齢判定において推定される年齢は、画像検索・印刷処理をおこなった時点での年齢が推定される。すなわち、注目画像ＯＩに表された人の画像から推定される年齢に、注目画像ＯＩを表す画像ファイルにメタデータとして付加されている撮影日時から画像検索・印刷処理をおこなった日時までに経過した年月分加齢することにより、画像検索・印刷処理をおこなった時点での年齢を推定する。なお、本実施例では、画像検索・印刷処理をおこなった時点での年齢の推定をおこなったが、代わりに、注目画像ＯＩに表されている人の誕生年もしくは誕生年月を推定する態様であってもよい。
【００７６】
図１３は、人物情報データベースに年齢および性別についての人物情報を設定した状態を説明するための説明図である。特徴判別部２５０は、人物情報データベースＨＣにおいて、判定した年齢および性別についての人物情報と、判定の対象となった人物と対応する人物画像ＰＩの画像データとを対応付ける。具体的には、図１３に示すように、注目画像ＯＩの顔領域ＦＡ１から判定した年齢（３５歳）と性別（男）を、頭領域ＴＡ１と対応する人物画像ＰＩ１の画像データと対応付ける。また、注目画像ＯＩの顔領域ＦＡ２から判定した年齢（３０歳）と性別（女）を、頭領域ＴＡ２と対応する人物画像ＰＩ２の画像データと対応付ける。
【００７７】
親密度算出部２４０は、親密度Ｄｉの算出をおこなう（ステップＳ２８０）。ここで、親密度Ｄｉは、注目画像ＯＩに表されている人同士の互いの親密さの程度を表す値であり、人同士が互いに親密であるほど高い値となる。親密度算出部２４０は、ステップＳ２１０において推定された被写体間距離Ｓｂｄを用いて親密度Ｄｉを算出する。具体的には、親密度算出部２４０は、被写体間距離Ｓｂｄが小さいほど親密度Ｄｉの値が大きくなるように親密度Ｄｉを算出する。これは、写真撮影時において、お互いに親密である人同士ほどお互いの距離が近い状態となり、親密でない人同士の場合には、お互いに近接した状態となることが少ないことによる。なお、親密度Ｄｉと被写体間距離Ｓｂｄとの関係は、任意に設定可能であり、親密度Ｄｉは、被写体間距離Ｓｂｄと直線的な相関関係（線形相関）を有している必要はなく、曲線的な相関関係（非線形相関）であってもよい。また、例えば、被写体間距離Ｓｂｄが所定以上であれば、親密度Ｄｉの値は一定となるような態様であってもよい。
【００７８】
親密度算出部２４０は、算出した親密度Ｄｉを人物情報データベースＨＣに設定する。図１４は、人物情報データベースＨＣに親密度Ｄｉを設定した状態を説明するための説明図である。親密度算出部２４０は、人物情報データベースＨＣにおいて、算出した親密度Ｄｉを、算出の対象となった２人の人物画像ＰＩの画像データとそれぞれ対応付ける。具体的には、注目画像ＯＩにおいて、頭領域ＴＡ１により表される人物と、頭領域ＴＡ２により表される人物との親密度Ｄｉが「２１」であった場合、図１４に示すように、頭領域ＴＡ１と対応する人物画像ＰＩ１の画像データに、親密度Ｄｉを算出した相手の人物識別子「ｂｂ」と、親密度Ｄｉである「２１」をそれぞれ対応付ける。また、頭領域ＴＡ２と対応する人物画像ＰＩ２の画像データに、親密度Ｄｉを算出した相手の人物識別子「ａａ」と、親密度Ｄｉｉである「２１」をそれぞれ対応付ける。
【００７９】
間柄判定部２８０は、間柄判定処理をおこなう（ステップＳ２９０）。間柄判定処理は、注目画像ＯＩに表されている人同士の間柄を判定するための処理である。図１５は、間柄判定処理の流れを示すフローチャートである。間柄判定部２８０は、人物情報データベースＨＣから、間柄判定の対象となる人のそれぞれの年齢および性別などの人物情報と、対象とする人同士の親密度Ｄｉとを用いて注目画像ＯＩに表されている人同士の間柄を判定する。
【００８０】
間柄判定部２８０の間柄判定情報選択部２８１は、位置情報を取得する（ステップＳ３１０）。ここで、位置情報とは、注目画像ＯＩとして選択されている対象画像ＴＩが撮影された場所に関する情報であり、街路、住宅、会社といった撮影された場所の種別に関する情報が含まれている。間柄判定情報選択部２８１は、画像ファイルの付加データに含まれている撮影時の緯度経度情報と、内部メモリー１２０に記憶されている地理情報とを用いて、対象画像ＴＩが撮影された場所を特定する。ここで、緯度経度情報は、撮影装置と一体もしくは別体のＧＰＳユニットにより取得されたＧＰＳ情報を画像ファイルに付加データとして埋め込んだものである。すなわち、間柄判定情報選択部２８１は、対象画像ＴＩが撮影された場所に関する情報を、ＧＰＳ情報を用いることにより特定している。なお、プリンター１００は、内部メモリー１２０に地理情報を記憶している必要はなく、例えば、Ｇｏｏｇｌｅマップなどの地図情報を利用して、緯度経度情報から撮影された場所に関する情報を取得してもよい。
【００８１】
間柄判定部２８０の間柄判定情報選択部２８１は、内部メモリー１２０に記憶されている複数の間柄判定情報の中から１つの間柄判定情報を選択する（ステップＳ３２０）。間柄判定情報には、間柄判定の対象とする人の年齢や性別等の人物情報、および、親密度Ｄｉと、間柄との対応関係が示されている。内部メモリー１２０に記憶されている複数の間柄判定情報には、それぞれ画像が撮影された場所ごとに設定された対応関係が示されている。図１６は、第１の間柄判定情報の内容を説明するための説明図である。図１７は、第２の間柄判定情報の内容を説明するための説明図である。間柄判定情報選択部２８１は、ステップＳ３１０により取得した対象画像の撮影された場所に関する情報に基づいて、内部メモリー１２０に記憶されている複数の間柄判定情報から１つの間柄判定情報を選択する。すなわち、間柄判定情報選択部２８１は、対象画像の撮影された場所に関する情報に示されている対象画像の撮影された場所と対応する間柄判定情報を選択する。
【００８２】
図１６は、内部メモリー１２０に記憶されている間柄判定情報の１つであって、街路で撮影された画像に対応する間柄判定情報の内容を例示している。また、図１７は、内部メモリー１２０に記憶されている間柄判定情報の１つであって、会社で撮影された画像に対応する間柄判定情報の内容を例示している。それぞれの間柄判定情報の内容は後述する。なお、図１６および図１７に示されている間柄判定情報の内容は、内部メモリー１２０に設定可能な間柄判定情報の一例にすぎず、これ以外の間柄判定情報を任意に設定することができる。例えば、自宅、公園、遊興施設など、ぞれぞれの場所で撮影された画像に対応する間柄判定情報や、ステップＳ３１０において位置情報が取得されなかった場合に選択される間柄判定情報などを設定することができる。
【００８３】
間柄判定部２８０は、間柄判定情報に従って、対象となる人同士の間柄を判定する（ステップＳ３３０）。はじめに、間柄判定情報選択部２８１により、図１６に内容が示された間柄判定情報が選択された場合について説明する。間柄判定部２８０は、親密度Ｄｉと閾値Ｔｈ３とを比較し（ステップＳ５００）、親密度Ｄｉが閾値Ｔｈ３以下である場合（ステップＳ５００：ＮＯ）、間柄判定の対象となる人同士は「他人」であると判定する（ステップＳ５０５）。
【００８４】
親密度Ｄｉが閾値Ｔｈ３より大きい場合（ステップＳ５００：ＹＥＳ）、間柄判定部２８０は、間柄判定の対象となる人同士の年齢差が閾値Ｔｈ４より小さいか否かを判定する（ステップＳ５１５）。年齢差が閾値Ｔｈ４より小さい場合（ステップＳ５１５：ＹＥＳ）、間柄判定部２８０は、間柄判定の対象となる人の年齢がそれぞれ１２より大きいか否かを判定する（ステップＳ５２０）。
【００８５】
間柄判定の対象となる人の少なくとも一方の年齢が１２以下である場合（ステップＳ５２０：ＮＯ）、間柄判定部２８０は、間柄判定の対象となる人同士は「友達」であると判定する（ステップＳ５２５）。間柄判定の対象となる人の年齢がそれぞれ１２より大きい場合（ステップＳ５２０：ＹＥＳ）、間柄判定部２８０は、間柄判定の対象となる人同士が同性か否かを判定する（ステップＳ５３５）。
【００８６】
間柄判定の対象となる人同士が同性である場合（ステップＳ５３５：ＹＥＳ）、間柄判定部２８０は、間柄判定の対象となる人同士は「友達」であると判定する（ステップＳ５４０）。間柄判定の対象となる人同士が異性である場合（ステップＳ５３５：ＮＯ）、間柄判定部２８０は、間柄判定の対象となる人同士は「恋人・夫婦」であると判定する（ステップＳ５４５）。
【００８７】
ステップＳ５１５において、年齢差が閾値Ｔｈ４以上である場合（ステップＳ５１５：ＮＯ）、間柄判定部２８０は、顔認証を実施する（ステップＳ５５０）。ここで、顔認証とは、間柄判定の対象となる人同士の顔の画像の類似度（顔類似度）を算出するために、それぞれの人の顔の画像から特徴量を算出し、両者の特徴量の類似度から顔類似度を算出する処理をいう。ここで用いられる顔の画像の特徴量には、例えば、対象画像がＲＧＢで表されている場合、ＲＧＢ色空間におけるカラーヒストグラムの各カラービンの画素度数を用いることができる。なお、人の顔の画像同士の類似度を算出できる方法であれば、上記以外の公知技術を用いてもよい。
【００８８】
ステップＳ５５０において算出された顔類似度が閾値Ｔｈ５より小さい場合（ステップＳ５５５：ＹＥＳ）、間柄判定部２８０は、間柄判定の対象となる人同士は「親子」であると判定する（ステップＳ５６０）。ステップＳ５５０において算出された顔類似度が閾値Ｔｈ５以上である場合（ステップＳ５５５：ＮＯ）、間柄判定部２８０は、間柄判定の対象となる人同士は「他人」であると判定する（ステップＳ５６５）。
【００８９】
続いて、間柄判定情報選択部２８１が、図１７に内容が示された間柄判定情報を選択した場合について説明する。間柄判定部２８０は、親密度Ｄｉと閾値Ｔｈ６とを比較し（ステップＳ６００）、親密度Ｄｉが閾値Ｔｈ６以下である場合（ステップＳ６００：ＮＯ）、間柄判定の対象となる人同士は「他人」であると判定する（ステップＳ６０５）。
【００９０】
親密度Ｄｉが閾値Ｔｈ６より大きい場合（ステップＳ６００：ＹＥＳ）、間柄判定部２８０は、間柄判定の対象となる人同士の年齢差が閾値Ｔｈ７より小さいか否かを判定する（ステップＳ６１５）。年齢差が閾値Ｔｈ７以上である場合（ステップＳ６１５：ＮＯ）、間柄判定部２８０は、間柄判定の対象となる人同士は「上司と部下」であると判定する（ステップＳ６１７）。
【００９１】
年齢差が閾値Ｔｈ７より小さい場合（ステップＳ６１５：ＹＥＳ）、間柄判定部２８０は、親密度Ｄｉが閾値Ｔｈ８（＞閾値Ｔｈ６）より大きいか否かを判定する（ステップＳ６２０）。親密度Ｄｉが閾値Ｔｈ８以下である場合（ステップＳ６２０：ＮＯ）、間柄判定部２８０は、間柄判定の対象となる人同士は「同僚」であると判定する（ステップＳ６２５）。親密度Ｄｉが閾値Ｔｈ８より大きい場合（ステップＳ６２０：ＹＥＳ）、間柄判定部２８０は、間柄判定の対象となる人同士が同性か否かを判定する（ステップＳ６３５）。
【００９２】
間柄判定の対象となる人同士が同性である場合（ステップＳ６３５：ＹＥＳ）、間柄判定部２８０は、間柄判定の対象となる人同士は「友達」であると判定する（ステップＳ６４０）。間柄判定の対象となる人同士が異性である場合（ステップＳ６３５：ＮＯ）、間柄判定部２８０は、間柄判定の対象となる人同士は「恋人」であると判定する（ステップＳ６４５）。
【００９３】
間柄判定部２８０は、判定した間柄に関する情報（以後、「間柄情報」とも呼ぶ）を人物情報データベースＨＣに設定する。図１８は、人物情報データベースＨＣに間柄情報を設定した状態を説明するための説明図である。間柄判定部２８０は、人物情報データベースＨＣにおいて、判定の対象となった２人の人物画像ＰＩの画像データと間柄情報とをそれぞれ対応付ける。具体的には、注目画像ＯＩにおいて、頭領域ＴＡ１により表される人物と、頭領域ＴＡ２により表される人物との間柄が「恋人・夫婦」であった場合、図１８に示すように、頭領域ＴＡ１と対応する人物画像ＰＩ１の画像データに、間柄を判定した相手の人物識別子「ｂｂ」と、間柄情報である「恋人・夫婦」とをそれぞれ対応付ける。また、頭領域ＴＡ２と対応する人物画像ＰＩ２の画像データに、間柄を判定した相手の人物識別子「ａａ」と、間柄情報である「恋人・夫婦」とをそれぞれ対応付ける。上記により間柄判定処理が終了する。また、間柄判定処理の終了により、人物情報設定処理が終了する。
【００９４】
図２に戻って、画像処理部２００は、内部メモリー１２０に格納された画像ファイルに対応する対象画像ＴＩを順次、注目画像ＯＩとして設定し、ステップＳ１１０からステップＳ１３０の処理を実行する。（ステップＳ１３５：ＮＯ）。このとき、ステップＳ１２０において検出された頭領域ＴＡにより表される人物が既に人物情報データベースＨＣに設定されている場合には、画像処理部２００は、その人物について、人物情報データベースＨＣに新たなレコードを設定しない。画像処理部２００は、例えば、ステップＳ１２０において検出した頭領域ＴＡに含まれる顔の画像と、人物情報データベースＨＣに表されている人物画像ＰＩとの類似度をそれぞれ算出することにより、検出した頭領域ＴＡにより表される人物が既に人物情報データベースＨＣに設定されているか否かを判定する。
【００９５】
画像処理部２００は、すべての対象画像ＴＩについて注目画像ＯＩに設定し、ステップＳ１１０からステップＳ１３０の処理が完了すると（ステップＳ１３５：ＹＥＳ）、間柄関係図作成部２９０は、間柄関係図の作成をおこなう（ステップＳ１５０）。間柄関係図は、親密度Ｄｉを算出された人同士のそれぞれの間柄を図示することにより、親密度Ｄｉを算出された人全員の間柄を表した図である。間柄関係図作成部２９０は、間柄関係図を表す画像データを生成する。
【００９６】
図１９は、間柄関係図を例示した説明図である。間柄関係図ＲＭには、人物画像ＰＩ（ＰＩ１〜ＰＩ６）と、人物画像ＰＩの外周部に形成される人物画像フレームＦｉと、人物画像ＰＩにより表されている人物の年齢情報ａｇおよび性別情報Ｓｓと、人物画像フレームＦｉ同士をつなぐ関係線Ｒｌと、が含まれている。
【００９７】
間柄関係図作成部２９０は、人物情報データベースＨＣに設定されている人物画像ＰＩの画像データを用いて間柄関係図ＲＭの人物画像ＰＩを作成する。また、間柄関係図作成部２９０は、人物情報データベースＨＣに設定されている年齢および性別についての人物情報を用いて間柄関係図ＲＭの年齢情報ａｇおよび性別情報Ｓｓを作成する。性別情報Ｓｓは、図１９に示すように人物画像フレームＦｉの一部に記号として表されている。間柄関係図作成部２９０は、人物情報データベースＨＣに設定されている親密度Ｄｉを用いて関係線Ｒｌの長さＬｒを決定する。具体的には、間柄関係図作成部２９０は、親密度Ｄｉが大きいほど、その対象となる人同士の人物画像フレームＦｉをつなぐ関係線Ｒｌの長さＬｒが短くなるように関係線Ｒｌの長さＬｒを決定する。すなわち、間柄関係図ＲＭにおいて、親密度Ｄｉが大きい人同士ほど、その人同士の人物画像フレームＦｉが近づくように設定される。これにより、ユーザーは視覚を通して容易に人同士の親密度の程度を把握することができる。
【００９８】
間柄関係図作成部２９０は、人物情報データベースＨＣに設定されている頻度ｎを用いて関係線の幅Ｗｒを決定する。具体的には、間柄関係図作成部２９０は、頻度ｎが大きいほど、その対象となる人同士の人物画像フレームＦｉをつなぐ関係線Ｒｌの幅Ｗｒを広くする。これにより、間柄関係図ＲＭにおいて、対象画像ＴＩに現れる頻度が高い人同士ほど、その人同士の人物画像フレームＦｉをつなぐ関係線Ｒｌが太くなるため、その関係線Ｒｌの信用性が高いことがわかる。間柄関係図作成部２９０は、生成した間柄関係図を表す画像データを内部メモリー１２０に格納する。
【００９９】
表示制御部３１０は、間柄関係図ＲＭを表示する（ステップＳ１５５）。図２０は、間柄関係図を含むユーザインターフェースを例示した説明図である。表示制御部３１０は、ステップＳ１５０により生成された間柄関係図ＲＭを表す画像データを用いて、表示部１５０に間柄関係図ＲＭを含むユーザインターフェースを表示させる。図２０に示すユーザインターフェースは、間柄関係図ＲＭのほか、ユーザーに関係線Ｒｌもしくは人物画像ＰＩの選択を要求する旨の表示と、入力ボックスＢｏを備えている。本実施例に係るプリンター１００は、ユーザーによる関係線Ｒｌの選択、もしくは、入力ボックスＢｏへのキーワード等の入力により特定される人物を含む対象画像の検索をおこなう。
【０１００】
特定情報取得部２６０は、特定情報を取得する（ステップＳ１６０）ここで、特定情報とは、検索対象となる人物を特定するための情報である。ここでは、ユーザーにより選択された関係線Ｒｌが特定情報に該当する。なお、特定情報としては、他に、間柄関係図ＲＭにおいて、ユーザーにより選択された人物画像ＰＩや人物画像フレームであってもよいし、入力ボックスＢｏに入力された、人物を特定するための情報であってもよい。入力ボックスＢｏに入力される、人物を特定するための情報とは、例えば、性別や年齢などの入力情報のほか、人物情報データベースＨＣに人物情報と氏名情報とが関連づけられている場合には、氏名等の入力情報が特定情報に該当する。また、検索対象となる人物を表す画像ファイルのファイル名を入力ボックスＢｏに入力する場合、このファイル名が特定情報に該当する。すなわち、特定情報とは、ユーザーにより入力された入力情報であるともいえる。
【０１０１】
画像検索部２７０は、画像検索をおこなう（ステップＳ１７０）。画像検索部２７０はユーザーにより選択された関係線Ｒｌ（特定情報）から、この関係線Ｒｌにより結ばれる２人の人物画像ＰＩが含まれている対象画像ＴＩの画像識別子を特定する。具体的には、図２０の斜線で示すように、人物画像ＰＩ１で表される人物と人物画像ＰＩ２で表される人物との関係線Ｒｌａがユーザーにより選択された場合、画像検索部２７０は、図１８に示す人物情報データベースＨＣから、選択された関係線Ｒｌａと対応する親密度Ｄｉを特定する。画像検索部２７０は、特定した親密度Ｄｉから、親密度Ｄｉの算出根拠となった被写体間距離Ｓｂｄを算定した対象画像ＴＩの画像識別子ＩＢ〜ＩＤを特定する。画像検索部２７０は、特定した画像識別子ＩＢ〜ＩＤと対応する対象画像ＴＩ１〜ＴＩ４を内部メモリー１２０から選択する。このように、特定情報である関係線Ｒｌによって、関係線で繋がれた２人の人物を特定することから、画像検索部２７０は、特定情報に基づいて、対象画像ＴＩから検索対象となる人物の顔の画像が含まれている対象画像ＴＩを検索しているといえる。
【０１０２】
表示制御部３１０は、印刷画像を表示する（ステップＳ１８０）。図２１は、第１の印刷画面を例示した説明図である。表示制御部３１０は、ステップＳ１７０において検索された対象画像ＴＩ１〜ＴＩ４を表示部１５０に表示する。このとき、表示制御部３１０は、人物画像ＰＩ１で表される人物と人物画像ＰＩ２で表される人物との被写体間距離Ｓｂｄの小さい順に表示させる。具体的には、図１８に示すように、対象画像ＴＩ１における被写体間距離Ｓｂｄは「５０」であり、対象画像ＴＩ２における被写体間距離Ｓｂｄは「５５」でり、また、対象画像ＴＩ３における被写体間距離Ｓｂｄは「６０」であることから、表示制御部３１０は、対象画像ＴＩ１、対象画像ＴＩ２、対象画像ＴＩ３の順に（ここでは、先頭の画像が左側となるように）表示する。印刷画面には、印刷画像のほか、４つのボタンＢＮ１〜ＢＮ３、５が表示されている。ユーザーにより、１つ（または複数）の対象画像ＴＩが選択されると共に印刷ボタンＢＮ３が選択されると、選択された画像を印刷する印刷処理を実行する。
【０１０３】
印刷制御部３２０は、印刷処理をおこなう（ステップＳ１９０）。印刷制御部３２０は、選択された対象画像ＴＩについての印刷データを生成する。具体的には、印刷制御部３２０は、選択された対象画像ＴＩについて、各画素の画素値をプリンター１００が用いるインクに合わせるための色変換処理や、色変換処理後の画素の階調をドットの分布によって表すためのハーフトーン処理や、ハーフトーン処理された画像データのデータ並びをプリンター１００に転送すべき順序に並び替えるためのラスタライズ処理等を実施して印刷データを生成する。印刷機構１６０は、印刷制御部３２０により生成された印刷データに基づいて、選択された対象画像ＴＩの印刷をおこなう。上記により、画像検索・印刷処理は終了する。
【０１０４】
上記では、ステップＳ１６０において、ユーザーにより選択された関係線Ｒｌを特定情報として処理をおこなっていたが、図２０に示すユーザインターフェースにおいて、ユーザーにより人物画像ＰＩが選択された場合について説明する。ここでは、人物画像ＰＩ１が選択された場合について説明する。
【０１０５】
画像検索部２７０は、画像検索をおこなう（ステップＳ１７０）。画像検索部２７０は、人物情報データベースＨＣを用いて、ユーザーにより選択された人物画像ＰＩ１（特定情報）と対応する人物の人物識別子ａａを特定する。画像検索部２７０は、図７に示すように、内部メモリー１２０に記憶されている対象画像ＴＩから、特定した人物識別子ａａと関連づけられている対象画像ＴＩを選択する。このとき選択された対象画像ＴＩは、後述する対象画像リストＲｓｔ１に含まれる。
【０１０６】
画像検索部２７０は、人物情報データベースＨＣを用いて、人物画像ＰＩ１と対応する人物と最も親密度Ｄｉが高い人物の人物識別子ｂｂを特定する。画像検索部２７０は、内部メモリー１２０に記憶されている対象画像ＴＩから、特定した人物識別子ｂｂと関連づけられている対象画像ＴＩを選択する。このとき選択された対象画像ＴＩは、後述する対象画像リストＲｓｔ２に含まれる。このとき、対象画像リストＲｓｔ１に含まれた対象画像ＴＩが重複して対象画像リストＲｓｔ２含まれることがある。
【０１０７】
画像検索部２７０は、人物画像ＰＩ１と対応する人物との親密度Ｄｉが高い人物から順に人物識別子を特定し、特定したそれぞれの人物識別子と関連づけられている対象画像ＴＩを順に内部メモリー１２０に記憶されている対象画像ＴＩから選択する。人物識別子ごとに選択された対象画像ＴＩは、それぞれ別の対象画像リストＲｓｔに含まれる。このとき、異なる対象画像リストＲｓｔに同じ対象画像ＴＩが重複して含まれることがある。以後、各対象画像リストＲｓｔにおいて、検索に用いられた人物識別子により表される人物を「基準人物」と呼ぶ。ここでは、対象画像リストＲｓｔ１の基準人物は、人物画像ＰＩ１と対応する人物であり、対象画像リストＲｓｔ２の基準人物は、人物画像ＰＩ２と対応する人物である。
【０１０８】
上記のとおり、画像検索部２７０は、複数の対象画像ＴＩから、特定情報により特定された検索対象となる人物（ここでは、人物画像ＰＩ１と対応する人物）の顔の画像が含まれている対象画像ＴＩを検索するのみではなく、検索対象となる人物と所定の親密度Ｄｉを有する人物の顔の画像が含まれている対象画像ＴＩの検索もおこなう。ここで、所定の親密度Ｄｉを有する人物とは、例えば、検索対象となる人物と最も高い親密度Ｄｉを有している人物や、検索対象となる人物との親密度Ｄｉが設定値以上の人物などをいう。
【０１０９】
画像検索部２７０は、人物情報データベースＨＣに含まれているすべての人物の人物識別子を用いて、各人物識別子と関連づけられている対象画像ＴＩをそれぞれ内部メモリー１２０に記憶されている対象画像ＴＩから選択してもよいし、予め設定された人数分の人物識別子のみを用いて、人物識別子と関連づけられている対象画像ＴＩを内部メモリー１２０に記憶されている対象画像ＴＩから選択してもよい。また、検索対象となる人との親密度Ｄｉが予め設定された値以上となる人物の人物識別子のみを用いて、人物識別子と関連づけられている対象画像ＴＩを内部メモリー１２０に記憶されている対象画像ＴＩから選択してもよい。
【０１１０】
表示制御部３１０は、印刷画像を表示する（ステップＳ１８０）。図２２は、第２の印刷画面を例示した説明図である。表示制御部３１０は、ステップＳ１７０において検索された対象画像ＴＩを表示部１５０に表示させる。このとき、表示制御部３１０は、図２２に示すように、対象画像リストＲｓｔごとに対象画像ＴＩを表示する。表示制御部３１０は、各対象画像リストＲｓｔに含まれる対象画像ＴＩをそれぞれ積層して表示し、積層した対象画像ＴＩの一番上に基準人物の人物画像ＰＩを表示している。表示制御部３１０は、ユーザーにより、積層されている対象画像ＴＩのうちの少なくとも一部が選択されると、選択された対象画像ＴＩの全体を表示する。
【０１１１】
表示制御部３１０は、検索対象となる人（人物画像ＰＩ１により表される人物）の対象画像リストＲｓｔ１を先頭（ここでは、最も左側）にして、検索対象となる人との親密度Ｄｉがより高い人物を基準人物とした対象画像リストＲｓｔから順に（右側に）並べて表示する。具体的には、図２２に示すように、人物画像ＰＩ１により表される人物と最も親密度Ｄｉの高い人物（人物画像ＰＩ２により表される人物）の対象画像リストＲｓｔ２、人物画像ＰＩ１により表される人物と２番目に親密度Ｄｉの高い人物（人物画像ＰＩ５により表される人物）の対象画像リストＲｓｔ３、人物画像ＰＩ１により表される人物と３番目に親密度Ｄｉの高い人物（人物画像ＰＩ４により表される人物）の対象画像リストＲｓｔ４の順に（ここでは、左側から順となるように）並べて表示する。
【０１１２】
図２３は、対象画像リストに含まれる対象画像の並び順を説明するための説明図である。表示制御部３１０は、各対象画像リストＲｓｔにおいて、基準人物との親密度Ｄｉがより高い人の顔の画像が含まれている対象画像ＴＩのグループから順に並べて表示する。具体的には、図２３に示す対象画像リストＲｓｔ１のように、表示制御部３１０は、人物画像ＰＩ１により表される人物と最も親密度Ｄｉの高い人物の人物画像ＰＩ２が含まれている対象画像ＴＩａ、ＴＩｂ、ＴＩｃを含む対象画像グループＧｒｐ１、人物画像ＰＩ１により表される人物と２番目に親密度Ｄｉの高い人物の人物画像ＰＩ５が含まれている対象画像ＴＩｄ、ＴＩｅ、ＴＩｆを含む対象画像グループＧｒｐ２、人物画像ＰＩ１により表される人物と３番目に親密度Ｄｉの高い人物の人物画像ＰＩ４が含まれている対象画像ＴＩｇ、ＴＩｈを含む対象画像グループＧｒｐ３の順に（ここでは、左側から順となるように）並べて対象画像ＴＩを表示する。
【０１１３】
表示制御部３１０は、対象画像リストＲｓｔの各対象画像グループＧｒｐにおいて、グループの対象画像に共通して含まれる人物と、基準人物との被写体間距離Ｓｂｄが小さい対象画像ＴＩから順に並べて表示する。具体的には、図２３に示すように、対象画像リストＲｓｔ１の対象画像グループＧｒｐ１において、表示制御部３１０は、グループの対象画像に共通して含まれる人物（人物画像ＰＩ２により表される人物）と、基準人物（人物画像ＰＩ１により表される人物）との被写体間距離Ｓｂｄが小さい対象画像ＴＩから順に並べて表示する。すなわち、表示制御部３１０は、３つの対象画像ＴＩａ、ＴＩｂ、ＴＩｃのうち、最も被写体間距離Ｓｂｄが小さい対象画像ＴＩａ、２番目に被写体間距離Ｓｂｄが小さい対象画像ＴＩｂ、３番目に被写体間距離Ｓｂｄが小さい対象画像ＴＩｃの順に（ここでは、左側から順となるように）並べて表示する。対象画像グループＧｒｐ２、Ｇｒｐ３についても同様に、表示制御部３１０は、それぞれ、各グループの対象画像に共通して含まれる人物（人物画像ＰＩ５により表される人物、もしくは、人物画像ＰＩ４により表される人物）と、基準人物との被写体間距離Ｓｂｄが小さい対象画像ＴＩから順に並べて表示する。
【０１１４】
第２の印刷画面では、各対象画像リストＲｓｔが左右方向（水平方向）に一列に並べられ、また、各対象画像リストＲｓｔに含まれている対象画像ＴＩは、各対象画像リストＲｓｔが並べられている方向と直交する奥行き方向に並べて（積層されて）表示されている。第２の印刷画面には、印刷画像のほか、５つのボタンＢＮ１〜ＢＮ３、５、７が表示されている。ユーザーにより、１つ（または複数）の対象画像ＴＩが選択されると共に印刷ボタンＢＮ３が選択されると、選択された画像を印刷する印刷処理を実行する。
【０１１５】
図２４は、第３の印刷画面を例示した説明図である。表示制御部３１０は、第２の印刷画面においてユーザーにより表示変更ボタンＢＮ７が選択されると、図２４に示す第３の印刷画面を表示部１５０に表示させる。具体的には、表示制御部３１０は、第２の印刷画面と同様に、検索対象となる人（人物画像ＰＩ１により表される人物）の対象画像リストＲｓｔ１を先頭（ここでは、最も左側）にして、検索対象となる人との親密度Ｄｉが高い人物を基準人物とした対象画像リストＲｓｔから順に（右側に）並べて表示する。また、表示制御部３１０は、各対象画像リストＲｓｔにおいて、基準人物との親密度Ｄｉが高い人の顔の画像が含まれている対象画像ＴＩのグループから順に並べて表示する。また、表示制御部３１０は、対象画像リストＲｓｔの各対象画像グループＧｒｐにおいて、基準人物との被写体間距離Ｓｂｄが小さい対象画像ＴＩから順に並べて表示する。
【０１１６】
第３の印刷画面では、各対象画像リストＲｓｔが左右方向（水平方向）に一列に並べられ、また、各対象画像リストＲｓｔに含まれている対象画像ＴＩは、各対象画像リストＲｓｔが並べられている方向と直交する方向である上下方向（垂直方向）に並べて表示されている。第３の印刷画面には、印刷画像のほか、５つのボタンＢＮ１〜ＢＮ３、５、８が表示されている。ユーザーにより、１つ（または複数）の対象画像ＴＩが選択されると共に印刷ボタンＢＮ３が選択されると、選択された画像を印刷する印刷処理を実行する。表示制御部３１０は、ユーザーにより表示変更ボタンＢＮ８が選択されると、図２２に示す第２の印刷画面を表示部１５０に表示させる。
【０１１７】
本実施例において、人物情報は、特許請求の範囲における「人の特徴」に該当する。本実施例において、親密度Ｄｉは、特許請求の範囲における「親密度」に該当する。本実施例において、複数の間柄判定情報が記憶されている内部メモリー１２０は、特許請求の範囲における「記憶部」に該当する。
【０１１８】
以上説明した第１の実施例に係るプリンター１００によれば、連続する所定数（閾値Ｔｈ２）の対象画像ＴＩにおいてそれぞれ推定された被写体間距離Ｓｂｄがすべて所定値（閾値Ｔｈ１）以下となる人同士について親密度Ｄｉを算出するため、対象画像ＴＩから人同士の関係性を特定する処理の効率性を向上させることができる。具体的には、被写体間距離Ｓｂｄが所定値より大きい人同士について親密度を算出しないことにより親密度を算出する処理負担を抑制できるだけでなく、所定数に満たない対象画像ＴＩにおいて被写体間距離Ｓｂｄが所定値以下となる人同士についても親密度を算出しないため親密度を算出する処理負担を抑制でき、親密度を算出する処理の効率性を向上させることができる。
【０１１９】
親密度を算出する技術については従来から知られていた。しかし、例えば、動画像などから親密度を算出しようとする場合、対象画像ＴＩとなる画像の数が膨大となるため、親密度を算出する処理負担の増加が課題となっていた。しかし、本発明によれば対象画像に表されているすべての人物のうち、所定の条件を満足する人物同士についてのみ親密度を算出するため処理の効率化を図ることができる。
【０１２０】
すなわち、プリンター１００は、時系列に並んだ複数の対象画像の少なくとも一部に表され、被写体間距離がすべて所定値以下となる人同士について、対象画像に表れる頻度が所定数以上の人同士については親密度を算出し、対象画像に表れる頻度が所定数より少ない人同士については親密度を算出しないことができる。これは、従来の技術においては、被写体間距離がすべて所定値以下となる人同士について親密度を算出すると考えられるため、本発明により親密度を算出する処理の効率性の向上が図られていることがわかる。
【０１２１】
第１の実施例に係るプリンター１００によれば、対象画像ＴＩの顔領域ＦＡに表されている顔同士の実際の距離である被写体間距離Ｓｂｄを用いて人同士の互いの親密さの程度を表す親密度Ｄｉを算出するため、対象画像ＴＩから人同士の関係性を特定する精度の向上を図ることができる。具体的には、写真撮影時の人同士の実際の距離を算出することで、写真撮影時において、お互いに親密である人同士ほどお互いの距離が近い状態となり、また、親密でない人同士の場合には、お互いに近接した状態となることが少ないという撮影時の特性を利用して親密度Ｄｉを算出することができるため、親密度Ｄｉの精度を高めることができる。
【０１２２】
対象画像ＴＩに表されている顔の画像同士の距離から親密度を算出する技術については従来から知られていた。しかし、対象画像ＴＩに表された顔の画像同士の距離を用いて親密度を算出する場合、対象画像ＴＩの奥行き方向における人同士の距離が親密度に反映されないため、実際には、奥行き方向で人同士の距離が離れていても、対象画像ＴＩに表された顔の画像同士の距離が近い場合、親密度が高く算出されることがあった。しかし、本発明によれば、対象画像ＴＩの奥行き方法の距離を親密度Ｄｉに反映することができるため、人同士の親密さの程度を精度良く親密度Ｄｉに反映させることができる。
【０１２３】
すなわち、第１の対象画像に含まれている顔の画像同士の距離が、第２の対象画像に含まれている顔の画像同士の距離より小さく、第１の対象画像に表されている顔同士の実際の距離が、第２の対象画像に表されている顔同士の実際の距離より大きい場合、プリンター１００は、第１の対象画像に表されている人同士より第２の対象画像に表されている人同士の方がより親密度が高くなるようにそれぞれの親密度を算出することができる。これは、対象画像ＴＩに表されている顔の画像同士の距離から親密度を算出する従来技術においては、第１の対象画像に表されている人同士より第２の対象画像に表されている人同士の方がより親密度が小さくなるようにそれぞれの親密度を算出すると考えられるため、本発明により親密度を算出する精度の向上が図られていることがわかる。
【０１２４】
第１の実施例に係るプリンター１００によれば、被写体距離推定部は、対象画像の大きさに対する顔領域の大きさに基づいて被写体距離を推定しているため、顔領域に表されている顔から撮影装置までの距離である被写体距離を容易に推定することができる。具体的には、式（３）に示すように、被写体距離推定部は、注目画像ＯＩにおける画像全体の幅Ｗｗｉと顔領域ＦＡの幅Ｗｆｉを用いることで被写体距離を容易に推定することができる。
【０１２５】
第１の実施例に係るプリンター１００によれば、親密度Ｄｉと、人の特徴とを用いて、対象画像に表されている人同士の間柄を判定するため、対象画像から人同士の関係性を特定する精度の向上を図ることができる。具体的には、人同士の関係性を表す間柄を特定するために、対象画像ＴＩの顔領域ＦＡに表されている顔同士の実際の距離である被写体間距離Ｓｂｄを用いて算出された親密度Ｄｉのほか、対象画像ＴＩから判定された人の特徴を用いるため、親密度が同じであっても異なる間柄を判別することができる。
【０１２６】
第１の実施例に係るプリンター１００によれば、親密度と、人の年齢とを用いて、対象画像に表されている人同士の間柄を判定するため、対象画像から人同士の関係性を特定する精度の向上を図ることができる。具体的には、人同士の関係性を表す間柄を特定するために、親密度Ｄｉのほか、対象画像ＴＩから判定された人の年齢を用いるため、親密度が同じであっても親子か友達かなどの具体的な間柄の違いを判別することができる。また、親密度と、人の性別とを用いて、対象画像に表されている人同士の間柄を判定するため、対象画像から人同士の関係性を特定する精度の向上を図ることができる。具体的には、人同士の関係性を表す間柄を特定するために、親密度Ｄｉのほか、対象画像ＴＩから判定された人の性別を用いるため、親密度が同じであっても恋人・夫婦か友達かなどの具体的な間柄の違いを判別することができる。
【０１２７】
第１の実施例に係るプリンター１００によれば、間柄判定情報選択部により選択された間柄判定情報を用いて、対象画像に表されている人同士の間柄を判定するため、対象画像から人同士の関係性を特定する精度の向上を図ることができる。具体的には、人同士の位置関係や、性別、年齢などの特徴が同様であっても、撮影された場所により人同士の間柄が異なる可能性がある。しかし、本実施例によれば、撮影された場所に対応する間柄判定情報を用いて人同士の間柄を判定するため、対象画像ＴＩから人同士の間柄を特定する精度の向上を図ることができる。
【０１２８】
第１の実施例に係るプリンター１００によれば、親密度を算出された人全員の間柄関係を表す間柄関係図を作成するため、ユーザーは対象画像に表されている人同士の間柄を容易に把握することができる。また、ユーザーは、間柄関係図に表されている間柄や、人物画像を任意に選択することにより、複数の対象画像の中から、所望の対象画像を識別することができる。
【０１２９】
また、間柄関係図は、対象画像に現れる人の顔の画像と、人の画像同士をつなぐ関係線とが表され、親密度が高い人同士ほど顔の画像同士の距離が小さく、対象画像に現れる頻度が高い人同士ほど関係線の幅が大きく表されているため、親密度を算出された人全員の関係性を容易に表示することができる。具体的には、間柄関係図ＲＭにおいて、親密度Ｄｉが大きい人同士ほど、その人同士の人物画像フレームＦｉが近づくように設定される。これにより、ユーザーは視覚を通して容易に人同士の親密度の程度を把握することができる。また、対象画像ＴＩに現れる頻度が高い人同士ほど、その人同士の人物画像フレームＦｉをつなぐ関係線Ｒｌが太くなるため、ユーザーは、その関係線Ｒｌの信用性を容易に把握することができる。すなわち、対象画像に現れる頻度が低い人同士であれば、親密ではない人同士であるにもかかわらず、偶然にお互いの距離が近い対象画像が存在した場合、その対象画像が親密度に与える影響が大きくなる。一方、対象画像に現れる頻度が高い人同士であれば、親密ではない人同士であるにもかかわらず、一部にお互いの距離が近い対象画像が存在しても、他に多数のお互いの距離が遠い対象画像が存在するため、お互いの距離が近い対象画像が親密度に与える影響を抑制することができる。よって、関係線Ｒｌが太いほど、その関係線Ｒｌの信用性が高いといえる。
【０１３０】
第１の実施例に係るプリンター１００によれば、第１の対象画像に含まれている顔の画像同士の距離が、第２の対象画像に含まれている顔の画像同士の距離より小さく、第１の対象画像に表されている顔同士の実際の距離が、第２の対象画像に表されている顔同士の実際の距離より大きい場合、間柄関係図において、第１の対象画像に現れる人の顔の画像同士の距離より第２の対象画像に現れる人の顔の画像同士の距離の方が小さくなるように間柄関係図を作成することができる。これは、対象画像ＴＩに表されている顔の画像同士の距離から親密度を算出する従来技術を利用して間柄関係図を作成した場合においては、第１の対象画像に現れる人の顔の画像同士の距離より第２の対象画像に現れる人の顔の画像同士の距離の方が大きくなるように間柄関係図を作成すると考えられるため、本発明により間柄関係図の精度の向上が図られていることがわかる。
【０１３１】
第１の実施例に係るプリンター１００によれば、検索された対象画像を、検索対象となる人物との親密度がより高い人物の顔の画像を含む対象画像グループから順に対象画像を並べて表示するため、ユーザーによる画像検索を容易にすることができる。具体的には、図２３に示すように、プリンター１００は、対象画像リストＲｓｔにおいて、検索対象となる人物との親密度Ｄｉがより高い人の顔の画像が含まれている対象画像ＴＩの対象画像グループＧｒｐから順に並べて表示する。より具体的には、プリンター１００は、検索対象となる人物と最も親密度Ｄｉの高い人物の人物画像ＰＩが含まれている対象画像ＴＩを含む対象画像グループＧｒｐ１、検索対象となる人物と２番目に親密度Ｄｉの高い人物の人物画像ＰＩが含まれている対象画像ＴＩを含む対象画像グループＧｒｐ２、検索対象となる人物と３番目に親密度Ｄｉの高い人物の人物画像ＰＩが含まれている対象画像ＴＩを含む対象画像グループＧｒｐ３の順に並べて対象画像ＴＩを表示する。これにより、ユーザーは、検索対象となる人物との親密度Ｄｉの高い人物の人物画像ＰＩが含まれている対象画像ＴＩから順に対象画像ＴＩを確認することができるため、画像検索を容易にすることができる。
【０１３２】
第１の実施例に係るプリンター１００によれば、対象画像リストを構成する各対象画像グループにおいて、対象画像グループごとの対象画像に共通して含まれる人物と検索対象となる人物との被写体間距離Ｓｂｄが小さい順に対象画像を並べて表示するため、ユーザーによる画像検索を容易にすることができる。具体的には、図２３に示すように、プリンター１００は、対象画像リストＲｓｔの各対象画像グループＧｒｐにおいて、グループの対象画像に共通して含まれる人物と、検索対象となる人物（基準人物）との被写体間距離Ｓｂｄが小さい対象画像ＴＩから順に並べて表示する。より具体的には、プリンター１００は、対象画像リストＲｓｔ１の対象画像グループＧｒｐ１において、グループの対象画像に共通して含まれる人物（人物画像ＰＩ２により表される人物）と、基準人物（人物画像ＰＩ１により表される人物）との被写体間距離Ｓｂｄが小さい対象画像ＴＩから順に並べて表示する。すなわち、プリンター１００は、３つの対象画像ＴＩａ、ＴＩｂ、ＴＩｃのうち、最も被写体間距離Ｓｂｄが小さい対象画像ＴＩａ、２番目に被写体間距離Ｓｂｄが小さい対象画像ＴＩｂ、３番目に被写体間距離Ｓｂｄが小さい対象画像ＴＩｃの順に（ここでは、左側から順となるように）並べて表示する。これにより、ユーザーは、同一の人物が含まれている対象画像ＴＩについて、被写体間距離Ｓｂｄが小さい対象画像ＴＩから順に確認することができるため、画像検索を容易にすることができる。
【０１３３】
第１の実施例に係るプリンター１００によれば、対象画像から、検索対象となる人物と所定の親密度を有する人物の顔の画像が含まれている対象画像を検索し、検索した対象画像を、所定の親密度を有する人物との親密度がより高い人物の顔の画像を含む対象画像グループから順に対象画像を並べた対象画像リストを表示するため、ユーザーによる画像検索を容易にすることができる。具体的には、プリンター１００は、検索対象となる人物の顔の画像が含まれている対象画像を検索するのみではなく、検索対象となる人物と所定の親密度を有する人物の顔の画像が含まれている対象画像についても検索をおこない、検索した対象画像を、所定の親密度を有する人物との親密度がより高い人物の顔の画像を含む対象画像グループから順に対象画像を並べて表示する。これにより、ユーザーは、所定の親密度を有する人物との親密度Ｄｉの高い人物の人物画像ＰＩが含まれている対象画像ＴＩから順に対象画像ＴＩを確認することができるため、画像検索を容易にすることができる。なお、所定の親密度Ｄｉを有する人物とは、例えば、検索対象となる人物と最も高い親密度Ｄｉを有している人物や、検索対象となる人物との親密度Ｄｉが設定値以上の人物などをいう。
【０１３４】
第１の実施例に係るプリンター１００によれば、対象画像リストＲｓｔに含まれる対象画像を第１の方向に一列に並べるとともに、複数の対象画像リストＲｓｔを第１の方向と直交する第２の方向に並べて表示するため、ユーザーによる画像検索を容易にすることができる。具体的には、図２２および図２４に示すように、対象画像の並ぶ方向と対象画像リストが並ぶ方向を直交させることにより、表示されたそれぞれの対象画像が属する対象画像リストＲｓが視覚的に容易に判別できるため、ユーザーによる画像検索を容易にすることができる。
【０１３５】
第１の実施例に係るプリンター１００によれば、複数の対象画像リストＲｓｔを、検索対象となる人物との親密度がより高い人物の対象画像リストＲｓｔから順に並べて表示するため、ユーザーによる画像検索を容易にすることができる。具体的には、図２２および図２４に示すように、検索対象となる人物との親密度がより高い人物を基準人物とする対象画像リストＲｓｔから順に並べて表示することにより、ユーザーによる画像検索を容易にすることができる。例えば、検索対象となる人物が、自身と親密度の高い友人や子供についての画像を検索したい場合、友人や子供を検索対象に設定しなくても、自身を検索対象となる人物に設定することで、親密度の高い友人や子供についての対象画像リストを自身との親密度の高い順に表示することができるため、所望の画像を容易に取得することができる。
【０１３６】
Ｂ．第２実施例：
図２５は、第２実施例における人物情報設定処理の流れを示すフローチャートである。第１実施例では、画像検索・印刷処理のステップＳ１３０（図２）における人物情報設定処理（図８）において、頻度ｎが閾値Ｔｈ２より大きい人同士であって、年齢判定・性別判定がおこなわれていない人については、特徴判別部２５０により、年齢および性別の判定がおこなわれていたが（ステップＳ２７０）、本実施例では、図２５に示すように、頻度ｎが閾値Ｔｈ２より大きい人同士であって、年齢判定・性別判定がおこなわれていない人であっても直ちに年齢および性別の判定をおこなわず、ステップＳ２９０における間柄判定処理において実施する態様について説明する。ステップＳ２００〜ステップＳ２８０については、第１実施例と同様であるため説明を省略する。
【０１３７】
図２６は、第３の間柄判定情報の内容を説明するための説明図である。図２６は、第１実施例と同様に、内部メモリー１２０に記憶されている間柄判定情報の１つであって、街路で撮影された画像に対応する間柄判定情報の内容を例示している。すなわち、図２６に示した間柄判定情報の内容は、図１６で示した間柄判定情報の内容と対応している。第２実施例で説明する間柄判定処理は、間柄判定情報の内容以外については第１実施例と同様であるため説明を省略する。
【０１３８】
間柄判定情報選択部２８１が、図２６に内容が示された間柄判定情報を選択した場合について説明する。ステップＳ５００およびステップＳ５０５は第１実施例と同様である。親密度Ｄｉが閾値Ｔｈ３より大きい場合（ステップＳ５００：ＹＥＳ）、特徴判別部２５０は、親密度Ｄｉを算出したそれぞれの人物について既に年齢判定をおこなっているか否かを判定する（ステップＳ５０７）。特徴判別部２５０は、親密度Ｄｉを算出したそれぞれの人物について年齢判定をおこなっていない場合には（ステップＳ５０７：ＮＯ）、それぞれの人物の年齢判定をおこなう（ステップＳ５１０）。年齢判定の方法は第１実施例と同様である。特徴判別部２５０は、親密度Ｄｉを算出したそれぞれの人物について既に年齢判定をおこなっている場合には（ステップＳ５０７：ＹＥＳ）、年齢判定をスキップする。その後、間柄判定部２８０は、ステップＳ５１５〜Ｓ５２５を実施する。ステップＳ５１５〜Ｓ５２５については第１実施例と同様である。
【０１３９】
ステップＳ５２０において、間柄判定の対象となる人の年齢がそれぞれ１２より大きい場合（ステップＳ５２０：ＹＥＳ）、特徴判別部２５０は、親密度Ｄｉを算出したそれぞれの人物について既に性別判定をおこなっているか否かを判定する（ステップＳ５２７）。特徴判別部２５０は、親密度Ｄｉを算出したそれぞれの人物について性別判定をおこなっていない場合には（ステップＳ５２７：ＮＯ）、それぞれの人物の性別判定をおこなう（ステップＳ５３０）。性別判定の方法は第１実施例と同様である。特徴判別部２５０は、親密度Ｄｉを算出したそれぞれの人物について既に性別判定をおこなっている場合には（ステップＳ５２７：ＹＥＳ）、性別判定をスキップする。その後、間柄判定部２８０は、ステップＳ５３５〜Ｓ５４５を実施する。上記により間柄判定処理が終了する。また、間柄判定処理の終了により、人物情報設定処理が終了する。
【０１４０】
以上説明した第２の実施例に係るプリンター１００によれば、年齢判定もしくは性別判定の少なくとも一方を実施せずに間柄の判定をおこなうことができるため、画像検索・印刷処理の処理効率の向上を図ることができる。具体的には、上記のステップＳ５００において、親密度Ｄｉが閾値Ｔｈ３以下である場合（ステップＳ５００：ＮＯ）、年齢判定や性別判定をおこなわなくても、間柄判定の対象となる人同士は「他人」であると判定することができる。また、ステップＳ５１５において、年齢差が閾値Ｔｈ４以上である場合（ステップＳ５１５：ＮＯ）、または、ステップＳ５２０において、間柄判定の対象となる人の少なくとも一方の年齢が１２以下である場合（ステップＳ５２０：ＮＯ）、性別判定をおこなわなくても、間柄判定の対象となる人同士の間柄を判定することができる。なお、年齢判定をおこなった後に性別判定をおこなうことにより、間柄判定の対象となる人同士の間柄を効率よく判定することができる。これは、性別の差異よりも年齢の差異の方が、人同士の間柄の決定に与える影響が大きいためと考えられる。
【０１４１】
Ｃ．変形例：
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
【０１４２】
Ｃ１．変形例１：
本実施例に係るプリンター１００は、対象画像から年齢や性別などの人の特徴を判別する特徴判別部２５０と、人同士の間柄を判定する間柄判定部２８０と、間柄関係図ＲＭを作成する間柄関係図作成部２９０と、を備えているが、プリンター１００は、これらの少なくとも一部を備えていない態様であっても実現することができる。すなわち、上記構成を備えていなくても、連続する所定数の対象画像においてそれぞれ推定された被写体間距離がすべて所定値以下となる人同士について親密度を算出することができるため、対象画像から人同士の関係性を特定する精度の向上を図ることができる。
【０１４３】
Ｃ２．変形例２：
本実施例に係るプリンター１００は、Ｍｏｔｉｏｎ  ＪＰＥＧの圧縮形式を採用した動画像ファイルについて画像検索・印刷処理をおこなっているが、プリンター１００が画像検索・印刷処理する動画像ファイルの圧縮形式はこれに限られず、例えば、ＭＰＥＧ等の圧縮形式を採用した動画像ファイルであってもよい。この場合、差分データを用いて算出されるフレームごとの画像が対象画像となる。
【０１４４】
Ｃ３．変形例３：
本実施例に係るプリンター１００は、予め定められた枚数の対象画像を含む動画像ファイルについて処理をおこなっているが、プリンター１００は、逐次入力される画像ファイルについて順次処理をおこなう態様であってもよい。具体的には、ビデオカメラ等から逐次画像データが入力されると、入力された画像データを順次、注目画像ＯＩに設定し、顔領域ＦＡの検出や、人物情報設定処理をおこなってもよい。この時、入力される対象画像が最後の画像か否かの判断は、ユーザーからの入力によりおこなわれてもよい。
【０１４５】
Ｃ４．変形例４：
本実施例に係るプリンター１００は、人物情報設定処理（図８）のステップＳ２３０において、被写体間距離Ｓｂｄを算出したそれぞれの人物が前回以前の対象画像に表されている人物か否かについて判定しているが、前回の対象画像に表されている人物か否かのみを判定する態様であってもよい。この場合、前々回以前の対象画像に表されている人物であっても、頻度ｎはインクリメントされず、改めてｎ＝１が設定されることになるため、時間的に連続した所定数の対象画像からそれぞれ推定された被写体間距離Ｓｂｄがすべて所定値以下となる人同士についてのみ親密度を判定することができる。
【０１４６】
Ｃ５．変形例５：
本実施例に係るプリンター１００は、図２２や図２４に示すような印刷画面を表示部１５０に表示し、ユーザーから選択された対象画像を印刷しているが、プリンター１００は、電気的に接続されたコンピューターやモニターを含めた概念で捉えてもよく、この場合、モニターに図２２や図２４に示すような印刷画面を表示し、表示制御部はコンピューターのＣＰＵにより実現されてもよい。また、プリンター１００は、図２２や図２４に示すような対象画像を印刷してもよい。
【０１４７】
Ｃ６．変形例６：
本実施例に係るプリンター１００は、図２２および図２４に示す印刷画面において、検索対象となる人の対象画像リストＲｓｔ１を先頭（ここでは、最も左側）にして、検索対象となる人との親密度Ｄｉがより高い人物を基準人物とした対象画像リストＲｓｔから順に（右側に）並べて表示しているが、検索対象となる人の対象画像リストＲｓｔ１を最も右側にして、検索対象となる人との親密度Ｄｉがより高い人物を基準人物とした対象画像リストＲｓｔから順に左側に並べて表示してもよい。また、検索対象となる人の対象画像リストＲｓｔ１を最も上側にして、検索対象となる人との親密度Ｄｉがより高い人物を基準人物とした対象画像リストＲｓｔから順に下側に並べて表示してもよい。
【０１４８】
Ｃ７．変形例７：
本実施例に係るプリンター１００は、間柄関係図ＲＭに、人物画像ＰＩと、人物画像ＰＩの外周部に形成される人物画像フレームＦｉと、人物画像ＰＩにより表されている人物の年齢情報ａｇおよび性別情報Ｓｓと、人物画像フレームＦｉ同士をつなぐ関係線Ｒｌと、を含めて作成しているが、間柄関係図ＲＭは、これらの一部がない態様であってもよい。また、本実施例では、人物情報データベースＨＣに設定されている頻度ｎを用いて関係線の幅Ｗｒを決定し、また、親密度Ｄｉを用いて関係線Ｒｌの長さＬｒを決定しているが、これらは、例示であり、間柄関係図ＲＭを構成するこれら以外の要素を人物情報データベースＨＣなどの情報に基づいて変化させもよい。例えば、対象画像ＴＩに現れる頻度によって人物画像ＰＩの大きさを変える態様としてもよい。
【０１４９】
Ｃ８．変形例８：
本実施例に係るプリンター１００は、間柄判定情報を用いて間柄を判定しているが、本実施例で示した間柄判定情報の内容は例示であり、これら以外の情報に基づいて間柄を判定してもよい。また、本実施例では、対象画像が撮影された場所ごとに設定された間柄判定情報を用いて間柄を判定しているが、対象画像が撮影された場所に関係なく１つの間柄判定情報を用いて間柄を判定する態様であってもよい。
【０１５０】
Ｃ９．変形例９：
本実施例に係るプリンター１００は、ユーザーによる関係線Ｒｌの選択、もしくは、入力ボックスＢｏへのキーワード等の入力により、検索対象となる人物の特定をおこなっているが、検索対象となる人物の特定はこれ以外の方法におこなってもよい。例えば、プリンター１００は、ユーザーにより設定された任意の顔の画像をクエリ画像とし、このクエリ画像を用いて顔認証をおこなうことにより、クエリ画像と最も類似する人物画像ＰＩにより表される人物を検索対象となる人として設定してもよい。
Ｃ１０．変形例１０：
本実施例に係るプリンター１００は、注目画像ＯＩとして設定されている対象画像ＴＩの位置情報を用いて間柄判定情報を選択しているが、これ以外の位置情報を用いて間柄判定情報を選択してもよい。例えば、プリンター１００は、親密度Ｄｉの算出に用いられた被写体間距離Ｓｂｄのうち、最も値の小さい被写体間距離Ｓｂｄが算出された対象画像ＴＩの位置情報を用いて間柄判定情報を選択してもよい。
【０１５１】
Ｃ１１．変形例１１：
本実施例に係るプリンター１００は、上記実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。
【０１５２】
Ｃ１２．変形例１２：
本発明は、プリンターのほか、デジタルスチルカメラ、パーソナルコンピューター、デジタルビデオカメラ等で実現することができる。また、画像処理方法および装置、親密度算出方法および装置、間柄関係表示方法および装置、これらの方法または装置の機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体、そのコンピュータープログラムを含み搬送波内に具現化されたデータ信号、等の形態で実現することができる。
【符号の説明】
【０１５３】
１００…プリンター
１１０…ＣＰＵ
１２０…内部メモリー
１４０…操作部
１５０…表示部
１６０…印刷機構
１７０…カードインターフェース
１７２…カードスロット
２００…画像処理部
２１０…顔領域検出部
２２０…被写体距離推定部
２３０…被写体間距離推定部
２４０…親密度算出部
２５０…特徴判別部
２６０…特定情報取得部
２７０…画像検索部
２８０…間柄判定部
２８１…間柄判定情報選択部
２９０…間柄関係図作成部
３１０…表示制御部
３２０…印刷制御部
ＭＣ…メモリーカード
ＨＣ…人物情報データベース
ＲＭ…間柄関係図
Ｒｓｔ…対象画像リスト
Ｇｒｐ…対象画像グループ
ＦＡ…顔領域
ＴＡ…頭領域
ＯＩ…注目画像
ＴＩ…対象画像
Ｄｉ…親密度
【図１】
2011070276.tif 000012
【図２】
2011070276.tif 000013
【図３】
2011070276.tif 000014
【図４】
2011070276.tif 000015
【図５】
2011070276.tif 000016
【図６】
2011070276.tif 000017
【図７】
2011070276.tif 000018
【図８】
2011070276.tif 000019
【図９】
2011070276.tif 000020
【図１０】
2011070276.tif 000021
【図１１】
2011070276.tif 000022
【図１２】
2011070276.tif 000023
【図１３】
2011070276.tif 000024
【図１４】
2011070276.tif 000025
【図１５】
2011070276.tif 000026
【図１６】
2011070276.tif 000027
【図１７】
2011070276.tif 000028
【図１８】
2011070276.tif 000029
【図１９】
2011070276.tif 000030
【図２０】
2011070276.tif 000031
【図２１】
2011070276.tif 000032
【図２２】
2011070276.tif 000033
【図２３】
2011070276.tif 000034
【図２４】
2011070276.tif 000035
【図２５】
2011070276.tif 000036
【図２６】
2011070276.tif 000037