(57)【要約】【課題】被写体と撮像した撮像者との関係に基づいて少なくとも１以上の画像の中から被写体ごとに画像を選択する画像処理装置、画像処理方法、およびプログラムを提供する。【解決手段】順次に入力される選択対象画像の中から被写体の顔領域を特定し、顔領域に対応する顔画像を選択対象画像ごとに抽出する顔画像抽出部と、顔画像を用いて選択対象画像を撮像した撮像者に対する被写体の好感度を選択対象画像ごとに算出する好感度算出部と、好感度算出部において好感度が算出された選択対象画像と、既に好感度が算出された被写体が同一の選択対象画像の中で最も好感度が大きな選択候補画像との比較を行い、好感度が大きな画像を新たな選択候補画像とする選択画像更新部とを備える画像処理装置が提供される。【選択図】図４
2008225550.tif 000002
【特許請求の範囲】
【請求項１】
順次に入力される選択対象画像の中から被写体の顔領域を特定し、顔領域に対応する顔画像を前記選択対象画像ごとに抽出する顔画像抽出部と；
前記顔画像を用いて前記選択対象画像を撮像した撮像者に対する被写体の好感度を前記選択対象画像ごとに算出する好感度算出部と；
前記好感度算出部において好感度が算出された選択対象画像と、既に好感度が算出された被写体が同一の選択対象画像の中で最も好感度が大きな選択候補画像との比較を行い、好感度が大きな画像を新たな選択候補画像とする選択画像更新部と；
を備えることを特徴とする、画像処理装置。
【請求項２】
前記選択画像更新部において更新された被写体ごとの前記選択候補画像を、被写体ごとの選択画像として選択する画像選択部をさらに備えることを特徴とする、請求項１に記載ので画像処理装置。
【請求項３】
前記好感度は、前記顔画像の大きさ、被写体の表情、被写体の顔の向き、被写体の視線の方向、被写体の目および口の検出の有無、前記顔画像の彩度、前記顔画像の空間周波数のいずれか一つ、または、組み合わせに基づいて算出されることを特徴とする、請求項１に記載ので画像処理装置。
【請求項４】
前記順次に入力される選択対象画像それぞれと対応する音声が入力され、
前記好感度は、さらに前記音声の抑揚、前記音声の音量に基づいて算出されることを特徴とする、請求項３に記載ので画像処理装置。
【請求項５】
前記順次に入力される選択対象画像ごとに被写体が選択画像の選択対象か否かを判定する対象判定部をさらに備えることを特徴とする、請求項１に記載ので画像処理装置。
【請求項６】
前記対象判定部は、画像を選択しない被写体を特定する非選択対象情報を用いて前記判定を行うことを特徴とする、請求項５に記載の画像処理装置。
【請求項７】
前記好感度算出部が前記選択対象画像に対して算出した好感度の増減が可能な第１の好感度編集部をさらに備えることを特徴とする、請求項１に記載の画像処理装置。
【請求項８】
前記被写体ごとの選択候補画像に対して算出された好感度の増減が可能な第２の好感度編集部をさらに備えることを特徴とする、請求項１に記載の画像処理装置。
【請求項９】
撮像を行う撮像部をさらに備え、
前記少なくとも１以上の選択対象画像は、前記撮像部により撮像されたリアルタイムに入力される画像であることを特徴とする、請求項１に記載の画像処理装置。
【請求項１０】
画像を保持する記憶部をさらに備え、
前記少なくとも１以上の選択対象画像は、前記記憶部に保持された画像であることを特徴とする、請求項１に記載の画像処理装置。
【請求項１１】
前記少なくとも１以上の選択対象画像は、外部装置から入力された画像であることを特徴とする、請求項１に記載の画像処理装置。
【請求項１２】
順次に入力される選択対象画像の中から被写体の顔領域を特定し、顔領域に対応する顔画像を前記選択対象画像ごとに抽出するステップと；
前記顔画像を用いて前記選択対象画像を撮像した撮像者に対する被写体の好感度を前記選択対象画像ごとに算出するステップと；
前記算出するステップにおいて好感度が算出された選択対象画像と、既に好感度が算出された被写体が同一の選択対象画像の中で最も好感度が大きな選択候補画像との比較を行い、好感度が大きな画像を新たな選択候補画像とするステップと；
を有することを特徴とする、画像処理方法。
【請求項１３】
前記好感度が大きな画像を新たな選択候補画像とするステップにおいて更新された被写体ごとの前記選択候補画像を、被写体ごとの選択画像として選択するステップをさらに有することを特徴とする、請求項１２に記載ので画像処理方法。
【請求項１４】
順次に入力される選択対象画像の中から被写体の顔領域を特定し、顔領域に対応する顔画像を前記選択対象画像ごとに抽出する手段；
前記顔画像を用いて前記選択対象画像を撮像した撮像者に対する被写体の好感度を前記選択対象画像ごとに算出する手段；
前記算出する手段において好感度が算出された選択対象画像と、既に好感度が算出された被写体が同一の選択対象画像の中で最も好感度が大きな選択候補画像との比較を行い、好感度が大きな画像を新たな選択候補画像とする手段；
としてコンピュータを機能させるためのプログラム。
【請求項１５】
前記好感度が大きな画像を新たな選択候補画像とする手段において更新された被写体ごとの前記選択候補画像を、被写体ごとの選択画像として選択する手段として前記コンピュータをさらに機能させるための請求項１４に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、デジタルカメラ（Digital  camera）、本件出願人が商標権を有する「ハンディカム（Handycam）」などのデジタルビデオカメラ（Digital  video  camera）、デジタルカメラ機能を有する携帯電話など、静止画像または動画像を撮像する撮像機能を有し、また、撮像機能に加えて音声などの録音機能も併せて有する装置が広く普及している。
【０００３】
上記装置を使用するユーザは、撮影した静止画像、動画像を後日（例えば、当日、数日後、あるいは、数年後など）確認することにより、撮影時における情景の思い出に浸ることができる。また、ユーザは、撮影した静止画像、動画像を確認する過程において、撮影した静止画像、動画像の中から、例えば、被写体が笑顔を向けている画像や、被写体が視線を上記装置に向けている画像など、被写体の撮像を行った撮像者への好意が感じられる特定の画像を発見して、特定の画像を得ることもできる。
【０００４】
しかしながら、撮影した静止画像、動画像の量が多くなればなる程、ユーザが確認に要する時間も多くなり、また、ユーザが時間をかけて確認を行ったとしても、確認した静止画像、動画像から所望する画像が得られるとは限らない。
【０００５】
ここで、被写体の顔の検出に係る技術としては、例えば、特許文献１が挙げられる。
【０００６】
【特許文献１】特開２０００−１３２６９３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、被写体と撮像した撮像者との関係に基づいて少なくとも１以上の画像の中から被写体ごとに画像を選択することが可能な、新規かつ改良された画像処理装置、画像処理方法、およびプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明の第１の観点によれば、順次に入力される選択対象画像の中から被写体の顔領域を特定し、顔領域に対応する顔画像を上記選択対象画像ごとに抽出する顔画像抽出部と、上記顔画像を用いて上記選択対象画像を撮像した撮像者に対する被写体の好感度を上記選択対象画像ごとに算出する好感度算出部と、上記好感度算出部において好感度が算出された選択対象画像と、既に好感度が算出された被写体が同一の選択対象画像の中で最も好感度が大きな選択候補画像との比較を行い、好感度が大きな画像を新たな選択候補画像とする選択画像更新部とを備える画像処理装置が提供される。
【０００９】
上記画像処理装置は、顔画像抽出部と、好感度算出部と、選択画像更新部とを備えることができる。顔画像抽出部は、順次に入力される選択対象画像の中から被写体の顔部分を含む領域を特定することにより、選択対象である被写体の顔領域に対応する顔画像を抽出することができる。好感度算出部は、顔画像抽出部が抽出した顔画像を用いて、選択対象画像における被写体と当該選択対象画像を撮像した撮像者との関係を定量化した値である「好感度」を選択対象画像ごとに算出することができる。選択画像更新部は、好感度算出部において好感度が算出された選択対象画像と、既に好感度が算出された被写体が同一の選択対象画像の中で最も好感度が大きな画像である選択候補画像との比較を行い、好感度が大きな画像を新たな選択候補画像とすることができる。かかる構成により、被写体と撮像した撮像者との関係に係る好感度に基づいて、少なくとも１以上の画像の中から被写体ごとに好感度が最も大きな画像を選択することができる。
【００１０】
また、上記選択画像更新部において更新された被写体ごとの上記選択候補画像を、被写体ごとの選択画像として選択する画像選択部をさらに備えるとしてもよい。
【００１１】
かかる構成により、被写体と撮像した撮像者との関係に係る好感度に基づいて、少なくとも１以上の画像の中から被写体ごとに好感度が最も大きな画像を選択することができる。
【００１２】
また、上記好感度は、上記顔画像の大きさ、被写体の表情、被写体の顔の向き、被写体の視線の方向、被写体の目および口の検出の有無、上記顔画像の彩度、上記顔画像の空間周波数のいずれか一つ、または、組み合わせに基づいて算出されるとしてもよい。
【００１３】
かかる構成により、被写体と撮像した撮像者との関係に係る好感度の定量的に算出することができる。
【００１４】
また、上記順次に入力される選択対象画像それぞれと対応する音声が入力され、上記好感度は、さらに上記音声の抑揚、上記音声の音量に基づいて算出されるとしてもよい。
【００１５】
かかる構成により、被写体と撮像した撮像者との関係に係る好感度の定量的に算出することができる。
【００１６】
また、上記順次に入力される選択対象画像ごとに被写体が選択画像の選択対象か否かを判定する対象判定部をさらに備えるとしてもよい。
【００１７】
かかる構成により、被写体ごとに画像を選択するか否かを制御することができる。
【００１８】
また、上記対象判定部は、画像を選択しない被写体を特定する非選択対象情報を用いて上記判定を行うとしてもよい。
【００１９】
かかる構成により、被写体ごとに画像を選択するか否かを制御することができる。
【００２０】
また、上記好感度算出部が上記選択対象画像に対して算出した好感度の増減が可能な第１の好感度編集部をさらに備えるとしてもよい。
【００２１】
かかる構成により、ユーザの手による好感度の増減が可能となるので、よりフレキシブル（flexible）に画像の選択を行うことができる。
【００２２】
また、上記被写体ごとの選択候補画像に対して算出された好感度の増減が可能な第２の好感度編集部をさらに備えるとしてもよい。
【００２３】
かかる構成により、ユーザの手による好感度の増減が可能となるので、よりフレキシブルに画像の選択を行うことができる。
【００２４】
また、撮像を行う撮像部をさらに備え、上記少なくとも１以上の選択対象画像は、上記撮像部により撮像されたリアルタイムに入力される画像であるとしてもよい。
【００２５】
また、画像を保持する記憶部をさらに備え、上記少なくとも１以上の選択対象画像は、上記記憶部に保持された画像であるとしてもよい。
【００２６】
また、上記少なくとも１以上の選択対象画像は、外部装置から入力された画像であるとしてもよい。
【００２７】
かかる構成により、選択対象画像の入力経路を問わず、被写体と撮像した撮像者との関係に係る好感度に基づいて、少なくとも１以上の画像の中から被写体ごとに好感度が最も大きな画像を選択することができる。
【００２８】
また、上記目的を達成するために、本発明の第２の観点によれば、順次に入力される選択対象画像の中から被写体の顔領域を特定し、顔領域に対応する顔画像を上記選択対象画像ごとに抽出するステップと、上記顔画像を用いて上記選択対象画像を撮像した撮像者に対する被写体の好感度を上記選択対象画像ごとに算出するステップと；
上記算出するステップにおいて好感度が算出された選択対象画像と、既に好感度が算出された被写体が同一の選択対象画像の中で最も好感度が大きな選択候補画像との比較を行い、好感度が大きな画像を新たな選択候補画像とするステップとを有する画像処理方法が提供される。
【００２９】
かかる方法を用いることにより、被写体と撮像した撮像者との関係に係る好感度に基づいて、少なくとも１以上の画像の中から被写体ごとに好感度が最も大きな画像を選択することができる。
【００３０】
また、上記好感度が大きな画像を新たな選択候補画像とするステップにおいて更新された被写体ごとの上記選択候補画像を、被写体ごとの選択画像として選択するステップをさらに有するとしてもよい。
【００３１】
かかる方法を用いることにより、被写体と撮像した撮像者との関係に係る好感度に基づいて、少なくとも１以上の画像の中から被写体ごとに好感度が最も大きな画像を選択することができる。
【００３２】
また、上記目的を達成するために、本発明の第３の観点によれば、順次に入力される選択対象画像の中から被写体の顔領域を特定し、顔領域に対応する顔画像を上記選択対象画像ごとに抽出する手段、上記顔画像を用いて上記選択対象画像を撮像した撮像者に対する被写体の好感度を上記選択対象画像ごとに算出する手段、上記算出する手段において好感度が算出された選択対象画像と、既に好感度が算出された被写体が同一の選択対象画像の中で最も好感度が大きな選択候補画像との比較を行い、好感度が大きな画像を新たな選択候補画像とする手段としてコンピュータを機能させるためのプログラムが提供される。
【００３３】
かかるプログラムにより、被写体と撮像した撮像者との関係に係る好感度に基づいて、少なくとも１以上の画像の中から被写体ごとに好感度が最も大きな画像を選択することができる。
【００３４】
また、上記好感度が大きな画像を新たな選択候補画像とする手段において更新された被写体ごとの上記選択候補画像を、被写体ごとの選択画像として選択する手段として上記コンピュータをさらに機能させるとしてもよい。
【００３５】
かかるプログラムにより、被写体と撮像した撮像者との関係に係る好感度に基づいて、少なくとも１以上の画像の中から被写体ごとに好感度が最も大きな画像を選択することができる。
【発明の効果】
【００３６】
本発明によれば、被写体と撮像した撮像者との関係に基づいて少なくとも１以上の画像の中から被写体ごとに画像を選択することができる。
【発明を実施するための最良の形態】
【００３７】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００３８】
（本発明の実施形態に係る画像処理装置の一例）
まず、本発明の実施形態に係る画像処理装置について例示する。図１、２は、本発明の実施形態に係る画像処理装置の一例を示す説明図である。
【００３９】
本発明の実施形態に係る画像処理装置としては、例えば、図１に示すようなウェアラブルカメラなどのユーザの身体に装着されて使用される装置（例えば、ユーザの目線に近い位置から撮像を行うことができる。）、図２に示すようなデジタルビデオカメラ、デジタルカメラ（図示せず）、デジタルカメラ機能付の携帯電話（図示せず）など、静止画像や動画像の撮影が可能な撮像機能を有する装置、または、静止画像や動画像の撮影と共に音声の録音も可能な撮像機能、録音機能を有する装置が挙げられる。
【００４０】
また、本発明の実施形態に係る画像処理装置は、図１、図２に示すような撮像機能や録音機能を有する装置に限られず、例えば、ＰＣ（Personal  Computer）やＰＤＡ（Personal  Digital  Assistant）などの撮像機能や録音機能を必ずしも有していない情報処理装置に適用することもできる。以下、本発明の実施形態に係る画像処理装置について説明する。
【００４１】
（第１の実施形態）
図３は、本発明の第１の実施形態に係る画像処理装置１００を示すブロック図である。
【００４２】
図３を参照すると、画像処理装置１００は、画像処理部１０２と、撮像部１０４と、記憶部１０６と、操作部１０８と、表示部１１０とを備える。また、画像処理装置１００は、ＭＰＵ（Micro  Processing  Unit）などで構成され画像処理装置１００全体を制御する制御部（図示せず）、画像処理装置１００とは別体の外部装置から送信される画像を受信することが可能な通信部（図示せず）を備えていてもよい。
【００４３】
画像処理部１０２は、画像処理部１０２に順次に入力される画像（以下、「選択対象画像」という。）の中から被写体ごとに画像を処理し、画像の更新、選択を行うことができる。ここで、画像処理部１０２における画像の更新、選択は、選択対象画像に含まれる被写体と当該選択対象画像を撮像した撮像者との関係を定量化した値である「好感度」を用いて行われる。画像処理部１０２における画像の更新、選択手段については、後述する。
【００４４】
また、選択対象画像は、撮像部１０４（後述する）が撮影した画像であってもよいし、記憶部１０６（後述する）に保持された画像であってもよい。さらに、選択対象画像は、画像処理装置１００とは別体の外部装置から送信される画像とすることもできる。
【００４５】
なお、本発明の実施形態に係る選択対象画像は、静止画像に限定されず、動画像（例えば、動画像はフレーム単位で静止画として扱うことができる。）であってもよい。ここで、静止画像としては、例えば、ＪＰＥＧ（Joint  Photographic  Experts  Group）やビットマップ（bitmap）などの静止画フォーマットで記録された画像が挙げられる。また、動画像としては、例えば、ＷＭＶ（Windows  Media  Video）やＨ．２６４／ＭＰＥＧ−４  ＡＶＣ（H.264/Moving  Picture  Experts  Group  phase-4  Advanced  Video  Coding）などの動画フォーマットで記録された画像が挙げられる。なお、本発明の実施形態に係る選択対象画像が上記に限られないことは、言うまでもない。
【００４６】
撮像部１０４は、例えば、レンズ（Lens）と、ＣＣＤ（Charge  Coupled  Device）やＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）などの撮像素子とを有する撮像手段であり、撮像を行うことにより選択対象画像を生成することができる。
【００４７】
記憶部１０６は、画像処理装置１００が備える記憶手段であり、少なくとも既に撮影された撮影済みの画像としての選択対象画像を保持することができる。ここで、記憶部１０６としては、例えば、ハードディスクや磁気テープなどの磁気記録媒体や、フラッシュメモリ、ＭＲＡＭ（Magnetoresistive  Random  Access  Memory）、ＦｅＲＡＭ（Ferroelectric  Random  Access  Memory）、ＰＲＡＭ(Phase  change  Random  Access  Memory)などの不揮発性メモリ（nonvolatile  memory）、光磁気ディスク（Magneto  Optical  Disk）などが挙げられるが、上記に限られないことは、言うまでもない。
【００４８】
操作部１０８は、画像処理装置１００を使用するユーザが操作可能なデバイスであり、操作部１０８において所定の操作がなされることにより、例えば、画像処理部１０２の画像の更新、選択に係る命令や、撮像部１０４に対する撮影命令などの各種命令を、画像処理装置１００の各部に伝えることができる。ここで、操作部１０８としては、例えば、ボタン、方向キー、ジョグダイヤルなどの回転型セレクター、あるいは、これらの組み合わせなどが挙げられるが、上記に限られない。
【００４９】
表示部１１０は、画像処理装置１００が備える表示手段であり、画像処理部１０２において更新、選択された画像を表示することができる。表示部１１０としては、例えば、ＬＣＤ（Liquid  Crystal  Display；液晶ディスプレイ）、ＯＬＥＤディスプレイ（Organic  Light  Emitting  Diode  display；または、有機ＥＬディスプレイ（organic  electroluminescence  display）とも呼ばれる。）、ＦＥＤ（Field  Emission  Display；電界放出ディスプレイ）などが挙げられるが、上記に限られない。
【００５０】
画像処理装置１００は、上記のような構成により、被写体と撮像した撮像者との関係を定量化した値である「好感度」に基づいて、少なくとも１以上の選択対象画像の中から被写体ごとに画像を選択することができる。以下、画像処理装置１００における画像の更新、選択をより詳細に示すため、本発明の実施形態に係る画像選択手段について説明する。
【００５１】
[本発明の実施形態に係る画像選択手段]
図４は、本発明の実施形態に係る画像選択手段を説明するためのブロック図である。
【００５２】
図４を参照すると、画像処理部１０２は、顔画像抽出部１１２と、対象判定部１１４と、好感度算出部１１６と、選択画像更新部１１８と、リスト生成部１２０とを備える。
【００５３】
顔画像抽出部１１２は、順次に入力される選択対象画像の中から被写体の顔部分を含む領域（以下、「顔領域」という。）を特定することにより、選択対象である被写体の当該顔領域に対応する顔画像を抽出（生成）する。図５は、本発明の実施形態に係る顔画像の抽出を説明するための説明図である。ここで、図５（ａ）は、本発明の実施形態に係る選択対象画像の一例を示した図であり、また、図５（ｂ）は、図５（ａ）に示す選択対象画像から顔画像Ｘが抽出されたことを示す図である。なお、図５（ｂ）に示す顔画像Ｘでは、図５（ａ）に示す選択対象画像に示される背景が示されていないが、これは便宜上省略したものであり、顔画像Ｘに背景が含まれていてもよい（以下に示す図面では、同様に顔画像において背景を省略する。）。
【００５４】
顔画像抽出部１１２は、図５（ｂ）に示すように、例えば、選択対象画像から被写体の顔部分を含む短形の顔領域を特定する。ここで、被写体の顔領域を特定は、例えば、顔の輝度分布および構造パターンと類似した領域を検出することで行うことができる。なお、顔の輝度分布および構造パターンのデータなど、顔領域を特定に係るデータは、例えば、記憶部１０６に保持することができ、または、画像処理装置１００が通信部（図示せず）を備えて外部装置から取得することもできるが、上記に限られない。
【００５５】
また、選択対象画像が動画像である場合には、被写体の顔領域を特定は、例えば、一つ前のフレーム（frame）との差分をとって動体を検出し、検出された当該動体から頭部を特定することにより行うこともできる。
【００５６】
また、上記短形の顔領域のサイズは、例えば、顔部分のサイズと短形の顔領域のサイズとが対応付けられたテーブル（例えば、記憶部１０６に保持される。）を用いて定めることができる。また、顔部分から一定の幅分外側の領域を顔領域として短形の顔領域のサイズを定めることもできる。さらに、上記短形の顔領域のサイズは、操作部１０８から指定することもできる（図４において図示せず）。
【００５７】
顔画像抽出部１１２は、顔領域が特定されると、例えば、当該顔領域を切り出す切り出し処理（トリミング）を行うことにより、顔画像Ｘを抽出する。また、顔画像抽出部１１２は、顔画像Ｘの抽出に際して、さらに歪み補正処理を行ってもよい。ここで、本発明の実施形態に係る歪み補正処理としては、例えば、切り出し処理により抽出された顔画像を水平方向および／または垂直方向に伸張することにより、切り出し処理により抽出された顔画像を短形の画像に補正し、水平方向および垂直方向それぞれに対して伸張の度合いに応じて均等化することが挙げられる。なお、歪み補正処理は、上記に限られず、画像の歪みを補正することが可能な任意の方法を用いることができることは、言うまでもない。
【００５８】
また、顔画像抽出部１１２は、抽出した顔画像に対して、例えば、顔画像と当該顔画像の抽出元である選択対象画像とを対応付けるためのインデックス情報を付加することもできる。ここで、インデックス情報は、例えば、タグ（tag）形式、または電子透かし（digital  watermarking）などを用いて顔画像に付加することができるが、付加する手段は上記に限られない。顔画像に対してインデックス情報が付加されることによって、顔画像と、当該顔画像の抽出元となった選択対象画像とを一意に結びつけることができる。
【００５９】
対象判定部１１４は、顔画像抽出部１１２が抽出した顔画像を用いて被写体が画像の選択対象か否かを判定することができる。図６は、本発明の実施形態に係る被写体が画像の選択対象か否かの判定について説明するための説明図である。
【００６０】
＜被写体が画像の選択対象か否かの第１の判定手段＞
対象判定部１１４は、例えば、顔画像抽出部１１２が抽出した顔画像Ｘと、画像を選択する対象を特定するための選択対象情報１２２に含まれる選択対象顔画像Ａ〜Ｃそれぞれとの比較を行い、顔画像Ｘが画像の選択対象であるかを判定する。ここで、顔画像Ｘが画像の選択対象であるかの判定は、例えば、顔画像から特徴点のデータを抽出し、予め登録されている選択対象顔画像Ａ〜Ｃそれぞれの特徴点のデータとの比較を行う顔認証などにより行うことができるが、上記に限られない。
【００６１】
図６では、顔画像Ｘが示す被写体は、選択対象顔画像Ｃとして選択対象情報１２２に含まれており、対象判定部１１４は、顔画像Ｘが示す被写体を選択対象と判定することができる。ここで、被写体が画像の選択対象か否かの判定結果は、例えば、１ビット（bit）のデータとして表す（すなわち、「０」または「１」の値で判定結果が表される。）ことができるが、１ビットに限られない。
【００６２】
＜被写体が画像の選択対象か否かの第２の判定手段＞
対象判定部１１４は、例えば、顔画像抽出部１１２が抽出した顔画像Ｘと、画像を選択しない対象を特定するための非選択対象情報１２４に含まれる非選択対象顔画像Ｄ、Ｅそれぞれとの比較を行い、顔画像Ｘが画像の選択対象であるかを判定する。ここで、顔画像Ｘが画像の選択対象であるかの判定は、上記第１の判定手段と同様に、例えば、顔認証の技術を用いて行うことができる。
【００６３】
図６では、顔画像Ｘが示す被写体は、非選択対象情報１２４に含まれていないため、対象判定部１１４は、顔画像Ｘが示す被写体を選択対象と判定することができる。ここで、被写体が画像の選択対象か否かの判定結果は、上記第１の判定手段と同様に、例えば、１ビットのデータとして表すことができる。
【００６４】
＜被写体が画像の選択対象か否かの第３の判定手段＞
対象判定部１１４は、例えば、顔画像抽出部１１２が抽出した顔画像Ｘ、画像を選択する対象を特定するための選択対象情報１２２、および画像を選択しない対象を特定するための非選択対象情報１２４を用いて、顔画像Ｘが画像の選択対象であるかを判定することもできる。
【００６５】
上記の場合には、例えば、次に示す４つのパターンが生じる可能性がある。
（１）顔画像Ｘが示す被写体が、選択対象情報１２２に含まれ、非選択対象情報１２４に含まれない場合  ：  第１の判定手段と同様のパターン
（２）顔画像Ｘが示す被写体が、選択対象情報１２２に含まれず、非選択対象情報１２４に含まれる場合  ：  第２の判定手段と同様のパターン
（３）顔画像Ｘが示す被写体が、選択対象情報１２２に含まれ、さらに非選択対象情報１２４にも含まれる場合
（４）顔画像Ｘが示す被写体が、選択対象情報１２２に含まれず、非選択対象情報１２４にも含まれない場合
したがって、第３の判定手段の場合には、上記（３）、（４）の場合において判定結果をどのように設定するかによって、顔画像が示す被写体を画像の選択対象とするか否かを変えることができるので、よりフレキシブルな判定を行うことができる。
【００６６】
対象判定部１１４は、例えば、第１〜第３の判定手段に示すように、選択対象情報１２２、および／または、非選択対象情報１２４を用いて、顔画像Ｘが画像の選択対象であるかを判定することができる。ここで、選択対象情報１２２、非選択対象情報１２４に設定される情報（例えば、選択対象顔画像、非選択対象顔画像など）は、例えば、記憶部１０６に保持することができる。また、選択対象情報１２２、非選択対象情報１２４に設定される情報は、例えば、ユーザが操作部１０８を用いて登録することができ、また、外部装置から送信されてもよいが、上記に限られない。
【００６７】
好感度算出部１１６は、顔画像抽出部１１２が抽出した顔画像を用いて、選択対象画像における被写体と当該選択対象画像を撮像した撮像者との関係を定量化した値である「好感度」を算出する。
【００６８】
また、好感度算出部１１６には、対象判定部１１４において判定された顔画像抽出部１１２が抽出した顔画像が示す被写体が画像の選択対象であるか否かの判定結果が入力される。ここで、対象判定部１１４において、顔画像が示す被写体が画像の選択対象ではないと判定された場合には、好感度算出部１１６は好感度の算出を行わないとすることができる。以下、図７を参照して本発明の実施形態に係る好感度の算出手段について説明する。図７は、本発明の実施形態に係る好感度の算出手段の一例を説明するための説明図である。
【００６９】
＜好感度の算出手段の第１の例＞
好感度算出部１１６は、例えば、数式１により好感度を算出することができる。
【００７０】
好感度＝（基準値）＋（顔画像から得られる変動値）  ・・・（数式１）
【００７１】
ここで、数式１における「基準値」は、好感度の基準となる値であり、例えば、“−１００”、“０”、“５０．５”、“１００”、“２００”など任意の値を設定することができる。また、数式１における「顔画像から得られる変動値」は、例えば、顔画像の大きさ、被写体の表情、被写体の顔の向き、被写体の視線の方向、目および口の検出の有無、顔画像の彩度、顔画像の空間周波数などから設定することができるが上記に限られない。
【００７２】
図７は、一例として、被写体の表情、被写体の顔の向き、および被写体の視線の方向の３つの尺度に係る値を保持するテーブルを用いて数式１における「顔画像から得られる変動値」を算出する例を示したものである。好感度算出部１１６は、例えば、顔画像Ｘから目、鼻、唇の両端それぞれの位置（特徴点）を検出し、検出された目、鼻、唇の両端ぞれぞれの位置から、被写体の表情、顔の向き、および視線の方向をそれぞれ決定することができる。なお、本発明の実施形態に係る被写体の表情、顔の向き、および視線の方向の決定手段が、上記に限られないことは、言うまでもない。
【００７３】
また、好感度算出部１１６において被写体の表情、顔の向き、および視線の方向などを決定するための情報（例えば、検出された目、鼻、唇の両端ぞれぞれの位置と、表情との関係に係る情報など）は、例えば、記憶部１０６に保持することができる。また、好感度算出部１１６において被写体の表情、顔の向き、および視線の方向などを決定するための情報は、好感度算出部１１６が記憶手段を備え、当該記憶手段に保持されてもよい。ここで、好感度算出部１１６が備える記憶手段としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリなどが挙げられるが、上記に限られない。
【００７４】
図７に示す顔画像Ｘでは、被写体の表情は笑顔であり、顔の向きは正面、そして、視線の向きは正面を向いている。したがって、例えば、「基準値」を１００とした場合、好感度算出部１１６が顔画像Ｘについて算出する好感度は、顔画像Ｘの好感度＝１００＋（１０＋５＋１０）＝１２５となる。
【００７５】
好感度算出部１１６は、上記のように、例えば、数式１を用いて好感度を算出することができる。ここで、図７では、被写体の表情、顔の向き、および視線の方向の３つの尺度を用いて好感度を算出したが、尺度の数を増やすことにより、選択対象画像に対してとり得る値がより幅広い好感度を設定することができる。
【００７６】
＜好感度の算出手段の第２の例＞
好感度の算出手段の第１の例では、「顔画像から得られる変動値」を用いて好感度を算出する例を示したが、本発明の実施形態に係る好感度の算出手段は上記に限られない。例えば、入力される選択対象画像が、例えば、デジタルビデオカメラにより撮影された動画像であるとき、当該動画像に対応する音声が記録される場合がある。したがって、好感度算出部１１６は、画像処理装置１００に入力される選択対象画像それぞれに対応する音声を用いて好感度の算出を行うこともできる。上記の場合、好感度算出部１１６は、例えば、数式２により好感度を算出することができる。
【００７７】
好感度＝（基準値）＋（顔画像から得られる変動値）＋（音声から得られる変動値）  ・・・（数式２）
【００７８】
ここで、数式２における「基準値」および「顔画像から得られる変動値」は、上記数式１（第１の例）と同様である。また、数式２における「音声から得られる変動値」は、例えば、音声の抑揚や音声の音量などから設定することができるが上記に限られない。
【００７９】
好感度算出部１１６における「音声から得られる変動値」の設定は、例えば、入力される音声の抑揚や音声の音量などと、変動値とが一意に対応したテーブルを好感度算出部１１６が参照することにより行うことができる。ここで、上記テーブルなど「音声から得られる変動値」を設定するために用いられる情報は、例えば、記憶部１０６に保持することができる。また、「音声から得られる変動値」を設定するために用いられる情報は、好感度算出部１１６が記憶手段を備え、当該記憶手段に保持されてもよい。
【００８０】
また、好感度の算出に音声を用いる場合、対象判定部１１４は、例えば、声紋の情報が設定された選択対象情報１２２、非選択対象情報１２４を用いて、画像の選択対象とするか否かを判定することができる。したがって、好感度算出部１１６は、好感度の算出に音声を用いる場合においても、対象判定部１１４において顔画像が示す被写体が画像の選択対象ではないと判定された場合には、好感度算出部１１６は好感度の算出を行わないとすることができる。
【００８１】
＜好感度の算出手段の第３の例＞
好感度の算出手段の第１の例では「顔画像から得られる変動値」を用いて好感度を算出し、第２の例ではさらに「音声から得られる変動値」を用いて好感度を算出する例を示したが、本発明の実施形態に係る好感度の算出手段は上記に限られない。例えば、撮影された日時を示す情報（例えば、タイムスタンプなど）や撮影された場所を示す情報（例えば、緯度や経度など）が入力される選択対象画像に付加されている情報がある場合には、数式３に示すように、さらに当該選択対象画像に付加されている情報を用いて好感度を算出することもできる。ここで、選択対象画像には、例えば、タグ形式、電子透かしなどにより情報（メタ情報）を付加することができる。
【００８２】
好感度＝（基準値）＋（顔画像から得られる変動値）＋（音声から得られる変動値）＋（選択対象画像に付加された情報から得られる変動値）  ・・・（数式３）
【００８３】
ここで、数式３における「基準値」、「顔画像から得られる変動値」、および「音声から得られる変動値」は、上記数式２（第２の例）と同様である。また、数式３における「選択対象画像に付加された情報から得られる変動値」は、例えば、ユーザが操作部１０８を用いて、例えば、時刻や場所などの選択条件を好感度算出部１１６に伝達し、好感度算出部１１６が伝達される選択条件と、選択対象画像に付加されている情報とが合致するか否かによって設定することができる。なお、好感度の算出手段の第３の例に係る選択対象画像に付加されている情報が、撮影された日時を示す情報や撮影された場所を示す情報に限られないことは、言うまでもない。
【００８４】
好感度算出部１１６は、上記のように、例えば、数式１〜数式３を用いて好感度を算出することができる。なお、本発明の実施形態に係る好感度の算出手段は、数式１〜数式３に限られず、例えば、（顔画像から得られる変動値）と、（選択対象画像に付加された情報から得られる変動値）とから算出されてもよい。
【００８５】
＜第１の好感度編集手段＞
また、好感度算出部１１６が算出した好感度は、例えば、ユーザが、第１の好感度編集部としての操作部１０８を操作することにより、好感度の値の増減を行うこともできる（第１の好感度編集手段。図４では図示せず。）。上記構成により、たとえ好感度算出部１１６において好感度が低く算出された選択対象画像であっても、ユーザは好感度の値を調整することができるので、画像処理装置１００は、ユーザが所望する画像を選択画像とすることができる。なお、上記の場合、画像処理装置１００は、ユーザが操作部１０８を用いて好感度の値の調整を行うために、好感度算出部１１６が好感度を算出した選択対象画像の確認手段（図示せず）を有することができることは、言うまでもない。上記確認手段としては、例えば、ＬＣＤ、ＯＬＥＤディスプレイなどを用いた確認用の表示部が挙げられるが、上記に限られない。
【００８６】
選択画像更新部１１８は、好感度算出部１１６が顔画像に対して算出した好感度を用いて、被写体ごとに選択される画像（以下、「選択画像」という。）の候補となる画像（以下、「選択候補画像」という。）の更新を行う。ここで、選択画像更新部１１８が更新する選択候補画像は、例えば、選択画像更新部１１８が備える記憶手段に保持することができるが、上記に限られず、記憶部１０６に保持されてもよい。なお、選択画像更新部１１８が備える記憶手段としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリなどが挙げられるが、上記に限られない。
【００８７】
以下、図８〜図１０を参照して本発明の実施形態に係る選択候補画像の更新手段について説明する。
【００８８】
＜選択候補画像の第１の更新手段＞
図８は、本発明の実施形態に係る選択候補画像の第１の更新手段を説明するための説明図である。ここで、図８（ａ）は更新前の状態を示す図であり、図８（ｂ）は、更新後の状態を示す図である。
【００８９】
図８（ａ）に示すように、第１の更新手段は、顔画像Ｘ（選択対象画像）が示す被写体について、顔画像Ｘの抽出以前に好感度が算出されていない場合、すなわち、顔画像Ｘが示す被写体について初めて好感度が算出された場合における更新手段である。
【００９０】
顔画像Ｘが示す被写体について既に好感度が算出されているか否かの判定は、例えば、好感度算出部１１６において好感度が算出された顔画像（選択対象画像）ごとに、選択画像更新部１１８が更新した被写体ごとの選択候補画像と顔認証を行うことによって行うことができる。また、選択画像更新部１１８が更新した選択候補画像を図６に示す選択対象情報１２２として保持させる場合には、対象判定部１１４において顔画像Ｘが示す被写体について既に好感度が算出されているか否かの判定を行い、選択画像更新部１１８は、対象判定部１１４の判定結果を用いて顔画像Ｘが示す被写体について既に好感度が算出されているか否かを判定することもできる。
【００９１】
選択画像更新部１１８が顔画像Ｘが示す被写体について初めて好感度が算出されたと判定した場合には、図８（ｂ）に示すように、選択画像更新部１１８は、顔画像Ｘ（選択対象画像）を新たな選択候補画像の顔画像として更新する。上述したように、顔画像Ｘには、顔画像Ｘの抽出元となった選択対象画像との対応付けるインデックス情報を付加することができる。したがって、選択画像更新部１１８は、例えば、顔画像に付加されたインデックス情報を参照することにより、顔画像の抽出元となった選択対象画像を選択候補画像とすることができる。なお、選択画像更新部１１８が更新する選択候補画像は、顔画像の抽出元となった選択対象画像に限られず、顔画像を選択候補画像とすることができることは、言うまでもない。以下では、便宜上、顔画像が選択候補画像であるとして説明する。
【００９２】
＜選択される画像の第２の更新手段＞
次に、第２の更新手段について説明する。図９は、本発明の実施形態に係る選択候補画像の第２の更新手段を説明するための説明図である。ここで、図９（ａ）は更新前の状態を示す図であり、図９（ｂ）は、更新後の状態を示す図である。
【００９３】
図９（ａ）に示すように、第２の更新手段は、顔画像Ｘ（選択対象画像）が示す被写体について既に好感度が算出されている顔画像Ｘｏｌｄ（選択候補画像）が存在する場合における更新手段である。
【００９４】
選択画像更新部１１８が顔画像Ｘが示す被写体について既に好感度が算出されていると判定した場合には、既に好感度が算出された選択候補画像（顔画像Ｘｏｌｄ）に設定された好感度１１５と、顔画像Ｘについて算出された好感度１２５との比較を行う。
【００９５】
選択画像更新部１１８は、好感度の比較を行った結果、より好感度の値が大きな画像を新たな選択候補画像とすることができる。したがって、図９（ｂ）に示すように、選択画像更新部１１８は、好感度の値が選択候補画像よりも大きな顔画像Ｘ（選択対象画像）を新たな選択候補画像として更新する。
【００９６】
＜選択される画像の第３の更新手段＞
次に、第３の更新手段について説明する。図１０は、本発明の実施形態に係る選択候補画像の第３の更新手段を説明するための説明図である。ここで、図１０（ａ）は更新前の状態を示す図であり、図１０（ｂ）は、更新後の状態を示す図である。
【００９７】
図１０（ａ）に示すように、第３の更新手段は、顔画像Ｘが選択候補画像とされているとき、顔画像Ｘが示す被写体と同一の被写体の顔画像Ｘｎｅｗ（選択対象画像）について好感度が算出された場合における更新手段である。
【００９８】
選択画像更新部１１８が顔画像Ｘｎｅｗ（選択対象画像）が示す被写体について既に好感度が算出されていると判定した場合には、第２の更新手段と同様に、既に好感度が算出された顔画像Ｘ（選択候補画像）に設定された好感度１２５と、顔画像Ｘｎｅｗ（選択対象画像）について算出された好感度１０５との比較を行う。
【００９９】
上記のように、選択画像更新部１１８は、好感度の比較を行った結果、より好感度の値が大きな画像を選択候補画像とすることができる。図１０（ｂ）に示すように、選択候補画像（顔画像Ｘ）の方が選択対象画像（顔画像Ｘｎｅｗ）よりも好感度が大きい場合には、選択画像更新部１１８は、顔画像Ｘｎｅｗ（選択対象画像）を新たな選択候補画像として更新しない。したがって、顔画像Ｘが引き続き選択候補画像として保持されることとなる。
【０１００】
選択画像更新部１１８は、好感度算出部１１６において好感度が算出されるごとに、上述した第１〜第３の更新手段の処理を行う。したがって、全ての選択対象画像について、好感度の算出が行われた後に保持される選択候補画像は、被写体ごとに最も好感度が高い画像となる。なお、選択対象画像について算出された好感度と、選択候補画像に設定された好感度とが同値である場合、選択画像更新部１１８は、選択対象画像を新たな選択候補画像として更新してもよいし、または、選択候補画像の更新を行わないこともできることは、言うまでもない。
【０１０１】
したがって、画像処理部１０２は、選択対象画像における被写体と当該選択対象画像を撮像した撮像者との関係を定量化した値である「好感度」に基づいて、「好感度」が最も大きな画像を選択画像として選択することができる。上記の場合には、同一の被写体に係る画像が、被写体ごとの選択画像として重複して選択されることを防止することができる。
【０１０２】
なお、上記では、被写体ごとに「好感度」が最も大きな画像を選択する構成について説明したが、本発明の実施形態に係る画像処理装置１００は上記に限られず、例えば、同一の被写体について複数の選択画像を選択することもできる。上記の構成は、例えば、選択画像更新部１１８が同一の被写体に対して複数の選択候補画像を保持させ、当該複数の選択候補画像それぞれに設定された好感度と、好感度算出部１１６において選択対象画像に対して算出された好感度とを比較する（すなわち、一対多の比較）ことにより実現することができる。
【０１０３】
＜第２の好感度編集手段＞
また、選択画像更新部１１８が更新した選択候補画像（または、複数の画像の場合には選択候補画像それぞれ）に設定されている好感度は、例えば、ユーザが、第２の好感度編集部としての操作部１０８を操作することにより、好感度の値の増減を行うこともできる（第２の好感度編集手段。なお、図４では、記憶部１０６に選択候補画像が保持される場合を示している。）。上記構成により、ユーザは好感度の値を調整することができるので、画像処理装置１００は、ユーザが所望する画像を選択画像とすることができる。なお、上記の場合、画像処理装置１００は、ユーザが操作部１０８を用いて好感度の値の調整を行うために、選択画像更新部１１８が更新した選択候補画像の確認手段（図示せず）を有することができることは、言うまでもない。
【０１０４】
リスト生成部１２０は、本発明の実施形態に係る画像選択部の一実施例であり、選択画像更新部１１８から出力される被写体ごとの選択画像（選択画像更新部１１８が更新した選択候補画像）を用いて、選択画像をまとめた選択画像リストを生成することができる。図１１は、本発明の実施形態に係る選択画像リストの一例を示す説明図である。
【０１０５】
図１１は、被写体ごとの選択画像を、選択画像それぞれに設定された好感度に基づいて好感度が大きい順に並び替えた選択画像リストの例である。図１１に示すような選択画像リストをリスト生成部１２０が生成することにより、ユーザは、画像処理装置１００によって選択された被写体ごとの選択画像を容易に確認することができる。
【０１０６】
また、リスト生成部１２０が生成する選択画像リストには、図１１に示すように、被写体の名前などの付加的な情報を追加することもできる。ここで、被写体の名前などの付加的な情報は、例えば、ユーザが操作部１０８を用いて編集（追加、変更、削除など）することもできるし、選択画像に付加された情報（例えば、タグ形式、電子透かしなどにより付加される。）に基づいて付加されてもよい。
【０１０７】
なお、リスト生成部１２０は、例えば、ユーザが操作部１０８を介して命令を伝えることにより、選択画像リストの生成を選択的に行うことができることは、言うまでもない。リスト生成部１２０が選択画像リストの生成を行わない場合には、被写体ごとの選択画像は、例えば、個別に出力されることとなる。
【０１０８】
以上のように、本発明の第１の実施形態に係る画像処理装置１００は、画像処理部１０２に順次に入力される選択対象画像それぞれから、被写体ごとの顔画像を抽出し、当該顔画像を用いて選択対象画像ごとに好感度を算出する。そして、好感度が算出された選択対象画像と、既に好感度が算出された被写体が同一の選択対象画像の中で最も好感度が大きな画像である選択候補画像との比較を行い、好感度が大きな画像を新たな選択候補画像とすることができる。したがって、画像処理装置１００は、被写体ごとに好感度が最も大きな画像を選択画像として選択することができる。
【０１０９】
ここで、画像処理装置１００が画像の選択に用いる「好感度」は、選択対象画像に含まれる被写体と当該選択対象画像を撮像した撮像者との関係を示す定量化された指標であり、選択対象画像から算出される。したがって、画像処理装置１００を使用するユーザは、例えば、被写体が笑顔を向けている画像や、被写体が視線を撮像手段側に向けている画像など、被写体の撮像を行った撮像者への好意が感じられる特定の画像を、被写体ごとに取得することができる。
【０１１０】
また、画像処理装置１００は、被写体ごとに選択画像を選択することが可能であるので、ユーザは、撮像対象画像にどのような被写体が含まれていたのかを容易に確認することができる。したがって、画像処理装置１００は、ユーザが記憶を甦らせることを補助することができる。さらに、画像処理装置１００は、好感度に基づいて被写体ごとに選択画像を選択した結果、ユーザが思いもしなかった被写体の画像を選択することも可能であり、ユーザのメンタル部分に対して正の方向に働きかけることが可能である。したがって、画像処理装置１００は、ユーザのメンタルヘルスを保つための補助効果を奏することもできる。
【０１１１】
また、画像処理装置１００は、ユーザが好感度を編集可能な好感度編集手段を備えることができる。したがって、ユーザは、所望する選択対象画像を選択される選択画像とすることもできる。
【０１１２】
さらに、画像処理装置１００は、画像の選択を許可する被写体を規定する選択対象情報、および／または、画像の選択を許可しない被写体を規定する非選択対象情報を有することができる。したがって、画像処理装置１００は、上記選択対象情報、および／または、上記非選択対象情報を用いることにより、被写体ごとに画像を選択するか否かを制御することができる。また、上記選択対象情報、および／または、上記非選択対象情報は、ユーザが任意に設定することもできる。したがって、ユーザは、特定の被写体の画像のみを取得することができ、また、所望しない被写体の画像の取得を意図的に除外することもできる。
【０１１３】
（第１の実施形態に係るプログラム）
第１の実施形態に係る画像処理装置１００をコンピュータとして機能させるためのプログラムにより、被写体と撮像した撮像者との関係に係る好感度に基づいて被写体ごとに選択候補画像の更新を行い、少なくとも１以上の画像の中から被写体ごとに画像を選択することができる。
【０１１４】
（本発明の実施形態に係る画像処理方法）
次に、本発明の実施形態に係る画像処理方法について説明する。図１２は、本発明の実施形態に係る画像処理方法を示す流れ図である。なお、図１２に示す画像処理方法は、一の選択対象画像に対する方法を示したものであり、順次に入力される選択対象画像の数だけ繰り返される。
【０１１５】
順次に入力される選択対象画像のうちの一の選択対象画像の中から被写体の顔領域を特定し、顔画像を抽出する（Ｓ１００）。そして、ステップＳ１００において抽出された顔画像を用いて、顔画像が示す被写体が画像の選択対象であるか否かを判定する（Ｓ１０２）。ここで、ステップＳ１０２における判定は、例えば、ステップＳ１００において抽出された顔画像と、画像を選択する対象を特定するための選択対象情報および／または画像を選択しない対象を特定するための非選択対象情報とを用いた顔認証により行うことができる。
【０１１６】
ステップＳ１０２において、顔画像が示す被写体が画像の選択対象ではないと判定された場合には、ステップＳ１００において顔画像を抽出した選択対象画像についての処理を終了する。
【０１１７】
また、ステップＳ１０２において、顔画像が示す被写体が画像の選択対象であると判定された場合には、ステップＳ１００において抽出された顔画像を用いて、選択対象画像に含まれる被写体と当該選択対象画像を撮像した撮像者との関係を示す定量化された指標である好感度を算出する（Ｓ１０４）。
【０１１８】
ステップＳ１０４において好感度を算出した顔画像が示す被写体と同一の被写体であって、既に好感度が算出された選択候補画像があるか否かを判定する（Ｓ１０６）。
【０１１９】
ステップＳ１０６において、既に好感度が算出された被写体が同一の選択候補画像はないと判定された場合には、ステップＳ１００において顔画像を抽出した選択対象画像を、選択される選択画像の候補である選択候補画像とする（Ｓ１１２）。
【０１２０】
また、ステップＳ１０６において、既に好感度が算出された被写体が同一の選択候補画像はあると判定された場合には、ステップＳ１０４において算出した好感度（選択対象画像の好感度）と、選択候補画像に設定されている好感度との比較を行う（Ｓ１０８）。そして、ステップＳ１０８において好感度を比較した結果、好感度がより大きな画像を新たな選択候補画像とする。
【０１２１】
以上のように、本発明の実施形態に係る画像処理方法は、順次に入力される選択対象画像それぞれから、被写体ごとの顔画像を抽出し、当該顔画像を用いて選択対象画像ごとに好感度を算出する。そして、好感度が算出された選択対象画像と、既に好感度が算出された被写体が同一の選択対象画像の中で最も好感度が大きな画像である被写体ごとの選択候補画像との比較を行い、好感度が大きな画像を新たな選択候補画像とすることができる。したがって、本発明の実施形態に係る画像処理方法を適用した画像処理装置は、被写体ごとに好感度が最も大きな画像を選択画像として選択することができる。
【０１２２】
また、本発明の実施形態に係る画像処理方法は、被写体ごとに選択対象か否かを判定することができるので、本発明の実施形態に係る画像処理方法を適用した画像処理装置は、被写体ごとに画像を選択するか否かを制御することができる。
【０１２３】
（第２の実施形態）
上述した第１の実施形態に係る画像処理装置１００は、画像処理装置単体、すなわち、スタンドアロン（stand-alone）状態で機能する装置について説明した。しかしながら、本発明の実施形態に係る画像処理装置は、スタンドアロン状態の装置に限られない。そこで次に、外部装置と通信を行うことが可能な第２の実施形態に係る画像処理装置と、第２の実施形態に係る画像処理装置を利用した応用例について説明する。
【０１２４】
[第１の応用例：好感度ランキングの生成]
図１３は、本発明の第２の実施形態に係る画像処理装置を利用したシステムの一例を示すブロック図である。
【０１２５】
図１３を参照すると、本発明の第２の実施形態に係る画像処理装置を利用したシステムは、画像処理装置２００、３００、…と、外部装置５００とを有し、画像処理装置２００、３００、…と外部装置５００とは、ネットワーク回線６００で結ばれる。ここで、ネットワーク回線６００は、例えば、ＬＡＮ（Local  Area  Network）やＷＡＮ（Wide  Area  Network）など有線ネットワークであってもよいし、または、ＭＩＭＯ（Multiple-Input  Multiple-Output）を用いたＷＬＡＮ（Wireless  Local  Area  Network）などの無線ネットワーク、あるいは、ＴＣＰ／ＩＰ（Transmission  Control  Protocol/Internet  Protocol）などの通信プロトコルを用いたインターネット（Internet）であってもよいが、上記に限られない。
【０１２６】
画像処理装置２００は、基本的に本発明の第１の実施形態に係る画像処理装置１００と同様の構成を有しており、画像処理装置１００と比較すると、ネットワーク回線６００を介して外部装置５００などと通信を行うための画像処理装置側通信部（図示せず）を新たに有している。したがって、画像処理装置２００は、画像処理装置１００と同様に被写体ごとに選択画像を選択することができる。
【０１２７】
画像処理装置側通信部（図示せず）は、画像処理部１０２が選択した被写体ごとの選択画像や、選択画像リストを外部装置５００へ送信することができる。なお、画像処理装置３００、…については、画像処理装置２００と同様の構成をとることができる。
【０１２８】
外部装置５００は、外部装置側記憶部５０２と、好感度ランキング生成部５０４を備えることができる。また、外部装置５００は、ＭＰＵなどで構成され外部装置５００全体を制御する制御部（図示せず）、画像処理装置２００、３００、…と通信を行うための通信部（図示せず）、操作部（図示せず）などを備えていてもよい。
【０１２９】
外部装置側記憶部５０２は、外部装置５００が備える記憶手段である。外部装置５００が備える記憶手段としては、例えば、ハードディスクなどの磁気記録媒体、フラッシュメモリなどの不揮発性メモリ、光磁気ディスクなどが挙げられるが、上記に限られない。
【０１３０】
また、外部装置側記憶部５０２は、画像処理装置２００、３００、…それぞれから送信された被写体ごとの選択画像や、選択画像リストを保持することができる。図１３では、外部装置側記憶部５０２は、画像処理装置２００から送信された選択画像リストＡ５０６、画像処理装置３００から送信された選択画像リストＢ５０８、…が保持されている。
【０１３１】
好感度ランキング生成部５０４は、外部装置側記憶部５０２に保持された選択画像リスト５０６、５０８を用いて、各選択画像リストに含まれる被写体の好感度を集計し、ランキングを生成することができる。なお、好感度ランキング生成部５０４が、画像処理装置２００、３００、…それぞれから送信された被写体ごとの選択画像を用いてランキングを生成することができることは、言うまでもない。図１４は、本発明の実施形態に係る好感度ランキングの一例を示す説明図である。
【０１３２】
図１４は、一定期間（一月）における好感度ランキングを示した図である。ここで、好感度ランキング生成部５０４が生成する好感度ランキングにおいて示される好感度は、例えば、被写体ごとの好感度の平均値、被写体ごとの好感度の合算値、複数の選択画像リストにおける被写体ごとの頻度など様々な手段で算出され設定することができる。また、好感度ランキング生成部５０４が生成する好感度ランキングにおいて示される被写体の画像は、例えば、被写体ごとに最も大きな好感度が設定された選択画像とすることができるが、上記に限られない。さらに、好感度ランキング生成部５０４が生成する好感度ランキングは、例えば、ＪＰＥＧ形式、ＧＩＦ（Graphics  Interchange  Format）形式などの画像ファイル、ＨＴＭＬ（HyperText  Markup  Language）文書などで表すことができる。
【０１３３】
第１の応用例では、画像処理装置２００、３００、…それぞれから送信される被写体ごとの選択画像や、選択画像リストを用いて、図１４に示すような好感度ランキングを生成することによって、例えば、ＷＷＷ（World  Wide  Web）におけるページビュー（page  view）のような被写体のビューを実現することができる。
【０１３４】
[第１の応用例の変形例]
また、図１３では、複数の画像処理装置２００、３００、…と、外部装置５００とを有する構成が示されているが、本発明の第２の実施形態は上記に限られず、一つの画像処理装置２００と外部装置５００とを有する構成であってもよい。本発明の第２の実施形態に係る画像処理装置を利用したシステムが上記の構成を有する場合には、好感度ランキング生成部５０４は、本発明の実施形態に係る画像選択手段として機能することができる。したがって、本発明の第２の実施形態に係る画像処理装置を利用したシステムは、例えば、画像処理装置２００がリスト生成部を備えない構成（すなわち、画像処理装置２００から選択画像リストが出力されない構成）であったとしても、好感度ランキング生成部５０４により、選択画像リストを生成することができる。
【０１３５】
[第２の応用例：被写体ごとの選択画像、選択画像リストを外部装置へ保持させる構成]
図１３に示す第１の応用例では、画像処理装置２００、３００、…それぞれから送信される被写体ごとの選択画像や、選択画像リストを用いて好感度ランキングを生成する構成を示したが、本発明の第２の実施形態に係る画像処理装置を利用したシステムは上記に限られない。例えば、外部装置は、画像処理装置２００、３００、…それぞれから送信される被写体ごとの選択画像や、選択画像リストを単に保持する構成であってもよい。
【０１３６】
第２の実施形態に係る画像処理装置は、例えば、画像処理装置を使用する撮像者（ユーザ）が屋外で撮影を行った場合において、画像処理装置が撮影した画像（選択対象画像）に対して本発明の実施形態に係る画像処理方法を適用して選択画像の選択を行い、外部装置である撮像者の自宅のＰＣへと選択結果（被写体ごとの選択画像、選択画像リスト）を送信することができる。したがって、撮像者は、帰宅後自宅のＰＣに保持された上記選択結果を確認しさえすれば、撮像対象画像にどのような被写体が含まれていたのかを容易に確認することができる。
【０１３７】
なお、上記に示した第１、第２の応用例は、本発明の第２の実施形態に係る画像処理装置を利用したシステムの一例であり、本発明の実施形態に係る画像処理装置を利用したシステムが上記に限られないことは、言うまでもない。
【０１３８】
以上のように、本発明の第２の実施形態に係る画像処理装置は、基本的に第１の実施形態に係る画像処理装置１００と同様の構成を有している。したがって、第２の実施形態に係る画像処理装置は、第１の実施形態に係る画像処理装置１００と同様の効果を奏すことができる。
【０１３９】
また、本発明の第２の実施形態に係る画像処理装置は、外部装置へと被写体ごとの選択画像、選択画像リストを送信することができるので、例えば、好感度ランキングを生成するシステムなどの応用システムを実現することができる。
【０１４０】
また本発明の第２の実施形態に係る画像処理装置を利用したシステムの構成する要素として、外部装置を挙げて説明したが、本発明の実施形態は、係る形態に限られず、例えば、ＰＣやサーバ（Server）などのコンピュータなどに適用することができる。
【０１４１】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【０１４２】
例えば、図４に示す第１の実施形態に係る画像処理部１０２は、リスト生成部１２０を備えているが、かかる形態に限られず、画像処理部１０２がリスト生成部１２０を備えていない構成とすることもできる。上記の構成であっても、本発明に係る画像処理装置は、被写体と撮像した撮像者との関係に係る好感度に基づいて被写体ごとに選択候補画像の更新を行うことができるので、被写体と撮像した撮像者との関係に係る好感度に基づいて、少なくとも１以上の画像の中から被写体ごとに画像を選択することができる。
【０１４３】
また、図４に示す第１の実施形態に係る画像処理部１０２は、対象判定部１１４を備えているが、かかる形態に限られず、画像処理部１０２が対象判定部１１４を備えていない構成とすることもできる。上記の構成であっても、本発明に係る画像処理装置は、被写体と撮像した撮像者との関係に係る好感度に基づいて、少なくとも１以上の画像の中から被写体ごとに画像を選択することができる。
【０１４４】
さらに、上述した第１、第２の実施形態に係る画像装置では、好感度に基づいて画像を選択する構成について説明したが、かかる形態に限られず、例えば、数式２の「音声から得られる変動値」を用いて好感度を算出し、当該好感度に基づいて、入力される音声を部分的に取り出すこともできる。
【０１４５】
上述した構成は、当業者が容易に変更し得る程度のことであり、本発明の等価範囲に属するものと理解すべきである。
【図面の簡単な説明】
【０１４６】
【図１】本発明の実施形態に係る画像処理装置の第１の例を示す説明図である。
【図２】本発明の実施形態に係る画像処理装置の第２の例を示す説明図である。
【図３】本発明の第１の実施形態に係る画像処理装置を示すブロック図である。
【図４】本発明の実施形態に係る画像選択手段を説明するためのブロック図である。
【図５】本発明の実施形態に係る顔画像の抽出を説明するための説明図である。
【図６】本発明の実施形態に係る被写体が画像の選択対象か否かの判定を説明するための説明図である。
【図７】本発明の実施形態に係る好感度の算出手段の一例を説明するための説明図である。
【図８】本発明の実施形態に係る選択候補画像の第１の更新手段を説明するための説明図である。
【図９】本発明の実施形態に係る選択候補画像の第２の更新手段を説明するための説明図である。
【図１０】本発明の実施形態に係る選択候補画像の第３の更新手段を説明するための説明図である。
【図１１】本発明の実施形態に係る選択画像リストの一例を示す説明図である。
【図１２】本発明の実施形態に係る画像処理方法を示す流れ図である。
【図１３】本発明の第２の実施形態に係る画像処理装置を利用したシステムの一例を示すブロック図である。
【図１４】本発明の実施形態に係る好感度ランキングの一例を示す説明図である。
【符号の説明】
【０１４７】
１００、２００、３００  画像処理装置
１０２    画像処理部
１０４    撮像部
１０６    記憶部
１０８    操作部
１１０    表示部
１１２    顔画像抽出部
１１４    対象判定部
１１６    好感度算出部
１１８    選択画像更新部
１２０    リスト生成部
【図１】
2008225550.tif 000003
【図２】
2008225550.tif 000004
【図３】
2008225550.tif 000005
【図４】
2008225550.tif 000006
【図５】
2008225550.tif 000007
【図６】
2008225550.tif 000008
【図７】
2008225550.tif 000009
【図８】
2008225550.tif 000010
【図９】
2008225550.tif 000011
【図１０】
2008225550.tif 000012
【図１１】
2008225550.tif 000013
【図１２】
2008225550.tif 000014
【図１３】
2008225550.tif 000015
【図１４】
2008225550.tif 000016