【手続補正書】
【提出日】平成21年1月5日(2009.1.5)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
少なくとも１以上の選択対象画像のそれぞれについて、被写体の顔領域を特定し、顔領域に対応する顔画像を抽出する顔画像抽出部と；
前記顔画像を用いて前記被写体の好感度を算出する好感度算出部と；
前記好感度算出部において算出された前記好感度のうち、好感度が最も大きな顔画像に対応する画像を選択候補画像として選択する選択画像更新部と；
を備えることを特徴とする、画像処理装置。
【請求項２】
前記選択画像更新部において選択された被写体ごとの前記選択候補画像を、被写体ごとの選択画像として選択する画像選択部をさらに備えることを特徴とする、請求項１に記載の画像処理装置。
【請求項３】
前記好感度は、前記顔画像の大きさ、被写体の表情、被写体の顔の向き、被写体の視線の方向、被写体の目および口の検出の有無、前記顔画像の彩度、前記顔画像の空間周波数のいずれか一つ、または、組み合わせに基づいて算出されることを特徴とする、請求項１に記載の画像処理装置。
【請求項４】
前記少なくとも１以上の選択対象画像それぞれと対応する音声が入力され、
前記好感度は、さらに前記音声の抑揚、前記音声の音量に基づいて算出されることを特徴とする、請求項３に記載の画像処理装置。
【請求項５】
前記少なくとも１以上の選択対象画像ごとに被写体が選択画像の選択対象か否かを判定する対象判定部をさらに備えることを特徴とする、請求項１に記載の画像処理装置。
【請求項６】
前記対象判定部は、画像を選択しない被写体を特定する非選択対象情報を用いて前記判定を行うことを特徴とする、請求項５に記載の画像処理装置。
【請求項７】
前記好感度算出部が前記選択対象画像に対して算出した好感度の増減が可能な第１の好感度編集部をさらに備えることを特徴とする、請求項１に記載の画像処理装置。
【請求項８】
前記被写体ごとの選択候補画像に対して算出された好感度の増減が可能な第２の好感度編集部をさらに備えることを特徴とする、請求項１に記載の画像処理装置。
【請求項９】
撮像を行う撮像部をさらに備え、
前記少なくとも１以上の選択対象画像は、前記撮像部により撮像されたリアルタイムに入力される画像であることを特徴とする、請求項１に記載の画像処理装置。
【請求項１０】
画像を保持する記憶部をさらに備え、
前記少なくとも１以上の選択対象画像は、前記記憶部に保持された画像であることを特徴とする、請求項１に記載の画像処理装置。
【請求項１１】
前記少なくとも１以上の選択対象画像は、外部装置から入力された画像であることを特徴とする、請求項１に記載の画像処理装置。
【請求項１２】
少なくとも１以上の選択対象画像のそれぞれについて、被写体の顔領域を特定し、顔領域に対応する顔画像を抽出するステップと；
前記顔画像を用いて前記被写体の好感度を算出するステップと；
前記算出するステップにおいて算出された前記好感度のうち、好感度が最も大きな顔画像に対応する画像を選択候補画像として選択するステップと；
を有することを特徴とする、画像処理方法。
【請求項１３】
前記選択するステップにおいて選択された被写体ごとの前記選択候補画像を、被写体ごとの選択画像として選択するステップをさらに有することを特徴とする、請求項１２に記載の画像処理方法。
【請求項１４】
少なくとも１以上の選択対象画像のそれぞれについて、被写体の顔領域を特定し、顔領域に対応する顔画像を抽出する手段；
前記顔画像を用いて前記被写体の好感度を算出する手段；
前記算出する手段において算出された前記好感度のうち、好感度が最も大きな顔画像に対応する画像を選択候補画像として選択する手段；
としてコンピュータを機能させるためのプログラム。
【請求項１５】
前記選択する手段において選択された被写体ごとの前記選択候補画像を、被写体ごとの選択画像として選択する手段として前記コンピュータをさらに機能させるための請求項１４に記載のプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】変更
【補正の内容】
【００２８】
また、上記目的を達成するために、本発明の第２の観点によれば、少なくとも１以上の選択対象画像のそれぞれについて、被写体の顔領域を特定し、顔領域に対応する顔画像を抽出するステップと、上記顔画像を用いて上記被写体の好感度を算出するステップと、上記算出するステップにおいて算出された上記好感度のうち、好感度が最も大きな顔画像に対応する画像を選択候補画像として選択するステップとを有する画像処理方法が提供される。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００３２
【補正方法】変更
【補正の内容】
【００３２】
また、上記目的を達成するために、本発明の第３の観点によれば、少なくとも１以上の選択対象画像のそれぞれについて、被写体の顔領域を特定し、顔領域に対応する顔画像を抽出する手段、上記顔画像を用いて上記被写体の好感度を算出する手段、上記算出する手段において算出された上記好感度のうち、好感度が最も大きな顔画像に対応する画像を選択候補画像として選択する手段としてコンピュータを機能させるためのプログラムが提供される。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００５４
【補正方法】変更
【補正の内容】
【００５４】
顔画像抽出部１１２は、図５（ｂ）に示すように、例えば、選択対象画像から被写体の顔部分を含む矩形の顔領域を特定する。ここで、被写体の顔領域を特定は、例えば、顔の輝度分布および構造パターンと類似した領域を検出することで行うことができる。なお、顔の輝度分布および構造パターンのデータなど、顔領域を特定に係るデータは、例えば、記憶部１０６に保持することができ、または、画像処理装置１００が通信部（図示せず）を備えて外部装置から取得することもできるが、上記に限られない。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００５６
【補正方法】変更
【補正の内容】
【００５６】
また、上記矩形の顔領域のサイズは、例えば、顔部分のサイズと矩形の顔領域のサイズとが対応付けられたテーブル（例えば、記憶部１０６に保持される。）を用いて定めることができる。また、顔部分から一定の幅分外側の領域を顔領域として矩形の顔領域のサイズを定めることもできる。さらに、上記矩形の顔領域のサイズは、操作部１０８から指定することもできる（図４において図示せず）。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００５７
【補正方法】変更
【補正の内容】
【００５７】
顔画像抽出部１１２は、顔領域が特定されると、例えば、当該顔領域を切り出す切り出し処理（トリミング）を行うことにより、顔画像Ｘを抽出する。また、顔画像抽出部１１２は、顔画像Ｘの抽出に際して、さらに歪み補正処理を行ってもよい。ここで、本発明の実施形態に係る歪み補正処理としては、例えば、切り出し処理により抽出された顔画像を水平方向および／または垂直方向に伸張することにより、切り出し処理により抽出された顔画像を矩形の画像に補正し、水平方向および垂直方向それぞれに対して伸張の度合いに応じて均等化することが挙げられる。なお、歪み補正処理は、上記に限られず、画像の歪みを補正することが可能な任意の方法を用いることができることは、言うまでもない。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００９１
【補正方法】変更
【補正の内容】
【００９１】
選択画像更新部１１８が顔画像Ｘが示す被写体について初めて好感度が算出されたと判定した場合には、図８（ｂ）に示すように、選択画像更新部１１８は、顔画像Ｘ（選択対象画像）を新たな選択候補画像の顔画像として更新する。上述したように、顔画像Ｘには、顔画像Ｘの抽出元となった選択対象画像と対応付けるインデックス情報を付加することができる。したがって、選択画像更新部１１８は、例えば、顔画像に付加されたインデックス情報を参照することにより、顔画像の抽出元となった選択対象画像を選択候補画像とすることができる。なお、選択画像更新部１１８が更新する選択候補画像は、顔画像の抽出元となった選択対象画像に限られず、顔画像を選択候補画像とすることができることは、言うまでもない。以下では、便宜上、顔画像が選択候補画像であるとして説明する。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】０１１０
【補正方法】変更
【補正の内容】
【０１１０】
また、画像処理装置１００は、被写体ごとに選択画像を選択することが可能であるので、ユーザは、選択対象画像にどのような被写体が含まれていたのかを容易に確認することができる。したがって、画像処理装置１００は、ユーザが記憶を甦らせることを補助することができる。さらに、画像処理装置１００は、好感度に基づいて被写体ごとに選択画像を選択した結果、ユーザが思いもしなかった被写体の画像を選択することも可能であり、ユーザのメンタル部分に対して正の方向に働きかけることが可能である。したがって、画像処理装置１００は、ユーザのメンタルヘルスを保つための補助効果を奏することもできる。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】０１２０
【補正方法】変更
【補正の内容】
【０１２０】
また、ステップＳ１０６において、既に好感度が算出された被写体が同一の選択候補画像はあると判定された場合には、ステップＳ１０４において算出した好感度（選択対象画像の好感度）と、選択候補画像に設定されている好感度との比較を行う（Ｓ１０８）。そして、ステップＳ１０８において好感度を比較した結果、好感度がより大きな画像を新たな選択候補画像とする（Ｓ１１０）。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】０１３６
【補正方法】変更
【補正の内容】
【０１３６】
第２の実施形態に係る画像処理装置は、例えば、画像処理装置を使用する撮像者（ユーザ）が屋外で撮影を行った場合において、画像処理装置が撮影した画像（選択対象画像）に対して本発明の実施形態に係る画像処理方法を適用して選択画像の選択を行い、外部装置である撮像者の自宅のＰＣへと選択結果（被写体ごとの選択画像、選択画像リスト）を送信することができる。したがって、撮像者は、帰宅後自宅のＰＣに保持された上記選択結果を確認しさえすれば、選択対象画像にどのような被写体が含まれていたのかを容易に確認することができる。