【手続補正書】
【提出日】平成22年10月19日(2010.10.19)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
入力された画像に含まれる所定の対象物を検出する対象物検出手段と、
前記検出された対象物の属性を判定する属性判定手段と、
ユーザによる操作入力により指定された前記所定の対象物に関する属性と前記判定された属性とに基づいて前記検出された対象物の中から少なくとも１つの対象物を優先対象物として決定する優先対象物決定手段と
を具備する画像処理装置。
【請求項２】
前記優先対象物に基づいて所定の撮像パラメータを設定することにより、前記画像を生成する撮像手段の撮像制御を行う撮像制御手段をさらに具備する請求項１記載の画像処理装置。
【請求項３】
前記撮像制御手段は、前記指定された属性に基づいて前記撮像パラメータを設定することにより前記撮像制御を行う請求項２記載の画像処理装置。
【請求項４】
前記撮像制御手段は、前記優先対象物に基づいてホワイトバランス、カラーバランス、露出、フォーカスの少なくとも１つを前記撮像パラメータとして設定することにより前記撮像制御を行う請求項２記載の画像処理装置。
【請求項５】
前記優先対象物が決定された際に前記撮像手段により生成された撮像画像を所定の記録媒体に記録させる記録制御手段をさらに具備する請求項２記載の画像処理装置。
【請求項６】
前記優先対象物決定手段は、前記操作入力により複数の属性が指定された場合には、前記指定された複数の属性と前記判定された属性とに基づいて前記優先対象物を決定する請求項１記載の画像処理装置。
【請求項７】
前記優先対象物決定手段は、前記所定の対象物に関する属性であって互いに異なる種類に属する第１および第２の属性が前記操作入力により指定された場合には、前記指定された第１および第２の属性と前記判定された属性とに基づいて前記優先対象物を決定する請求項１記載の画像処理装置。
【請求項８】
前記優先対象物決定手段は、前記検出された対象物の中から前記判定された属性が前記指定された属性に該当する対象物を選択することにより前記優先対象物を決定する請求項１記載の画像処理装置。
【請求項９】
前記対象物検出手段は、前記画像における前記検出された対象物の大きさ、位置、向きのうちの少なくとも１つを検出し、
前記優先対象物決定手段は、前記選択された対象物が複数存在する場合には前記検出された対象物の大きさ、位置、向きのうちの少なくとも１つに基づいて前記選択された複数の対象物の中から前記優先対象物を決定する
請求項８記載の画像処理装置。
【請求項１０】
前記対象物検出手段は、前記画像における前記検出された対象物の大きさおよび位置を検出し、
前記優先対象物の大きさおよび位置に基づいて前記画像における前記優先対象物の位置を示す優先対象物位置マーカを生成する対象物位置マーカ生成手段と、
前記画像と前記生成された優先対象物位置マーカとを重畳する重畳手段と、
前記重畳された画像を表示する表示手段とをさらに具備する
請求項１記載の画像処理装置。
【請求項１１】
前記対象物位置マーカ生成手段は、前記検出された対象物の大きさおよび位置に基づいて前記検出された対象物の中の前記優先対象物以外の対象物の前記画像における位置を示すマーカであって前記優先対象物位置マーカとは異なる態様のマーカである対象物位置マーカを生成し、
前記重畳手段は、前記画像と前記生成された対象物位置マーカとを重畳する
請求項１０記載の画像処理装置。
【請求項１２】
前記所定の対象物は、人物の顔である請求項１記載の画像処理装置。
【請求項１３】
入力された画像に含まれる所定の対象物を検出する対象物検出手段と、
前記検出された対象物の属性を判定する属性判定手段と、
前記判定された属性がユーザによる操作入力により指定された前記所定の対象物に関する属性に該当する対象物を前記検出された対象物の中から選択するとともに、当該選択がされた際に前記画像を所定の記録媒体に記録させる指示を行う画像記録指示手段と
を具備する画像処理装置。
【請求項１４】
前記画像記録指示手段は、前記操作入力により複数の属性が指定された場合には、前記判定された属性が前記指定された複数の属性に該当する対象物を前記検出された対象物の中から選択する請求項１３記載の画像処理装置。
【請求項１５】
前記画像記録指示手段は、前記所定の対象物に関する属性であって互いに異なる種類に属する第１および第２の属性が前記操作入力により指定された場合には、前記判定された属性が前記指定された第１および第２の属性に該当する対象物を前記検出された対象物の中から選択する請求項１３記載の画像処理装置。
【請求項１６】
前記第１の属性は、前記対象物の表面上の変化に関する属性であり、
前記第２の属性は、前記対象物の種別に関する属性である
請求項１５記載の画像処理装置。
【請求項１７】
前記所定の対象物は、人物の顔であり、
前記第１の属性は、人物の顔の表情に関する属性であり、
前記第２の属性は、人物の種別に関する属性である
請求項１５記載の画像処理装置。
【請求項１８】
被写体からの入射光を撮像画像に変換する撮像手段と、
前記撮像画像に含まれる所定の対象物を検出する対象物検出手段と、
前記検出された対象物の属性を判定する属性判定手段と、
前記判定された属性がユーザによる操作入力により指定された前記所定の対象物に関する属性に該当する対象物を前記検出された対象物の中から選択するとともに、当該選択がされた際に前記撮像手段により変換された撮像画像を所定の記録媒体に記録させる指示を行う撮像画像記録指示手段と
を具備する撮像装置。
【請求項１９】
入力された画像に含まれる所定の対象物を検出する対象物検出手順と、
前記検出された対象物の属性を判定する属性判定手順と、
ユーザによる操作入力により指定された前記所定の対象物に関する属性と前記判定された属性とに基づいて前記検出された対象物の中から少なくとも１つの対象物を優先対象物として決定する優先対象物決定手順と
を具備する画像処理装置の制御方法。
【請求項２０】
入力された画像に含まれる所定の対象物を検出する対象物検出手順と、
前記検出された対象物の属性を判定する属性判定手順と、
ユーザによる操作入力により指定された前記所定の対象物に関する属性と前記判定された属性とに基づいて前記検出された対象物の中から少なくとも１つの対象物を優先対象物として決定する優先対象物決定手順と
をコンピュータに実行させるプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】発明の名称
【補正方法】変更
【補正の内容】
【発明の名称】画像処理装置、撮像装置、それらの制御方法およびプログラム
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は、画像処理装置に関し、特に、画像から顔等の対象物を検出することが可能な画像処理装置、撮像装置、および、それらの制御方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
そこで、本発明は、ユーザの好みに応じた優先対象物を容易に決定することを目的とする。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【００２６】
本発明によれば、ユーザの好みに応じた優先対象物を容易に決定することができるという優れた効果を奏し得る。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００５０
【補正方法】変更
【補正の内容】
【００５０】
ズームボタン２２２は、ズームの倍率を調整する際に操作されるボタンである。具体的には、図２（ｂ）に示すＷ（ワイド）ボタンおよびＴ（テレ）ボタンがズームボタン２２２に備えられ、Ｗボタンが押下されている状態では、ズームレンズがワイド端側（広角側）に移動し、Ｔボタンが押下されている状態では、ズームレンズがテレ端側（望遠側）に移動する。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００５２
【補正方法】変更
【補正の内容】
【００５２】
なお、本発明の実施の形態では、年代や性別等の人物自体に深く関わる属性である人物の種別に関する顔属性、または、笑顔等の顔の表情に関する顔属性を指定する例について説明する。すなわち、種類が異なる２つのカテゴリーに属する顔属性の中から少なくとも１つの顔属性を指定する例について説明する。また、本発明の実施の形態において指定する顔属性は、撮影者側ではなく、被写体側の顔属性である。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００６０
【補正方法】変更
【補正の内容】
【００６０】
各判定用辞書には、正規化顔画像における２点の位置を示すｐｉｘ１（ｘ，ｙ）およびｐｉｘ２（ｘ，ｙ）と、ｐｉｘ１（ｘ，ｙ）の輝度の値およびｐｉｘ２（ｘ，ｙ）の輝度の値の差の値に関する閾値θと、ｐｉｘ１（ｘ，ｙ）の輝度の値およびｐｉｘ２（ｘ，ｙ）の輝度の値の差の値と閾値θとの比較結果に基づいて加算または減算される重みαとの組合せがそれぞれｔ組格納されている。これらの各値は、例えば、アダブースト（ＡｄａＢｏｏｓｔ）等の機械学習アルゴリズムにより学習されたもののうちで、最も効果的な上位１００組の組合せを用いて設定される。このように、各判定用辞書の形式が同一であるため、複数の判定処理を同一のアルゴリズムで行うことができる。なお、同図では、各判定用辞書に関する「ｐｉｘ１（ｘ，ｙ）」、「ｐｉｘ２（ｘ，ｙ）」、「θ」、「α」については、各判定用辞書に応じて異なる表記として示す。例えば、大人／子供判定用辞書３１０については、「ｐｉｘ１（ｘ，ｙ）」を「ｐｉｘ世代１（ｘ，ｙ）」とし、「ｐｉｘ２（ｘ，ｙ）」を「ｐｉｘ世代２（ｘ，ｙ）」とし、「θ」を「世代θ」とし、「α」を「世代α」として示す。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００７３
【補正方法】変更
【補正の内容】
【００７３】
一方、上述の機械学習アルゴリズムによって学習時における判定成功の学習サンプルを正側とし、判定失敗時の学習サンプルを負側として学習した場合において、判定用辞書の１乃至ｔ行目に格納されている各値を用いた各演算の終了後におけるスコアＳの値が０よりも大きくなければ、判定の対象となっている正規化顔画像は目的の画像ではないと判定される。例えば、大人／子供判定用辞書３１０を用いた判定において、大人判定成功の学習サンプルを正側として学習した場合、スコアＳの値が０よりも大きくなければ、判定の対象となっている正規化顔画像に含まれる顔は子供の顔であると判定される。また、男／女判定用辞書３２０を用いた判定において、男判定成功の学習サンプルを正側として学習した場合、スコアＳの値が０よりも大きくなければ、判定の対象となっている正規化顔画像に含まれる顔は女性の顔であると判定される。また、赤ちゃん／非赤ちゃん判定用辞書３３０を用いた判定において、赤ちゃん判定成功の学習サンプルを正側として学習した場合、スコアＳの値が０よりも大きくなければ、判定の対象となっている正規化顔画像に含まれる顔は赤ちゃんの顔ではないと判定される。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】０１３４
【補正方法】変更
【補正の内容】
【０１３４】
図１８は、本発明の実施の形態における撮像部１１０により撮像された撮像画像の一例を示す図である。同図に示す撮像画像７００は、例えば、撮像装置５００を用いて４人の親子を撮像する場合における撮像画像であり、撮像画像７００には、息子４０１、父４０２、娘４０３および母４０４が含まれている。なお、父４０２および娘４０３が笑顔でない点以外は、図７に示す撮像画像４００と同様であるため、ここでの他の説明を省略する。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】０１４０
【補正方法】変更
【補正の内容】
【０１４０】
例えば、図１８に示す撮像画像７００には、２人の大人（父４０２および母４０４）が含まれているため、この２人の大人の顔に対応する大人／子供（世代）６０２には「大人」が格納されている。ここで、母４０４は笑顔であるため、母４０４（識別番号「００４」）に対応する笑顔／非笑顔６０５には「笑顔」が格納されているものの、父４０２（識別番号「００２」）は笑顔ではないため、父４０２に対応する笑顔／非笑顔６０５には「非笑顔」が格納されている。このため、条件を満たす母４０４が、顔属性判定情報６００から検出される。そして、撮像画像記録指示部５１０から記録制御部５２０に撮像画像を記録すべき旨の指示が送られ、撮像画像が記録される。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】０１４１
【補正方法】変更
【補正の内容】
【０１４１】
図２０は、本発明の実施の形態における撮像装置５００による撮像画像記録制御処理の処理手順を示すフローチャートである。この例では、操作受付部２２０において指定された人物の種別に関する顔属性と、顔の表情に関する顔属性とを撮像画像記録指示部５１０が保持しているものとする。なお、ステップＳ９７１乃至Ｓ９７３、Ｓ９２０については、図１２に示すステップＳ９０２乃至Ｓ９０４、Ｓ９２０と同様の処理手順であるため、ここでの説明を省略する。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】０１５３
【補正方法】変更
【補正の内容】
【０１５３】
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、特許請求の範囲における発明特定事項とそれぞれ対応関係を有するが、これに限定されるものではなく本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】０１５４
【補正方法】削除
【補正の内容】
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】０１５５
【補正方法】削除
【補正の内容】
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】０１５６
【補正方法】削除
【補正の内容】
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】０１５７
【補正方法】削除
【補正の内容】
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】０１５８
【補正方法】削除
【補正の内容】
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】０１５９
【補正方法】削除
【補正の内容】
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】０１６０
【補正方法】削除
【補正の内容】