(57)【要約】【課題】  撮影画像から被写体を高い精度で迅速に抽出できる手段を提供する。【解決手段】  電子カメラは、撮像部と、領域分割部と、第１演算部と、被写体抽出部とを備える。撮像部は、被写体像を撮影して撮影画像のデータを生成する。領域分割部は、撮影画像において、主要被写体を含んだ第１部分領域の範囲と、第１部分領域を除いた第２部分領域の範囲とを決定する。第１演算部は、第１部分領域のデータの空間周波数を解析する。被写体抽出部は、第１演算部の演算結果に基づいて、撮影画像の第１部分領域の範囲から主要被写体を抽出する。【選択図】  図１
2008092515.tif 000002
【特許請求の範囲】
【請求項１】
被写体像を撮影して撮影画像のデータを生成する撮像部と、
前記撮影画像において、主要被写体を含んだ第１部分領域の範囲と、前記第１部分領域を除いた第２部分領域の範囲とを決定する領域分割部と、
前記第１部分領域のデータの空間周波数を解析する第１演算部と、
前記第１演算部の演算結果に基づいて、前記撮影画像の前記第１部分領域の範囲から前記主要被写体を抽出する被写体抽出部と、
を備えることを特徴とする電子カメラ。
【請求項２】
被写体像を撮影して撮影画像のデータを生成する撮像部と、
被写体に対して光を照射する発光部と、
前記撮影画像において、主要被写体を含んだ第１部分領域の範囲と、前記第１部分領域を除いた第２部分領域の範囲とを決定する領域分割部と、
前記発光部を発光させて取得した第１撮影画像と前記発光部を発光させずに取得した第２撮影画像と基づいて、前記第１撮影画像の前記第１部分領域と前記第２撮影画像の前記第１部分領域との明るさの差分および明るさの比率の少なくとも一方を求める第２演算部と、
前記第２演算部の演算結果に基づいて、前記撮影画像の前記第１部分領域の範囲から前記主要被写体を抽出する被写体抽出部と、
を備えることを特徴とする電子カメラ。
【請求項３】
被写体像を撮影して撮影画像のデータを生成する撮像部と、
被写体に対して光を照射する発光部と、
前記撮影画像において、主要被写体を含んだ第１部分領域の範囲と、前記第１部分領域を除いた第２部分領域の範囲とを決定する領域分割部と、
前記第１部分領域のデータの空間周波数を解析する第１演算部と、
前記発光部を発光させて取得した第１撮影画像と前記発光部を発光させずに取得した第２撮影画像と基づいて、前記第１撮影画像の前記第１部分領域と前記第２撮影画像の前記第１部分領域との明るさの差分および明るさの比率の少なくとも一方を求める第２演算部と、
前記第１演算部および前記第２演算部の少なくとも一方の演算結果に基づいて、前記撮影画像の前記第１部分領域の範囲から前記主要被写体を抽出する被写体抽出部と、
前記第１演算部および前記第２演算部の動作のオン／オフをそれぞれ変更する制御部と、
を備えることを特徴とする電子カメラ。
【請求項４】
請求項３に記載の電子カメラにおいて、
前記制御部は、撮影モードの設定が前記発光部の発光を禁止する状態のときに前記第２演算部の動作をオフにすることを特徴とする電子カメラ。
【請求項５】
請求項３に記載の電子カメラにおいて、
前記第１演算部および前記第２演算部の動作の設定入力をユーザーから受け付ける操作部をさらに備え、
前記制御部は、前記第１演算部および前記第２演算部の動作のオン／オフを前記設定入力に基づいて変更することを特徴とする電子カメラ。
【請求項６】
請求項１から請求項３のいずれか１項に記載の電子カメラにおいて、
前記撮影画像から前記主要被写体の特徴部分を検出して、前記撮影画像における前記主要被写体の概略位置を推定する被写体認識部をさらに備え、
前記領域分割部は、前記被写体認識部の出力に基づいて、前記第１部分領域の範囲および前記第２部分領域の範囲を決定することを特徴とする電子カメラ。
【請求項７】
請求項６に記載の電子カメラにおいて、
前記被写体認識部は、前記撮影画像から人間の顔を検出することを特徴とする電子カメラ。
【請求項８】
請求項７に記載の電子カメラにおいて、
前記領域分割部は、前記第１部分領域の範囲の大きさを、前記被写体認識部の検出した顔の大きさに比例させて決定することを特徴とする電子カメラ。
【請求項９】
請求項１から請求項３のいずれか１項に記載の電子カメラにおいて、
前記主要被写体の概略位置を指定する指定入力を前記ユーザーから受け付ける操作部をさらに備え、
前記領域分割部は、前記第１部分領域の範囲および前記第２部分領域の範囲を前記指定入力に基づいて決定することを特徴とする電子カメラ。
【請求項１０】
請求項１から請求項３のいずれか１項に記載の電子カメラにおいて、
前記撮像部は、記録用の本画像と、前記本画像よりも解像度の低いスルー画像とを撮影し、
前記領域分割部、前記第１演算部および前記第２演算部は、前記本画像もしくは前記スルー画像のデータに対して各々の処理を実行し、
前記被写体抽出部は、前記スルー画像と対応する前記本画像から前記主要被写体を抽出することを特徴とする電子カメラ。
【請求項１１】
請求項１０に記載の電子カメラにおいて、
前記第１部分領域の範囲をユーザーに認知させる表示とともに、前記スルー画像を表示するモニタをさらに備えることを特徴とする電子カメラ。
【請求項１２】
請求項１から請求項３のいずれか１項に記載の電子カメラにおいて、
前記被写体抽出部による前記主要被写体の抽出範囲に基づいて、前記撮影画像のデータに対して画像処理を施す画像処理部をさらに備えることを特徴とする電子カメラ。
【請求項１３】
請求項１２に記載の電子カメラにおいて、
前記画像処理部は、前記撮影画像から前記主要被写体の抽出範囲を除いた背景領域のボケ度合いを大きくするボケ強調処理を施すことを特徴とする電子カメラ。
【請求項１４】
請求項１から請求項３のいずれか１項に記載の電子カメラにおいて、
前記被写体抽出部による前記主要被写体の抽出範囲に基づいて、前記撮像部の撮影条件を決定する撮影条件決定部をさらに備えることを特徴とする電子カメラ。
【請求項１５】
請求項１から請求項３のいずれか１項に記載の電子カメラにおいて、
前記被写体抽出部による前記主要被写体の抽出範囲のデータを、前記撮影画像のデータとともに記録する記録部をさらに備えることを特徴とする電子カメラ。
【請求項１６】
被写体像を撮影した撮影画像のデータを読み込むデータ読込部と、
前記撮影画像において、主要被写体を含んだ第１部分領域の範囲と、前記第１部分領域を除いた第２部分領域の範囲とを決定する領域分割部と、
前記第１部分領域のデータの空間周波数を解析する第１演算部と、
前記第１演算部の演算結果に基づいて、前記撮影画像の前記第１部分領域の範囲から前記主要被写体を抽出する被写体抽出部と、
を備えることを特徴とする画像処理装置。
【請求項１７】
被写体に対して光を照射して撮影した第１撮影画像のデータと、前記被写体に対して光を照射せずに撮影した第２撮影画像のデータとを読み込むデータ読込部と、
前記第１撮影画像および前記第２撮影画像において、主要被写体を含んだ第１部分領域の範囲と、前記第１部分領域を除いた第２部分領域の範囲とそれぞれを決定する領域分割部と、
前記第１撮影画像の前記第１部分領域と前記第２撮影画像の前記第１部分領域との明るさの差分および明るさの比率の少なくとも一方を求める第２演算部と、
前記第２演算部の演算結果に基づいて、前記第１撮影画像および前記第２撮影画像の少なくとも一方の前記第１部分領域の範囲から前記主要被写体を抽出する被写体抽出部と、
を備えることを特徴とする画像処理装置。
【請求項１８】
被写体像を撮影した撮影画像のデータと、前記撮影画像において主要被写体を含んだ第１部分領域の範囲を示すデータとを読み込むデータ読込部と、
前記撮影画像における前記第１部分領域のデータの空間周波数を解析する第１演算部と、
前記第１演算部の演算結果に基づいて、前記撮影画像の前記第１部分領域の範囲から前記主要被写体を抽出する被写体抽出部と、
を備えることを特徴とする画像処理装置。
【請求項１９】
被写体に対して光を照射して撮影した第１撮影画像のデータと、前記被写体に対して光を照射せずに撮影した第２撮影画像のデータと、前記第１撮影画像および前記第２撮影画像において主要被写体を含んだ第１部分領域の範囲を示すデータとを読み込むデータ読込部と、
前記第１撮影画像の前記第１部分領域と前記第２撮影画像の前記第１部分領域との明るさの差分および明るさの比率の少なくとも一方を求める第２演算部と、
前記第２演算部の演算結果に基づいて、前記第１撮影画像および前記第２撮影画像の少なくとも一方の前記第１部分領域の範囲から前記主要被写体を抽出する被写体抽出部と、
を備えることを特徴とする画像処理装置。
【請求項２０】
画像処理装置の制御部のプログラムであって、
被写体像を撮影した撮影画像のデータを前記制御部に読み込むステップと、
前記撮影画像において、主要被写体を含んだ第１部分領域の範囲と、前記第１部分領域を除いた第２部分領域の範囲とを決定するステップと、
前記第１部分領域のデータの空間周波数を解析するステップと、
前記第１演算部の演算結果に基づいて、前記撮影画像の前記第１部分領域の範囲から前記主要被写体を抽出するステップと、
を前記制御部に実行させることを特徴とするプログラム。
【請求項２１】
画像処理装置の制御部のプログラムであって、
被写体に対して光を照射して撮影した第１撮影画像のデータと、前記被写体に対して光を照射せずに撮影した第２撮影画像のデータとを前記制御部に読み込むステップと、
前記第１撮影画像および前記第２撮影画像において、主要被写体を含んだ第１部分領域の範囲と、前記第１部分領域を除いた第２部分領域の範囲とそれぞれを決定するステップと、
前記第１撮影画像の前記第１部分領域と前記第２撮影画像の前記第１部分領域との明るさの差分および明るさの比率の少なくとも一方を求めるステップと、
前記第２演算部の演算結果に基づいて、前記第１撮影画像および前記第２撮影画像の少なくとも一方の前記第１部分領域の範囲から前記主要被写体を抽出するステップと、
を前記制御部に実行させることを特徴とするプログラム。
【請求項２２】
画像処理装置の制御部のプログラムであって、
被写体像を撮影した撮影画像のデータと、前記撮影画像において主要被写体を含んだ第１部分領域の範囲を示すデータとを前記制御部に読み込むステップと、
前記撮影画像における前記第１部分領域のデータの空間周波数を解析するステップと、
前記第１演算部の演算結果に基づいて、前記撮影画像の前記第１部分領域の範囲から前記主要被写体を抽出するステップと、
を前記制御部に実行させることを特徴とするプログラム。
【請求項２３】
画像処理装置の制御部のプログラムであって、
被写体に対して光を照射して撮影した第１撮影画像のデータと、前記被写体に対して光を照射せずに撮影した第２撮影画像のデータと、前記第１撮影画像および前記第２撮影画像において主要被写体を含んだ第１部分領域の範囲を示すデータとを前記制御部に読み込むステップと、
前記第１撮影画像の前記第１部分領域と前記第２撮影画像の前記第１部分領域との明るさの差分および明るさの比率の少なくとも一方を求めるステップと、
前記第２演算部の演算結果に基づいて、前記第１撮影画像および前記第２撮影画像の少なくとも一方の前記第１部分領域の範囲から前記主要被写体を抽出するステップと、
を前記制御部に実行させることを特徴とするプログラム。                                                                  
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像から主要被写体を抽出する機能を有する電子カメラ、画像処理装置および画像処理装置のプログラムに関する。
【背景技術】
【０００２】
従来から、電子カメラの撮影画像から主要被写体を抽出する技術については数多くの方法が提案されている。例えば、従来技術の一例として、特許文献１には輝度信号レベルの変化によるエッジ抽出処理によって、撮影画像中の主要被写体を検出する技術が開示されている。
【特許文献１】特開平９−２３３３８４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、従来技術では撮影画像全体を対象として被写体抽出処理を行なうため、プロセッサの演算量が非常に大きくなっていた。しかも、被写体抽出処理の対象となる撮影画像のサイズが大きくなると、１つの画像内に複数の類似する被写体が共存する可能性が高くなり、被写体抽出処理の精度が低下する傾向がある。その結果、従来技術では、撮影画像から被写体を高い精度で迅速に抽出することが非常に困難であり、その改善が要望されていた。
【０００４】
本発明は上記従来技術の課題を解決するためのものである。本発明の目的は、撮影画像から被写体を高い精度で迅速に抽出できる手段を提供することである。
【課題を解決するための手段】
【０００５】
第１の発明の電子カメラは、撮像部と、領域分割部と、第１演算部と、被写体抽出部とを備える。撮像部は、被写体像を撮影して撮影画像のデータを生成する。領域分割部は、撮影画像において、主要被写体を含んだ第１部分領域の範囲と、第１部分領域を除いた第２部分領域の範囲とを決定する。第１演算部は、第１部分領域のデータの空間周波数を解析する。被写体抽出部は、第１演算部の演算結果に基づいて、撮影画像の第１部分領域の範囲から主要被写体を抽出する。
【０００６】
第２の発明の電子カメラは、撮像部と、発光部と、領域分割部と、第２演算部と、被写体抽出部とを備える。撮像部は、被写体像を撮影して撮影画像のデータを生成する。発光部は、被写体に対して光を照射する。領域分割部は、撮影画像において、主要被写体を含んだ第１部分領域の範囲と、第１部分領域を除いた第２部分領域の範囲とを決定する。第２演算部は、発光部を発光させて取得した第１撮影画像と発光部を発光させずに取得した第２撮影画像と基づいて、第１撮影画像の第１部分領域と第２撮影画像の第１部分領域との明るさの差分および明るさの比率の少なくとも一方を求める。被写体抽出部は、第２演算部の演算結果に基づいて、撮影画像の第１部分領域の範囲から主要被写体を抽出する。
【０００７】
第３の発明の電子カメラは、撮像部と、発光部と、領域分割部と、第１演算部と、第２演算部と、被写体抽出部と、制御部とを備える。撮像部は、被写体像を撮影して撮影画像のデータを生成する。発光部は、被写体に対して光を照射する。領域分割部は、撮影画像において、主要被写体を含んだ第１部分領域の範囲と、第１部分領域を除いた第２部分領域の範囲とを決定する。第１演算部は、第１部分領域のデータの空間周波数を解析する。第２演算部は、発光部を発光させて取得した第１撮影画像と発光部を発光させずに取得した第２撮影画像と基づいて、第１撮影画像の第１部分領域と第２撮影画像の第１部分領域との明るさの差分および明るさの比率の少なくとも一方を求める。被写体抽出部は、第１演算部および第２演算部の少なくとも一方の演算結果に基づいて、撮影画像の第１部分領域の範囲から主要被写体を抽出する。制御部は、第１演算部および第２演算部の動作のオン／オフをそれぞれ変更する。
【０００８】
第４の発明は、第３の発明において、制御部は、撮影モードの設定が発光部の発光を禁止する状態のときに第２演算部の動作をオフにする。
第５の発明は、第３の発明において、電子カメラが操作部をさらに備える。操作部は、第１演算部および第２演算部の動作の設定入力をユーザーから受け付ける。そして、制御部は、第１演算部および第２演算部の動作のオン／オフを設定入力に基づいて変更する。
【０００９】
第６の発明は、第１から第３のいずれかの発明において、電子カメラが被写体認識部をさらに備える。被写体認識部は、撮影画像から主要被写体の特徴部分を検出して、撮影画像における主要被写体の概略位置を推定する。そして、領域分割部は、被写体認識部の出力に基づいて、第１部分領域の範囲および第２部分領域の範囲を決定する。
第７の発明は、第６の発明において、被写体認識部は、撮影画像から人間の顔を検出する。
【００１０】
第８の発明は、第７の発明において、領域分割部は、第１部分領域の範囲の大きさを、被写体認識部の検出した顔の大きさに比例させて決定する。
第９の発明は、第１から第３のいずれかの発明において、電子カメラが操作部をさらに備える。操作部は、主要被写体の概略位置を指定する指定入力をユーザーから受け付ける。そして、領域分割部は、第１部分領域の範囲および第２部分領域の範囲を指定入力に基づいて決定する。
【００１１】
第１０の発明は、第１から第３のいずれかの発明において、撮像部は、記録用の本画像と、本画像よりも解像度の低いスルー画像とを撮影する。領域分割部、第１演算部および第２演算部は、本画像もしくはスルー画像のデータに対して各々の処理を実行する。そして、被写体抽出部は、スルー画像と対応する本画像から主要被写体を抽出する。
第１１の発明は、第１０の発明において、電子カメラがモニタをさらに備える。モニタは、第１部分領域の範囲をユーザーに認知させる表示とともに、スルー画像を表示する。
【００１２】
第１２の発明は、第１から第３のいずれかの発明において、電子カメラが画像処理部をさらに備える。画像処理部は、被写体抽出部による主要被写体の抽出範囲に基づいて、撮影画像のデータに対して画像処理を施す。
第１３の発明は、第１２の発明において、画像処理部は、撮影画像から主要被写体の抽出範囲を除いた背景領域のボケ度合いを大きくするボケ強調処理を施す。
【００１３】
第１４の発明は、第１から第３のいずれかの発明において、電子カメラが撮影条件決定部をさらに備える。撮影条件決定部は、被写体抽出部による主要被写体の抽出範囲に基づいて、撮像部の撮影条件を決定する。
第１５の発明は、第１から第３のいずれかの発明において、電子カメラが記録部をさらに備える。記録部は、被写体抽出部による主要被写体の抽出範囲のデータを、撮影画像のデータとともに記録する。
【００１４】
第１６の発明の画像処理装置は、データ読込部と、領域分割部と、第１演算部と、被写体抽出部とを備える。データ読込部は、被写体像を撮影した撮影画像のデータを読み込む。領域分割部は、撮影画像において、主要被写体を含んだ第１部分領域の範囲と、第１部分領域を除いた第２部分領域の範囲とを決定する。第１演算部は、第１部分領域のデータの空間周波数を解析する。被写体抽出部は、第１演算部の演算結果に基づいて、撮影画像の第１部分領域の範囲から主要被写体を抽出する。
【００１５】
第１７の発明の画像処理装置は、データ読込部と、領域分割部と、第２演算部と、被写体抽出部とを備える。データ読込部は、被写体に対して光を照射して撮影した第１撮影画像のデータと、被写体に対して光を照射せずに撮影した第２撮影画像のデータとを読み込む。領域分割部は、第１撮影画像および第２撮影画像において、主要被写体を含んだ第１部分領域の範囲と、第１部分領域を除いた第２部分領域の範囲とそれぞれを決定する。第２演算部は、第１撮影画像の第１部分領域と第２撮影画像の第１部分領域との明るさの差分および明るさの比率の少なくとも一方を求める。被写体抽出部は、第２演算部の演算結果に基づいて、第１撮影画像および第２撮影画像の少なくとも一方の第１部分領域の範囲から主要被写体を抽出する。
【００１６】
第１８の発明の画像処理装置は、データ読込部と、第１演算部と、被写体抽出部とを備える。データ読込部は、被写体像を撮影した撮影画像のデータと、撮影画像において主要被写体を含んだ第１部分領域の範囲を示すデータとを読み込む。第１演算部は、撮影画像における部分領域のデータの空間周波数を解析する。被写体抽出部は、第１演算部の演算結果に基づいて、撮影画像の第１部分領域の範囲から主要被写体を抽出する。
【００１７】
第１９の発明の画像処理装置は、データ読込部と、第２演算部と、被写体抽出部とを備える。データ読込部は、被写体に対して光を照射して撮影した第１撮影画像のデータと、被写体に対して光を照射せずに撮影した第２撮影画像のデータと、第１撮影画像および第２撮影画像において主要被写体を含んだ第１部分領域の範囲を示すデータとを読み込む。第２演算部は、第１撮影画像の第１部分領域と第２撮影画像の第１部分領域との明るさの差分および明るさの比率の少なくとも一方を求める。被写体抽出部は、第２演算部の演算結果に基づいて、第１撮影画像および第２撮影画像の少なくとも一方の第１部分領域の範囲から主要被写体を抽出する。
【００１８】
なお、上記の画像処理装置に関する構成をプログラム、画像処理方法、記録媒体などに変換して表現したものも本発明の具体的態様として有効である。
【発明の効果】
【００１９】
本発明の電子カメラまたは画像処理装置によれば、撮影画像から被写体を高い精度で迅速に抽出できる。
【発明を実施するための最良の形態】
【００２０】
（第１実施形態の説明）
図１は第１実施形態の電子カメラの構成を示すブロック図である。
電子カメラは、撮影レンズ１１と、レンズ駆動部１２と、撮像素子１３と、アナログ処理部１４と、メモリ１５と、画像処理部１６と、圧縮伸長処理部１７と、記録Ｉ／Ｆ１８と、外部Ｉ／Ｆ１９と、通信部２０と、発光部２１と、操作部２２と、モニタ２３と、ＣＰＵ２４およびシステムバス２５とを有している。なお、メモリ１５、画像処理部１６、圧縮伸長処理部１７、記録Ｉ／Ｆ１８、外部Ｉ／Ｆ１９、通信部２０、モニタ２３およびＣＰＵ２４は、システムバス２５を介して接続されている。
【００２１】
撮影レンズ１１は、ズームレンズと合焦位置調節用のフォーカシングレンズとを含む複数のレンズ群で構成されている。撮影レンズ１１の位置はレンズ駆動部１２によって光軸方向に駆動調整される。なお、レンズ駆動部１２の入出力はＣＰＵ２４と接続されている。
撮像素子１３は、撮影レンズ１１を通過した光束を光電変換して被写体像のアナログ画像信号を生成する。被写体の撮影を行う撮影モードでは、撮像素子１３は、撮影時に記録用画像（本画像）を撮影するとともに、撮影待機時にも所定間隔毎に間引き読み出しでスルー画像を出力する。上記のスルー画像のデータは、ＣＰＵ２４による各種の演算処理やモニタ２３での表示などに使用される。
【００２２】
アナログ処理部１４は、撮像素子１３の出力に対してアナログ信号処理を施すアナログフロントエンド回路である。このアナログ処理部１４は、ＣＤＳ回路、ゲイン回路、Ａ／Ｄ変換回路を内部に有している。アナログ処理部１４のＣＤＳ回路は、相関二重サンプリングによって撮像素子１３の出力のノイズ成分を低減する。アナログ処理部１４のゲイン回路は、ＣＰＵ２４の指示に基づいて入力信号の利得を増幅する。上記のゲイン回路では、ＩＳＯ感度に相当する撮像感度の調整を行うことができる。また、アナログ処理部１４のＡ／Ｄ変換回路は、ゲイン回路から出力されたアナログ画像信号にＡ／Ｄ変換を行う。このＡ／Ｄ変換回路の出力はメモリ１５に接続されている。
【００２３】
メモリ１５は、後述の画像処理の前工程や後工程などで画像のデータを一時的に記録するためのバッファメモリである。
画像処理部１６は、上記の撮影モードにおいて撮影時のデジタル画像信号に各種の画像処理を施して本画像を生成する。また、画像処理部１６は、上記の撮影モードにおいて、ＣＰＵ２４の指示によりスルー画像の画像信号から表示用画像（ビュー画像）を生成する。一方、画像処理部１６は、予め撮影されている本画像のデータに後処理で画像処理を施すことも可能である。なお、画像処理部１６による画像処理の具体的な内容は後述する。
【００２４】
圧縮伸長処理部１７は解析部および圧縮部を有するＡＳＩＣである（解析部および圧縮部の個別的な図示は省略する）。圧縮伸長処理部１７の解析部では、撮影画像のデータに対して空間周波数の解析を行う。一方、圧縮伸長処理部１７の圧縮部は、ＪＰＥＧ（Joint Photographic Experts Group）形式による圧縮伸長処理を実行する。
ここで、電子カメラの被写体抽出処理（第１抽出処理）では、解析部による空間周波数の解析処理を利用することができる。なお、解析部が被写体抽出のために空間周波数解析を行なう場合には、圧縮部による画像データの圧縮処理は必ずしも必要でない。すなわち、被写体抽出処理に必要なのは空間周波数の解析結果であり、画像データの圧縮処理は不要である。したがって、被写体抽出処理の場合には圧縮伸長処理部１７の出力するデータは、後述の記録媒体２６などには記録されない。
【００２５】
記録Ｉ／Ｆ１８には記録媒体２６を接続するためのコネクタが形成されている。そして、記録Ｉ／Ｆ１８は、コネクタに接続された記録媒体２６に対して本画像データなどの書き込み／読み込みを実行する。上記の記録媒体２６は、ハードディスクや半導体メモリを内蔵したメモリカードなどで構成される。なお、図１では記録媒体２６の一例としてメモリカードを図示する。
【００２６】
外部Ｉ／Ｆ１９は、ＵＳＢ（Universal Serial Bus）などのシリアル通信規格の接続端子を有している。そして、外部Ｉ／Ｆ１９は、接続端子を介して接続された外部装置（コンピュータなど）とのデータ送受信を上記の通信規格に準拠して制御する。
通信部２０は、無線ＬＡＮの標準規格ＩＥＥＥ８０２．１１やＢｌｕｅｔｏｏｔｈ（登録商標）などの公知の無線通信規格に規定された仕様に準拠して、外部装置との通信を制御する。例えば、撮影画像のデータを外部装置に送信する場合、通信部２０は撮影画像のデータを無線通信可能なデータに変換するとともに、変換後のデータを外部装置に送信する。
【００２７】
発光部２１は、ＣＰＵ２４の指示に応じて被写体に対して撮影時に閃光を照射する。この発光部２１は、例えば、キセノン発光管、発光のエネルギを蓄えるメインコンデンサ、閃光を被写体に効率良く照射するための反射傘やレンズ部材、発光制御回路などから構成されている。
操作部２２はレリーズ釦、モードダイヤル、操作釦などを備えている。操作部２２のレリーズ釦は露光動作開始の指示入力をユーザーから受け付ける。操作部２２のモードダイヤルは、電子カメラの撮影モードの切換入力をユーザーから受け付ける。操作部２２の操作釦は、例えば十字キーなどで構成されている。この操作釦は、後述のメニュー画面での設定入力や、後述の被写体抽出処理での範囲指定入力をユーザーから受け付ける。
【００２８】
モニタ２３は、ＣＰＵ２４の指示に応じて各種画像を表示する。本実施形態でのモニタ２３は液晶モニタで構成されている。このモニタ２３には、撮影モードでの撮影待機時にビュー画像が動画表示される。また、モニタ２３は、オンスクリーン機能によって、撮影に必要となる各種情報の表示（例えば、後述の顔検出処理で検出された顔領域の枠表示や、後述の被写体抽出処理での各種情報など）をビュー画像に重畳表示させることができる。
【００２９】
さらに、モニタ２３には、ＧＵＩ(Graphical User Interface)形式の入力が可能なメニュー画面なども表示できる。上記のメニュー画面では、後述の被写体抽出処理の各種設定をＣＰＵ２４に入力することができる。例えば、ユーサーは、被写体抽出処理のオン／オフ、被写体抽出処理における第１抽出処理（空間周波数解析）および第２抽出処理（２画像間の明るさの解析）の各々のオン／オフ、画像処理のオン／オフなどをメニュー画面で設定できる。なお、上記のメニュー画面での表示処理などはＣＰＵ２４がプログラムに基づいて実行する（メニュー画面の図示は省略する）。
【００３０】
ＣＰＵ２４は、操作部２２のモードダイヤルや上記のメニュー画面で選択されたモードに応じて、電子カメラの各部動作を制御する。また、ＣＰＵ２４は、後述の被写体抽出処理に必要となる各種演算を実行する。さらに、本実施形態のＣＰＵ２４は、撮影条件決定部２７、顔検出部２８としても機能する。
撮影条件決定部２７は、スルー画像のデータに基づいてコントラスト検出方式で公知のオートフォーカス（ＡＦ）を行う。また、撮影条件決定部２７は、スルー画像のデータに基づいて自動露出（ＡＥ）演算や、オートホワイトバランス（ＡＷＢ）演算を実行する。
【００３１】
顔検出部２８は、スルー画像または本画像のデータから被写体の顔領域、顔の大きさ等を検出する。例えば、顔検出部２８は、特開２００１−１６５７３号公報などに記載された特徴点抽出処理によって顔領域を抽出する。上記の特徴点としては、例えば、眉、目、鼻、唇の各端点、顔の輪郭点、頭頂点や顎の下端点などが挙げられる。あるいは、顔検出部２８は、特開平８−６３５９７号公報のように、被写体の色情報に基いて肌色領域の輪郭を抽出し、さらに予め用意された顔部品のテンプレートとのマッチングを行って顔領域を検出してもよい。
【００３２】
以下、第１実施形態の電子カメラにおける撮影時のＣＰＵ２４の動作を、図２の流れ図を参照しつつ説明する。
ステップ１０１：ＣＰＵ２４は、撮像素子１３を駆動させてスルー画像の取得を開始する。撮像素子１３は所定間隔毎に間引き読み出しでスルー画像の画像信号を取得する。画像処理部１６はスルー画像のデータに基づいてビュー画像を逐次生成する。そして、撮影待機時のモニタ２３にはビュー画像が動画表示される。したがって、ユーザーはモニタ２３のビュー画像によって、撮影構図を決定するためのフレーミングを行うことができる。
【００３３】
ステップ１０２：ＣＰＵ２４は、撮影画面に対応するスルー画像において、第１部分領域の範囲と第２部分領域の範囲とを決定する。これにより、撮影画面は、第１部分領域の範囲と第２部分領域の範囲とで２分割されることとなる。
第１部分領域は、後述の被写体抽出処理の演算対象となる画像であって、抽出対象となる主要被写体の全体が含まれるようにその外縁が決定される。すなわち、第１部分領域の範囲には、抽出対象となる主要被写体の全体が含まれている。また、第２部分領域は、上記の撮影画面から第１部分領域の範囲を除いた残りの範囲の画像である。この第２部分領域は主要被写体を含まないため、後述の被写体抽出処理の演算対象となることはない。
【００３４】
ここで、Ｓ１０２において、ＣＰＵ２４は以下の（１）から（３）のいずれかの方法で第１部分領域および第２部分領域の範囲を決定する。
（１）ＣＰＵ２４の顔検出部２８はスルー画像に対して顔検出処理を実行する。そして、ＣＰＵ２４は、検出された顔領域の位置に基づいて主要被写体の概略位置を推定し、第１部分領域の範囲を決定する。この場合は、人が主要被写体となる可能性が高いからである。そして、この場合には、顔検出の結果に応じて第１部分領域の範囲が自動的に設定されるので、電子カメラの操作性が大幅に向上する。
【００３５】
なお、顔が複数検出された場合、ＣＰＵ２４は、最もサイズが大きく至近側にあると推定される顔領域か、最も中央寄りに位置する顔領域のいずれかを基準として第１部分領域の範囲を決定する。
以下、顔検出による第１部分領域の範囲の決定方法をより具体的に説明する。
まず、ＣＰＵ２４は顔検出処理を実行する。そして、ＣＰＵ２４は各々の特徴点や顔のパーツなどの位置関係から顔のサイズと顔の上下方向とを求める。このとき、ＣＰＵ２４はモニタ２３のビュー画像において主要被写体の顔の位置に矩形の枠を重畳して表示する（図３参照）。
【００３６】
また、撮影画面上の顔が大きすぎる場合または小さすぎる場合のように、人物全体を抽出する被写体抽出処理に適さないシーンでは、ＣＰＵ２４はユーザーに対して警告を行う。この警告の有無によって、ユーザーは被写体抽出処理に適した撮影構図か否かを容易に判断できる。そのため、電子カメラの使い勝手はより良好なものとなる。なお、上記の警告の方法としては、例えば、モニタ２３上に警告表示を重畳表示するものや、音声や振動でユーザーに警告を通知するものなどが挙げられる（モニタ２３上での警告表示の図示は省略する）。
【００３７】
次に、ＣＰＵ２４は、主要被写体の顔の位置と顔の上下方向とに基づいて、第１部分領域の候補領域を仮設定する。図４の例では、第１部分領域の候補領域は人型の形状となっている。また、ＣＰＵ２４は、上記の候補領域の大きさを主要被写体の顔のサイズに比例させて拡大または縮小する。その後、ＣＰＵ２４は上記の候補領域を第１部分領域の範囲に設定する。ここで、図４（ａ）では、図３に対応するシーンでの第１部分領域の範囲を示す。また、図４（ｂ）では、図４（ａ）よりも人物の顔が大きいシーンでの第１部分領域の範囲を示す。
【００３８】
（２）ＣＰＵ２４は操作部２２から主要被写体の概略位置をマニュアルで指定する指定入力をユーザーから受け付ける。そして、ＣＰＵ２４は、上記の指定入力に基づいて第１部分領域の範囲を決定する。この場合には、ユーザー自身で選択した第１部分領域によって、被写体抽出処理が行われることとなる。
一例として、ＣＰＵ２４がモニタ２３のビュー画像上に、例えば矩形、円形、楕円形などの形状の候補領域を重畳表示する。ユーザーは操作部２２の操作釦で候補領域のサイズ変更および移動を行なう。そして、第１部分領域の範囲として候補領域が所望の位置および大きさとなったときに、ユーザーは候補領域を第１部分領域の範囲とする指定入力をＣＰＵ２４に対して行う。
【００３９】
（３）撮影構図を決めるための構図補助フレームをモニタ２３のビュー画像に重畳表示した状態で撮影を行なう場合には、構図補助フレームの位置に基づいて第１部分領域の範囲を決定する。この場合には、構図補助フレーム内に主要被写体が位置していると考えられるからである。なお、ＣＰＵ２４は、第１部分領域の範囲と構図補助フレームの範囲とを一致させてもよく、第１部分領域の範囲を構図補助フレームの範囲よりも広く設定してもよい。
【００４０】
ステップ１０３：ＣＰＵ２４は、Ｓ１０２で決定された第１部分領域の範囲を示す表示を、モニタ２３のビュー画像に重畳して表示する。これにより、Ｓ１０２で決定された第１部分領域の範囲をユーザーが確認できる。そして、第１部分領域の範囲が不適切な場合には、ユーザーによって撮影構図の変更や第１部分領域の範囲の再設定などが行われることとなる。
【００４１】
ここで、Ｓ１０３での表示では、ＣＰＵ２４は第１部分領域の外縁部を枠で囲って示してもよい。あるいは、ＣＰＵ２４は、第１部分領域と第２部分領域との範囲で色や明るさの表示状態を変化させた画像を表示してもよい。なお、図５では、図４（ａ）に対応する第１部分領域の範囲をビュー画像において枠表示した例を示している。
ステップ１０４：ＣＰＵ２４はレリーズ釦が半押しされたか否かを判定する。レリーズ釦が半押しされた場合（ＹＥＳ側）にはＳ１０５に移行する。一方、レリーズ釦が半押しされていない場合（ＮＯ側）には、ＣＰＵ２４はＳ１０２に戻って上記動作を繰り返す。
【００４２】
ステップ１０５：ＣＰＵ２４は、第１部分領域に対する被写体抽出処理を省略するか否かを判定する。例えば、メニュー画面で被写体抽出処理の項目がオフに設定されている場合には、ＣＰＵ２４は上記判定において、第１部分領域の被写体抽出処理を省略する判定を行う。
第１部分領域に対する被写体抽出処理を省略する場合（ＹＥＳ側）にはＳ１０６に移行する。一方、第１部分領域に対して被写体抽出処理を実行する場合（ＮＯ側）にはＳ１０８に移行する。
【００４３】
ステップ１０６：ＣＰＵ２４の撮影条件決定部２７は、第１部分領域の範囲内にあるＡＦエリアを基準としてＡＦを実行する。また、ＣＰＵ２４の撮影条件決定部２７は、第１部分領域に対応するスルー画像のデータに基づいてＡＥ演算およびＡＷＢ演算を実行し、撮影条件（露光時間、絞り値、撮像感度）を決定する。なお、顔検出処理とともに主要被写体の顔を基準として顔認識ＡＦを行っている場合には、ＣＰＵ２４はレリーズ釦の半押しによってＡＦロックを行う。
【００４４】
ステップ１０７：ＣＰＵ２４は、レリーズ釦の全押しに応じて被写体を撮影する。そして、ＣＰＵ２４は、画像処理部１６に本画像のデータを生成させる。そして、本画像のデータは最終的に記録媒体２６に記録される。このＳ１０７の場合には、第１部分領域に対する被写体抽出処理を行うことなく撮影動作が終了する。
なお、Ｓ１０７において、ＣＰＵ２４は、上記の第１部分領域の範囲と第２部分領域の範囲とを示す付属データを、本画像のデータに記録するようにしてもよい。上記の付属データは、例えばＥｘｉｆ（Exchangeable image file format for digital still cameras）規格のＭａｋｅｒＮｏｔｅタグを利用して記録される。この本画像のデータによれば、画像処理装置などで後述の被写体抽出処理を事後的に実行することが容易となる。
【００４５】
ステップ１０８：この場合には、ＣＰＵ２４は、後述の第１抽出処理（空間周波数解析）のみで第１部分領域の範囲から主要被写体を抽出するか否かを判定する。すなわち、Ｓ１０８では、被写体抽出処理で後述の第２抽出処理を省略するか否かをＣＰＵ２４が判定する。
例えば、（１）メニュー画面で第２抽出処理の項目がオフに設定されている場合、（２）発光部２１の発光を禁止する撮影モードが選択されている場合、（３）電子カメラのバッテリーレベルが閾値以下の場合のいずれかに該当するときに、ＣＰＵ２４は上記判定において第２抽出処理を省略する判定を行う。
【００４６】
第１抽出処理のみで被写体抽出処理を行う場合（ＹＥＳ側）にはＳ１０９に移行する。一方、第２抽出処理を伴う被写体抽出処理を行う場合（ＮＯ側）にはＳ１１０に移行する。
ステップ１０９：ＣＰＵ２４は、圧縮伸長処理部１７を用いた周波数解析（第１抽出処理）によって第１部分領域から主要被写体を抽出する。なお、Ｓ１０９の処理後には、ＣＰＵ２４はＳ１１３に移行する。
【００４７】
このＳ１０９の第１抽出処理では、まず、ＣＰＵ２４はスルー画像の第１部分領域を８×８画素程度の画素ブロックに分割する。次に、圧縮伸長処理部１７は、ＣＰＵ２４の指示によって、上記の各々の画素ブロックに離散コサイン変換（ＤＣＴ）処理を施し、各々の画素ブロック毎のＤＣＴ係数を取得する。ＣＰＵ２４は、第１部分領域の画素ブロックのうちから主要被写体の輪郭を構成する画素ブロックを抽出する。
【００４８】
ここで、上記のＤＣＴ係数と主要被写体の抽出処理との関係について簡単に説明する。図６はモノクロ画像における輪郭部分での階調変化を示す図である。図６（ａ）のように明暗の変化が急峻な場合（輪郭が明確な画像）には、画像データに高域空間周波数成分が多く含まれる。そのため、図６（ａ）に対応する画像から得たＤＣＴ係数は高い空間周波数まで０でない値を有する。
【００４９】
一方、図６（ｂ）のように明暗の変化がなだらかな場合（輪郭を含まない画像）は、図６（ａ）の場合と比べて画像データから高域空間周波数成分が少なくなる。図６（ｂ）に対応する画像から得たＤＣＴ係数の値は、図６（ａ）の場合よりも低い空間周波数成分から０となる。したがって、ＣＰＵ２４は、各周波数成分に対するＤＣＴ係数の分布に着目し、高域周波数成分に対応するＤＣＴ係数が０値ではない画素ブロックを主要被写体の輪郭として抽出する。なお、ＣＰＵ２４は、画像の色差および明度などの情報に基づいて輪郭で仕切られた各々の領域をグループ化するようにしてもよい。
【００５０】
ステップ１１０：この場合には、ＣＰＵ２４は、被写体抽出処理で第１抽出処理を省略するか否かを判定する。具体的には、メニュー画面で第１抽出処理の項目がオフに設定されている場合には、ＣＰＵ２４は上記判定において第１抽出処理を省略する判定を行う。第１抽出処理を省略する場合（ＹＥＳ側）にはＳ１１１に移行する。一方、被写体抽出処理で第１抽出処理および第２抽出処理の両方を行う場合（ＮＯ側）にはＳ１１２に移行する。
【００５１】
ステップ１１１：ＣＰＵ２４は、発光部２１の発光状態を変化させて撮影した２画像間の明るさの解析（第２抽出処理）によって、第１部分領域から主要被写体を抽出する。なお、Ｓ１１１の処理後には、ＣＰＵ２４はＳ１１３に移行する。
このＳ１１１の第２抽出処理では、ＣＰＵ２４は発光部２１を発光させた状態と発光させない状態とで略同一の被写体を撮影した画像をそれぞれ取得する。説明の便宜上、発光部２１を発光させて撮影した画像を第１撮影画像と定義する。また、発光部２１を発光させずに撮影したスルー画像を第２撮影画像と定義する。この第１実施形態では、第１撮影画像および第２撮影画像はいずれもスルー画像である。
【００５２】
次に、ＣＰＵ２４は以下の（１）または（２）の方法によって第１部分領域から主要被写体を抽出する（図７参照）。
（１）ＣＰＵ２４は、第１撮影画像および第２撮影画像の第１部分領域において、明るさの差分値を画素毎に演算する。そして、ＣＰＵ２４は明るさの差分値に基づいて、第１撮影画像または第２撮影画像の第１部分領域から主要被写体を抽出する。
【００５３】
一般に発光撮影時の照度は光源からの距離の２乗に比例して小さくなる。すなわち、発光撮影時には主要被写体は明るく照射される一方で、主要被写体より遠くに位置する背景部分の明るさは低くなる。したがって、発光撮影時と非発光撮影時との明るさの差分値はカメラからの距離に応じて変化するので、かかる差分値を用いれば撮影画像から主要被写体を抽出できる。
【００５４】
（２）ＣＰＵ２４は、第１撮影画像および第２撮影画像の第１部分領域において、第１撮影画像の明るさと第２撮影画像の明るさとの比率を演算する。そして、ＣＰＵ２４は明るさの比率に基づいて、第１撮影画像または第２撮影画像の第１部分領域から主要被写体を抽出する。
上記（１）の差分値で被写体抽出を行うと、反射率の高い部分と低い部分とが隣接する被写体では抽出精度が低下することがある。例えば、黒髪の人物の顔を撮影する場合を考えると、黒髪の部分は反射率が低いので明るさの差分値が小さくなる一方で、顔の部分では相対的に反射率が高いことから明るさの差分値が大きくなる。従って、上記の場合には、人物が髪の部分と顔の部分とが同一の被写体として認識されない可能性がある。
【００５５】
ここで、第１撮影画像の明るさは、発光部２１による照明光と環境光との和に被写体の反射率を乗じた値（（照明光成分＋環境光成分）×反射率）となる。また、第２撮影画像の明るさは環境光に被写体の反射率を乗じた値（環境光成分×反射率）となる。すなわち、したがって、明るさの比率に基づいて被写体を抽出する場合には被写体の反射率が相殺される。したがって、上記のように反射率の高い部分と低い部分とが隣接する被写体についても高い精度で抽出することが可能となる。
【００５６】
ステップ１１２：この場合には、ＣＰＵ２４は、上記の第１抽出処理（Ｓ１０９）と第２抽出処理（Ｓ１１１）との両方を行って第１部分領域から主要被写体を抽出する。例えば、ＣＰＵ２４は、第１抽出処理および第２抽出処理のいずれか一方の処理で第１部分領域から主要被写体を絞り込んだ後に、他方の処理を行って抽出結果を補正して主要被写体の範囲を最終的に確定する。この場合には、主要被写体の抽出をより高い精度で行うことができる。
【００５７】
ステップ１１３：ＣＰＵ２４の撮影条件決定部２７は、第１部分領域において主要被写体の範囲内にあるＡＦエリアを基準としてＡＦを実行する。また、ＣＰＵ２４の撮影条件決定部２７は、上記の主要被写体の範囲に対応するスルー画像のデータに基づいてＡＥ演算およびＡＷＢ演算を実行し、撮影条件（露光時間、絞り値、撮像感度）を決定する。なお、顔検出処理とともに主要被写体の顔を基準として顔認識ＡＦを行っている場合には、ＣＰＵ２４はレリーズ釦の半押しによってＡＦロックを行う。
【００５８】
ステップ１１４：ＣＰＵ２４は、レリーズ釦の全押しに応じて被写体を撮影する。そして、ＣＰＵ２４は、画像処理部１６に本画像のデータを生成させる。
ステップ１１５：ＣＰＵ２４は、メニュー画面において被写体抽出処理が必要となる画像処理の項目がオンに設定されているか否かを判定する。上記項目の設定がオンの場合（ＹＥＳ側）にはＳ１１６に移行する。一方、上記項目の設定がいずれもオフの場合（ＮＯ側）にはＳ１１７に移行する。
【００５９】
ステップ１１６：ＣＰＵ２４は、被写体抽出処理の結果に基づいて、画像処理部１６に本画像のデータ（Ｓ１１４）の画像処理を実行させる。画像処理部１６は、主要被写体の範囲または主要被写体以外の範囲（背景領域）のいずれかに、メニュー画面の項目で設定された所定の画像処理を施す。その後、ＣＰＵ２４は本画像のデータを記録媒体２６などに記録する。以下、Ｓ１１６での画像処理の例を説明する。
【００６０】
（１）画像処理部１６は、本画像の背景領域に対して、画像のボケ度合いを大きくするボケ強調処理を実行する（図８参照）。具体的には、画像処理部１６は、本画像の背景領域に点拡がり関数（PSF:Point Spread Function）のフィルタを畳み込み演算する。これにより、背景のぼかしによって主要被写体が浮かび上がるように表現された画像を容易に得ることができる。
【００６１】
また、画像処理部１６は、本画像の主要被写体の範囲に対して、コントラストを強調する公知の補正処理（階調補正やエッジ強調フィルタ処理等）をさらに施すようにしてもよい。この場合には本画像の主要被写体が強調されるので、画像処理後の画像の立体感をさらに高めることができる。
（２）画像処理部１６は、本画像の主要被写体の範囲の彩度や明度を背景領域よりも高める補正を行う。この場合には、主要被写体の人物の肌色のくすみなどが軽減された好ましい撮影画像を得ることができる。あるいは、画像処理部１６は、本画像の主要被写体の範囲の彩度を下げる補正を行って、人物の肌を白く表現するようにしてもよい。
【００６２】
（３）画像処理部１６は、本画像の主要被写体の範囲には他の領域の階調曲線よりも相対的にコントラストが低めになる軟調の階調曲線の階調特性テーブルを適用する。この場合には、主要被写体の顔などに柔らかさのある好ましい撮影画像を得ることができる。
（４）画像処理部１６は、本画像の背景領域の範囲に、漫画などのキャラクタや、文字、図形などを合成する処理を実行する。あるいは、画像処理部１６は主要被写体の範囲のみをトリミングで抜き出して本画像のデータを生成してもよい。この場合には、娯楽性の高い撮影画像をユーザーに提供することができる。
【００６３】
ステップ１１７：ＣＰＵ２４は、被写体抽出処理で抽出した主要被写体の範囲を示す付属データを、本画像のデータとともに記録媒体２６などに記録する。上記の付属データは、例えばＥｘｉｆ規格のＭａｋｅｒＮｏｔｅタグを利用して記録される。この場合には、撮影後に付属データを利用することで、画像処理装置によってＳ１１６で説明したような画像の編集を容易に行うことが可能となる。以上で、図２の一連の動作説明を終了する。
【００６４】
なお、第１実施形態の電子カメラでは、画像処理装置で第２抽出処理（Ｓ１１１）を事後的に行う場合を考慮して、第１撮影画像および第２撮影画像にそれぞれ対応する２つの本画像のデータを含む画像ファイルも生成することもできる。また、上記の画像ファイルには、第１部分領域の範囲と第２部分領域の範囲とを示す付属データとを対応付けして記録するようにしてもよい。
【００６５】
以下、第１実施形態の効果を説明する。
第１実施形態の電子カメラでは、撮影画像の第１部分領域に対して被写体抽出処理を施す。そのため、撮影画像全体に被写体抽出処理を行なう場合と比べて、主要被写体を高い精度で迅速に抽出できる。そして、第１実施形態の電子カメラでは、上記の被写体抽出処理を利用して、例えば、ポートレート撮影調の本画像などを画像処理によって容易に得ることができる。
【００６６】
（第２実施形態の説明）
図９は、第２実施形態での電子カメラによる画像処理を説明する流れ図である。第２実施形態では、第１実施形態と同じ構成の電子カメラが画像処理装置として機能し、予め撮影されている本画像のデータを読み込んで被写体抽出処理を行う例を説明する。なお、第２実施形態での電子カメラの構成は第１実施形態と共通するため重複説明を省略する。
【００６７】
ステップ２０１：ＣＰＵ２４は、編集対象となる本画像のデータを外部から読み込む。例えば、ＣＰＵ２４は本画像のデータを記録媒体２６から読み込んでもよく、あるいは外部Ｉ／Ｆ１９や通信部２０を介して接続された外部装置（コンピュータなど）から本画像のデータを読み込んでもよい。
ステップ２０２：ＣＰＵ２４は、Ｓ２０１で読み込んだ編集対象のデータが、被写体抽出処理で抽出された主要被写体の範囲を示す付属データを含むか否かを判定する。すなわち、ＣＰＵは、上記第１実施形態のＳ１１７で生成された本画像のデータが編集対象であるか否かを判定する。上記の付属データを含む場合（ＹＥＳ側）にはＳ２１０に移行する。一方、上記の付属データを含まない場合（ＮＯ側）にはＳ２０３に移行する。
【００６８】
ステップ２０３：ＣＰＵ２４は、Ｓ２０１で読み込んだ編集対象のデータが、第１撮影画像および第２撮影画像に対応する２つの本画像を含む画像ファイルであるか否かを判定する。上記の画像ファイルに該当する場合（ＹＥＳ側）にはＳ２０４に移行する。一方、上記の画像ファイルに該当しない場合（ＮＯ側）にはＳ２０７に移行する。
ステップ２０４：ＣＰＵ２４は、Ｓ２０１で読み込んだ編集対象のデータ（画像ファイル）が、第１部分領域の範囲と第２部分領域の範囲とを示す付属データを含んでいるか否かを判定する。上記の付属データを含む場合（ＹＥＳ側）にはＳ２０６に移行する。一方、上記の付属データを含まない場合（ＮＯ側）にはＳ２０５に移行する。
【００６９】
ステップ２０５：ＣＰＵ２４は、第１撮影画像または第２撮影画像のいずれかの本画像を用いて、第１部分領域の範囲と第２部分領域の範囲とを決定する。このＳ２０５では、本画像に対する顔検出処理（第１実施形態のＳ１０２（１）に対応する処理）か、ユーザーによる第１部分領域の範囲の指定入力（第１実施形態のＳ１０２（２）に対応する処理）に基づいて、ＣＰＵ２４が第１部分領域の範囲を決定する。
【００７０】
ステップ２０６：ＣＰＵ２４は、第１撮影画像および第２撮影画像の明るさの解析（第２抽出処理）によって、いずれかの本画像の第１部分領域から主要被写体を抽出する。なお、このＳ２０６の第２抽出処理は、第１実施形態のＳ１１１の第２抽出処理に対応するので重複説明は省略する。
ステップ２０７：ＣＰＵ２４は、Ｓ２０１で読み込んだ編集対象のデータが、第１部分領域の範囲と第２部分領域の範囲とを示す付属データを含んでいるか否かを判定する。上記の付属データを含む場合（ＹＥＳ側）にはＳ２０９に移行する。一方、上記の付属データを含まない場合（ＮＯ側）にはＳ２０８に移行する。
【００７１】
ステップ２０８：ＣＰＵ２４は、本画像における第１部分領域の範囲と第２部分領域の範囲とを決定する。このＳ２０８では上記のＳ２０５と同様に、本画像に対する顔検出処理（第１実施形態のＳ１０２（１）に対応する処理）か、ユーザーによる第１部分領域の範囲の指定入力（第１実施形態のＳ１０２（２）に対応する処理）に基づいて、ＣＰＵ２４が第１部分領域の範囲を決定する。
【００７２】
ステップ２０９：ＣＰＵ２４は、圧縮伸長処理部１７を用いた周波数解析（第１抽出処理）によって本画像の第１部分領域から主要被写体を抽出する。なお、このＳ２０９の第１抽出処理は、第１実施形態のＳ１０９の第１抽出処理に対応するので重複説明は省略する。
ステップ２１０：ＣＰＵ２４は、被写体抽出処理の結果に基づいて、画像処理部１６に本画像のデータの画像処理を実行させる。画像処理部１６は、主要被写体の範囲または主要被写体以外の範囲（背景領域）のいずれかに、メニュー画面の項目で設定された所定の画像処理を施す。その後、ＣＰＵ２４は本画像のデータを記録媒体２６などに記録する。なお、各々の画像処理の説明は、第１実施形態のＳ１１６と同様であるので重複説明は省略する。
【００７３】
上記の第２実施形態の電子カメラでは、撮影後の画像編集において、第１実施形態とほぼ同様の被写体抽出処理を行うことができる。そのため、撮影後の画像編集でのユーザーの利便性が大きく向上する。
（第３実施形態の説明）
図１０は第３実施形態の画像処理装置のブロック図である。第３実施形態は第２実施形態の変形例であって、パーソナルコンピュータ等に画像処理プログラムを実行させて、第２実施形態と同様の画像処理装置を構成する例である。この第３実施形態の画像処理装置によっても、第２実施形態とほぼ同様の効果を得ることができる。
【００７４】
画像処理装置は、制御部３１と、メモリ３２と、外部Ｉ／Ｆ３３と、表示ドライバ部３４と、ディスクモジュール３５と、各部を接続するシステムバス３６とを有している。また、画像処理装置には、キーボードやポインティングデバイス等の入力デバイス３７と、モニタ３８とが接続されている。
制御部３１は画像処理装置の各部を演算制御する。また、制御部３１は、画像処理プログラムの実行によって、上記実施形態の電子カメラの画像処理部１６、圧縮伸長処理部１７、ＣＰＵ２４の機能をソフトウエア上で再現する。メモリ３２はプログラムおよびデータを記憶し、制御部３１へのデータ送信や制御部３１から返された処理結果を記憶する。外部Ｉ／Ｆ３３は、画像処理装置に接続された周辺機器（例えば、電子カメラや記録媒体２６など）とのデータ送受信を、ＵＳＢなどのシリアル通信規格に準拠して制御する。表示ドライバ部３４はモニタ３８に画像出力を行う。ディスクモジュール３５では、光ディスク、光磁気ディスクなどの記録媒体に対してデータの読み出し／書き込みを実行する。
【００７５】
（実施形態の補足事項）
（１）上記第１実施形態では、本画像の撮影前にスルー画像で被写体抽出処理を実行し、本画像の画像処理などに主要被写体の抽出結果を反映させる例を説明した。しかし、本発明では、スルー画像で被写体抽出処理を行うことなく、本画像に対して上記の第１抽出処理や第２抽出処理を実行して主要被写体を抽出してもよい。また、上記第１実施形態で第２抽出処理を行う場合には、第１撮影画像または第２撮影画像の一方をスルー画像とし、他方を本画像として画像間の明るさの解析を行うようにしてもよい。
【００７６】
（２）本発明の電子カメラの構成は上記実施形態に限定されることはない。例えば、ＣＰＵ２４はスルー画像のデータに基づいてＡＥ演算を行うことなく、測光専用のセンサで分割測光を行なうようにしてもよい。また、電子カメラから通信部２０などを省略してもよい。
（３）上記実施形態の第１抽出処理では、ウェーブレット変換などのＤＣＴ以外の直交変換を用いてもよい。また、第１抽出処理において、例えば、高速フーリエ変換などの他の公知の周波数解析を行うようにしてもよい。
【００７７】
（４）上記実施形態において、電子カメラまたは画像処理装置は、パターンマッチング処理などで人間の顔以外を対象とした被写体認識を行なって第１部分領域の範囲を決定するようにしてもよい。
（５）第１実施形態では、被写体抽出処理において第１抽出処理および第２抽出処理の両方を選択的に実行可能な電子カメラの例を説明した。しかし、本発明の電子カメラは、第１抽出処理または第２抽出処理のいずれか一方のみを実行可能な構成であってもよい。
【図面の簡単な説明】
【００７８】
【図１】第１実施形態の電子カメラの構成を示すブロック図
【図２】第１実施形態における撮影時のＣＰＵの動作を示す流れ図
【図３】ビュー画像で顔領域を枠表示した例を示す図
【図４】第１部分領域の範囲と第２部分領域の範囲の一例を示す図
【図５】ビュー画像で第１部分領域の範囲を枠表示した例を示す図
【図６】モノクロ画像における輪郭部分での階調変化を示す図
【図７】第２抽出処理を説明するための概念図
【図８】第１実施形態におけるボケ強調処理を説明する概念図
【図９】第２実施形態での電子カメラによる画像処理を説明する流れ図
【図１０】第３実施形態の画像処理装置の構成を示すブロック図
【符号の説明】
【００７９】
１３…撮像素子、１６…画像処理部、１７…圧縮伸長処理部、１８…記録Ｉ／Ｆ、１９…外部Ｉ／Ｆ、２０…通信部、２１…発光部、２２…操作部、２３…モニタ、２４…ＣＰＵ、２６…記録媒体、２７…撮影条件決定部、２８…顔検出部、３１…制御部、３３…外部Ｉ／Ｆ、３５…ディスクモジュール                                                                          
【図１】
2008092515.tif 000003
【図２】
2008092515.tif 000004
【図３】
2008092515.tif 000005
【図４】
2008092515.tif 000006
【図５】
2008092515.tif 000007
【図６】
2008092515.tif 000008
【図７】
2008092515.tif 000009
【図８】
2008092515.tif 000010
【図９】
2008092515.tif 000011
【図１０】
2008092515.tif 000012