(57)【要約】【課題】カメラ、画像判定方法、露出制御方法、プログラム及び記録媒体を提供する。【解決手段】明るい風景と逆光下の人物が混在しているシーンで、高速シャッターでストロボ撮影を行う。明るい風景部分は高速シャッターで飽和レベルぎりぎりの露出により、Ｉ２ａのカーブになる。風景部分はストロボの影響は受けない。逆光の人物部分は、ストロボ発光によって、適正輝度レベルＩ２ｂになる（図（Ａ））。さらに、明るい風景部分は、ガンマ補正してＩ２ａからＩ３ｂに輝度を下げる。Ｉ３ｂは適正輝度レベルである。（図（Ｂ））。明るい風景と逆光下の人物の両方が、適正輝度レベルになる。【選択図】図４
2007318563.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子への被写体像の露出を制御する露出制御部と、撮影レンズと上記撮像素子の光路間にＮＤフィルタを出し入れする機能を有するカメラにおいて、
撮影状況を判定して人物の被写体に光を補う必要のあるシーンを判定するシーン判定部を備え、
上記露出制御部は、シーン判定部により光を補う必要のあるシーンと判定された時には、上記ＮＤフィルタを光路から外すよう制御する
ことを特徴とするカメラ。
【請求項２】
上記撮影状況をモニタするために上記撮像素子の出力を表示する表示部を備え、
上記シーン判定部は、上記モニタ用に取り出した上記撮像素子信号を利用して、上記シーン判定を行う
ことを特徴とする請求項１に記載のカメラ。
【請求項３】
上記露出制御部は、上記モニタ中の上記撮像素子に対する露出を変更し、  
上記シーン判定部は、露出変更された上記撮像素子信号に被写体の人物の顔の部分が含まれるかどうかで、上記シーン判定を行う
ことを特徴とする請求項１に記載のカメラ。
【請求項４】
撮影に先立つタイミングで、被写体の確認を行うために、撮像素子の出力を表示部に表示するカメラの画像判定方法において、
上記表示のタイミングにおいて、上記撮像素子への露出制御を上記表示部への表示用とは異なる制御に切替えて、上記撮像素子の出力に人物の顔に相当する画像が含まれるかどうかを判定するステップを有する
ことを特徴とするカメラの画像判定方法。
【請求項５】
撮影に先立つタイミングで、被写体の確認を行うために、撮像素子の出力を表示部に表示するカメラにおいて、
上記表示のタイミングにおいて、顔検出用の露出制御と画面表示用の露出制御の二つの露出制御を切替る露出制御部を備える
ことを特徴とするカメラ。
【請求項６】
撮像素子から得られる画像をモニタ画像として表示する表示部と、
撮像素子から得られる画像を顔検出画像として画面内に人物が存在するかを検出する顔検出部と、
撮像素子から得られる画像を上記モニタ画像として用いるか上記顔検出画像として用いるかで、撮像素子への露出を切換える露出制御部と、備える
ことを特徴とするカメラ。
【請求項７】
上記露出制御部は、モニタ画像表示中に顔検出画像を取得するために、モニタ画像用の露出と顔画像用の露出を交互に切換える
ことを特徴とする請求項６に記載のカメラ。
【請求項８】
上記露出制御部は、上記モニタ画像を取得する割合が顔検出画像を取得する割合より多くなるよう露出を切換える
ことを特徴とする請求項７に記載のカメラ。
【請求項９】
撮像素子から得られる画像を顔検出画像として画面内に人物が存在するかを検出する顔検出部を備えるカメラにおける露出制御方法において、
撮像素子から得られる画像を表示部に表示するモニタ画像として用いるか、上記顔検出画像として用いるかで、撮像素子への露出を切換える
ことを特徴とする露出制御方法。
【請求項１０】
撮像素子から得られる画像を顔検出画像として画面内に人物が存在するかを検出する顔検出部を備えるカメラにおける露出制御方法をコンピュータに実行させるプログラムにおいて、
上記露出制御方法は、撮像素子から得られる画像を表示部に表示するモニタ画像として用いるか、上記顔検出画像として用いるかで、撮像素子への露出を切換える
ことを特徴とするプログラム。
【請求項１１】
撮像素子から得られる画像を顔検出画像として画面内に人物が存在するかを検出する顔検出部を備えるカメラにおける露出制御方法をコンピュータに実行させるプログラムを記憶するコンピュータ読み取り可能な記録媒体において、
上記露出制御方法は、撮像素子から得られる画像を表示部に表示するモニタ画像として用いるか、上記顔検出画像として用いるかで、撮像素子への露出を切換える
ことを特徴とする記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、カメラに関して、特に逆光シーンの撮影に対応するカメラに関する。
【背景技術】
【０００２】
逆光のシーンは、撮影の難しいシーンである。銀塩フィルムに比べてダイナミックレンジの狭い撮像素子を使用するデジタルカメラでは、顕著である。特に、人物が主被写体である場合、顔が真っ暗になると、失敗写真となってしまうことが多い。そこで、このような人物が被写体の逆光シーンでは、通常ストロボ撮影により人物を適正露光にすることが行われる。そして、このストロボ撮影は、撮影者がストロボモードを選択するか、あるいはカメラのシーンモードを逆光シーンに選択する等の操作により実行される。
【０００３】
このストロボ撮影に関する提案としては、対応できる明るさのダイナミックレンジをかせぐために、撮像素子と撮影レンズの間にＮＤ（neutral  density）フィルタを出し入れできる機能を備えて、ストロボの強力な光を弱めてストロボ照射の効果を発揮させるものがある（特許文献１）。
【０００４】
一方最近は顔検出技術が発達しているので（例えば特許文献２）、この顔検出の技術の応用によって人物が被写体であるかの判断ができることも期待される。
【特許文献１】特開２０００−１２２１２８（フジ）
【特許文献２】特開平０７−０７３２９８（シャープ）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上記顔検出が精度よく行われるためには、対象となる被写体の輪郭が十分鮮明に表現されていることが前提になる。逆光の状況下では、被写体の像がつぶれてしまうので、顔検出技術により簡単に人物判定ができることは期待できない。
【０００６】
また、上述のような逆光のシーンに代表されるような、明るい部分と暗い部分が混在するような状況での撮影では、ストロボ照射による単純に画像の明るさの範囲を広げるだけの従来の簡単な制御では、満足できなくなってきている。つまり、これまで苦手とされてきた明るさが大きく変化するシーンでも、CCDなど撮像素子の特性を考慮してこれを美しく描写するカメラが求められる。
【０００７】
本発明は以上の点に鑑み、逆光シーンのような明るさが大きく変化するシーンでも美しく描写するカメラ、画像判定方法、露出制御方法、プログラム及び記録媒体を提供するものである。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、第１の発明によるカメラは、撮像素子への被写体像の露出を制御する露出制御部と、撮影レンズと上記撮像素子の光路間にＮＤフィルタを出し入れする機能を有するカメラにおいて、撮影状況を判定して人物の被写体に光を補う必要のあるシーンを判定するシーン判定部を備え、上記露出制御部は、シーン判定部により光を補う必要のあるシーンと判定された時には、上記ＮＤフィルタを光路から外すよう制御するものである。
【０００９】
また、第２の発明によるカメラは、撮像素子から得られる画像をモニタ画像として表示する表示部と、撮像素子から得られる画像を顔検出画像として画面内に人物が存在するかを検出する顔検出部と、撮像素子から得られる画像を上記モニタ画像として用いるか上記顔検出画像として用いるかで、撮像素子への露出を切換える露出制御部と、備えるものである。
【００１０】
また、第３の発明による露出制御方法は、撮像素子から得られる画像を顔検出画像として画面内に人物が存在するかを検出する顔検出部を備えるカメラにおける露出制御方法において、撮像素子から得られる画像を表示部に表示するモニタ画像として用いるか、上記顔検出画像として用いるかで、撮像素子への露出を切換えるものである。
【発明の効果】
【００１１】
本発明によれば、逆光シーンのような明るさが大きく変化するシーンでも美しく描写するカメラ、画像判定方法、露出制御方法、プログラム及び記録媒体を提供可能となる。
【発明を実施するための最良の形態】
【００１２】
以下本発明を実施するための最良の形態を図面を参照して説明する。
（第１実施形態）
図１は、本発明が適用されるカメラ１の全体ブロック図である。カメラ１にはレンズ部２、ＮＤ（neutral  density）フィルタ３、シャッター４、撮像素子５、アナログフロントエンド（以下、ＡＦＥと略す）部６、画像処理部７、記録再生制御部８及び記録メディア９が設けられる。レンズ部２は、入射した被写体２０の像を撮像素子５に結像する。ＮＤフィルタ３は、レンズ部２から入射した光を一定量減衰させて、露出量を調整する光学フィルタである。ＮＤフィルタ３はレンズ部２の光路に挿脱自在に設けられる。シャッター４は、ＮＤフィルタ３を通過した光が撮像素子５へ入射するのを選択的に遮り、露出量を調整する。
【００１３】
撮像素子５は、ＣＭＯＳやＣＣＤからなり、結像された被写体像を画像信号に変換する。ＡＦＥ部６は、撮像素子５から出力されるアナログの電気信号をデジタルの画像データに変換して出力する。また、ＡＦＥ部６には、切り出し部６ａが設けられる。切り出し部６ａは、撮像素子５の出力する信号を取捨選択して、全部の受光面から限られた画素信号のみを抽出することができる。また撮像素子５から画素を間引いて抽出することも出来る。
【００１４】
画像処理部７は、ＡＦＥ部６から出力された画像データについて、ガンマ（階調補正）や色や階調やシャープネスを補正処理する。また、画像処理部７は、画像処理部内のＪＰＥＧ（Joint Photographic Coding Experts Group）コア部（図示せず）などの静止画像用の圧縮伸長部を有し、撮影時にはこの圧縮伸長部で画像データを圧縮する。また、画像処理部７には、画像サイズを表示用のサイズに変更するリサイズ部７ａが設けられる。
【００１５】
記録再生制御部８は、撮影時には画像処理部７により圧縮処理された画像データを記録媒体である記録メディア９に記録する。記録メディア９は、画像を保存記録する記録媒体である。また、記録再生制御部８は再生時には記録メディア９から画像データを読み出す。
【００１６】
また、カメラ１には表示制御部１１及び表示部１２が設けられる。表示部１２は、例えば液晶や有機ＥＬ等から構成され、撮影時にはモニタ画像を表示し、再生時には伸張処理された記録画像を表示する。撮影時には、ユーザーは表示部１２に表示された画像を見ながら、構図やタイミングを決めて撮影操作を行う。撮像素子５からの画像信号をほぼリアルタイムで表示できるように、リサイズ部７ａによって画像が加工され、表示制御部１１によって制御され表示部１２に表示される。再生時には、記録メディア９に記録された圧縮データが記録再生制御部８により読み出され、画像処理部７によって再生され、リサイズされて表示部１２に表示される。
【００１７】
また、カメラ１には、ＭＰＵ１０、ＲＯＭ１９、操作部１６が設けられる。ＭＰＵ（マイクロコントローラ）１０は、プログラムに従って撮影や再生等カメラ１の全体の制御を司る制御部である。ＲＯＭ１９は、不揮発性でかつ記録可能なメモリで例えばフラッシュＲＯＭからなり、カメラ１の制御処理を行う制御用のプログラムが格納される。操作部１６は、撮影者の指示をＭＰＵ１０に通知する。操作部１６の代表例としてスイッチ１６ａ、１６ｂ、１６ｃが設けられる。スイッチ１６aはレリーズスイッチである。１６ｂや１６ｃは、例えば撮影／再生モード切替や撮影モードの切替などのスイッチである。ＭＰＵ１０は、撮影や表示などのユーザーの指示をスイッチ１６ａ、１６ｂ、１６ｃで検出する。
【００１８】
また、カメラ１には、ＡＦ制御部１３、ＮＤフィルタ制御部１４、シャッター制御部１５、ストロボ部１７、露出制御部１０ａ、シーン判定部１０ｂおよび顔検出部１８が設けられる。ＡＦ制御部１３は、レンズ部２のピント位置を制御する。ピント位置の制御は、画像処理部７が撮像素子５から出力される画像データのコントラストを検出してＭＰＵ１０に出力し、これに従ってＭＰＵ１０がＡＦ制御部１３に制御信号を出力することにより実行される。ＭＰＵ１０は画像データのコントラスト信号が最大になるようにＡＦ制御部１３に制御信号を出力する。
【００１９】
ＮＤフィルタ制御部１４は、レンズ部２と撮像素子５間へのＮＤフィルタ３の挿脱を制御する。ＣＣＤ等の撮像素子５は、従来の写真フィルムとは異なり、ダイナミックレンジが狭く露出制御が難しい。そこで、ＮＤフィルタ制御部１４は、明るいシーンではＮＤフィルタ３を入れて撮像素子５への光量を減衰させて、撮像素子５へ適当な光量が入射するようにする。ただし、このＮＤフィルタは、被写体の明るさを減衰させるという効果以上に、ストロボ発光時には、ストロボ光を減衰させるので、ストロボ使用時には光路内にないほうが好ましい。そこで後述するように、ＮＤフィルタ制御部１４は、単純に暗い時に光路から出すだけでなく、状況に応じてこれを光路外に出すよう制御する。
【００２０】
また、シャッター制御部１５はシャッター４の開閉を制御する。シャッター制御部１５は、明るいときには短い時間でシャッター４を閉じ、暗いところでは、長い時間でシャッター４を閉じるような制御をして、撮像素子５への入射光量を所定量に保つ露出制御を行う。
【００２１】
ストロボ部１７は、露出を補助する補助光照射手段である。被写体が相対的、または絶対的に暗い場合には、強い光を投射するストロボ部１７が補助光として利用される。
【００２２】
また、ＭＰＵ１０内にはＭＰＵ１０の処理機能の１つとして露出制御部１０ａ、シーン判定部１０ｂが設けられる。露出制御部１０ａは、ＡＦＥ部４からの画像データに基づいて、ＮＤフィルタ制御部１４、シャッター制御部１５及びストロボ部１７および画像処理部７のガンマ補正機能を制御して、画像の露出を適正にする。
【００２３】
露出制御部１０ａは、特に、撮影時のモニタ画像表示時は、画面全体の被写体の様子を確認できるように露出制御する。具体的には、撮像素子５のデータ読出し制御によってこれを制御する。
【００２４】
シーン判定部１０ｂは、モニタ画像により画面全体の明るさを判断して、暗いシーンとか逆光シーンとかを判定する。シーン判定部１０ｂは、判定に際して、撮像素子の広い範囲からの画像データを利用する。また、シーン判定部１０ｂは、シーン判定に顔検出部１８の結果も利用する。そして、露出制御部１０ａはシーン判定結果にも応じて撮像素子５に入射する光量を切り替える。
【００２５】
顔検出部１８は、撮影時の情報を利用して、被写体の中に人間の顔が存在するかどうかを検出する。顔検出部１８は、画像処理部７から出力される画像データに基づいて、ピントあわせ時の情報や先に説明したモニタ画像の特徴点抽出によって顔を検出する。そして、顔検出部１８はその画面内での顔の大きさや位置をＭＰＵ１０に出力する。ただし、後述のように画面内の暗い部分に主被写体がいる場合は、画像がつぶれて細かい明暗の差異が分からなくなり、顔検出部１８が検出できなくなる。そこで、露出制御部１０ａは、顔検出のために暗い場所の状況を判断してモニタ表示とは別の露出制御に切り換える。
【００２６】
図２は逆光撮影シーンの一般的な例を示す図である。図２（Ａ）が、このカメラできれいに撮影したいシーンである。つまり、明るい屋外の風景３０ａと暗い室内の人物３０ｂが共に美しく描写されるが望ましい撮影である。しかし、一般的には、撮像素子のダイナミックレンジや表示系のダイナミックレンジの限界によって、明るい部分（風景）を重視した画像（図２（Ｂ）参照）か、または暗い部分（人物）を重視した画像（図２（Ｃ）参照）のいずれかしか得ることが出来ない。つまり、図２（Ｂ）の画像では人物３０ｂが黒くつぶれてしまい、図２（Ｃ）の画像では風景３０ａが白く飛んでしまう。
【００２７】
本実施形態のカメラは、明るい屋外の風景３０ａと暗い室内の人物３０ｂが共に美しく描写するものである。図３は、図２と同じ撮影シーンである。ライン３０ｃは、画面の輝度分布を説明するために、画面の適当な場所に設定された横断線である。
【００２８】
図４（Ａ），（Ｂ）は、図３のライン３０ｃに沿った輝度分布をグラフ化した図である。横軸が画面の水平方向Xの位置、縦軸が明るさ（輝度値）を示す。明るさは、下方向が暗く、上方向が明るい方向である。そして、撮像素子５のノイズレベルをＬ１、飽和レベルをＬ２でそれぞれ一点鎖線で示す。
【００２９】
図４（Ａ）の明るさカーブ（実線）Ｉ１は、風景３０ａが適正輝度レベルになるような露出制御をした場合の明るさの分布である。I１はI１ａとＩ１ｂに分かれ、Ｉ１ａが風景３０ａの領域部分に相当し、Ｉ１ｂが人物３０ｂの領域部分に相当する。この状態では人物３０ｂの部分であるＩ１ｂはノイズレベルＬ１以下の明るさしか得られず、黒くつぶれてしまう（図２（Ｂ）参照）。
【００３０】
そこで、第１実施形態では、露出段階ではＮＤフィルタ３を外しかつストロボ発光をさせ、画像処理段階ではガンマ補正を行うようにする。図４（Ａ）は、露出段階での明るさ分布の変化を示し、図４（Ｂ）は画像処理段階による明るさ分布の変化を示す図である。
【００３１】
ＮＤフィルタ３を光路から外して、風景３０ａの部分であるＩ１ａが飽和レベルＬ１ぎりぎりになるように、シャッター速度を設定する。シャッター速度は高速化するのが望ましい。これにより、３０ａの明るさはｌ１ａからｌ２ａ（破線）に上昇する。なお、ストロボ発光は影響しない。風景３０ａの部分は、遠距離でストロボ光が到達しないからである。また、ＮＤフィルタ３を外すのは、人物に対してストロボ光の効果を十分に発揮させるためである。
【００３２】
図５は、図４の撮影時のシャッターとストロボ発光のタイミングを示すタイミングチャートである。ストロボ光が発光時間が短時間なので、ストロボ発光にあわせて上記のシャッター時間も短くするようにする。つまり、上記撮影ではシャッターも高速になる方向に制御するのが望ましい。シャッター開放（Ｌアクティブ）時間を短くすれば、露出に対するストロボ光の寄与率が相対的に大きくなるからである。
【００３３】
次に、人物３０ｂの部分については、まず、ＮＤフィルタ３を外したことで、その明るさはｌ１ｂからｌ２ｂ（破線）に若干変化するが、ノイズレベルＬ１以下であるとする。そして、ストロボ発光によって、ｌ２ｂ（破線）からｌ３ｂ（太線の実線）に上昇して、ノイズレベルＬ１以上に持ち上がり、適正輝度レベルになる。ストロボの発光によって、人物３０ｂの部分の光量を補われるからである。
【００３４】
そして、図４（Ｂ）は、さらにガンマ補正により補正された風景３０ａの明るさ分布を示す図である。  風景３０ａのＩ２ａについてのみを、デジタル的に補正（ガンマ補正）してＩ３ａのレベルに落とす。Ｉ３ａは適正輝度レベルである。これにより、風景３０ａのＩ３ａと人物３０ｂのＩ３ｂともに適正レベルの露出となる。このようにして得られた風景３０ａについてはＩ３ａの画像と、人物３０ｂについてはＩ３ｂの画像を利用すれば、図２（ａ）のような写真を得ることが出来る。
【００３５】
次に、逆光状態の人物が存在するとき限り、上記の露出制御を行うようにする例を説明する。例えば図６のような風景のみで人物がいないようなシーン、つまり風景を浮き出させるような写真においては、上記のような露出制御を行わせる必要はないからである。不要なシーンでストロボを発光させると、発光のエネルギーが無駄になるばかりでなく、飽和レベルぎりぎりまでまで風景の露出を上げる際に失敗する可能性もあるからである。そこで、暗い所に人物が検出されたシーンのみ、上記露出制御を行うようにする。
【００３６】
図７は、顔検出により画面に人物がいるかを判定する例を示す図である。人物の存在を判定する手段は色々あるが、ここでは、画面内に顔のパターンがあるかを検出する方法の例を説明する。図７（Ａ）は、基準となる顔類似パターンを示す図である。（Ａ−１）、（Ａ−２）、（Ａ−３）は、顔サイズの異なる顔類似パターンである。顔類似パターン（Ａ−１）、（Ａ−２）、（Ａ−３）は、ＲＯＭ１９に記憶されている。
【００３７】
図７（Ｂ）のシーンは図２と同一シーンである。顔検出部１８が、（Ｂ）のシーンで、基準となる顔類似パターン（Ａ−１）、（Ａ−２）、（Ａ−３）を画面内を走査させ、それがマッチングする部分があれば、撮影画面に人物がいると判定する。ここでは、Ａ−１の顔類似パターンが適合した場合である。
【００３８】
図８は、顔検出を含む上記撮影制御処理の手順を説明するフローチャートである。この撮影制御処理は、プログラムに従ったＭＰＵ１０、画像処理部７、露出制御部１０ａ、シーン判定部１０ｂ及び顔検出部１８により主に実行される。まず、カメラ１のモードをモニタ画モードに設定する（ステップＳ１１）。モニタ画モードは、撮影時に撮像素子の出力をモニタ画像として表示するモードで、極力早く画像を表示するように撮像素子５やシステムを駆動制御する。露出制御部１０ａが、ここで得られた画像データに基づいて、レンズ部２のピントや露出の制御を行う（ステップＳ１２）。
【００３９】
次に撮影に先立ち（ステップＳ１３ＮＯ）、顔検出及び逆光判定を行う（ステップＳ１４）。顔検出部１８が顔検出を行い、シーン判定部１０ｂが逆光判定を行う。そして、顔検出ができたかを判断する（ステップＳ１５）。顔検出ができたときはその旨を表示部１２に表示させる（ステップＳ１６）。そして、図７（Ａ）に示したような基準顔類似パターンから、新しい顔類似パターン（先に検出できた顔の形に近づけたもの）に切替える（ステップＳ１７）。これによって、二回目以降の検出スピードを速くすることが可能となる。つまり、基準として持っていたパターン（基準顔類似パターン）から新しい顔類似パターンに切り換えて検出するので、顔が動かないシーンでは顔の判定をスピーディに行うことができ、顔の位置や角度が変化する時でも、画面内の前回検出位置近傍を重点的に検出することにより、顔部を追尾するような効果が得られる。そして、その顔の部分を重視したピント制御や露出制御を行う。ステップＳ１２に戻り、ユーザーの撮影指示を待つ。
【００４０】
一方、顔の検出が出来なかった時には（ステップＳ１５ＮＯ）、露出制御部１０ａが顔検出専用の露出制御を行うかどうかを判定する（ステップＳ１８）。例えば図２（Ｂ）のような画像の場合には、顔が暗すぎるので、露出切替えを行う旨を判定する（ステップＳ１８ＹＥＳ）。露出制御部１０ａが顔検出専用の露出に切替える（ステップＳ１９）。露出時間を長くしたり、図４で説明したように、ＮＤフィルタ３をはずすような制御を行う。また場合によっては、ストロボや図示していないＬＥＤ光源などを照射して、露出を補って、顔検出しやすいような制御に切り換えてもよい。これにより、背景を飛ばして暗い所を重視した画像である図２（Ｃ）のような画像が得られる。これにより、図２（Ｂ）のような画像では得られなかった明瞭な顔部の像を得ることができ、顔検出が容易となる。
【００４１】
なお、ここで得られた顔検出用の画像を補助画像３２として表示部１２の画面に表示させてもよい（ステップＳ２０）。図９は、通常表示される画像であるメイン画像３１と補助画像３２が同時に表示された画面を示す図である。このような工夫によって、ユーザーは背景と人物の表情とを同時に確認しながら撮影することが可能となる。図９のような表示するために、撮像素子５からメイン画像と補助画像の２つの画像を交互に読み出すような制御が行われる。ただし、２つの画像の読み出し回数の割合は、必ずしも１対１である必要はない。露出制御部１０ａは、読み出す画像に合わせた露出切替えを制御する。
【００４２】
一方、図９のような補助画像を表示させない時は、露出制御部１０ａは、図２（Ｃ）のような画像を、撮像素子５から読み出される毎回の画像ではなく何回に一回（例えば４回に1回）得るように、シャッター等を切替える。モニタ表示に影響が出ないようにするためである。つまり、顔検出用の露出による画像取得を頻繁に行うと、表示画像に影響がでるからである。例えば、被写体の動きが不自然な表示になるからである。なお、フローチャートが煩雑になるため図示はしなかったが、一度、このモードで顔部の判定が行われた場合は、違う露出時に同じ検出法で探しても見つからない可能性が高いので、表示に問題が出ない範囲で、適宜露出変更画像の取り込みを行い、この変更画像上で顔検出を行うように工夫してもよい。そして、露出切替えが不要と判定すると（ステップＳ１８ＮＯ）、ステップＳ１２に進み、ユーザーの撮影指示を待つ。
【００４３】
ユーザーの撮影指示あると（ステップＳ１３ＹＥＳ）撮影を行う。ここでは、「暗い」または「逆光」または「顔がある」かの条件（ステップＳ２１、ステップＳ２３、ステップＳ２４）に応じて、露出制御を変える。なお、「逆光」や「顔がある」かの判断は、上記ステップＳ１４での顔検出逆光判定の結果を利用する。
【００４４】
まず、被写体の全体が暗いか判定する（ステップＳ２１）。シーン判定部１０ｂが判定する。暗いと判定したときは（ステップＳ２１ＹＥＳ）、ストロボ発光を伴う露出制御により撮影を行う（ステップＳ２２）。この時、至近の被写体ならＮＤフィルタ３を併用するようにする。一方、暗くなくかつ逆光でないときは（ステップＳ２１ＮＯ、ステップＳ２３ＮＯ）、ＮＤフィルタ３を挿入した露出制御により撮影を行う（ステップＳ２５）。また、暗くなく逆光でかつ顔もないときも（ステップＳ２１ＮＯ、ステップＳ２３ＹＥＳ、ステップＳ２４ＮＯ）、ＮＤフィルタ３を挿入しての露出制御により撮影を行う（ステップＳ２５）。図６のようなシーンの場合である。
【００４５】
そして、暗くなく逆光でかつ顔があるときは（ステップＳ２１ＮＯ、ステップＳ２３ＹＥＳ、ステップＳ２４ＹＥＳ）、ＮＤフィルタ３を光路から外して、ストロボ１７により図４で説明したような露出制御により撮影を行う（ステップＳ２６）。図２のようなシーンの場合である。
【００４６】
以上ステップＳ２２、ステップＳ２５，ステップＳ２６による撮影の後は、撮像素子の画素データをすべて読み出し、得られた画像を画像処理部７で画像処理や圧縮を行い（ステップＳ２７）、記録メディア９への記録を行う（ステップＳ２８）。
【００４７】
このように、逆光下の人物を正しく検出し、ＮＤフィルタやストロボを有効に使い分けて、明るいシーンから暗いシーンの撮影に対応でき、強い太陽光下の撮影においても、人物の表情や顔の色までをきれいに撮影することが出来る。これによって、背景が飽和レベルぎりぎりに露出制御されるリスクを回避して、大きな輝度差があるシーンでも同一の画面上に表現した写真撮影が可能になる。
【００４８】
また、逆光条件下においても、モニタ画像表示中の決め細やかな露出制御切替の工夫により被写体の顔を検出することが可能となる。人物を主被写体と判定し、その表情や肌の色を正しく再現すると共に、雰囲気豊かに背景の描写もないがしろにしない写真撮影ができる。
【００４９】
(第２実施形態)
図１０を用いて第2実施形態について説明する。上記第1実施形態では、明るい部分と暗い部分が混在しているシーンで、明るい部分と暗い部分の両方をバランスさせて撮影する際に、メイン画像と補助画像を同時にモニタ表示することを説明した。第２実施形態では、このように表示された画像のどちらかが気に入ったなら、それをそのまま取得できるようにする。なお本発明が適用されるカメラのブロック図は、図１と同様であるので省略する。
【００５０】
図１０は、第２実施形態の撮影処理の手順を説明するフローチャートである。操作部１６には、図９で示したメイン画像３１の撮影を設定する第１スイッチ１６ｄと、補助画像３２の撮影を設定する第２スイッチ１６ｅが設けられる。第１スイッチ１６ｄが操作された状態でレリーズ操作がされれば（ステップＳ３１ＹＥＳ）、ストロボ発光なしで背景重視の撮影を行う（ステップＳ３３）。図９のメイン画像３１のような背景重視の写真が撮影される。
【００５１】
第２スイッチ１６ｅが操作された状態でレリーズ操作がされれば（ステップＳ３２ＹＥＳ）、ストロボ発光をさせるかまたは露出制御を人物重視にした人物重視の撮影を行う（ステップＳ３４）。図９の補助画像３２に示したような人物重視の写真が撮影される。第１スイッチ１６ｄ及び第２スイッチ１６ｅいずれも操作されない状態でレリーズ操作がされれば（ステップＳ３１ＮＯ、ステップＳ３２ＮＯ）ときは、背景、人物両方に露出の合った撮影を行う。図２（Ａ）のような両方重視の写真が撮影される（ステップＳ３５）。
以上のように、被写体のいずれの部分を重視するかユーザーの希望に沿った撮影が可能になる。
【００５２】
(第３実施形態)
図１１を用いて第３実施形態について説明する。第３実施形態は、第１実施形態の撮影に加え、さらに画像合成により、輝度差の大きい風景３０ａと人物３０ｂからなる画像を作成する例である。さらにデジタル画像技術を駆使した、逆光シーン対策例である。なお本発明が適用されるカメラのブロック図は、図１と同様であるので省略する。
【００５３】
図１１は、撮影制御処理の手順を説明するフローチャートである。この撮影制御処理は、プログラムに従ったＭＰＵ１０、画像処理部７、露出制御部１０ａ、シーン判定部１０ｂ、顔検出部１８により主に実行される。なお、本フローチャートは、図８のフローチャートと共通部分が多いので、共通のステップについては同一のステップ番号を付して、その説明は省略する。
【００５４】
図８のフローチャートと異なるのは、暗くなくかつ逆光で顔があるときである（ステップＳ２１ＮＯ、ステップＳ２３ＹＥＳ、ステップＳ２４ＹＥＳ）。ここで、まずＮＤフィルタ３を光路から外して、ストロボ１７を発光させ図４で説明したような露出制御により、人物の撮影を行う（ステップＳ５１）。さらに、ＮＤフィルタ３を挿入しての露出制御により風景の撮影を行う（ステップＳ５２）。人物撮影の画像と風景撮影の画像を合成処理する（ステップＳ５３）。以上により、風景、人物ともきれいに描写された画像を得ることができる。
【００５５】
なお上記各実施形態において、上記各実施形態で説明したＭＰＵ１０処理や露出制御部１０ａ、シーン判定部１０ｂに関しては、一部または全てをハードウェアで構成してもよい。逆に、顔検出部１８等のハードウェアをソフトウェアで構成しても良い。具体的な構成は設計事項である。そして、ＭＰＵ１０による各制御処理は、ＲＯＭ１９に格納されたソフトウェアプログラムがＭＰＵに供給され、供給されたプログラムに従って上記動作させることによって実現されるものである。従って、上記ソフトウェアのプログラム自体がＭＰＵ１０の機能を実現することになり、そのプログラム自体は本発明を構成する。また、そのプログラムを格納する記録媒体も本発明を構成する。記録媒体としては、フラッシュメモリ以外でも、ＣＤ−ＲＯＭ、ＤＶＤ等の光学記録媒体、ＭＤ等の磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、各実施形態では本願発明をデジタルカメラに適用した例を説明したが、これに限らず例えば携帯電話のカメラ部に適用しても良い。  
【００５６】
さらに、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００５７】
【図１】第１実施形態において、本発明が適用されるカメラ１の全体ブロック図。
【図２】第１実施形態において、逆光撮影シーンの一般的な例を示す図。
【図３】第１実施形態において、図２と同じ撮影シーンを示す図。
【図４】第１実施形態において、図３のライン３０ｃに沿った輝度分布をグラフ化した図。
【図５】第１実施形態において、撮影時のシャッターとストロボ発光のタイミングを示すタイミングチャート。
【図６】第１実施形態において、人物のいない風景を示す図。
【図７】第１実施形態において、顔検出により画面に人物がいるかを判定する例を示す図。
【図８】第１実施形態において、撮影制御処理の手順を説明するためのフローチャート。
【図９】第１実施形態において、メイン画像３１と補助画像３２が同時に表示された画面を示す図。
【図１０】第２実施形態において、撮影制御処理の手順を説明するためのフローチャート。
【図１１】第３実施形態において、合成処理の手順を説明するためのフローチャート。
【符号の説明】
【００５８】
1…カメラ、２…レンズ部、３…ＮＤフィルタ、４…シャッター、５…撮像素子、６…アナログフロントエンド部、６ａ…切り出し部、７…画像処理部、７ａ…リサイズ部、
８…記録再生制御部、９…記録メディア、１０…ＭＰＵ、１０ａ…露出制御部、１０ｂ…シーン判定部、
１１…表示制御部、１２…表示部、１３…ＡＦ部、１４…ＮＤ制御部、１５…シャッター制御部、
１６…操作部、１６ａ…レリーズスイッチ、１６ｂ、１６ｃ…切換スイッチ、１６ｄ…第１スイッチ、１６ｅ…第２スイッチ、
１７…ストロボ部、１８…顔検出部、１９…ＲＯＭ、２０…被写体、
３０ａ…風景、３０ｂ…人物、３０ｃ…ライン、３１…メイン画像、３２…補助画像
Ｉ１、Ｉ２、Ｉ３…明るさカーブ、Ｌ１…ノイズレベル、Ｌ２…飽和レベル  
【図１】
2007318563.tif 000003
【図２】
2007318563.tif 000004
【図３】
2007318563.tif 000005
【図４】
2007318563.tif 000006
【図５】
2007318563.tif 000007
【図６】
2007318563.tif 000008
【図７】
2007318563.tif 000009
【図８】
2007318563.tif 000010
【図９】
2007318563.tif 000011
【図１０】
2007318563.tif 000012
【図１１】
2007318563.tif 000013
【手続補正書】
【提出日】平成18年6月16日(2006.6.16)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００４
【補正方法】変更
【補正の内容】
【０００４】
一方最近は顔検出技術が発達しているので（例えば特許文献２）、この顔検出の技術の応用によって人物が被写体であるかの判断ができることも期待される。
【特許文献１】特開２０００−１２２１２８号公報
【特許文献２】特開平０７−０７３２９８号公報