(57)【要約】【課題】  ＥＶＦのサイズは一般的に小さい為、撮影した画像が意図するものでなかったとしても確認しづらかったという欠点かがあった。そこで、意図しない画像が撮れた場合は、ユーザーに警告を与え、自動もしくはユーザーの意思によって再撮影を行うことで、好適な画像を得ることができる。【解決手段】  撮像された画像データ内から被写体を検出し、被写体の撮像状態を判定することで、被写体の撮像状態が好適でない場合は、その旨を示唆する警告内容を付与した画像をＥＶＦに表示するなどして、ユーザーに警告を与える。【選択図】  図２
2006087083.tif 000002
【特許請求の範囲】
【請求項１】
使用者からの指示に応じて撮像された画像データから被写体領域を検出する被写体検出手段と、
前記撮像された画像データを基に、表示用画像データを生成する信号処理手段と、
前記信号処理手段にて処理された表示用画像データを表示する表示手段と、
前記被写体検出手段の検出結果をもとに、警告するか否かの判定をする判定手段と、
判定手段の判定結果に応じて警告を行う報知手段とを有し、
制御部は、前記警告の内容に応じて、撮像部の制御パラメータを自動で変更して撮像部に撮像させることを特徴とする撮像装置。
【請求項２】
前記判定手段にて警告する必要がないと判定された場合に、記録手段に前記画像データを記録させることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記報知手段は、前記表示用画像データに前記警告の内容を付加した警告内容表示画像を生成し、該警告内容表示画像を前記表示手段に表示させることを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記制御部は、前記報知手段にて警告内容を知らせた後の使用者からの指示を検知した場合に、撮像部に撮像させることを特徴とする請求項１から３のいずれかに記載の撮像装置。
【請求項５】
前記報知手段によって行われる警告内容は、前記被写体検出手段にて検出された被写体領域の合焦状態に基づいて決定されることを特徴とする請求項１から４のいずれかに記載の撮像装置。
【請求項６】
前記報知手段によって行われる警告内容は、被写体の目の色相に基づいて決定されることを特徴とする請求項１から４のいずれかに記載の撮像装置。
【請求項７】
前記報知手段によって行われる警告内容は、被写体の目の開き具合に基づいて決定されることを特徴とする請求項１から４のいずれかに記載の撮像装置。
【請求項８】
前記判定手段による判定の結果、再撮影することになった場合に、直前の撮影から所定時間以上経過していた場合には、撮像手段の制御パラメータを新たに設定し直すことを特徴とする請求項４に記載の撮像装置。
【請求項９】
使用者からの指示に応じて撮像された画像データから被写体領域を検出する被写体を検出する被写体検出工程と、
前記撮像された画像データを基に、表示用画像データを生成する信号処理工程と、
前記信号処理工程にて処理された表示用画像データを表示する表示工程と、
前記被写体検出工程の検出結果をもとに、警告するか否かの判定をする判定工程と、
判定手段の判定結果に応じて警告を行う報知工程とを有し、
制御部は、前記警告の内容に応じて、撮像部の制御パラメータを自動で変更して撮像部に撮像させることを特徴とする撮像装置の制御方法。
【請求項１０】
前記判定工程にて警告する必要がないと判定された場合に、記録手段に前記画像データを記録させる記録工程を有することを特徴とする請求項９に記載の撮像装置の制御方法。
【請求項１１】
前記報知工程は、前記表示用画像データに前記警告の内容を付加した警告内容表示画像を生成し、該警告内容表示画像を前記表示工程に表示させることを特徴とする請求項９又は１０に記載の撮像装置の制御方法。
【請求項１２】
前記制御部は、前記報知行程にて警告内容を知らせた後の使用者からの指示を検知した場合に、撮像部に撮像させることを特徴とする請求項９から１１のいずれかに記載の撮像装置の制御方法。
【請求項１３】
前記報知手段によって行われる警告内容は、前記被写体検出手段にて検出された被写体領域の合焦状態に基づいて決定されることを特徴とする請求項９から１２のいずれかに記載の撮像装置の制御方法。
【請求項１４】
前記報知手段によって行われる警告内容は、被写体の目の色相に基づいて決定されることを特徴とする請求項９から１２のいずれかに記載の撮像装置の制御方法。
【請求項１５】
前記報知手段によって行われる警告内容は、被写体の目の開き具合に基づいて決定されることを特徴とする請求項９から１２のいずれかに記載の撮像装置の制御方法。
【請求項１６】
前記判定工程による判定の結果再撮影することになった場合に、直前の撮影から所定時間以上経過していた場合には、撮像工程の制御パラメータの設定をやり直すことを特徴とする請求項１２に記載の撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラやデジタルビデオカメラ等の撮像装置において、最適な画像を撮像するための制御に関するものである。
【背景技術】
【０００２】
デジタルカメラやデジタルビデオカメラ等の撮像装置において、撮像画像を確認するための機能として、撮像モードでは撮像の直後に撮った画像を液晶ディスプレイに表示するレックレビュー機能がある。
【０００３】
また、再生モードではユーザーの操作に応じて撮った画像を順に表示する機能がある。デジタルカメラやデジタルビデオカメラ等において、上記の機能を使用する際、撮像画像の確認のため等に用いる液晶である電子ビューファインダー（これよりＥＶＦという）では画面サイズが小さく、撮像画像を縮小して表示する場合が多い。
【０００４】
したがって、例えば被写体の人物の目が閉じられていたり、赤目であったり、被写体の顔の輝度値が高すぎたり、焦点があってなかったり、と意図する撮影ができなかったとしても、被写体が小さい場合はそのような状況を確認することは困難であった。
【０００５】
そのため、これらの撮像装置は、ユーザーによるボタン操作によって画像を拡大してから画像の確認を行える機能を備えている。
【０００６】
しかしながら、撮影する度に画像を拡大することは手間がかかる。よって、撮影画像に不備があって撮影をやり直そうとしても、操作の間に被写体の構図が変化してしまっている可能性が高い。
【０００７】
また、ユーザーによっては、１枚撮像するたびに画像を確認するのではなく、複数の画像を撮像し終わった後で、まとめて撮像画像を確認するといった使い方をすることもある。
【０００８】
この場合、最初の画像を撮影してからしばらく経過した後に、意図する撮影ができていなかったことに気付くことになる。この場合も、撮影画像に不備があって撮影をやり直そうとしても、操作の間に被写体の構図が変化してしまっている可能性が高い。
【０００９】
そこで、ユーザーがわざわざ画像を拡大する操作を行わずとも、すぐさま撮像の成否を判定できる機能が望まれている。
【００１０】
例えば、被写体の顔及び目の位置を検出して、目つぶりなどの出力写真として適さない画像を自動的に排除し、常に最良の画像を出力し得る証明写真用のシステムが提案されている（特許文献１）。
【特許文献１】特開２０００−２９２８５３号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
特許文献１には、被写体の目の位置を検出し、目の状態を判定して瞳が開いている場合にのみ撮像するとある。
【００１２】
このような方法は、証明写真のように一人の被写体が撮像対象で、かつ目が開いていることが前提である場合においては有効である。
【００１３】
しかしながら、ユーザーが任意のタイミングで撮像を行う一般的なデジタルカメラやデジタルビデオカメラ等の使用方法では、目を閉じている状態を撮像することもあり、被写体の状態に応じて一義的に処理を決定してしまうという方法は好ましくない。
【００１４】
本発明は上記問題点を鑑みてなされたものであり、簡便に最適な画像を撮像することを可能にさせる撮像装置あるいは撮像方法を提供することを目的とする。
【課題を解決するための手段】
【００１５】
上記課題を解決し、目的を達成するために、本発明の撮像装置は、使用者からの指示に応じて撮像された画像データから被写体領域を検出する被写体検出手段と、前記撮像された画像データを基に、表示用画像データを生成する信号処理手段と、前記信号処理手段にて処理された表示用画像データを表示する表示手段と、前記被写体検出手段の検出結果をもとに、警告するか否かの判定をする判定手段と、判定手段の判定結果に応じて警告を行う報知手段とを有し、制御部は、前記警告の内容に応じて、撮像部の制御パラメータを自動で変更して撮像部に撮像させることを特徴とする撮像装置。
【００１６】
また、上記課題を解決し、目的を達成するために、本発明の撮像装置の制御方法は、使用者からの指示に応じて撮像された画像データから被写体領域を検出する被写体を検出する被写体検出工程と、前記撮像された画像データを基に、表示用画像データを生成する信号処理工程と、前記信号処理工程にて処理された表示用画像データを表示する表示工程と、前記被写体検出工程の検出結果をもとに、警告するか否かの判定をする判定工程と、判定手段の判定結果に応じて警告を行う報知工程とを有し、制御部は、前記警告の内容に応じて、撮像部の制御パラメータを自動で変更して撮像部に撮像させることを特徴とする撮像装置の制御方法。
【発明の効果】
【００１７】
本発明によれば、デジタルカメラやデジタルビデオカメラ等での撮像時に、被写体の状態を画像処理によって判定し、その判定結果に応じて再撮像、または再撮像を促すような警告を行うことによって、簡便に最適な画像を撮像することを可能にさせることができる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の好適な実施形態について、図面を参照して詳細に説明する。
【００１９】
（第１の実施形態）
本実施形態における撮像装置２０の構成を図１に示す。ここでは撮像装置としてデジタルカメラを例にあげて説明を行う。
【００２０】
同図において、１は撮像装置２０の各機能を制御する為の信号を制御する制御部である。
【００２１】
２は、光電変換機能を有するＣＣＤやＣＭＯＳ等の固体撮像素子、固体撮像素子に被写体光を導くための撮像光学系、固体撮像素子に到達する光量を調整する絞りやシャッターからなる光量調節部材、および固体撮像素子の出力信号の利得を調節するＡＧＣ（オートゲインコントローラ）等を有している撮像部である。
【００２２】
３は撮像部２から出力される信号を入力として、例えば公知の色補正処理や輝度補正処理等の信号処理を施し画像データを生成する画像処理部である。
【００２３】
４は画像処理部３で生成された画像データを蓄積する画像蓄積バッファである。
【００２４】
５は画像蓄積バッファ４に蓄えられた画像データを読み出して、データ量を間引いた画像データに変換する信号変換部である。
【００２５】
９は画像蓄積バッファ４に蓄積された画像データを用いて、画像データの中から人物の顔を検出する顔検出部である。
【００２６】
８は顔検出部９にて検出された人物の顔が所定の条件を満たしているか否かを判定する判定部である。
【００２７】
６は判定部８の判定結果に応じて、信号変換部５にて生成された画像データと警告表示とを合成する画像生成部である。
【００２８】
７は画像生成部６の出力を不図示のＤ／Ａ変換装置によりアナログ信号に変換して表示する表示部である。
【００２９】
１０は画像蓄積バッファ４に一時的に保存されていた画像データが最終的に保存されるフラッシュメモリ等の記録部である。
【００３０】
図２は本実施形態における処理の流れを説明するためのフローチャートである。以下このフローチャートにそって動作の説明を行う。
【００３１】
なお、このフローチャートは、カメラの不図示のレリーズスイッチがユーザーによって操作されることで、制御部１が撮影画像データを記録するよう指示を出した後の処理から記載されている。
【００３２】
ステップＳ１０１では、撮像部２が設定された露出値に沿うように固体撮像素子への露光動作を行い、固体撮像素子の出力信号の利得を調節する。
【００３３】
ステップＳ１０２では、画像処理部３は、撮像部２から出力される信号を処理して画像データを生成する。
【００３４】
ステップＳ１０３では、制御部１は、Ｓ１０２で生成された画像データを画像蓄積バッファ４に記録する。この画像蓄積バッファ４に記録された画像データに対して、次のステップＳ１０４の処理とステップＳ１０５，Ｓ１０６の処理とが並行して行われる。
【００３５】
ステップＳ１０４では、信号変換部５は、画像蓄積バッファ４に蓄えられた画像データよりも解像度の小さな表示用画像データを生成する。
【００３６】
なお、解像度の小さな表示用画像データに変換する理由は、ＥＶＦの性能上、表示できる解像度には限界があり、高解像度の画像データを扱うのは処理時間の増大を招くので、データを間引いた解像度の小さい画像に変換することにより、扱うデータ量を小さくし処理の高速化を図るためである。
【００３７】
ステップＳ１０５では、顔検出部９はＳ１０３で画像蓄積バッファ４に蓄積された画像データから後述する顔検出を行う。
【００３８】
ステップＳ１０６では、判定部８は、顔検出部９にて検出された顔の目が閉じているか否かの判定を行う。本実施形態では、被写体が目を閉じていると判定された場合に、警告を行うものとする。ここで、ステップＳ１０４の処理と、ステップＳ１０５，１０６の処理を別々に行う理由について説明する。ステップＳ１０４にて生成された表示用画像データは解像度が小さいため、判定部８が表示用画像データを用いて判定を行おうとすると、特に被写体が小さい場合は判定に失敗する場合が考えられる。そこで、ステップＳ１０５，１０６において、表示用画像データよりも解像度の大きな画像データを用いて目が閉じているか否かの判定を行うことにより、表示用画像データを用いた場合に比較して、判定の精度を高めることができる。なお、判定速度をあげるために、ステップＳ１０４にて生成された表示用画像データよりは解像度が大きいが、ステップＳ１０３にて画像蓄積バッファ４に蓄積された画像データよりは解像度の小さい判定用の画像データを生成し、これから顔検出および目つぶりの判定を行うようにしても良い。
【００３９】
ステップＳ１０７では、ステップＳ１０６にて警告する必要があると判定されたのであれば、画像生成部６は、ステップＳ１０４にて生成される画像データに警告表示を合成した新たな画像データを生成して出力する。ステップＳ１０６にて警告する必要がないと判定されたのであれば、画像生成部６は、ステップＳ１０４にて生成される画像データをそのまま出力する。
【００４０】
ステップＳ１０８では、画像生成部６の出力を受けて、表示部７がその表示を行う。
【００４１】
ステップＳ１０９では、ステップＳ１０６にて被写体が目を閉じていると判定されたか否かを判定する。被写体が目を閉じていないと判定されたのであれば、ステップＳ１１０へ進み、画像蓄積バッファ４に蓄積された画像データをフラッシュメモリ等の記録媒体に記録して、このフローを終了する。
【００４２】
ステップＳ１０９で被写体が目を閉じていると判定されたのであれば、制御部１は、フラッシュ光量、撮影感度やシャッタースピード等といった撮像部２の制御パラメータを保持し、撮像部２を再度駆動して固体撮像素子への露光動作を行うためにステップＳ１０１へと戻る。あるいは、制御部１は、焦点調節動作、測光動作をやり直して新たな撮像部２の制御パラメータを設定してから、撮像部２を再度駆動して固体撮像素子への露光動作を行うためにステップＳ１０１へと戻る。
【００４３】
なお、ステップＳ１０９において被写体が目を閉じていると判定された場合には、ステップＳ１１１に進み、露出量、フラッシュ光量やシャッタースピード等といった撮像部２の制御パラメータを変更する。
【００４４】
ステップＳ１１１にて、制御パラメータを変更するのは、計時変化により最初行われた撮像から撮像シーンの状況が変わっている可能性があるからである。
【００４５】
そして、制御部１は、ステップＳ１１１にて撮像部２の制御パラメータを変更したのであれば、この変更した制御パラメータを設定して、ステップＳ１０１に戻り、撮像部２を再度駆動して固体撮像素子への露光動作を行う。
【００４６】
つづいて、顔検出部９にて行われる顔検出処理について説明する。
【００４７】
代表的な顔検出方法としては、ニューラルネットワークに代表される学習を用いた手法、目や鼻や口といった形状に特徴のある部位を画像領域からテンプレートマッチングを用い探し出し、形状の類似度が高ければ顔とみなす手法、肌の色や目の形といった画像特徴量を検出し統計的解析を用いた手法等、多数提案されている。そして、これらの手法を複数組み合わせて顔検出するものが一般的である。
【００４８】
具体的には特開平２００２−２５１３８０号公報に記載のウェーブレット変換と画像特徴量を利用して顔検出する方法が挙げられている。
【００４９】
ここで、色情報と目の特徴的な形状からテンプレートマッチングを行うことによって顔検出を行う手法について説明する。
【００５０】
図３は本実施形態における顔検出方法、および目の状態の判別方法の一例を説明した図である。図４は本実施形態における顔検出方法を説明するためのフローチャートである。以下このフローチャートにそって動作の説明を行う。
【００５１】
ステップＳ４０１では、顔検出部９は、対象となる画像データから肌色領域の抽出を行う。
【００５２】
図５はＣＩＥＬａｂの色空間における代表色を示した色度図であり、その中の楕円で示した領域は肌色である可能性が高い領域である。
【００５３】
図３ａは顔検出する対象となる画像データを示す図である。
【００５４】
図３ｂは図３ａに示す画像中から肌色領域の色度である領域を抽出したものを示す図である。
【００５５】
ステップＳ４０２では、顔検出部９は、顔検出の対象となる画像に対して例えばハイパスフィルタを適応する。
【００５６】
図３ｃは図３ｂに示す画像にハイパスフィルタを適応して得られた画像の例である。
【００５７】
本実施形態では顔検出部９は、抽出された肌色領域から目、鼻、口、眉等の顔の特徴的な部位を検出し、顔以外の肌色領域を除外する。
【００５８】
ステップＳ４０３では、図６に示すように、ステップＳ４０２にて検出された領域に対して、予め撮像装置内のメモリに記録されている目のテンプレートデータを用いてテンプレートマッチング（テンプレートデータと撮像された画像データを比較し、一致あるいは近似するものがあるかを検証する）を行い、撮像された画像データ中における目の検出を行う。
【００５９】
ステップＳ４０４では、顔検出部９は、ステップＳ４０３で検出された目の画像データとテンプレートマッチングにより検出された目の位置を比較する。
比較の結果、目の開き具合が充分でない場合や、片方の目しか検出されない場合や、両目とも検出できなかった場合には、被写体の目が閉じていると判定し、このフローを終了する。
【００６０】
図７は被写体が目を閉じてしまったことを画面上に表示して警告している様子を示した図である。
【００６１】
このように被写体が目を閉じてしまった場合に、画像生成部６は、画面上に文字やアイコンを合成して表示することで、ユーザーにわかりやすく警告を行うことが可能である。
【００６２】
なお、警告を行う方法はこれに限られるものではなく、音声や、ＬＥＤ等を点滅又は点灯させること等によって代替できることは言うまでもない。
【００６３】
ユーザーは、警告が発せられたことによって、その場ですぐさま撮像のやり直しが行われることを知ることができる。
【００６４】
また、上記のフローチャートでは、被写体が目を閉じているときは自動的に撮像をやり直していたが、これに限られるものではない。
【００６５】
被写体がウインクをしているシーン等、判定部８が不適切と判定してしまうシーンを故意に撮像することも想定されるので、警告を発した後の再撮像を行うか否かの判断は、ユーザーに任せるようにしてもよい。
【００６６】
不図示の選択ボタンを押すことで、再撮像を自動で行うかユーザーに選択させるかを切り換えられるように構成してもよい。
【００６７】
警告が発せられた場合にユーザーが再撮像の要否を判定するのであれば、ユーザーはＥＶＦに表示されている画像の構図を考慮して、すぐさま撮像のやり直しを行うか否かを判断することができる。
【００６８】
ＥＶＦに表示された画像は解像度が低いために、被写体が目を閉じているか否かを判断することが困難な場合もあるが、警告の有無によってユーザーが素早く被写体の目が閉じていることを確実に知ることができ、被写体の構図が大きく変わらないうちに撮像をやり直すことが可能となる。
【００６９】
これによって画像の構図と、被写体の目の状態を比較して、撮像のやり直しの有無をユーザーが自由に選択できるようになる。
【００７０】
なお、本実施形態においては、警告の結果、再撮影を行うことになった際にパラメータの変更を行っているが、警告判定の基となった画像データを得た直前の撮影からの時間を計測し、所定時間以上経過しているのであれば、測光動作や測距動作を再度行って撮像部２の制御パラメータを新たに設定しなおすようにしてもよい。
【００７１】
次に、第１の実施形態の変形例について説明する。
【００７２】
この変形例は、カメラの不図示のレリーズスイッチがユーザーによって操作される前に顔検出を行うものである。レリーズスイッチがユーザーによって操作されるよりも前の時点から、ユーザーが表示部７にて被写体をモニターできる撮影モードを例にあげて、図８のフローチャートを用いて説明する。
【００７３】
カメラに静止画を撮影するためのモードが設定されると、ステップＳ１１０１では、ユーザーが被写体をモニターするための画像データを得るために、撮像部２が固体撮像素子への露光動作を行い、固体撮像素子の出力信号の利得を調節する。
【００７４】
ステップＳ１１０２では、画像処理部３は、撮像部２から出力される信号を処理して画像データを生成する。
【００７５】
ステップＳ１１０３では、制御部１は、Ｓ１１０２で生成された画像データを画像蓄積バッファ４に記録する。
【００７６】
ステップＳ１１０４では、信号変換部５は、画像蓄積バッファ４に蓄えられた画像データよりも解像度の小さな表示用画像データを生成する。
【００７７】
ステップＳ１１０５では、顔検出部９はＳ１１０３で画像蓄積バッファ４に蓄積された画像データから顔検出を行う。この処理は、図２に示すステップＳ１０５での処理と同じである。
【００７８】
ステップＳ１１０６では、検出された顔が存在する領域の座標を記録する。
【００７９】
ステップＳ１１０７では、ステップＳ１１０６にて記録された座標に応じた枠を生成し、この枠をステップＳ１１０４にて生成された画像データに合成した新たな画像データを生成する。
【００８０】
ステップＳ１１０８では、表示部７がこの新たな画像データを用いて表示を行う。これにより、カメラがどの領域を顔として検出し、どの領域に対して焦点調節や露出制御を優先的に行うのかをユーザーが認識することができる。そしてカメラは顔が存在する領域の画像データに重みをおいて、焦点調節や絞り値の制御を行うとともに、露光時間を設定する。
【００８１】
ステップＳ１１０９では、カメラの不図示のレリーズスイッチがユーザーによって操作されたか否かを判定し、操作されていなければステップＳ１１０１に戻り、操作されていればステップＳ１０１に進む。
【００８２】
ステップＳ１０１では、撮像部２が固体撮像素子への露光動作を行い、固体撮像素子の出力信号の利得を調節する。
【００８３】
ステップＳ１０２では、画像処理部３は、撮像部２から出力される信号を処理して画像データを生成する。
【００８４】
ステップＳ１０３では、制御部１は、Ｓ１０２で生成された画像データを画像蓄積バッファ４に記録する。この画像蓄積バッファ４に記録された画像データに対して、次のステップＳ１０４の処理とステップＳ１０６の処理とが並行して行われる。
【００８５】
ステップＳ１０４では、信号変換部５は、画像蓄積バッファ４に蓄えられた画像データよりも解像度の小さな表示用画像データを生成する。
【００８６】
ステップＳ１０６では、判定部８は、画像蓄積バッファ４に蓄えられた画像データから、ステップＳ１１０６で記録された座標に応じた領域の中に一対の目が存在するか否かを判断する。判定部８は、一対の目が存在しない場合は被写体の目が閉じていると判定し、警告を行うものとする。
【００８７】
ステップＳ１０７では、ステップＳ１０６にて警告する必要があると判定されたのであれば、画像生成部６は、ステップＳ１０４にて生成される画像データに警告表示を合成した新たな画像データを生成して出力する。ステップＳ１０６にて警告する必要がないと判定されたのであれば、画像生成部６は、ステップＳ１０４にて生成される画像データをそのまま出力する。
【００８８】
ステップＳ１０８では、画像生成部６の出力を受けて、表示部７がその表示を行う。
【００８９】
ステップＳ１０９では、ステップＳ１０６にて被写体が目を閉じていると判定されたか否かを判定する。被写体が目を閉じていないと判定されたのであれば、ステップＳ１１０へ進み、画像蓄積バッファ４に蓄積された画像データをフラッシュメモリ等の記録媒体に記録して、このフローを終了する。
【００９０】
ステップＳ１０９で被写体が目を閉じていると判定されたのであれば、制御部１は、フラッシュ光量、撮影感度やシャッタースピード等といった撮像部２の制御パラメータを保持し、撮像部２を再度駆動して固体撮像素子への露光動作を行うためにステップＳ１０１へと戻る。あるいは、制御部１は、焦点調節動作、測光動作をやり直して新たな撮像部２の制御パラメータを設定してから、撮像部２を再度駆動して固体撮像素子への露光動作を行うためにステップＳ１０１へと戻る。
【００９１】
このように、撮影画像データを記録する指示がユーザーから出る前の画像データから顔の位置を検出し、その座標に基づいて、撮影画像データから目を閉じているか否かの判定を行ってもよい。
【００９２】
（第２の実施形態）
次に本発明の別の実施形態について説明する。第１の実施形態と異なる点を中心に説明する。
【００９３】
本実施形態では、警告を行う基準として被写体に赤目現象が発生しているか否かを判定基準としている。
【００９４】
赤目現象とは、公知のように、照度の低い状況下で人物を撮像する際にはストロボ装置を発光させて撮像を行うが、ストロボ装置から発せられた閃光が人物の眼球の奥で反射してしまい、人物の目が赤く写ってしまう現象である。
【００９５】
本実施形態における判定部８は、顔検出部にて検出された顔に赤目が生じているか否かの判定を行う。
【００９６】
図９は本実施形態における処理の流れを説明するためのフローチャートである。
【００９７】
以下、このフローチャートに沿って動作の説明を行う。
【００９８】
図２とは、画像蓄積バッファ４に蓄積された画像データより検出された顔領域から、赤目検出を行って警告の有無の判定を行う点（ステップＳ１０５、Ｓ２０１）と、警告を行うと判定された場合にフラッシュ光量に間する撮像部２の制御パラメータを強制的に変更する点（ステップＳ２０２）が異なる。
【００９９】
赤目検出は、まず顔検出部９が図３のステップＳ４０１〜Ｓ４０４と同様の処理によって画像データから目を検出する。判定部８がこの目として検出された領域の色相を調べ、目の画像位置の平均色相を検出し赤色成分が設定された閾値以上の場合に、赤目が生じていると判断する。
【０１００】
判定部８は、この赤目検出の結果と、撮像した時のフラッシュの発光量、周辺の明るさ、撮像感度、シャッタースピード等の撮像条件を基にユーザーに対して警告を行うか否かの判定を行う。
【０１０１】
具体的な判定方法としては、撮影しようとする被写体の周辺の明るさが暗く、かつ大光量のフラッシュ発光を行った場合は、赤目になる可能性が高くなるので、赤目であるという判定確立を上げる（つまり、赤目成分の閾値を低くする）。
【０１０２】
逆にフラッシュ発光を行わなかった場合には、顔検出部９により出力された顔検出の結果を加味するまでもなく、赤目警告を行わないと判断するような制御をすることによって高速で精度の高い判定が可能である。
【０１０３】
図１０は赤目であることを画面上に表示して警告している様子を示した図である。
【０１０４】
このように赤目であった場合に、画像生成部６は、画面上に文字やアイコンを合成して表示することで、ユーザーにわかりやすく警告を行うことが可能である。
【０１０５】
また、音声や、ＬＥＤ等を点滅又は点灯させることによって警告しても良いことは言うまでもない。
【０１０６】
警告が発せられた場合、ステップＳ２０２に進み、フラッシュ光量に関する撮像部２の制御パラメータを変更する。
【０１０７】
具体的には赤目緩和用ランプの点灯時間を長くしたり、赤目緩和用ランプの光量を大きくしたり、フラッシュ発光量を変更したりすることで、制御部１は赤目現象が生じにくい状況となるように撮像部２の制御パラメータを変更する。
【０１０８】
そして、制御部１は、ステップＳ２０２にて撮像部２の制御パラメータを変更したのであれば、この変更した制御パラメータを設定して、ステップＳ１０１に戻り、撮像部２を再度駆動して固体撮像素子への露光動作を行う。
【０１０９】
（第３の実施形態）
本発明の更に別の実施形態について説明する。第２の実施形態では赤目現象が生じているか否かを警告の判定基準としていたが、本実施形態では、被写体の顔領域が合焦状態にあるか否か、あるいは、ぶれているか否かを警告の判定基準としている。
【０１１０】
本実施形態における判定部８は、顔検出部にて検出された顔のぶれの状態や合焦状態の判定を行う。
【０１１１】
一般的に撮影に適さない画像として、ぶれている画像やフォーカスが合ってない画像がある。
【０１１２】
また、ぶれと呼ばれるものには、シャッターを押した際にカメラが動いてしまう手ぶれと、被写体が動いていた為に生じる被写体ぶれと呼ばれるものがある。
【０１１３】
どちらとも画像領域の一定方向に動いている場合が多く、例えば周波数的な解析方法としてフーリエ変換等を用いることにより、通常の画像に存在しないような特定の周波数成分が多いと判断された場合にはぶれていると検出する手法がある。
【０１１４】
フォーカスがあってないことを検出する手法に関しては、上記ぶれ検知手法と同様に周波数的解析を行い、高周波成分が少ないような場合にフォーカスがあってないと判断する手法がある。
【０１１５】
図１１は本実施形態における処理の流れを説明するためのフローチャートである。
【０１１６】
図９とは、画像蓄積バッファ４に蓄積された画像データから顔検出部９にて顔の領域を検出し、検出された顔領域の合焦状態を判定する点（ステップＳ１０５、Ｓ３０１）が異なっている。
【０１１７】
警告が発せられた場合、ステップＳ２０２にてシャッタースピードや感度等の撮像部２の制御パラメータを強制的に変更する。
【０１１８】
ぶれを防止するために露出時間を短く（シャッター速度を早く）し、これを絞り値や感度で補償する。
【０１１９】
本実施形態によれば、画像がぶれたり、フォーカスが合わないといった状況を検出し、その旨を撮像者に警告することで、好適な画像の撮像をすることを可能にする。
【０１２０】
上述の実施形態では、被写体が人物であり、目を閉じていることを検出した場合、赤目であることを検出した場合、あるいは、ぶれていることを検出した場合を例に挙げて説明を行ったが、本発明はこれらに限られるものではない。
【０１２１】
また、画像処理を行い画像データから被写体の特徴を検出し、その検出結果に応じて警告の有無を表示する、あるいは自動的に再撮影を行う構成であれば、画像データの不備についての判定基準は上記以外のものであって構わない。
主被写体となる対象を判別し、この主被写体となる対象に生じた不具合が、表示された撮影画像データが小さいがためにユーザーが視覚的に認識できなくなる場合であれば、本発明を自在に適用することができる。
【０１２２】
上述の構成を満たすことにより、画像データにユーザーが拡大表示しないと確認できないような不備が生じていた場合であっても、速やかに撮影を行うよう警告、あるいは自動的に再撮影を行うことができるため、タイミングを逸することなく所望の撮影ができるようになる。
【図面の簡単な説明】
【０１２３】
【図１】第１の実施形態における撮像装置のブロック図である。
【図２】第１の実施形態における処理のフローチャートを示す図である。
【図３】第１の実施形態における顔検出方法の説明図である。
【図４】第１の実施形態における顔検出方法のフローチャートを示す図である。
【図５】ＣＩＥＬａｂ色空間における代表的な色度図である。
【図６】第１の実施形態におけるテンプレートマッチングを示す図である。
【図７】第１の実施形態における警告の形態を示す図である。
【図８】第１の実施形態の変形例における処理のフローチャートを示す図である。
【図９】第２の実施形態における処理のフローチャートを示す図である。
【図１０】第２の実施形態における警告の形態を示す図である。
【図１１】第３の実施形態における処理のフローチャートを示す図である。
【符号の説明】
【０１２４】
１  制御部
２  撮像部
３  画像処理部
４  画像蓄積バッファ
５  信号変換部
６  画像生成部
７  表示部
８  判定部
９  顔検出部
１０  記録部
【図１】
2006087083.tif 000003
【図２】
2006087083.tif 000004
【図３】
2006087083.tif 000005
【図４】
2006087083.tif 000006
【図５】
2006087083.tif 000007
【図６】
2006087083.tif 000008
【図７】
2006087083.tif 000009
【図８】
2006087083.tif 000010
【図９】
2006087083.tif 000011
【図１０】
2006087083.tif 000012
【図１１】
2006087083.tif 000013