(57)【要約】【課題】検出された全ての顔に焦点、露出、ホワイトバランスを合わせながら、検出された顔の数だけ撮影し、検出された顔それぞれに最適な画像を撮影すること可能とする。【解決手段】自動焦点調節機能、自動露出調節機能および自動ホワイトバランス調節機能を備え、被写体に応じた画像データを入力する撮像手段と、撮像手段から入力される画像データの中から人物の顔を検出する顔検出手段と、顔検出手段により検出された人物の顔に対して焦点、露出およびホワイトバランスを合わせる制御を行う制御手段を備え、制御手段は、１画面につき複数の顔が検出された場合にはそれぞれの顔について焦点、露出およびホワイトバランスを合わせる制御を実行しながら、検出された顔の数だけ順次撮影する。【選択図】図８
2009044293.tif 000002
【特許請求の範囲】
【請求項１】
自動焦点調節機能、自動露出調節機能および自動ホワイトバランス調節機能を備えた撮像装置において、
被写体に応じた画像データを入力するための撮像手段と、
撮像手段から入力される画像データの中から人物の顔を検出するための顔検出手段と、
顔検出手段により検出された人物の顔に対して焦点、露出およびホワイトバランスを合わせる制御を行う制御手段を備え、
前記制御手段は、１画面につき複数の顔が検出された場合にはそれぞれの顔について上記焦点、露出およびホワイトバランスを合わせる制御を実行しながら、検出された顔の数だけ順次撮影することを特徴とする撮像装置。
【請求項２】
検出された複数の人物の顔に対応した数の画像を撮影した後に、撮影した複数の画像の保存の要否を画像ごとに選択可能としたことを特徴とする請求項１記載の撮像装置。
【請求項３】
制御手段は、１画面につき複数の顔が検出されて顔の数だけ順次撮影する場合、ある顔に対する焦点、露出およびホワイトバランスを決定する制御値がすでに最適化されて撮影された他の顔に対する制御値と大差ないときには、上記ある顔に対する撮影をしないことを特徴とする請求項１記載の撮像装置。
【請求項４】
自動焦点調節機能、自動露出調節機能および自動ホワイトバランス調節機能を備えた撮像方法において、
撮像手段から被写体に応じた画像データを入力するステップと、
撮像手段から入力される画像データの中から人物の顔を検出するステップと、
検出された人物の顔に対して焦点、露出およびホワイトバランスを合わせる制御を行う制御ステップを備え、
前記制御ステップでは、１画面につき複数の顔が検出された場合、それぞれの顔について上記焦点、露出およびホワイトバランスを合わせる制御を実行しながら、検出された顔の数だけ順次撮影することを特徴とする撮像方法。
【請求項５】
検出された複数の人物の顔に対応した数の画像を撮影した後に、撮影した複数の画像の保存の要否を画像ごとに選択可能とするステップを備えていることを特徴とする請求項４記載の撮像方法。
【請求項６】
制御ステップでは、１画面につき複数の顔が検出されて顔の数だけ順次撮影する場合、ある顔に対する焦点、露出およびホワイトバランスを決定する制御値がすでに最適化されて撮影された他の顔に対する制御値と大差ないときには、上記ある顔に対する撮影をしないことを特徴とする請求項４記載の撮像方法。
【請求項７】
請求項４，５または６にかかる発明の各ステップをコンピュータが実行するためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、各種カメラなどの撮像装置、撮像方法およびその方法をコンピュータが実行するためのプログラムに関するもので、詳細には、自動焦点調節機能、露光制御機能、自動ホワイトバランス調節機能、および顔検出機能を有し、検出した顔ごとに最適な条件で撮像することができるようにしたものである。
【背景技術】
【０００２】
従来のデジタルカメラ等の撮像装置で、人物の顔に合わせて、焦点、露出、ホワイトバランスを決定する技術が知られている。すなわち、画面内で人物の顔を検出し、検出された顔に対し焦点、露出、ホワイトバランスを決定するもので、特許文献１記載の発明はそのひとつである。特許文献１記載の発明は、自動露出方法、およびその方法をコンピュータが実行するためのプログラムに関するもので、自動焦点調節機能、自動露出調節機能、自動ホワイトバランス調節機能の少なくとも一つを備えた撮像装置において、被写体に応じた画像データを入力するための撮像手段と、撮像手段から入力される画像データの中から人物の顔を検出するための顔検出手段と、顔検出手段により検出された人物の顔に対して露出を制御する露出制御手段を備えていることを特徴としている。
【０００３】
特許文献２には、複数人存在する被写体の顔を認識し、顔に対する被写体距離・被写体輝度などのパラメータからグループ化を行い、グループごとに最適な撮像パラメータを設定し、それぞれのグループごとに最適な撮像パラメータでの撮影を行うことを可能にした撮影装置及びその制御方法及びプログラム及び記憶媒体に関する発明が記載されている。
【０００４】
特許文献３には、異なる露出条件で複数枚撮影し、これらの画像から肌色領域の彩度が最も高い画像を選択し、その画像内における肌色の色相を有する領域を検出し、得られた肌色エリアを彩度によって領域分割し、彩度分割された各肌色領域について形状認識を行い、最終的な顔領域を検出するようにした顔領域抽出方法及び装置に関する発明が記載されている。
【０００５】
【特許文献１】特開２００３−１０７５５５号公報
【特許文献２】特開２００６−３４５２５４号公報
【特許文献３】特開２００４−２０１２２８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１〜３に記載されている発明を含む従来の測光方式は、複数人の顔が検出された場合に、複数の顔に対して平均的に、焦点、露出、ホワイトバランスを合わせるものである。その結果、一部の顔についてのみ最適化されるにすぎず、撮影者が優先して撮影したい顔に対して、焦点、露出、ホワイトバランスの各制御パラメータが合っていない場合がある。
【０００７】
本発明は、上記従来技術の問題点に鑑みてなされたもので、検出された顔の数だけ撮影すること、より詳細には、検出された全ての顔に対してそれぞれ焦点、露出、ホワイトバランスを合わせながら、検出された顔の数だけ撮影することにより、検出された顔それぞれに対し最適な画像を撮影することができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明にかかる撮像装置は、自動焦点調節機能、自動露出調節機能および自動ホワイトバランス調節機能を備えたものにおいて、被写体に応じた画像データを入力するための撮像手段と、撮像手段から入力される画像データの中から人物の顔を検出するための顔検出手段と、顔検出手段により検出された人物の顔に対して焦点、露出およびホワイトバランスを合わせる制御を行う制御手段を備え、この制御手段は、１画面につき複数の顔が検出された場合にはそれぞれの顔について上記焦点、露出およびホワイトバランスを合わせる制御を実行しながら、検出された顔の数だけ順次撮影することを最も主要な特徴とする。
【０００９】
本発明にかかる撮像方法は、自動焦点調節機能、自動露出調節機能および自動ホワイトバランス調節機能を備えたものにおいて、撮像手段から被写体に応じた画像データを入力するステップと、撮像手段から入力される画像データの中から人物の顔を検出するステップと、検出された人物の顔に対して焦点、露出およびホワイトバランスを合わせる制御を行う制御ステップを備え、この制御ステップでは、１画面につき複数の顔が検出された場合、それぞれの顔について上記焦点、露出およびホワイトバランスを合わせる制御を実行しながら、検出された顔の数だけ順次撮影することを主要な特徴とする。
【００１０】
検出された複数の人物の顔に対応した数の画像を撮影した後に、撮影した複数の画像の保存の要否を画像ごとに選択可能とするとなおよい。
１画面につき複数の顔が検出されて顔の数だけ順次撮影する場合、ある顔に対する焦点、露出およびホワイトバランスを決定する制御値がすでに最適化されて撮影された他の顔に対する制御値と大差ないときには、上記ある顔に対する撮影をしないようにするとなおよい。
【発明の効果】
【００１１】
本発明によれば、１画面につき複数の顔が検出された場合、それぞれの顔について焦点、露出およびホワイトバランスを合わせる制御を実行しながら、検出された顔の数だけ順次撮影するようにしたため、検出された各顔に対して焦点・露出・ホワイトバランスが最適化された画像を得ることができる。
【００１２】
検出された複数の人物の顔に対応した数の画像を撮影した後に、撮影した複数の画像の保存の要否を画像ごとに選択可能とすれば、複数枚撮影した画像の中であまり差異のない画像を削除することができるので、メモリの容量を無駄に消費することを防ぐことが可能となる。
【００１３】
１画面につき複数の顔が検出されて顔の数だけ順次撮影する場合、ある顔に対する焦点、露出およびホワイトバランスを決定する制御値がすでに最適化されて撮影された他の顔に対する制御値と大差ないときには、上記ある顔に対する撮影をしないようにすれば、複数枚撮影する際にあまり差異のない画像が撮影されることを防止することができるため、撮影時間が長くなることやメモリの容量を無駄に消費することを防ぐことが可能となる。
【発明を実施するための最良の形態】
【００１４】
次に、本発明に係る撮像装置、撮像方法およびその方法をコンピュータが実行するためのプログラムの実施例について図面を参照しながら説明する。なお、各図の各構成部分に付した符号は、同じ部材や同じ処理部に関しては、極力、同じ符号を付けている。
【実施例１】
【００１５】
カメラシステム説明：
まず、図１，２，３に示す、本発明にかかる撮像装置の一例であるデジタルカメラの外観の例について説明する。図１，２，３において、カメラの上面には、レリーズシャッタＳＷ１、モードダイヤルＳＷ２、サブＬＣＤ（液晶ディスプレイ：以下「ＬＣＤ」という）１が配置されている。
【００１６】
カメラの前面には、鏡胴ユニット７、リモコン受光部６、測距ユニット５、光学ファインダ４、ストロボ発光部３がそれぞれ配置され、前面に向かって左側部には、メモリカードの１規格であるＳＤカードスロットおよび電池室を開閉することができる蓋２が配置されている。
【００１７】
カメラの背面には、ＬＣＤモニタ１０、電源スイッチ１３、オートフォーカス（以下「ＡＦ」という）動作を表示するＡＦＬＥＤ８、ストロボ発光モードであることを表示するストロボＬＥＤ９、光学ファインダ６、ワイド側へのズームスイッチＳＷ３、テレ側へのズームスイッチＳＷ４、上／ストロボスイッチＳＷ７、右スイッチＳＷ８、下／マクロスイッチＳＷ１０、左／画像確認スイッチＳＷ１１、クイックアクセススイッチＳＷ１５、セルフタイマ／削除スイッチＳＷ５、メニュースイッチＳＷ６、ＯＫスイッチＳＷ１２、ディスプレイスイッチＳＷ９がそれぞれ配置されている。
【００１８】
図４は、上記デジタルカメラに内蔵されている制御系統の例を示すブロック図である。図１〜図４を参照しながら、本発明にかかる撮像装置としてデジタルカメラの例を挙げてその構成および動作を説明する。
【００１９】
図１〜４において、撮影レンズ光学系を含む鏡胴ユニット７は、被写体の光学画像を取り込むズームレンズ７−１ａ、ズーム駆動モータ７−１ｂからなるズーム光学系７−１と、フォーカスレンズ７−２ａ、フォーカス駆動モータ７−２ｂからなるフォーカス光学系７−２と、絞り７−３ａ、絞りモータ７−３ｂからなる絞りユニット７−３と、メカシャッタ７−４ａ、メカシャッタモータ７−４ｂからなるメカシャッタユニット７−４と、各モータを駆動するモータドライバ７−５を有する。モータドライバ７−５は、リモコン受光部６からの信号入力、あるいは操作部キーユニットＳＷ１〜ＳＷ１５の操作による信号入力に基づき、後述するディジタルスチルカメラプロセッサ１０４内にあるＣＰＵブロック１０４−３からの駆動指令により駆動制御される。
【００２０】
ＲＯＭ１０８には、ＣＰＵブロック１０４−３にて解読可能なコードで記述された、制御プログラムや制御するためのパラメータが格納されている。このデジタルカメラの電源がオン状態になると、前記プログラムは不図示のメインメモリにロードされ、前記ＣＰＵブロック１０４−３はそのプログラムに従って装置各部の動作を制御するとともに、制御に必要なデータ等を、一時的に、ＲＡＭ１０７、及び後述するディジタルスチルカメラプロセッサ１０４内にあるＬｏｃａｌ  ＳＲＡＭ１０４−４に保存する。ＲＯＭ１０８に書き換え可能なフラッシュＲＯＭを使用することで、制御プログラムや制御するためのパラメータを変更することが可能となり、機能のバージョンアップを容易に行うことができるようになっている。ＣＰＵブロック１０４−３を含むディジタルスチルカメラプロセッサ（以下「ＤＳＰ」という）１０４、ＲＯＭ１０８、ＲＡＭ１０７などによって、上記制御プログラム基づいて動作するコンピュータが構成されている。
【００２１】
ＣＣＤ１０１は、光学画像を光電変換するための固体撮像素子であり、ＣＣＤ１０１で光電変換された画像信号はＦ／Ｅ（フロントエンド）−ＩＣ１０２に入力される。Ｆ／Ｅ−ＩＣ１０２は、画像ノイズ除去用相関二重サンプリングを行うＣＤＳ１０２−１、利得調整を行うＡＧＣ１０２−２、デジタル信号変換を行うＡ／Ｄ１０２−３を有する。また、Ｆ／Ｅ−ＩＣ１０２は、ＴＧ（駆動タイミング信号発生部）１０２−４を有する。ＴＧ１０２−４は、ＤＳＰ１０４内にあるＣＣＤ１制御ブロック１０４−１から垂直同期信号（以下、「ＶＤ」と記す。）と水平同期信号（以下、「ＨＤ」と記す。）が供給され、ＣＰＵブロック１０４−３によって制御される。
【００２２】
ＤＳＰ１０４は、ＣＣＤ１０１からＦ／Ｅ―ＩＣ１０２を経て得られる画像出力データにホワイトバランス設定やガンマ設定を行う。また、ＤＳＰ１０４は、前記ＶＤ信号、ＨＤ信号を供給するＣＣＤ１制御ブロック１０４−１、フィルタリング処理により、輝度データ・色差データへの変換を行うＣＣＤ２制御ブロック１０４−２、前述した装置各部の動作を制御するＣＰＵブロック１０４−３、前述した制御に必要なデータ等を、一時的に保存するＬｏｃａｌ  ＳＲＡＭ１０４−４、パソコンなどの外部機器とＵＳＢ通信を行うＵＳＢブロック１０４−５、パソコンなどの外部機器とシリアル通信を行うシリアルブロック１０４−６、ＪＰＥＧ圧縮・伸張を行うＪＰＥＧ  ＣＯＤＥＣ（コーデック）ブロック１０４−７、画像データのサイズを補間処理により拡大／縮小するＲＥＳＩＺＥ（リサイズ）ブロック１０４−８、画像データを液晶モニタやＴＶなどの外部表示機器に表示するためのビデオ信号に変換するＴＶ信号表示ブロック１０４−９、撮影された画像データを記録するメモリカードの制御を行うメモリカードコントローラブロック１０４−１０を有する。
【００２３】
ＳＤＲＡＭ１０３は、前述したＤＳＰ１０４で画像データに各種処理を施す際に、画像データを一時的に保存する。保存される画像データは、例えば、ＣＣＤ１０１から、Ｆ／Ｅ−ＩＣ１０２を経由して取り込んで、ＣＣＤ１信号処理ブロック１０４−１でホワイトバランス設定、ガンマ設定が行われた状態の「ＲＡＷ−ＲＧＢ画像データ」やＣＣＤ２制御ブロック１０４−２で輝度データ・色差データ変換が行われた状態の「ＹＵＶ画像データ」、ＪＰＥＧ ＣＯＤＥＣブロック１０４−７で、ＪＰＥＧ圧縮された「ＪＰＥＧ画像データ」などである。
【００２４】
メモリカードスロット（１２１）は、着脱可能なメモリカードを装着するためのスロットである。内蔵メモリ（１２０）は、前述したメモリカードスロット（１２１）にメモリカードが装着されていない場合でも、撮影した画像データを記憶できるようにするためのメモリである。
【００２５】
ＬＣＤドライバ１１７は、後述するＬＣＤモニタ１０を駆動するドライブ回路であり、ＴＶ信号表示ブロック１０４−９から出力されたビデオ信号を、ＬＣＤモニタ１０に表示するための信号に変換する機能も有している。ＬＣＤモニタ１０は、撮影前に被写体の状態を監視する、撮影した画像をその場で確認する、メモリカードや前述した内臓メモリ１２０に記録した画像を見る、といった各種機能を実現するために、それぞれのデータに対応した画像を表示するためのモニタである。
【００２６】
ビデオＡＭＰ（アンプ：増幅器）１１８は、ＴＶ信号表示ブロック１０４−９から出力されたビデオ信号を、７５Ωインピーダンス変換するためのアンプであり、ビデオジャック１１９は、ＴＶなどの外部表示機器と接続するためのジャックである。ＵＳＢコネクタ１２２は、パソコンなどの外部機器とＵＳＢ接続を行うためのコネクタである。
【００２７】
シリアルドライバ回路１２３−１は、パソコンなどの外部機器とシリアル通信を行うために、前述したシリアルブロック１０４−６の出力信号を電圧変換するための回路であり、ＲＳ−２３２Ｃコネクタは、パソコンなどの外部機器とシリアル接続を行う為のコネクタである。
【００２８】
ＳＵＢ−ＣＰＵ１０９は、ＲＯＭ・ＲＡＭをワンチップに内蔵したＣＰＵであり、操作キーユニットＳＷ１〜１３やリモコン受光部６の出力信号をユーザーの操作情報として、前述したＣＰＵブロック１０４−３に出力し、あるいは、前述したＣＰＵブロック１０４−３より出力されるカメラの状態を、後述するサブＬＣＤ１、ＡＦ  ＬＥＤ８、ストロボＬＥＤ９、ブザー１１３の制御信号に変換して出力する。
【００２９】
サブＬＣＤ１は、例えば、撮影可能枚数などを表示するための表示部であり、ＬＣＤドライバ１１１は、前述したＳＵＢ−ＣＰＵ１０９の出力信号より、前述したサブＬＣＤ１を駆動するためのドライブ回路である。
【００３０】
ＡＦ  ＬＥＤ８は、撮影時の合焦状態を表示するためのＬＥＤであり、ストロボＬＥＤ９は、ストロボ充電状態を表すためのＬＥＤである。なお、このＡＦ  ＬＥＤ８とストロボＬＥＤ９を、メモリカードアクセス中などの別の表示用途に使用してもよい。操作キーユニットＳＷ１〜１５は、ユーザーが操作するキーに対応したスイッチがオン・オフするスイッチユニットであり、リモコン受光部６は、ユーザーが操作したリモコン送信機の信号の受信部である。
【００３１】
音声記録ユニット１１５は、ユーザーが音声信号を入力するマイク１１５−３、入力された音声信号を増幅するマイクＡＭＰ１１５−２、増幅された音声信号を記録する音声記録回路１１５―３からなる。音声再生ユニット１１６は、記録された音声信号をスピーカーから出力できる信号に変換する音声再生回路１１６−１、変換された音声信号を増幅し、スピーカーを駆動するためのオーディオＡＭＰ１１６−２、音声信号を出力するスピーカー１１６−３からなる。
【００３２】
ＡＦ動作の説明
次に、上記のとおり構成されたカメラシステムのＡＦ動作について説明する。レリーズボタンが半押しされてレリーズシャッタＳＷ１がオンすると、図４に示すＣＣＤ１０１からＦ／Ｅ−ＩＣ１０２を介して静止画撮影開始信号がＤＳＰ１０４に取り込まれる。続いて、マイコン（ＣＰＵブロック１０４−３）がフレームレートに同期してモータドライバ７−５を介してフォーカスレンズ７−２ａの駆動モータ７−２ｂを駆動することにより、山登りＡＦを実行する。合焦範囲が無限から至近までの全領域であった場合、フォーカスレンズは至近から無限、または無限から至近までの間を移動し、デジタル信号処理ＩＣで作成された各フレーム（＝各フォーカス位置）におけるＡＦ評価値をマイコンが読み出す。各フォーカス位置のＡＦ評価値が極大になる点を合焦位置として、フォーカスレンズ７−２ａを合焦位置に移動させる。
【００３３】
ＡＥ動作の説明
次に、ＡＥ動作について説明する。レリーズシャッタＳＷ１が半押しされてＳＷ１がオンされると、ＣＰＵ１０４−３は、ＡＥ動作を実行する。具体的には、ＡＥ動作では、顔検出動作モードが設定されている場合には、まず、顔検出処理を実行して人物の顔の検出を行う。より具体的には、ＣＣＤ１０１より入力された画像データは、Ｆ／Ｅ−ＩＣ１０２で、ＣＤＳ、ＡＧＣ、Ａ／Ｄの処理が行なわれた後、ＤＳＰ１０４に入力される。この画像データは、ＤＳＰ１０４で信号処理された後、ＳＤＲＡＭ１０３に書き込まれる。ＣＰＵ１０４−３は、ＳＤＲＡＭ１０３に格納された画像データから公知の顔検出技術（例えば、ガボール・ウェーブレット変換＋グラフマッチング）を使用して、人物の顔を検出する。そして、検出した人物の顔を測光エリア（ＡＥエリア）として、ＣＰＵ１０４−３は、ＡＥ評価値（測光結果）を算出し、このＡＥ評価値に基づき露光量を算出して、この露光量に応じた露出条件を設定して露出制御を行う。上記露出条件とは、ＣＣＤ１０１の電子シャッタ速度、鏡胴ユニット７の絞り値、ＡＧＣ回路のゲイン等である。
【００３４】
上記ＡＥ評価値の算出方法を具体的に説明する。図５は、ＣＣＤ１０１の画面すなわち画像フレームを複数のエリアＹ１〜Ｙ２５６に分割した場合の分割例を示している。図６は、図５に示す画像フレームの例における被写体の画像データの一例を示す。
ＣＣＤ１０１からＤＳＰ１０４に入力される画像データは、Ｒ（赤）、Ｇ（緑）、Ｂ（青）からなる各画素データである。ＤＳＰ１０４は、上記各画素データに基づいて、測光の対象となるエリアＹ１〜Ｙ２５６毎に輝度データＹ１〜Ｙ２５６を算出する。以下に輝度データの計算式を示す。下記計算式において、Ｒｎ、Ｇｎ、Ｂｎは、各エリア内の各画素データ（Ｒ、Ｇ、Ｂ）の平均値を示している。
エリア１  Ｙ１＝０．２９９Ｒ１＋０．５８７Ｇ１＋０．１１４Ｂ１
エリア２  Ｙ２＝０．２９９Ｒ２＋０．５８７Ｇ２＋０．１１４Ｂ２
・
・
エリアｎ  Ｙｎ＝０．２９９Ｒｎ＋０．５８７Ｇｎ＋０．１１４Ｂｎ
【００３５】
ここで、顔検出動作モードである場合には、顔を含むエリアの輝度データを各々算出し、算出したエリアの輝度データの平均値を輝度データＹｆａｃｅとする。図６に示す例では、Ｙ７１〜Ｙ７４、Ｙ８７〜Ｙ９０、Ｙ１０３〜Ｙ１０６、Ｙ１１９〜Ｙ１２２、Ｙ１３５〜Ｙ１３８のエリアの輝度データの平均値を輝度データＹｆａｃｅとする。また、画面全体のエリアＹ１〜Ｙ２５５の輝度データを各々算出し、算出した全エリアの輝度データの平均値を輝度データＹａｌｌとする。そして、顔部分の重み付けをｎ１、画面全体の重み付けをｎ２（但し：ｎ１＋ｎ２＝１）として、輝度データＹｙ（ＡＥ評価値）＝Ｙｆａｃｅ×ｎ１＋Ｙａｌｌ×ｎ２を算出する。
【００３６】
通常測光処理の場合、以下のような各種の測光処理方式がある。
１．  中央重点測光方式：中央部の明るさに重点を置き、周囲の明るさを加味して輝度データを決定する方式
２．  部分測光方式：画面内のエリア内のみの輝度データの平均値だけで、輝度データを決定する方式
３．  スポット測光方式：部分測光と同じ考え方であるが、測光エリアが小さく、１〜２％程度とする方式
４．  分割測光方式：画面を複数のエリアに分割し、エリア毎に輝度の平均値を求め、それら輝度の分布パターンから輝度データを決定する方式
上記各方式のうちのいずれかを採用して輝度データＹｙ（ＡＥ評価値）を算出する。
【００３７】
そして、ＣＰＵ１０４−３は、ＲＯＭ１０８に予め格納されている目標輝度データＹｘの値と、被写体を測光した結果である被写体輝度データＹｙの値が一致した場合に、適正な露出（明るさ）であると判断し、被写体輝度データＹｙが目標輝度データＹｘになるような露光量を算出し、算出した露光量に基づいて、露光条件を設定する。露光条件は、ＣＣＤ１０１のシャッタスピード、鏡胴ユニット７の絞りの絞り値（開口値）、ＣＣＤ１０１の感度（Ｆ／Ｅ１０２のアンプ回路のゲイン値）によって定められる。
具体的には、輝度データＹｙの値を大きくするためには、ＣＰＵ１０４−３が、「ＣＣＤ１０１のシャッタスピードを遅くする。」、「絞りの大きさを大きくする。」、「ＣＣＤ１０１の感度を高くする。」のいずれか（複数でも良い）の制御を行う。輝度データＹｙの値を小さくするには、上記とは逆の制御を行う。
【００３８】
オートホワイトバランス（ＡＷＢ）調整動作の説明
レリーズボタンが全押しされてレリーズシャッタＳＷ１がオンすると、ＣＰＵ１０４−３は、ＡＷＢ動作を実行する。レンズを介して入射する被写体からの光は、ＣＣＤ１０１に入射し、ＣＣＤ１０１の結像面に被写体像が結ばれる。ＣＣＤ１０１は被写体像を電気信号（アナログ画像データ）に変換して、Ｒ，Ｇ，Ｂのアナログ画像データを出力する。このアナログ画像データはＡ／Ｄ変換器１０２−３によってＲ，Ｇ，Ｂのデジタル画像信号に変換される。変換されたデジタル画像データはフレームメモリに保管される。信号処理回路はデジタル画像データを取り込む際にＣＣＤ−Ｉ／Ｆ１０２で特定部分、または画像全体のＲ，Ｇ，Ｂの積算値を読み出す。制御部であるＣＰＵ１０４−３はこのＲＧＢ積算値を読み出し、特徴検出を行い、適正なホワイトバランスになるようなホワイトバランス（以下「ＷＢ」という）補正値（Ｒゲイン、Ｂゲイン）を算出する。
【００３９】
特徴検出としては被写体画像から白色（無彩色）部分を抽出し、抽出されたエリアの色情報からＷＢ補正値を計算する。例えば一画面が１６×１６に分割された２５６個のエリアごとに、ＲＧＢそれぞれの積算値を算出し、その分割されたエリアごとにＧ信号の積算値に対する積算値の比（Ｒ／Ｇ，Ｂ／Ｇ）を求める。次に、求められた２５６個の積算値の比を、Ｒ／Ｇ，Ｂ／Ｇを軸とした色空間（「ＷＢ色空間」と言うこととする）にプロットし、それらの分布から白検出を行う。白検出を行うためには予めＷＢ色空間上に光源（昼光やタングステン光）の色温度を変化させた場合における黒体輻射の軌跡をリファレンスゲインとして用意しておき、プロットされた２５６個の制御値とマッチングをとることにより、各種光源下における白検出を実現することができる。白検出により被写体における光源の種類を判別し、判別された光源に対し、ＲＧＢの積算比がＲ：Ｇ：Ｂ＝１：１：１となるようなＷＢゲイン（ＷＢの補正値）をそれぞれの画素に乗算することでＷＢの補正を実現することができる。ＹＵＶ変換部ではＲ，Ｇ、Ｂデータを輝度Ｙと色差Ｃｂ、Ｃｒデータに変換してフレームメモリに出力する。この画像変換をする際にＣＰＵからＹＵＶ変換部に対して、ＷＢ補正値を設定する。
【００４０】
図７は２５６個の分割エリアのＷＢ評価値（Ｒ／Ｇ値、Ｂ／Ｇ値）のＲ／Ｇ、Ｂ／Ｇの色空間上での分布の一例を示すグラフである。
信号処理ＩＣは各分割エリアのＷＢ評価値の分布から撮影時の光源を推定する。光源の推定は無彩色部分のＷＢ評価値が黒体輻射の軌跡上に分布されることを利用することで実現できる。例えば図７の例では（Ｒ／Ｇ、Ｂ／Ｇ）＝（１.２、０.６）の辺りに黒体輻射カーブ上に乗るＷＢ評価値が多く分布するので、光源としては青っぽい光源であると推定できる。ＹＵＶ変換部のＷＢ補正としてＲに１.２倍、Ｂに０.６倍の補正を乗ずることでこのエリアの信号データをグレイにし、ホワイトバランスを合わせる。これによって、人間の見え方に近づけることができる。なお、ＣＣＤ１０１の分光感度の分布により、同じ照明で同じ被写体であってもＷＢ評価値は異なるので、ＣＣＤ１０１に合わせたＷＢ評価値のリファレンスを決定する必要がある。また、実際のＷＢのアルゴリズムはカラーフェイリアを低減するためや、ユーザーにとって好ましい色合いに仕上がるように、さまざまな工夫を行った後、最終的にＷＢの補正値が決定される。
【００４１】
顔検出方法の説明
被写体像の中から人物像を検出する方法は、以下に示す手法が公知となっており、本実施例では、そのうちのいずれかの方法を用いるものとする。
１．  テレビジョン学会誌Ｖｏｌ．４９、Ｎｏ．６、ｐｐ．７８７−７９７（１９９５）の「顔領域抽出に有効な修正ＨＳＶ表色系の提案」に示されるように、カラー画像をモザイク画像化し、肌色領域に着目して顔領域を抽出する方法。
２．  電子情報通信学会誌Ｖｏｌ．７４−Ｄ−ＩＩ、Ｎｏ．１１、ｐｐ．１６２５−１６２７（１９９１）の「静止濃淡情景画像からの顔領域を抽出する手法」に示されているように、髪や目や口など正面人物像の頭部を構成する各部分に関する幾何学的な形状特徴を利用して正面人物の頭部領域を抽出する方法。
３．  画像ラボ１９９１−１１（１９９１）の「テレビ電話用顔領域検出とその効果」に示されるように、動画像の場合、フレーム間の人物の微妙な動きによって発生する人物像の輪郭エッジを利用して正面人物像を抽出する方法。
【００４２】
次に、本発明にかかる撮像装置の実施例の一連の動作について、図８に示すフローチャートを参照しながら説明する。
図８において、まず、制御手段であるＣＰＵ１０４−３は、人物の顔検出を実行する顔検出動作モードであるか否かを判断する（ステップＳ１０１）。この判断の結果、顔検出動作モードであると判断した場合には、ＣＰＵ１０４−３は、顔検出処理を実行する（ステップＳ１０２）。そして、ＣＰＵ１０４−３は、顔を検出したか否かを判断する（ステップＳ１０３）。この判断の結果、顔を検出した場合には、ＣＰＵ１０４−３は、検出した顔が複数であるかどうかを判断する（ステップＳ１０４）。ここで、検出された顔が複数である場合、顔の数をＮとして（ステップＳ１０５）、レリーズ１が押されたら（Ｓ１０６）Ｎ人の顔それぞれのＡＥ評価値を取得する（ステップＳ１０７）。「レリーズ１」とは、レリーズボタンが途中まで押され（半押しされ）てレリーズまでに至っていない段階のことをいう。そしてＦＯＣＵＳモータ７−２ｂを駆動してＦＯＣＵＳレンズ７−２ａを光軸方向に移動させ、それぞれの顔の合焦位置を検出する（ステップＳ１０８）。
【００４３】
その後、レリーズ２が押されたらｉ=１として（ステップＳ１１０）、顔ｉのＡＥ評価値に基づきＡＥ制御を行い（ステップＳ１１１）、顔ｉの合焦位置にＦＯＣＵＳレンズを移動させ（ステップＳ１１２）、顔ｉに露光および焦点を合わせた画像を取り込む（ステップＳ１１３）。「レリーズ２」とは、レリーズボタンが、シャッタレリーズされる最終段階まで押され（全押しされ）たことをいう。上記のようにして取り込んだ画像に対し、顔ｉに最適化するようにＡＷＢ制御を行い（ステップＳ１１４）、画像を記録する（ステップＳ１１５）。以上、ステップＳ１１１からステップＳ１１５までを、検出した全ての顔に対して繰り返し、それぞれの顔に対して最適化された撮影条件で、顔の数に対応した数の画像を記録する。
【００４４】
なお、ステップＳ１０４において検出された顔が一人であった場合には、レリーズ１が押されたら（ステップＳ１１８）、検出された顔を対象としてＡＥ制御およびＡＦ制御を行い（ステップＳ１１９・Ｓ１２０）、その後レリーズ２が押されたら（ステップＳ１２１）、画像を取り込み（ステップＳ１２２）、検出された顔を対象にＡＷＢ制御を行い（ステップＳ１２３）画像を記録する（ステップＳ１２４）。
【００４５】
また、ステップＳ１０１において顔検出動作モードでない場合には、レリーズ１が押されたら（ステップＳ１２５）、通常のＡＥ制御およびＡＦ制御を行い（ステップＳ１２６・Ｓ１２７）、その後レリーズ２が押されたら（ステップＳ１２８）、画像を取り込み（ステップＳ１２９）、通常のＡＷＢ制御を行い（ステップＳ１３０）、画像を記録する（ステップＳ１２４）。
【００４６】
図９（Ａ）に、モニタリングで３人の人物の顔が検出された場合のイメージを示す。図９（Ｂ）は左側の人物の顔に、図９（Ｃ）は右側の人物の顔に、図９（Ｄ）は中央の人物の顔にそれぞれ焦点・露光・ホワイトバランスを最適化して撮影した画像のイメージである。
【００４７】
以上説明したように、上記実施例によれば、ＣＰＵ１０４−３は、複数の顔を検出したときには検出したそれぞれの顔に対して最適な焦点・露光・ホワイトバランスで顔の数だけ撮影することで、それぞれの顔に最適な画像を得ることが可能となる。
【実施例２】
【００４８】
実施例２にかかるデジタルカメラについて、図１０に示すフローチャートを参照しながら説明する。実施例２にかかるデジタルカメラのハード構成は、実施例１と同様のハード構成とすることができ、制御手段としてのＣＰＵ１０４−３などによる制御手法が以下のように異なっている。図１０は、ＣＰＵ１０４−３が、すでにモニタリングでＮ人の人物の顔を検出しているものとして（ステップＳ２０１）動作説明を開始している。この状態でレリーズ１が押されたら（ステップＳ２０２）、Ｎ人の顔それぞれのＡＥ評価値を取得し（ステップＳ２０３）、さらにＦＯＣＵＳモータ７−２ｂを駆動してＦＯＣＵＳレンズ７−２ａを光軸方向に移動させ、それぞれの顔の合焦位置を検出する（ステップＳ２０４）。その後、レリーズ２が押された場合には（ステップＳ２０５）、まず一人目の顔に対し、ＡＥ評価値に基づきＡＥ制御を行い（ステップＳ２０８）、一人目の顔の合焦位置にＦＯＣＵＳレンズを移動して（ステップＳ２０９）、画像を取り込み（ステップＳ２１０）、一人目の顔を対象としてＡＷＢ制御を行い（ステップＳ２１１）、画像を記録する（ステップＳ２１２）。その後、二人目の顔、三人目の顔、と順次各顔に対して自動焦点（ＡＦ）・自動露出（ＡＥ）・自動ホワイトバランス（ＡＷＢ）の各制御を行いながら撮影していく。ただし、ＡＥ・ＡＦの制御値が、すでに撮影されたいずれかと近い値であった場合には、撮影をしないようにする（ステップＳ２０７）。Ｎ人の顔全てに対し、以上の動作が終了したら（ステップＳ２１３）、一連の撮影を終了する。
【００４９】
以上説明したように、上記実施によれば、ＣＰＵ１０４−３は、複数の人物の顔を検出した際に全ての顔に対し、焦点・露出・ホワイトバランスを最適化してその都度撮影を行うことにより、それぞれの顔に最適化された画像を、複数回の撮影により得ることが可能となる。また、一つの顔に対する制御値が他の顔に対する制御値に近い場合には撮影をしないようにすることで、メモリの浪費を回避することが可能となる。
【００５０】
実施例１および実施例２のいずれも、検出された複数の人物の顔に対応した数の画像を撮影するものであるが、かかる撮影を行った後、複数の画像の保存の要否を画像ごとに選択可能にするとよい。このようにしておけば、ユーザーが不要と判断した画像を削除することができるため、メモリの浪費を回避することができる。
【図面の簡単な説明】
【００５１】
【図１】本発明にかかる撮像装置の実施例の外観を示す平面図である。
【図２】上記実施例の外観を示す正面図である。
【図３】上記実施例の外観を示す背面図である。
【図４】本発明にかかる撮像装置の実施例の制御系統を示すブロック図である。
【図５】本発明において画像フレームを複数のエリアに分割した例を示す模式図である。
【図６】上記複数のエリアに分割した画像フレームに被写体画像が写り込んだ例を示す模式図である。
【図７】上記分割エリアのホワイトバランス評価値であるＲ／Ｇ、Ｂ／Ｇの色空間上での分布の一例を示すグラフである。
【図８】本発明の実施例１の動作を示すフローチャートである。
【図９】上記実施例１において複数の人物を検出した場合の撮影のイメージを順に示す模式図である。
【図１０】本発明の実施例２の動作を示すフローチャートである。
【符号の説明】
【００５２】
７    鏡胴ユニット
１０１    撮像手段としてのＣＣＤ
１０２    Ｆ／Ｅ−ＩＣ
１０４    ディジタルスチルカメラプロセッサ
１０４−３    ＣＰＵブロック
１０７    ＲＡＭ
１０８    ＲＯＭ
【図１】
2009044293.tif 000003
【図２】
2009044293.tif 000004
【図３】
2009044293.tif 000005
【図４】
2009044293.tif 000006
【図５】
2009044293.tif 000007
【図６】
2009044293.tif 000008
【図７】
2009044293.tif 000009
【図８】
2009044293.tif 000010
【図９】
2009044293.tif 000011
【図１０】
2009044293.tif 000012