(57)【要約】【課題】画面内にある人物の顔の位置を検出し、人物の顔に焦点を合わせ、人物の顔に最適な露出で撮影する撮影装置で、人物の動きや手振れに強い撮影装置を提供する。【解決手段】オートフォーカス機能又は自動露出機能を備えた撮影装置において、Ａ／Ｄ変換回路１２から出力されたデジタル画像データをそのままあるいは所定の処理を施して第１の画像データとして記憶し、一方で第１の画像データの基となるデジタル画像データに所定の処理を施して第２の画像データとして記憶する。そして、第２の画像データから顔領域を検出し、その間にＡ／Ｄ変換回路より出力された画像データに基づいて画像の表示を行い、第２の画像データからの顔領域の検出が完了すると、第１の画像データのうちの、検出された顔領域に対応する部分のデータを用いて、オートフォーカス、自動露出、又はホワイトバランスのための情報を抽出し、オートフォーカス、自動露出、又はホワイトバランスを行う。【選択図】      図１
2005318554.tif 000002
【特許請求の範囲】
【請求項１】
撮影装置において、
結像光学系により結像された被写体像を光電変換して画像信号を出力する撮像手段と、
前記撮像手段から出力された画像信号をデジタル化してデジタル画像データを出力するＡ／Ｄ変換手段と、
前記Ａ／Ｄ変換手段から出力されたデジタル画像データを基に第１の画像データとして記憶する第１の記憶手段と、
前記第１の画像データの基となるデジタル画像データを基に第１の画像データとは異なる第２の画像データとして記憶する第２の記憶手段と、
前記第２の画像データから顔領域を検出する顔領域検出手段と、
前記顔検出手段が前記第２の画像データから顔領域を検出している間に前記Ａ／Ｄ変換手段より出力された画像データに基づいて画像を表示する表示手段と、
前記顔検出手段が前記第２の画像データからの顔領域の検出を完了すると、前記第１の画像データのうちの、前記顔領域検出手段により検出された顔領域に対応する部分のデータを用いて、オートフォーカス、自動露出、及び、ホワイトバランスの為の情報の少なくとも一つを抽出する抽出手段と、
前記抽出手段によって抽出された情報に基づいて、オートフォーカス制御、自動露出制御、及び、ホワイトバランス制御の少なくとも一つを行う制御手段と、
を具備することを特徴とする撮影装置。
【請求項２】
前記抽出手段は、前記顔検出手段が前記第２の画像データから検出した顔領域に応じた部分のデータから、オートフォーカス、自動露出、又は、ホワイトバランスの為の情報の少なくとも一つを検出することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記抽出手段は前記第１の画像データからオートフォーカス、自動露出、又は、ホワイトバランスの為の情報の少なくとも一つを検出して記憶し、記憶した情報の中から前記顔検出手段が前記第２の画像データから検出した顔領域の位置に対応した情報を読み出すことを特徴とする請求項１に記載の撮像装置。
【請求項４】
撮影装置において、
結像光学系により結像された被写体像を光電変換して画像信号を出力する撮像手段と、
前記撮像手段から出力された画像信号をデジタル化してデジタル画像データを出力するＡ／Ｄ変換手段と、
前記Ａ／Ｄ変換手段から出力されたデジタル画像データを用いて、オートフォーカス、自動露出、及び、ホワイトバランスのための情報の少なくとも一つを抽出する抽出手段と、
前記抽出手段により抽出された情報を第１の画像データとして記憶する第１の記憶手段と、
前記第１の画像データの基となるデジタル画像データを基に第１の画像データとは異なる第２の画像データとして記憶する第２の記憶手段と、
前記第２の画像データから顔領域を検出する顔領域検出手段と、
前記顔検出手段が前記第２の画像データから顔領域を検出している間に前記Ａ／Ｄ変換手段より出力された画像データに基づいて画像を表示する表示手段と、
前記顔検出手段が前記第２の画像データからの顔領域の検出を完了すると、前記第１の画像データのうちの、前記顔領域検出手段により検出された顔領域に対応する部分のデータに基づいて、オートフォーカス、自動露出、及び、ホワイトバランス制御の少なくとも一つを行う制御手段と、
を具備することを特徴とする撮影装置。
【請求項５】
撮影装置において、
結像光学系により結像された被写体像を光電変換して画像信号を出力する撮像手段と、
前記撮像手段から出力された画像信号をデジタル化してデジタル画像データを出力するＡ／Ｄ変換手段と、
前記Ａ／Ｄ変換手段から出力されたデジタル画像データを基に第１の画像データとして順次記憶していく第１の記憶手段と、
前記第１の画像データの基となるデジタル画像データを基に第１の画像データとは異なる第２の画像データとして順次記憶していく第２の記憶手段と、
前記第２の画像データから顔領域を検出する顔領域検出手段と、
前記顔検出手段が顔領域の検出を行う間に得られた第２の画像データのうちで、前記顔領域の検出に用いた画像データとの類似度が所定値以内であるいずれかの第２の画像データと同一の画像データから生成された前記第１の画像データを用いて、オートフォーカス、自動露出、及び、ホワイトバランスのための情報の少なくとも１つを抽出する抽出手段と、
前記抽出手段によって抽出された情報に基づいて、オートフォーカス、自動露出、及び、ホワイトバランス制御の少なくとも一つを行う制御手段と、
を具備することを特徴とする撮影装置。
【請求項６】
前記抽出手段は、前記顔領域の検出に用いた第２の画像データとの類似度が所定値以内である複数の第２の画像データのうちの最新の第２の画像データを選択し、該選択された第２の画像データと同一の画像データから生成された第１の画像データを用いて、オートフォーカス、自動露出、及び、ホワイトバランスのための情報の少なくとも１つを抽出することを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記抽出手段は、前記顔領域の検出に用いた第２の画像データとの類似度が所定値以内である複数の第２の画像データのうち前記顔領域の検出に用いた第２の画像データに対して最もシーンの変化が少ない第２の画像データを選択し、該選択された第２の画像データと同一の画像データから生成された第１の画像データを用いて、オートフォーカス、自動露出、及び、ホワイトバランスのための情報の少なくとも１つを抽出することを特徴とする請求項５に記載の撮像装置。
【請求項８】
撮影装置において、
結像光学系により結像された被写体像を光電変換して画像信号を出力する撮像手段と、
前記撮像手段から出力された画像信号をデジタル化してデジタル画像データを出力するＡ／Ｄ変換手段と、
前記Ａ／Ｄ変換手段から出力されたデジタル画像データを基に第１の画像データとして順次記憶していく第１の記憶手段と、
前記第１の画像データの基となるデジタル画像データを基に第１の画像データとは異なる第２の画像データとして順次記憶していく第２の記憶手段と、
前記第２の画像データから顔領域を検出する顔領域検出手段と、
前記顔検出手段が顔領域の検出を行う間に得られた第２の画像データのうちで、前記顔領域を検出した第２の画像データとの類似度が所定値以内である別の第２の画像データがない場合は、顔検出結果によらないオートフォーカス、自動露出、及び、ホワイトバランス制御の少なくとも一つを行う制御手段と、
を具備することを特徴とする撮像装置。
【請求項９】
撮影装置において、
結像光学系により結像された被写体像を光電変換して画像信号を出力する撮像手段と、
前記撮像手段から出力された画像信号をデジタル化してデジタル画像データを出力するＡ／Ｄ変換手段と、
前記Ａ／Ｄ変換手段から出力されたデジタル画像データを用いて、オートフォーカス、自動露出、及び、ホワイトバランスのための情報の少なくとも一つを抽出する抽出手段と、
前記抽出手段により抽出された情報を第１の画像データとして順次記憶していく第１の記憶手段と、
前記第１の画像データの基となるデジタル画像データを基に第１の画像データとは異なる第２の画像データとして順次記憶していく第２の記憶手段と、
前記第２の画像データから顔領域を検出する顔領域検出手段と、
前記顔検出手段が顔領域の検出を行う間に得られた第２の画像データのうちで、前記顔領域の検出に用いた画像データとの類似度が所定値以内であるいずれかの第２の画像データと同一の画像データから生成された前記第１の画像データのうちの、前記顔領域検出手段により検出された顔領域に対応する部分のデータに基づいて、オートフォーカス、自動露出、及び、ホワイトバランス制御の少なくとも一つを行う制御手段と、
を具備することを特徴とする撮影装置。
【請求項１０】
前記制御手段は、前記顔領域の検出に用いた第２の画像データとの類似度が所定値以内である複数の第２の画像データのうちの最新の第２の画像データを選択し、該選択された第２の画像データと同一の画像データから生成された第１の画像データのうちの、前記顔領域検出手段により検出された顔領域に対応する部分のデータに基づいて、オートフォーカス、自動露出、及び、ホワイトバランス制御の少なくとも一つを行うことを特徴とする請求項９に記載の撮影装置。
【請求項１１】
前記制御手段は、前記顔領域の検出に用いた第２の画像データとの類似度が所定値以内である複数の第２の画像データのうち前記顔領域の検出に用いた第２の画像データに対して最もシーンの変化が少ない第２の画像データを選択し、該選択された第２の画像データと同一の画像データから生成された第１の画像データのうちの、前記顔領域検出手段により検出された顔領域に対応する部分のデータに基づいて、オートフォーカス、自動露出、及び、ホワイトバランス制御の少なくとも一つを行うことを特徴とする請求項９に記載の撮影装置。
【請求項１２】
撮影装置において、
結像光学系により結像された被写体像を光電変換して画像信号を出力する撮像手段と、
前記撮像手段から出力された画像信号をデジタル化してデジタル画像データを出力するＡ／Ｄ変換手段と、
前記Ａ／Ｄ変換手段から出力されたデジタル画像データを用いて、オートフォーカス、自動露出、及び、ホワイトバランスのための情報の少なくとも一つを抽出する抽出手段と、
前記抽出手段により抽出された情報を第１の画像データとして順次記憶していく第１の記憶手段と、
前記第１の画像データの基となるデジタル画像データを基に第１の画像データとは異なる第２の画像データとして順次記憶していく第２の記憶手段と、
前記第２の画像データから顔領域を検出する顔領域検出手段と、
前記顔検出手段が顔領域の検出を行う間に得られた第２の画像データのうちで、前記顔領域を検出した第２の画像データとの類似度が所定値以内である別の第２の画像データがない場合は、顔検出結果によらないオートフォーカス、自動露出、及び、ホワイトバランス制御の少なくとも一つを行う制御手段と、
を具備することを特徴とする撮影装置。
【請求項１３】
撮影装置の制御方法において、
結像光学系により結像された被写体像を光電変換して画像信号を出力する撮像工程と、
前記撮像工程から出力された画像信号をデジタル化してデジタル画像データを出力するＡ／Ｄ変換工程と、
前記Ａ／Ｄ変換工程から出力されたデジタル画像データを基に第１の画像データとして記憶する第１の記憶工程と、
前記第１の画像データの基となるデジタル画像データを基に第１の画像データとは異なる第２の画像データとして記憶する第２の記憶工程と、
前記第２の画像データから顔領域を検出する顔領域検出工程と、
前記顔検出工程が前記第２の画像データから顔領域を検出している間に前記Ａ／Ｄ変換工程より出力された画像データに基づいて画像を表示する表示工程と、
前記顔検出工程が前記第２の画像データからの顔領域の検出を完了すると、前記第１の画像データのうちの、前記顔領域検出工程により検出された顔領域に対応する部分のデータを用いて、オートフォーカス、自動露出、又は、ホワイトバランスの為の情報を抽出する抽出工程と、
前記抽出工程によって抽出された情報に基づいて、オートフォーカス制御、自動露出制御、及び、ホワイトバランス制御の少なくとも一つを行う制御工程と、
を具備することを特徴とする撮影装置の制御方法。
【請求項１４】
撮影装置の制御方法において、
結像光学系により結像された被写体像を光電変換して画像信号を出力する撮像工程と、
前記撮像工程から出力された画像信号をデジタル化してデジタル画像データを出力するＡ／Ｄ変換工程と、
前記Ａ／Ｄ変換工程から出力されたデジタル画像データを用いて、オートフォーカス、自動露出、及び、ホワイトバランスのための情報の少なくとも一つを抽出する抽出工程と、
前記抽出工程により抽出された情報を第１の画像データとして記憶する第１の記憶工程と、
前記第１の画像データの基となるデジタル画像データに第１の画像データとは異なる第２の画像データとして記憶する第２の記憶工程と、
前記第２の画像データから顔領域を検出する顔領域検出工程と、
前記顔検出工程が前記第２の画像データから顔領域を検出している間に前記Ａ／Ｄ変換工程より出力された画像データに基づいて画像を表示する表示工程と、
前記顔検出工程が前記第２の画像データからの顔領域の検出を完了すると、前記第１の画像データのうちの、前記顔領域検出工程により検出された顔領域に対応する部分のデータに基づいて、オートフォーカス、自動露出、及び、ホワイトバランス制御の少なくとも一つを行う制御工程と、
を具備することを特徴とする撮影装置の制御方法。
【請求項１５】
撮影装置の制御方法において、
結像光学系により結像された被写体像を光電変換して画像信号を出力する撮像工程と、
前記撮像工程から出力された画像信号をデジタル化してデジタル画像データを出力するＡ／Ｄ変換工程と、
前記Ａ／Ｄ変換工程から出力されたデジタル画像データを基に第１の画像データとして順次記憶していく第１の記憶工程と、
前記第１の画像データの基となるデジタル画像データを基に第１の画像データとは異なる第２の画像データとして順次記憶していく第２の記憶工程と、
前記第２の画像データから顔領域を検出する顔領域検出工程と、
前記顔検出工程が顔領域の検出を行う間に得られた第２の画像データのうちで、前記顔領域の検出に用いた画像データとの類似度が所定値以内であるいずれかの第２の画像データと同一の画像データから生成された前記第１の画像データを用いて、オートフォーカス、自動露出、及び、ホワイトバランスのための情報の少なくとも１つを抽出する抽出工程と、
前記抽出工程によって抽出された情報に基づいて、オートフォーカス、自動露出、及び、ホワイトバランス制御の少なくとも一つを行う制御工程と、
を具備することを特徴とする撮影装置の制御方法。
【請求項１６】
前記抽出工程は、前記顔領域の検出に用いた第２の画像データとの類似度が所定値以内である複数の第２の画像データのうちの最新の第２の画像データを選択し、該選択された第２の画像データと同一の画像データから生成された第１の画像データを用いて、オートフォーカス、自動露出、及び、ホワイトバランスのための情報の少なくとも１つを抽出することを特徴とする請求項１５に記載の撮像装置の制御方法。
【請求項１７】
前記抽出工程は、前記顔領域の検出に用いた第２の画像データとの類似度が所定値以内である複数の第２の画像データのうち前記顔領域の検出に用いた第２の画像データに対して最もシーンの変化が少ない第２の画像データを選択し、該選択された第２の画像データと同一の画像データから生成された第１の画像データを用いて、オートフォーカス、自動露出、及び、ホワイトバランスのための情報の少なくとも１つを抽出することを特徴とする請求項１５に記載の撮像装置の制御方法。
【請求項１８】
撮影装置の制御方法において、
結像光学系により結像された被写体像を光電変換して画像信号を出力する撮像工程と、
前記撮像工程から出力された画像信号をデジタル化してデジタル画像データを出力するＡ／Ｄ変換工程と、
前記Ａ／Ｄ変換工程から出力されたデジタル画像データを基に第１の画像データとして順次記憶していく第１の記憶工程と、
前記第１の画像データの基となるデジタル画像データを基に第１の画像データとは異なる第２の画像データとして順次記憶していく第２の記憶工程と、
前記第２の画像データから顔領域を検出する顔領域検出工程と、
前記顔検出工程が顔領域の検出を行う間に得られた第２の画像データのうちで、前記顔領域を検出した第２の画像データとの類似度が所定値以内である別の第２の画像データがない場合は、顔検出結果によらないオートフォーカス、自動露出、及び、ホワイトバランス制御の少なくとも一つを行う制御工程と、
を具備することを特徴とする撮像装置の制御方法。
【請求項１９】
撮影装置の制御方法において、
結像光学系により結像された被写体像を光電変換して画像信号を出力する撮像工程と、
前記撮像工程から出力された画像信号をデジタル化してデジタル画像データを出力するＡ／Ｄ変換工程と、
前記Ａ／Ｄ変換工程から出力されたデジタル画像データを用いて、オートフォーカス、自動露出、及び、ホワイトバランスのための情報の少なくとも一つを抽出する抽出工程と、
前記抽出工程により抽出された情報を第１の画像データとして順次記憶していく第１の記憶工程と、
前記第１の画像データの基となるデジタル画像データを基に第１の画像データとは異なる第２の画像データとして順次記憶していく第２の記憶工程と、
前記第２の画像データのいずれかから顔領域を検出する顔領域検出工程と、
前記顔検出工程が顔領域の検出を行う間に得られた第２の画像データのうちで、前記顔領域の検出に用いた画像データとの類似度が所定値以内であるいずれかの第２の画像データと同一の画像データから生成された前記第１の画像データのうちの、前記顔領域検出工程により検出された顔領域に対応する部分のデータに基づいて、オートフォーカス、自動露出、及び、ホワイトバランス制御の少なくとも一つを行う制御工程と、
を具備することを特徴とする撮影装置の制御方法。
【請求項２０】
前記制御工程は、前記顔領域の検出に用いた第２の画像データとの類似度が所定値以内である複数の第２の画像データのうちの最新の第２の画像データを選択し、該選択された第２の画像データと同一の画像データから生成された第１の画像データのうちの、前記顔領域検出工程により検出された顔領域に対応する部分のデータに基づいて、オートフォーカス、自動露出、及び、ホワイトバランス制御の少なくとも一つを行うことを特徴とする請求項１９に記載の撮影装置の制御方法。
【請求項２１】
前記制御工程は、前記顔領域の検出に用いた第２の画像データとの類似度が所定値以内である複数の第２の画像データのうち前記顔領域の検出に用いた第２の画像データに対して最もシーンの変化が少ない第２の画像データを選択し、該選択された第２の画像データと同一の画像データから生成された第１の画像データのうちの、前記顔領域検出工程により検出された顔領域に対応する部分のデータに基づいて、オートフォーカス、自動露出、及び、ホワイトバランス制御の少なくとも一つを行うことを特徴とする請求項１９に記載の撮影装置の制御方法。
【請求項２２】
撮影装置の制御方法において、
結像光学系により結像された被写体像を光電変換して画像信号を出力する撮像工程と、
前記撮像工程から出力された画像信号をデジタル化してデジタル画像データを出力するＡ／Ｄ変換工程と、
前記Ａ／Ｄ変換工程から出力されたデジタル画像データを用いて、オートフォーカス、自動露出、及び、ホワイトバランスのための情報の少なくとも一つを抽出する抽出工程と、
前記抽出工程により抽出された情報を第１のデータとして順次記憶していく第１の記憶工程と、
前記第１の画像データの基となるデジタル画像データを基に第１の画像データとは異なる第２の画像データとして順次記憶していく第２の記憶工程と、
前記第２の画像データから顔領域を検出する顔領域検出工程と、
前記顔検出工程が顔領域の検出を行う間に得られた第２の画像データのうちで、前記顔領域を検出した第２の画像データとの類似度が所定値以内である別の第２の画像データがない場合は、顔検出結果によらないオートフォーカス、自動露出、及び、ホワイトバランス制御の少なくとも一つを行う制御工程と、
を具備することを特徴とする撮影装置の制御方法。
【請求項２３】
請求項１３に記載の制御方法をコンピュータに実行させることを特徴とするプログラム。
【請求項２４】
請求項１５に記載の制御方法をコンピュータに実行させることを特徴とするプログラム。
【請求項２５】
請求項１８に記載の制御方法をコンピュータに実行させることを特徴とするプログラム。
【請求項２６】
請求項２３に記載のプログラムをコンピュータ読み取り可能に記憶したことを特徴とする記憶媒体。
【請求項２７】
請求項２４に記載のプログラムをコンピュータ読み取り可能に記憶したことを特徴とする記憶媒体。
【請求項２８】
請求項２５に記載のプログラムをコンピュータ読み取り可能に記憶したことを特徴とする記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力画像から主要被写体である人物の顔位置を検出し、それに対して焦点及び露出を合わせる技術に関するものである。
【背景技術】
【０００２】
デジタルスチルカメラ等の撮影装置で人物を撮影する場合、主被写体である人物の顔に焦点を合わせ、主被写体である人物の顔に最適な露出で撮影することが求められる。従来のＡＦ／ＡＥ（オートフォーカス／自動露出）制御では、画面内の予め決められた領域を測距／測光領域とし、その測距／測光領域に焦点と露出が合うように制御している。従って、主被写体である人物の顔が測距／測光領域に含まれていない場合には、人物の顔に焦点と露出が合わないという問題がある。
【０００３】
例えば画面中央部を測距／測光領域に設定していて、図５（ａ）に示すような二人の人物が並んだ構図や、図５（ｂ）に示すような人物が画面の右側にずれている構図で撮影すると、人物の背景に焦点と露出が合ってしまう。図５（ａ）、図５（ｂ）において破線枠部分が測距／測光領域である。これに対して撮影画像から人物の顔の位置を検出し、検出した領域からＡＦ／ＡＥ評価値を抽出して、焦点や露出を合わせる制御方法が多数提案されている。例えば、特開平０５−０４１８３０号公報（特許文献１）、特開２００１−１１９６２２号公報（特許文献２）、特開２００３−１０７３３５号公報（特許文献３）、特開２００３−１０７５５５号公報（特許文献４）等が挙げられる。
【０００４】
特開平０５−０４１８３００号公報では、撮影画像から肌色領域を求め、その肌色領域が人物の顔であると判定されたら、その後取得した撮影画像の肌色領域における平均輝度信号レベルが所望の値になるように露出制御している。すなわち、人物の顔の位置を検出する撮影画像と露出制御に用いられる評価値を検出する撮影画像は異なったものである。
【０００５】
特開２００１−１１９６２２号公報および特開２００３−１０７３３５号公報では撮影画像の人物の顔に露出を合わせる制御方法、特開２００３−１０７５５５号公報では撮影画像の人物の顔に焦点を合わせる制御方法が示されているが、いずれも、人物の顔の位置を検出する撮影画像とＡＦ／ＡＥ評価値を検出する撮影画像が同一とみなせるものであるかどうかについては述べられていない。
【特許文献１】特開平０５−０４１８３０号公報
【特許文献２】特開２００１−１１９６２２号公報
【特許文献３】特開２００３−１０７３３５号公報
【特許文献４】特開２００３−１０７５５５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、人物の顔の位置の検出には時間がかかるので、撮影画像から人物の顔の位置を検出して測距／測光領域を設定し、その後取得した撮影画像からＡＦ／ＡＥ評価値を検出しても、人物が動いたり撮影装置が手振れしたりすると、人物の顔が測距／測光領域から外れてしまい、人物の顔に焦点と露出が合わないという問題がある。
【０００７】
例えば、画面内を左から右に移動している人物を撮影していて、図６（ａ）、図６（ｂ）に示すような２フレーム分の撮影画像が取得された場合について説明する。図６（ｂ）は、例えば図６（ａ）から１秒後に得られた撮影画像である。
【０００８】
図６（ａ）、図６（ｂ）それぞれの画像から人物の顔の位置を検出した結果がｘ、ｙで示されている点線で囲まれた領域である。図６（ａ）の画像から人物の顔の位置と判定されたｘ領域を測距／測光領域に設定し、その後取得した図６（ｂ）の画像からＡＦ／ＡＥ評価値を検出した場合、図６（ｂ）では人物の顔の位置はｙ領域に移動しており、ｘ領域から検出したＡＦ／ＡＥ評価値を基にＡＦ／ＡＥ制御を行うと、焦点と露出はｘ領域の背景に存在している、人物とは関係ない対象物に合ってしまう。
【０００９】
本発明はこのような点に鑑みてなされたものであって、その目的は、顔領域検出の対象となるフレームの画像に対してＡＦ／ＡＥ／ＷＢ評価値検出とを行うことができるため、人物の顔への焦点調節と露出制御を従来よりも精度よく行い、人物の動きや手振れに強い撮影装置を提供することである。
【課題を解決するための手段】
【００１０】
上述した課題を解決し、目的を達成するために、本発明に係わる撮像装置は、撮影装置において、結像光学系により結像された被写体像を光電変換して画像信号を出力する撮像手段と、前記撮像手段から出力された画像信号をデジタル化してデジタル画像データを出力するＡ／Ｄ変換手段と、前記Ａ／Ｄ変換手段から出力されたデジタル画像データを基に第１の画像データとして記憶する第１の記憶手段と、前記第１の画像データの基となるデジタル画像データを基に第１の画像データとは異なる第２の画像データとして記憶する第２の記憶手段と、前記第２の画像データから顔領域を検出する顔領域検出手段と、前記顔検出手段が前記第２の画像データから顔領域を検出している間に前記Ａ／Ｄ変換手段より出力された画像データに基づいて画像を表示する表示手段と、前記顔検出手段が前記第２の画像データからの顔領域の検出を完了すると、前記第１の画像データのうちの、前記顔領域検出手段により検出された顔領域に対応する部分のデータを用いて、オートフォーカス、自動露出、及び、ホワイトバランスの為の情報の少なくとも一つを抽出する抽出手段と、前記抽出手段によって抽出された情報に基づいて、オートフォーカス制御、自動露出制御、及び、ホワイトバランス制御の少なくとも一つを行う制御手段と、を具備することを特徴とする。
【００１１】
また、本発明に係わる撮像装置は、撮影装置において、結像光学系により結像された被写体像を光電変換して画像信号を出力する撮像手段と、前記撮像手段から出力された画像信号をデジタル化してデジタル画像データを出力するＡ／Ｄ変換手段と、前記Ａ／Ｄ変換手段から出力されたデジタル画像データを用いて、オートフォーカス、自動露出、及び、ホワイトバランスのための情報の少なくとも一つを抽出する抽出手段と、前記抽出手段により抽出された情報を第１の画像データとして記憶する第１の記憶手段と、前記第１の画像データの基となるデジタル画像データを基に第１の画像データとは異なる第２の画像データとして記憶する第２の記憶手段と、前記第２の画像データから顔領域を検出する顔領域検出手段と、前記顔検出手段が前記第２の画像データから顔領域を検出している間に前記Ａ／Ｄ変換手段より出力された画像データに基づいて画像を表示する表示手段と、前記顔検出手段が前記第２の画像データからの顔領域の検出を完了すると、前記第１の画像データのうちの、前記顔領域検出手段により検出された顔領域に対応する部分のデータに基づいて、オートフォーカス、自動露出、及び、ホワイトバランス制御の少なくとも一つを行う制御手段と、を具備することを特徴とする。
【００１２】
また、本発明に係わる撮像装置は、撮影装置において、結像光学系により結像された被写体像を光電変換して画像信号を出力する撮像手段と、前記撮像手段から出力された画像信号をデジタル化してデジタル画像データを出力するＡ／Ｄ変換手段と、前記Ａ／Ｄ変換手段から出力されたデジタル画像データを基に第１の画像データとして順次記憶していく第１の記憶手段と、前記第１の画像データの基となるデジタル画像データを基に第１の画像データとは異なる第２の画像データとして順次記憶していく第２の記憶手段と、前記第２の画像データから顔領域を検出する顔領域検出手段と、前記顔検出手段が顔領域の検出を行う間に得られた第２の画像データのうちで、前記顔領域の検出に用いた画像データとの類似度が所定値以内であるいずれかの第２の画像データと同一の画像データから生成された前記第１の画像データを用いて、オートフォーカス、自動露出、及び、ホワイトバランスのための情報の少なくとも１つを抽出する抽出手段と、前記抽出手段によって抽出された情報に基づいて、オートフォーカス、自動露出、及び、ホワイトバランス制御の少なくとも一つを行う制御手段と、を具備することを特徴とする。
【００１３】
また、本発明に係わる撮像装置は、撮影装置において、結像光学系により結像された被写体像を光電変換して画像信号を出力する撮像手段と、前記撮像手段から出力された画像信号をデジタル化してデジタル画像データを出力するＡ／Ｄ変換手段と、前記Ａ／Ｄ変換手段から出力されたデジタル画像データを基に第１の画像データとして順次記憶していく第１の記憶手段と、前記第１の画像データの基となるデジタル画像データを基に第１の画像データとは異なる第２の画像データとして順次記憶していく第２の記憶手段と、前記第２の画像データから顔領域を検出する顔領域検出手段と、前記顔検出手段が顔領域の検出を行う間に得られた第２の画像データのうちで、前記顔領域を検出した第２の画像データとの類似度が所定値以内である別の第２の画像データがない場合は、顔検出結果によらないオートフォーカス、自動露出、及び、ホワイトバランス制御の少なくとも一つを行う制御手段と、を具備することを特徴とする。
【００１４】
また、本発明に係わる撮像装置は、撮影装置において、結像光学系により結像された被写体像を光電変換して画像信号を出力する撮像手段と、前記撮像手段から出力された画像信号をデジタル化してデジタル画像データを出力するＡ／Ｄ変換手段と、前記Ａ／Ｄ変換手段から出力されたデジタル画像データを用いて、オートフォーカス、自動露出、及び、ホワイトバランスのための情報の少なくとも一つを抽出する抽出手段と、前記抽出手段により抽出された情報を第１の画像データとして順次記憶していく第１の記憶手段と、前記第１の画像データの基となるデジタル画像データを基に第１の画像データとは異なる第２の画像データとして順次記憶していく第２の記憶手段と、前記第２の画像データから顔領域を検出する顔領域検出手段と、前記顔検出手段が顔領域の検出を行う間に得られた第２の画像データのうちで、前記顔領域の検出に用いた画像データとの類似度が所定値以内であるいずれかの第２の画像データと同一の画像データから生成された前記第１の画像データのうちの、前記顔領域検出手段により検出された顔領域に対応する部分のデータに基づいて、オートフォーカス、自動露出、及び、ホワイトバランス制御の少なくとも一つを行う制御手段と、を具備することを特徴とする。
【００１５】
また、本発明に係わる撮像装置は、撮影装置において、結像光学系により結像された被写体像を光電変換して画像信号を出力する撮像手段と、前記撮像手段から出力された画像信号をデジタル化してデジタル画像データを出力するＡ／Ｄ変換手段と、前記Ａ／Ｄ変換手段から出力されたデジタル画像データを用いて、オートフォーカス、自動露出、及び、ホワイトバランスのための情報の少なくとも一つを抽出する抽出手段と、前記抽出手段により抽出された情報を第１の画像データとして順次記憶していく第１の記憶手段と、前記第１の画像データの基となるデジタル画像データを基に第１の画像データとは異なる第２の画像データとして順次記憶していく第２の記憶手段と、前記第２の画像データから顔領域を検出する顔領域検出手段と、前記顔検出手段が顔領域の検出を行う間に得られた第２の画像データのうちで、前記顔領域を検出した第２の画像データとの類似度が所定値以内である別の第２の画像データがない場合は、顔検出結果によらないオートフォーカス、自動露出、及び、ホワイトバランス制御の少なくとも一つを行う制御手段と、を具備することを特徴とする。
【００１６】
また、本発明に係わる撮像装置の制御方法は、撮影装置の制御方法において、結像光学系により結像された被写体像を光電変換して画像信号を出力する撮像工程と、前記撮像工程から出力された画像信号をデジタル化してデジタル画像データを出力するＡ／Ｄ変換工程と、前記Ａ／Ｄ変換工程から出力されたデジタル画像データを基に第１の画像データとして記憶する第１の記憶工程と、前記第１の画像データの基となるデジタル画像データを基に第１の画像データとは異なる第２の画像データとして記憶する第２の記憶工程と、前記第２の画像データから顔領域を検出する顔領域検出工程と、前記顔検出工程が前記第２の画像データから顔領域を検出している間に前記Ａ／Ｄ変換工程より出力された画像データに基づいて画像を表示する表示工程と、前記顔検出工程が前記第２の画像データからの顔領域の検出を完了すると、前記第１の画像データのうちの、前記顔領域検出工程により検出された顔領域に対応する部分のデータを用いて、オートフォーカス、自動露出、又は、ホワイトバランスの為の情報を抽出する抽出工程と、前記抽出工程によって抽出された情報に基づいて、オートフォーカス制御、自動露出制御、及び、ホワイトバランス制御の少なくとも一つを行う制御工程と、を具備することを特徴とする。
【００１７】
また、本発明に係わる撮像装置の制御方法は、撮影装置の制御方法において、結像光学系により結像された被写体像を光電変換して画像信号を出力する撮像工程と、前記撮像工程から出力された画像信号をデジタル化してデジタル画像データを出力するＡ／Ｄ変換工程と、前記Ａ／Ｄ変換工程から出力されたデジタル画像データを用いて、オートフォーカス、自動露出、及び、ホワイトバランスのための情報の少なくとも一つを抽出する抽出工程と、前記抽出工程により抽出された情報を第１の画像データとして記憶する第１の記憶工程と、前記第１の画像データの基となるデジタル画像データに第１の画像データとは異なる第２の画像データとして記憶する第２の記憶工程と、前記第２の画像データから顔領域を検出する顔領域検出工程と、前記顔検出工程が前記第２の画像データから顔領域を検出している間に前記Ａ／Ｄ変換工程より出力された画像データに基づいて画像を表示する表示工程と、前記顔検出工程が前記第２の画像データからの顔領域の検出を完了すると、前記第１の画像データのうちの、前記顔領域検出工程により検出された顔領域に対応する部分のデータに基づいて、オートフォーカス、自動露出、及び、ホワイトバランス制御の少なくとも一つを行う制御工程と、を具備することを特徴とする。
【００１８】
また、本発明に係わる撮像装置の制御方法は、撮影装置の制御方法において、結像光学系により結像された被写体像を光電変換して画像信号を出力する撮像工程と、前記撮像工程から出力された画像信号をデジタル化してデジタル画像データを出力するＡ／Ｄ変換工程と、前記Ａ／Ｄ変換工程から出力されたデジタル画像データを基に第１の画像データとして順次記憶していく第１の記憶工程と、前記第１の画像データの基となるデジタル画像データを基に第１の画像データとは異なる第２の画像データとして順次記憶していく第２の記憶工程と、前記第２の画像データから顔領域を検出する顔領域検出工程と、前記顔検出工程が顔領域の検出を行う間に得られた第２の画像データのうちで、前記顔領域の検出に用いた画像データとの類似度が所定値以内であるいずれかの第２の画像データと同一の画像データから生成された前記第１の画像データを用いて、オートフォーカス、自動露出、及び、ホワイトバランスのための情報の少なくとも１つを抽出する抽出工程と、前記抽出工程によって抽出された情報に基づいて、オートフォーカス、自動露出、及び、ホワイトバランス制御の少なくとも一つを行う制御工程と、を具備することを特徴とする。
【００１９】
また、本発明に係わる撮像装置の制御方法は、撮影装置の制御方法において、結像光学系により結像された被写体像を光電変換して画像信号を出力する撮像工程と、前記撮像工程から出力された画像信号をデジタル化してデジタル画像データを出力するＡ／Ｄ変換工程と、前記Ａ／Ｄ変換工程から出力されたデジタル画像データを基に第１の画像データとして順次記憶していく第１の記憶工程と、前記第１の画像データの基となるデジタル画像データを基に第１の画像データとは異なる第２の画像データとして順次記憶していく第２の記憶工程と、前記第２の画像データから顔領域を検出する顔領域検出工程と、前記顔検出工程が顔領域の検出を行う間に得られた第２の画像データのうちで、前記顔領域を検出した第２の画像データとの類似度が所定値以内である別の第２の画像データがない場合は、顔検出結果によらないオートフォーカス、自動露出、及び、ホワイトバランス制御の少なくとも一つを行う制御工程と、を具備することを特徴とする。
【００２０】
また、本発明に係わる撮像装置の制御方法は、撮影装置の制御方法において、結像光学系により結像された被写体像を光電変換して画像信号を出力する撮像工程と、前記撮像工程から出力された画像信号をデジタル化してデジタル画像データを出力するＡ／Ｄ変換工程と、前記Ａ／Ｄ変換工程から出力されたデジタル画像データを用いて、オートフォーカス、自動露出、及び、ホワイトバランスのための情報の少なくとも一つを抽出する抽出工程と、前記抽出工程により抽出された情報を第１の画像データとして順次記憶していく第１の記憶工程と、前記第１の画像データの基となるデジタル画像データを基に第１の画像データとは異なる第２の画像データとして順次記憶していく第２の記憶工程と、前記第２の画像データのいずれかから顔領域を検出する顔領域検出工程と、前記顔検出工程が顔領域の検出を行う間に得られた第２の画像データのうちで、前記顔領域の検出に用いた画像データとの類似度が所定値以内であるいずれかの第２の画像データと同一の画像データから生成された前記第１の画像データのうちの、前記顔領域検出工程により検出された顔領域に対応する部分のデータに基づいて、オートフォーカス、自動露出、及び、ホワイトバランス制御の少なくとも一つを行う制御工程と、を具備することを特徴とする。
【００２１】
また、本発明に係わる撮像装置の制御方法は、撮影装置の制御方法において、結像光学系により結像された被写体像を光電変換して画像信号を出力する撮像工程と、前記撮像工程から出力された画像信号をデジタル化してデジタル画像データを出力するＡ／Ｄ変換工程と、前記Ａ／Ｄ変換工程から出力されたデジタル画像データを用いて、オートフォーカス、自動露出、及び、ホワイトバランスのための情報の少なくとも一つを抽出する抽出工程と、前記抽出工程により抽出された情報を第１の画像データとして順次記憶していく第１の記憶工程と、前記第１の画像データの基となるデジタル画像データを基に第１の画像データとは異なる第２の画像データとして順次記憶していく第２の記憶工程と、前記第２の画像データから顔領域を検出する顔領域検出工程と、前記顔検出工程が顔領域の検出を行う間に得られた第２の画像データのうちで、前記顔領域を検出した第２の画像データとの類似度が所定値以内である別の第２の画像データがない場合は、顔検出結果によらないオートフォーカス、自動露出、及び、ホワイトバランス制御の少なくとも一つを行う制御工程と、を具備することを特徴とする。
【００２２】
また、本発明に係わるプログラムは、上記の制御方法をコンピュータに実行させることを特徴とする。
【００２３】
また、本発明に係わる記憶媒体は、上記のプログラムをコンピュータ読み取り可能に記憶したことを特徴とする。
【発明の効果】
【００２４】
本発明によれば、顔領域検出の対象となるフレームの画像に対しての変化量が所定内の撮影画像に基づきＡＦ／ＡＥ／ＷＢ評価値検出とを行うことができるため、人物の顔への焦点調節と露出制御を従来よりも精度よく行い、人物の動きや手振れに強い撮影装置を提供することが可能となる。
【発明を実施するための最良の形態】
【００２５】
以下、本発明の好適な実施形態について、図面を参照して詳細に説明する。
（第１の実施形態）
図１は、本発明の撮影装置の第１の実施形態の機能ブロック図である。
【００２６】
図１において、１０はレンズや絞り等からなる結像光学部であり、フォーカス調節や露出調節を行う。１１は光学像を電気信号に変換するＣＣＤ等の撮像素子、１２は撮像素子１１からのアナログ画像信号をデジタル画像データに変換するＡ／Ｄ変換回路、１３はＡ／Ｄ変換回路１２から出力された画像データにガンマ処理、補間処理、マトリクス変換等を施して映像データを作成する信号処理部、１４はメモリ（ＤＲＡＭ）１５との間で映像データや各種制御データの書き込み／読み出しを行うメモリＩ／Ｆ、１６は映像データから人物の顔の領域を判定する顔領域判定部、１７はＡＦ／ＡＥ／ＷＢ（オートフォーカス／自動露出／ホワイトバランス）評価値を検出するＡＦ／ＡＥ／ＷＢ検出部である。１８は各種制御を司るＣＰＵであり、ＡＦ／ＡＥ／ＷＢ検出部１７からの評価値に基づいて結像光学部を制御し、また、信号処理部１３での信号処理のパラメータ設定を行う。１９は表示部であり、信号処理部１３にて作成された映像データを随時表示し、使用者がリアルタイムで被写体の様子を観察できるようにするための液晶モニター等からなる表示部である。
【００２７】
以下、本発明の第１の実施形態の撮影装置の動作を図２に示すフローチャートに従って説明する。
【００２８】
デジタルスチルカメラでは撮影の前に表示部１９でこれから撮影をしようとする画像のモニタリングを行っており、本実施形態ではモニタリング動作中に人物の顔の位置およびＡＦ／ＡＥ／ＷＢ評価値を抽出するものとする。
【００２９】
ステップＳ１０１では、モニタリングしている画像に対して顔検出を行う顔検出モードが設定されると、結像光学部１０に入射した光は撮像素子１１の受光面に結像し、撮像素子１１からアナログ画像信号として出力される。アナログ画像信号はＡ／Ｄ変換回路１２でデジタル画像データに変換され、信号処理部１３に入力される。なお、ここでは顔検出モードの設定されると信号処理部１３へ信号の入力が開始されているが、レリーズボタンが半押し（ＳＷ１）されると、信号処理部１３へ信号の入力を開始してもよい。
【００３０】
信号処理部１３では、ステップＳ１０２とステップＳ１０３の２つの処理が並行して行われる。ステップＳ１０２では、入力された画像データをそのまま（ＲＡＷ圧縮方式で圧縮されたデータ）の状態でメモリＩ／Ｆ１４を通じてメモリ１５の予め決められたメモリ空間（メモリ空間Ａ）に記憶する。一方、ステップＳ１０３では、入力された画像データにガンマ処理、補間処理、マトリクス変換等を施して映像データを作成する。
【００３１】
ステップＳ１０４では、ＣＰＵ１８は、メモリＩ／Ｆ１４を通じてメモリ１５のメモリ空間Ａとは異なる予め決められたメモリ空間（メモリ空間Ｂ）にステップＳ１０３にて作成された映像データを記憶する。ステップＳ１０２にて記憶された画像データと、ステップＳ１０３にて作成された映像データとは、Ａ／Ｄ変換回路１２から出力された同一の画像データを基にしていることになる。
【００３２】
ステップＳ１０５では、顔領域判定部１６は、ステップＳ１０４においてメモリ空間Ｂに記憶された顔検出モード設定後の最初の１フレーム分の映像データを用いて人物の顔の領域を検出する。メモリ空間Ｂに記憶された映像データはメモリ空間Ａに記憶された画像データよりも容量が小さく、メモリ空間Ｂに記憶された映像データから顔領域の検出を行えば、メモリ空間Ａに記憶された画像データから行うようも短い時間で顔領域の検出が完了する。
【００３３】
人物の顔領域の検出方法としては、主成分分析による固有顔（eigenface）を用いた方法（M.A.Turk and A.P.Pentland, "Face recognition using eigenfaces", Proc. of IEEE Conf. on Computer Vision and Pattern Recognition, pp.586-591, 1991.）や、特開平０９−２５１５３４号公報では、目、鼻、口等の特徴点を利用した方法が提案されており、適用可能である。これらの方法は、入力画像と複数の標準パターンとのパターンマッチング法により入力画像が人物の顔であるかどうかを判定している。
【００３４】
本実施形態では、予めメモリ１５のメモリ空間Ｃに記憶されている人物の顔の標準パターンと、ステップＳ１０４においてメモリ空間Ｂに記憶された顔検出モード設定後の最初の１フレーム分の映像データとの間でパターンマッチングを行う。そしてこのパターンマッチングを行っている間に、使用者が被写体をモニタリングできるように表示部１９は、顔検出モード設定後の最初に得られた１フレーム後に新たに得られた映像データを随時表示する。
【００３５】
ステップＳ１０６では、ＡＦ／ＡＥ／ＷＢ検出部１７は、ステップＳ１０５において検出された人物の顔領域の情報に基づいて、ＡＦ（オートフォーカス）評価値を検出する領域（ＡＦ領域）、ＡＥ（自動露出）評価値を検出する領域（ＡＥ領域）およびＷＢ（ホワイトバランス）評価値を検出する領域（ＷＢ領域）を設定する。ステップＳ１０５において人物の顔が存在しないと判定された場合には、通常の方法でＡＦ／ＡＥ／ＷＢ領域を設定する。なお、ＡＦ／ＡＥ／ＷＢ領域の設定は、ＣＰＵ１８で行っても構わない。
【００３６】
ステップＳ１０７では、ステップＳ１０２においてメモリ空間Ａに記憶されたＲＡＷ圧縮方式で圧縮されたデータの内顔検出モード設定後の最初の１フレーム分のデータに対して、ステップＳ１０６において設定したＡＦ／ＡＥ／ＷＢ領域に含まれるＲＡＷ圧縮方式で圧縮されたデータをＡＦ／ＡＥ／ＷＢ検出部１７に読み出し、ＡＦ／ＡＥ／ＷＢ評価値を検出する。なお、ＲＡＷ圧縮方式で圧縮されたデータには、輝度情報だけでなく色情報も含まれる。
【００３７】
ステップＳ１０８では、ＣＰＵ１８は、ステップＳ１０７において得られたＡＦ／ＡＥ／ＷＢ評価値に基づいてＡＦ／ＡＥ／ＷＢ調整量を求め、結像光学部１０を制御する。また、ステップＳ１０７において得られたＡＥ評価値を基に、信号処理部１３での信号処理のパラメータ設定を行う。
【００３８】
上述したようにデジタルスチルカメラのモニタリング動作中には、連続してフレーム画像がＡ／Ｄ変換回路１２から出力されるので、上記ステップＳ１０５からステップＳ１０８の処理が行われている最中にも、次のフレーム画像が信号処理部１３に入力されている。顔領域検出の対象となるフレーム１の画像に対して顔領域判定とＡＦ／ＡＥ／ＷＢ評価値検出を行うため、フレーム毎にメモリ空間を切り替えて上記ステップＳ１０２からステップＳ１０７の処理を行う。この様子を図３のタイミングチャートおよび図４のメモリ空間図に従って説明する。
【００３９】
フレーム画像に対して信号処理部１３に入力された順番にフレーム１、フレーム２、フレーム３、…と番号を付け、また、フレーム１の画像データが入力されている期間をフレーム１期間、同様にフレーム２期間、フレーム３期間、…と名付ける。ここでは、人物の顔の位置を検出するのに１０フレーム期間かかるものとする。
【００４０】
図３のタイミングチャートは、垂直同期信号で区切られたフレーム１期間からフレーム１２期間における、上記ステップＳ１０１からＳ１０８までの処理が行われるタイミングと、それぞれのステップで処理するフレーム番号を示している。図３において、画像データ入力はステップＳ１０１、ＲＡＷ圧縮方式で圧縮されたデータ記憶はステップＳ１０２、映像データ記憶はステップＳ１０４、顔領域判定はステップＳ１０５、ＡＦ／ＡＥ／ＷＢ評価値検出はステップＳ１０７、ＡＦ／ＡＥ／ＷＢ制御はステップＳ１０８に相当する。
【００４１】
（１）フレーム１期間
信号処理部１３に入力されたフレーム１の画像データに対して、上記ステップＳ１０２とステップＳ１０４の２つの処理が並行して行われ、フレーム１のＲＡＷ圧縮方式で圧縮されたデータはメモリ空間Ａに、映像データはメモリ空間Ｂに記憶される。フレーム１期間のメモリ空間の例を図４（ａ）に示す。メモリ空間Ｃには、顔領域判定の際に用いられる顔の標準パターンが予め記憶されているものとする。
【００４２】
（２）フレーム２〜１１期間
ステップＳ１０５の顔領域判定は、メモリ空間Ｂに記憶されているフレーム１の映像データを読み出して、メモリ空間Ｃに記憶されている標準パターンとのパターンマッチングによる顔領域判定を行う。フレーム２〜１１期間においても信号処理部１３にＡ／Ｄ変換回路１２から出力された画像データは入力され続け、表示部１９がこのフレーム２〜１１期間にて得られた画像データを基にした映像データを用いて表示動作を行うが、顔領域判定は、メモリ空間Ｂに記憶されているフレーム１の映像データに対して行われる。
【００４３】
ステップＳ１０６ではＣＰＵ１８は、顔領域判定が完了すると（図３ではフレーム１１の画像を得ている時点にて）ステップＳ１０５にて記録されたフレーム１の画像に対して、ＡＦ／ＡＥ／ＷＢ領域を設定する。
【００４４】
ステップＳ１０７では、ＡＦ／ＡＥ／ＷＢ検出部１７は、ステップＳ１０６にてＡＦ/ＡＥ／ＷＢ領域に設定されたフレーム１のＲＡＷ圧縮方式で圧縮されたデータをメモリ空間Ａから読み出してＡＦ／ＡＥ／ＷＢ評価値を検出を行う。なお、ＡＦ評価値に関しては、１フレーム分の画像から求めることはできない為、ステップＳ１０６にてＡＦ／ＡＥ／ＷＢ領域に設定されたフレーム１から数フレーム後までのフレームも加味して評価値の検出を行う。
そして、ステップＳ１０８では、ＣＰＵ１８は、ステップＳ１０７にて求められた評価値に基づきＡＦ／ＡＥ／ＷＢ制御を行う。一方、信号処理部１３に入力されたフレーム２の画像データに対して上記フレーム１期間と同じ処理が施されるが、フレーム２のＲＡＷ圧縮方式で圧縮されたデータはメモリ空間Ａと異なるメモリ空間Ａ’に、映像データはメモリ空間Ｂと異なるメモリ空間Ｂ’に記憶される。フレーム２期間のメモリ空間の例を図４（ｂ）に示す。
【００４５】
例えば、フレーム１およびフレーム１１の撮影画像として図６Ａ、図６Ｂに示す撮影画像が取得された場合、フレーム１期間では図６（ａ）のＲＡＷ圧縮方式で圧縮されたデータと映像データが、フレーム１１期間では図６（ｂ）のＲＡＷ圧縮方式で圧縮されたデータと映像データがメモリ１５に記憶される。図６（ａ）の映像データから顔の位置を検出した結果がｘで示されている点線で囲まれた領域であり、ＡＦ／ＡＥ／ＷＢ制御は図６（ａ）のｘ領域のＲＡＷ圧縮方式で圧縮されたデータから検出したＡＦ／ＡＥ／ＷＢ評価値を基に行われる。
【００４６】
（３）フレーム１２期間以降
フレーム１２期間以降は、上記フレーム２〜１１期間と同じ処理が行われるが、メモリ１５の書き込み／読み出しのメモリ空間はフレーム毎に交互に異なる。すなわち、フレーム３期間では、上記ステップＳ１０２およびＳ１０４におけるメモリ１５への書き込みはメモリ空間Ａおよびメモリ空間Ｂに行われ、上記ステップＳ１０５の顔領域判定におけるメモリ１５からの読み出しはメモリ空間Ｂ’およびメモリ空間Ａ’から行われる。フレーム２２期間終了後におけるメモリ空間の例を図４（ｃ）に示す。
【００４７】
（４）静止画撮影時
モニタリング動作中に得られたＡＥ評価値をメモリ１５に記憶しておけば、モニタリング動作の後に行われる静止画撮影時にも、そのＡＥ評価値を用いて信号処理部１３におけるガンマ処理、補間処理、マトリクス変換等のパラメータを設定することが可能である。
【００４８】
以上説明したとおり、上記実施形態によれば、フレーム１の画像に対して顔領域検出を開始してから完了するまでの間にフレーム２〜１０期間の新たな画像データが得られているにもかかわらず、フレーム１１期間にて顔領域検出結果が得られると記憶したフレーム１の画像を用いてＡＦ／ＡＥ／ＷＢ評価値検出を行う。つまり、顔領域検出とＡＦ／ＡＥ／ＷＢ評価値検出とが同一フレームに対して行われ、人物の顔への焦点調節と露出制御を従来よりも精度よく行い、人物の動きや手振れに強い撮影装置を提供することが可能となる。
（第２の実施形態）
図７は、本発明の撮影装置の第２の実施形態の機能ブロック図である。
【００４９】
図７において、１０はレンズや絞り等からなる結像光学部であり、フォーカス調節や露出調節を行う。１１は光学像を電気信号に変換するＣＣＤ等の撮像素子、１２は撮像素子１１からのアナログ画像信号をデジタル画像データに変換するＡ／Ｄ変換回路、１３はＡ／Ｄ変換回路１２から出力された画像データにガンマ処理、補間処理、マトリクス変換等を施して映像データを作成する信号処理部、１４はメモリ（ＤＲＡＭ）１５との間で映像データや各種制御データの書き込み／読み出しを行うメモリＩ／Ｆ、１６は映像データから人物の顔の領域を判定する顔領域判定部、１７はＡＦ／ＡＥ／ＷＢ評価値を検出するＡＦ／ＡＥ／ＷＢ検出部である。１８は各種制御を司るＣＰＵであり、ＡＦ／ＡＥ／ＷＢ検出部１７からの評価値に基づいて結像光学部を制御し、また、信号処理部１３での信号処理のパラメータ設定を行う。１９は表示部であり、信号処理部１３にて作成された映像データを随時表示し、使用者がリアルタイムで被写体の様子を観察できるようにするための液晶モニター等からなる表示部である。
【００５０】
以下、本発明の第２の実施形態における撮影装置の動作を図８に示すフローチャートに従って説明する。
【００５１】
デジタルスチルカメラでは撮影の前に表示部１９でこれから撮影をしようとする画像のモニタリングを行っており、本実施形態ではモニタリング動作中に人物の顔の位置およびＡＦ／ＡＥ／ＷＢ評価値を抽出するものとする。
【００５２】
ステップＳ２０１では、モニタリングしている画像に対して顔検出を行う顔検出モードが設定されると、結像光学部１０に入射した光は撮像素子１１の受光面に結像し、撮像素子１１からアナログ画像信号として出力される。アナログ画像信号はＡ／Ｄ変換回路１２でデジタル画像データに変換され、信号処理部１３およびＡＦ／ＡＥ／ＷＢ検出部１７に入力される。なお、ここでは顔検出モードの設定されると信号処理部１３へ信号の入力が開始されているが、レリーズボタンが半押し（ＳＷ１）されると、信号処理部１３へ信号の入力を開始してもよい。
【００５３】
ステップＳ２０２では、ＡＦ／ＡＥ／ＷＢ検出部は、顔検出モード設定後の最初に入力された画像データからＡＦ／ＡＥ／ＷＢ評価値を検出する。
ステップＳ２０３において、ＣＰＵ１８は、メモリＩ／Ｆ１４を通じてメモリ１５の予め決められたメモリ空間（メモリ空間Ａ）にＡＦ／ＡＥ／ＷＢ評価値の積分値を記憶する。
【００５４】
ここで、画面全体を例えば縦横１６分割の２５６ブロックに分割し、それぞれのブロック内のＡＦ／ＡＥ／ＷＢ評価値の積分値をメモリ１５に記憶する。こうすることで、第１の実施形態においてＲＡＷ圧縮方式で圧縮されたデータをメモリ１５に記憶した場合よりも、メモリ１５に記憶するデータ量を削減することができる。また、ＡＦ評価値は、画像データにハイパスフィルタもしくはバンドパスフィルタを施すことにより得られ、特定の範囲の周波数成分のみを含む。従って、ＡＦ評価値を低域成分に周波数変換してデシメート（データ間引き）することにより、メモリ１５に記憶するデータ量を削減することができる。
【００５５】
ステップＳ２０４では、信号処理部１３は、入力された画像データにガンマ処理、補間処理、マトリクス変換等を施して映像データを作成する。
【００５６】
ステップＳ２０５では、ＣＰＵ１８は、メモリＩ／Ｆ１４を通じてメモリ１５のメモリ空間Ａとは異なる予め決められたメモリ空間（メモリ空間Ｂ）にステップＳ２０４で作成された映像データを記憶する。ステップＳ１０２にて記憶された画像データと、ステップＳ１０３にて作成された映像データとは、Ａ／Ｄ変換回路１２から出力された同一の画像データを基にしていることになる。
【００５７】
ステップＳ２０６では、顔領域判定部１６は、ステップＳ２０５においてメモリ空間Ｂに記憶された顔検出モード設定後の最初の１フレーム分の映像データを用いて人物の顔の領域を検出する。人物の顔領域の検出方法としては、主成分分析による固有顔（eigenface）を用いた方法（M.A.Turk and A.P.Pentland, "Face recognition using eigenfaces", Proc. of IEEE Conf. on Computer Vision and Pattern Recognition, pp.586-591, 1991.）や、特開平０９−２５１５３４号公報では、目、鼻、口等の特徴点を利用した方法が提案されており、適用可能である。これらの方法は、入力画像と複数の標準パターンとのパターンマッチング法により入力画像が人物の顔であるかどうかを判定している。
【００５８】
本実施形態では、予めメモリ１５のメモリ空間Ｃに記憶してある人物の顔の標準パターンと、ステップＳ２０５においてメモリ空間Ｂに記憶された映像データとの間でパターンマッチングを行う。そしてこのパターンマッチングを行っている間に、使用者が被写体をモニタリングできるように表示部１９は、顔検出モード設定後の最初に得られた１フレーム後に新たに得られた映像データを随時表示する。
【００５９】
ステップＳ２０７では、ＣＰＵ１８は、ステップＳ２０６において検出された人物の顔領域の情報に基づいて、ＡＦ評価値を検出する領域（ＡＦ領域）およびＡＥ評価値を検出する領域（ＡＥ領域）を設定する。ステップＳ２０６において人物の顔が存在しないと判定された場合には、通常の方法でＡＦ／ＡＥ／ＷＢ領域を設定する。
【００６０】
次に、ステップＳ２０８では、ＣＰＵ１８は、ステップＳ２０３においてメモリ空間Ａに記憶されたＡＦ／ＡＥ／ＷＢ評価値の内、ステップＳ２０７において設定したＡＦ／ＡＥ／ＷＢ領域に含まれる領域（既に述べた分割された２５６ブロックのうちの１つ又は複数）のＡＦ／ＡＥ／ＷＢ評価値を読み出す。
【００６１】
ステップＳ２０９では、ＣＰＵ１８は、ＡＦ／ＡＥ／ＷＢ調整量を求め、結像光学部１０を制御する。また、ステップＳ２０８において得られたＡＥ評価値に基づいて、信号処理部１３での信号処理のパラメータ設定を行う。
【００６２】
上述したようにデジタルスチルカメラのモニタリング動作中には、連続してフレーム画像がＡ／Ｄ変換回路１２から出力されるので、上記ステップＳ２０６からステップＳ２０９の処理が行われている最中にも、次のフレーム画像が信号処理部１３およびＡＦ／ＡＥ／ＷＢ検出部１７に入力されている。顔領域検出の対象となるフレーム１の画像に対してＡＦ／ＡＥ／ＷＢ評価値検出を行うため、フレーム毎にメモリ空間を切り替えて上記ステップＳ２０２からステップＳ２０８の処理を行う。この様子を図９のタイミングチャートおよび図１０（ａ）、（ｂ）、（ｃ）のメモリ空間図に従って説明する。
【００６３】
フレーム画像に対して信号処理部１３およびＡＦ／ＡＥ／ＷＢ検出部１７に入力された順番にフレーム１、フレーム２、フレーム３、…と番号を付け、また、フレーム１の画像データが入力されている期間をフレーム１期間、同様にフレーム２期間、フレーム３期間、…と名付ける。ここでは、人物の顔の位置を検出するのに１０フレーム期間かかるものとする。
【００６４】
図９のタイミングチャートは、垂直同期信号で区切られたフレーム１期間からフレーム１２期間における、上記ステップＳ２０１からＳ２０９までの処理が行われるタイミングと、それぞれのステップで処理するフレーム番号を示している。図９において、画像データ入力はステップＳ２０１、ＡＦ／ＡＥ／ＷＢ評価値検出および記憶はステップＳ２０２とステップＳ２０３、映像データ記憶はステップＳ２０５、顔領域判定はステップＳ２０６、ＡＦ／ＡＥ／ＷＢ評価値読み出しはステップＳ２０８、ＡＦ／ＡＥ／ＷＢ制御はステップＳ２０９に相当する。
【００６５】
（１）フレーム１期間
フレーム１の画像データに対して、ＡＦ／ＡＥ／ＷＢ検出部１７では上記ステップＳ２０２およびステップＳ２０３の処理が、信号処理部１３では上記ステップＳ２０５の処理が並行して行われ、フレーム１のＡＦ／ＡＥ／ＷＢ評価値はメモリ空間Ａに、映像データはメモリ空間Ｂに記憶される。フレーム１期間のメモリ空間の例を図１０（ａ）に示す。メモリ空間Ｃには、顔領域判定の際に用いられる顔の標準パターンが予め記憶されているものとする。
【００６６】
（２）フレーム２〜１１期間
ステップＳ２０６の顔領域判定は、メモリ空間Ｂに記憶されているフレーム１の映像データを読み出して、メモリ空間Ｃに記憶されている標準パターンとのパターンマッチングによる顔領域判定を行う。フレーム２〜１１期間においても信号処理部１３にＡ／Ｄ変換回路１２から出力された画像データは入力され続け、表示部１９がこのフレーム２〜１１期間にて得られた画像データを基にした映像データを用いて表示動作を行うが、顔領域判定は、メモリ空間Ｂに記憶されているフレーム１の映像データに対して行われる。
【００６７】
ステップＳ２０７ではＣＰＵ１８は、顔領域判定が完了するとステップＳ２０６にて記録された顔領域判定の対象となるフレーム１のデータに対して、ＡＦ／ＡＥ／ＷＢ領域の設定を行う。
【００６８】
ステップＳ２０８では、ＡＦ／ＡＥ／ＷＢ検出部１７は、ステップＳ２０７にてＡＦ/ＡＥ／ＷＢ領域に設定されたフレーム１のＡＦ／ＡＥ／ＷＢ評価値をメモリ１５から読み出す。なお、ＡＦ評価値に関しては、１フレーム分の画像から求めることはできない為、ステップＳ２０７にてＡＦ／ＡＥ／ＷＢ領域に設定されたフレーム１から数フレーム後までのフレームも加味して評価値の検出を行う。
そして、ステップＳ２０９では、ＣＰＵ１８は、ステップＳ２０８にて読み出された評価値に基づきＡＦ／ＡＥ／ＷＢ制御を行う。
【００６９】
一方、フレーム２の画像データに対して上記フレーム１期間と同じ処理が施されるが、フレーム２のＡＦ／ＡＥ／ＷＢ評価値はメモリ空間Ａと異なるメモリ空間Ａ’に、映像データはメモリ空間Ｂと異なるメモリ空間Ｂ’に記憶される。フレーム２期間のメモリ空間の例を図１０（ｂ）に示す。
【００７０】
例えば、フレーム１およびフレーム１１の撮影画像として図６Ａ、Ｂに示す撮影画像が取得された場合、フレーム１期間では図６（ａ）のＡＦ／ＡＥ／ＷＢ評価値と映像データが、フレーム１１期間では図６（ｂ）のＡＦ／ＡＥ／ＷＢ評価値と映像データがメモリ１５に記憶される。図６（ａ）の映像データから顔の位置を検出した結果がｘで示されている点線で囲まれた領域であり、ＡＦ／ＡＥ／ＷＢ制御は図６（ａ）のｘ領域から得られたＡＦ／ＡＥ／ＷＢ評価値をメモリ１５から読み出して行われる。
【００７１】
（３）フレーム１２期間以降
フレーム１２期間以降は、上記フレーム２〜１１期間と同じ処理が行われるが、メモリ１５の書き込み／読み出しのメモリ空間はフレーム毎に異なる。すなわち、フレーム３期間では、上記ステップＳ２０３およびＳ２０５におけるメモリ１５への書き込みはメモリ空間Ａおよびメモリ空間Ｂに行われ、上記ステップＳ２０６の顔領域判定におけるメモリ１５からの読み出しはメモリ空間Ｂ’およびメモリ空間Ａ’から行われる。フレーム２２期間終了後におけるメモリ空間の例を図１０（ｃ）に示す。
【００７２】
（４）静止画撮影時
モニタリング動作中に得られたＡＥ評価値をメモリ１５に記憶しておけば、モニタリング動作の後に行われる静止画撮影時にも、そのＡＥ評価値を用いて信号処理部１３におけるガンマ処理、補間処理、マトリクス変換等のパラメータを設定することが可能である。
【００７３】
以上説明したとおり、上記の実施形態によれば、フレーム１の画像に対して顔領域検出を開始してから完了するまでの間にフレーム２〜１０期間の新たな画像データが得られているにもかかわらず、フレーム１１期間にて顔領域検出結果が得られると記憶したフレーム１の画像からＡＦ／ＡＥ／ＷＢ評価値を読み出す。つまり、顔領域検出とＡＦ／ＡＥ／ＷＢ評価値検出とが同一フレームに対して行われ、人物の顔への焦点調節と露出制御を従来よりも精度よく行い、人物の動きや手振れに強い撮影装置を提供することが可能となる。
【００７４】
（第３の実施形態）
本実施形態は第１の実施形態ではフレーム１の画像に対してＡＦ／ＡＥ／ＷＢ評価値検出領域を行っているのに対して、顔領域検出の対象となるフレームの画像に対しての変化量が所定内の撮影画像に基づきＡＦ／ＡＥ／ＷＢ評価値検出を行う点が、第１の実施形態と異なる。
【００７５】
撮像装置の構成については第１の実施形態と同様なので説明は省略する。
【００７６】
以下、本発明の第３の実施形態の撮影装置の動作を図１１に示すフローチャートに従って説明する。
【００７７】
デジタルスチルカメラでは撮影の前に表示部１９でこれから撮影をしようとする画像のモニタリングを行っており、本実施形態ではモニタリング動作中に人物の顔の位置およびＡＦ／ＡＥ／ＷＢ評価値を抽出するものとする。
【００７８】
ステップＳ３０１では、モニタリングしている画像に対して顔検出を行う顔検出モードが設定されると、結像光学部１０に入射した光は撮像素子１１の受光面に結像し、撮像素子１１からアナログ画像信号として出力される。アナログ画像信号はＡ／Ｄ変換回路１２でデジタル画像データに変換され、信号処理部１３に入力される。なお、ここでは顔検出モードの設定されると信号処理部１３へ信号の入力が開始されているが、レリーズボタンが半押し（ＳＷ１）されると、信号処理部１３へ信号の入力を開始してもよい。
【００７９】
信号処理部１３では、ステップＳ３０２とステップＳ３０３の２つの処理が並行して行われる。ステップＳ３０２では、入力された画像データをそのまま（ＲＡＷ圧縮方式で圧縮されたデータ）の状態でメモリＩ／Ｆ１４を通じてメモリ１５の予め決められたメモリ空間（メモリ空間Ａ）に記憶する。一方、ステップＳ３０３では、入力された画像データにガンマ処理、補間処理、マトリクス変換等を施して映像データを作成する。
【００８０】
ステップＳ３０４では、ＣＰＵ１８は、メモリＩ／Ｆ１４を通じてメモリ１５のメモリ空間Ａとは異なる予め決められたメモリ空間（メモリ空間Ｂ）にステップＳ３０３にて作成された映像データを記憶する。ステップＳ１０２にて記憶された画像データと、ステップＳ１０３にて作成された映像データとは、Ａ／Ｄ変換回路１２から出力された同一の画像データを基にしていることになる。
【００８１】
ステップＳ３０５では、顔領域判定部１６は、ステップＳ３０４においてメモリ空間Ｂに記憶された顔検出モード設定後の最初の１フレーム分の映像データを用いて人物の顔の領域を検出する。
【００８２】
人物の顔領域の検出方法としては、主成分分析による固有顔（eigenface）を用いた方法（M.A.Turk and A.P.Pentland, "Face recognition using eigenfaces", Proc. of IEEE Conf. on Computer Vision and Pattern Recognition, pp.586-591, 1991.）や、特開平０９−２５１５３４号公報では、目、鼻、口等の特徴点を利用した方法が提案されており、適用可能である。これらの方法は、入力画像と複数の標準パターンとのパターンマッチング法により入力画像が人物の顔であるかどうかを判定している。
【００８３】
本実施形態では、予めメモリ１５のメモリ空間Ｃに記憶されている人物の顔の標準パターンと、ステップＳ３０４においてメモリ空間Ｂに記憶された顔検出モード設定後の最初の１フレーム分の映像データとの間でパターンマッチングを行う。そしてこのパターンマッチングを行っている間に、使用者が被写体をモニタリングできるように表示部１９は、顔検出モード設定後の最初に得られた１フレーム後に新たに得られた映像データを随時表示する。
【００８４】
ステップＳ３０６では、ＡＦ／ＡＥ／ＷＢ検出部１７は、ステップＳ３０５において検出された人物の顔領域の情報に基づいて、ＡＦ（オートフォーカス）評価値を検出する領域（ＡＦ領域）およびＡＥ（自動露出）評価値を検出する領域（ＡＥ領域）を設定する。ステップＳ３０５において人物の顔が存在しないと判定された場合には、通常の方法でＡＦ／ＡＥ／ＷＢ領域を設定する。なお、ＡＦ／ＡＥ／ＷＢ領域の設定は、ＣＰＵ１８で行っても構わない。
【００８５】
ステップＳ３０７では、ステップＳ３０２においてメモリ空間Ａに記憶された１フレーム期間以降のＲＡＷ圧縮方式で圧縮されたデータの内、顔領域検出の対象となるフレーム１の画像に対しての変化量が所定内である最新の画像データに対して、ステップＳ３０６において設定したＡＦ／ＡＥ／ＷＢ領域に含まれるＲＡＷ圧縮方式で圧縮されたデータをＡＦ／ＡＥ／ＷＢ検出部１７に読み出し、ＡＦ／ＡＥ／ＷＢ評価値を検出する。なお、ＲＡＷ圧縮方式で圧縮されたデータには、輝度情報だけでなく色情報も含まれる。
【００８６】
ステップＳ３０８では、ＣＰＵ１８は、ステップＳ３０７において得られたＡＦ／ＡＥ／ＷＢ評価値に基づいてＡＦ／ＡＥ／ＷＢ調整量を求め、結像光学部１０を制御する。また、ステップＳ３０７において得られたＡＥ評価値を基に、信号処理部１３での信号処理のパラメータ設定を行う。
【００８７】
上述したようにデジタルスチルカメラのモニタリング動作中には、連続してフレーム画像がＡ／Ｄ変換回路１２から出力されるので、上記ステップＳ３０５からステップＳ３０８の処理が行われている最中にも、次のフレーム画像が信号処理部１３に入力されている。顔領域検出の対象となるフレーム１の画像に対しての変化量が所定内の撮影画像に基づき顔領域判定とＡＦ／ＡＥ／ＷＢ評価値検出を行うため、フレーム毎にメモリ空間を切り替えて上記ステップＳ３０２からステップＳ３０７の処理を行う。この様子を図１２のタイミングチャートおよび図１３のメモリ空間図に従って説明する。
【００８８】
フレーム画像に対して信号処理部１３に入力された順番にフレーム１、フレーム２、フレーム３、…と番号を付け、また、フレーム１の画像データが入力されている期間をフレーム１期間、同様にフレーム２期間、フレーム３期間、…と名付ける。ここでは、人物の顔の位置を検出するのに１０フレーム期間かかるものとする。
【００８９】
図１２のタイミングチャートは、垂直同期信号で区切られたフレーム１期間からフレーム１２期間における、上記ステップＳ３０１からＳ３０８までの処理が行われるタイミングと、それぞれのステップで処理するフレーム番号を示している。図１２において、画像データ入力はステップＳ３０１、ＲＡＷ圧縮方式で圧縮されたデータ記憶はステップＳ３０２、映像データ記憶はステップＳ３０４、顔領域判定はステップＳ３０５、ＡＦ／ＡＥ／ＷＢ評価値検出はステップＳ３０７、ＡＦ／ＡＥ／ＷＢ制御はステップＳ３０８に相当する。
【００９０】
（１）フレーム１期間
信号処理部１３に入力されたフレーム１の画像データに対して、上記ステップＳ３０２とステップＳ３０４の２つの処理が並行して行われ、フレーム１の圧縮方式で圧縮されたデータはメモリ空間Ａに、映像データはメモリ空間Ｂに記憶される。フレーム１期間のメモリ空間の例を図４（ａ）に示す。メモリ空間Ｃには、顔領域判定の際に用いられる顔の標準パターンが予め記憶されているものとする。
【００９１】
（２）フレーム２〜１１期間
ステップＳ３０５の顔領域判定は、メモリ空間Ｂに記憶されているフレーム１の映像データを読み出して、メモリ空間Ｃに記憶されている標準パターンとのパターンマッチングによる顔領域判定を行う。フレーム２〜１１期間においても信号処理部１３にＡ／Ｄ変換回路１２から出力された画像データは入力され続け、表示部１９がこのフレーム２〜１１期間にて得られた画像データを基にした映像データを用いて表示動作を行うが、顔領域判定は、メモリ空間Ｂに記憶されているフレーム１の映像データに対して行われる。フレーム２〜１１の画像データに対しても、上記フレーム１期間と同じ処理が施され、フレーム２〜１１のＲＡＷ圧縮方式で圧縮されたデータはメモリ空間Ａと異なるメモリ空間に、映像データはメモリ空間Ｂと異なるメモリ空間に順次記憶される。フレーム１１期間終了後のメモリ空間の例を図１３（ｂ）に示す。図１３（ｂ）のメモリ空間Ａ’にはフレーム１１のＲＡＷ圧縮方式で圧縮されたデータ、メモリ空間Ｂ’にはフレーム１１の映像データが記憶されている。
【００９２】
ステップＳ３０６ではＣＰＵ１８は、ステップＳ３０５にて記録された顔領域判定の対象となるフレーム１の画像とフレーム２〜１１の画像との相関を求める。そして、求められた相関値に基づきフレーム間の変化が許容内であるかどうかの判定を行い、変化が許容内であればシーンが変化していないとして、変化が許容内のフレームで且つ最新のフレームの画像に対して、ＡＦ／ＡＥ／ＷＢ領域を設定する。
【００９３】
ステップＳ３０７では、ＡＦ／ＡＥ／ＷＢ検出部１７は、ステップＳ３０６にてＡＦ／ＡＥ／ＷＢ領域に設定されたフレームに対応するフレームのＲＡＷ圧縮方式で圧縮されたデータをメモリ空間Ａから読み出してＡＦ／ＡＥ／ＷＢ評価値を検出を行う。なお、ＡＦ評価値に関しては、１フレーム分の画像から求めることはできない為、ステップＳ３０６にてＡＦ／ＡＥ領域に設定されたフレームを基準に前後のフレームも加味して評価値の検出を行う。なお、評価値の検出が完了すれば、ＣＰＵ１８は、フレーム１からフレーム１１までの記憶されていたデータを消去する。
そして、ステップＳ３０８では、ＣＰＵ１８は、ステップＳ３０７にて求められた評価値に基づきＡＦ／ＡＥ／ＷＢ制御を行う。一方、信号処理部１３に入力されたフレーム２の画像データに対して上記フレーム１期間と同じ処理が施されるが、フレーム２のＲＡＷ圧縮方式で圧縮されたデータはメモリ空間Ａと異なるメモリ空間Ａ’に、映像データはメモリ空間Ｂと異なるメモリ空間Ｂ’に記憶される。フレーム２期間のメモリ空間の例を図１３（ｂ）に示す。
【００９４】
例えば、フレーム１およびフレーム１１の撮影画像として図６（ａ）、図６（ｂ）に示す撮影画像が取得された場合、フレーム１期間では図６（ａ）のＲＡＷ圧縮方式で圧縮されたデータと映像データが、フレーム１１期間では図６（ｂ）のＲＡＷ圧縮方式で圧縮されたデータと映像データがメモリ１５に記憶される。図６（ａ）の映像データから顔の位置を検出した結果がｘで示されている点線で囲まれた領域であり、ＡＦ／ＡＥ／ＷＢ制御は図６（ａ）のｘ領域のＲＡＷ圧縮方式で圧縮されたデータから検出したＡＦ／ＡＥ／ＷＢ評価値を基に行われる。
【００９５】
（３）フレーム１２期間以降
フレーム１２期間以降は、上記フレーム２〜１１期間と同じ処理が行われるが、メモリ１５の書き込み／読み出しのメモリ空間はフレーム毎に交互に異なる。すなわち、フレーム３期間では、上記ステップＳ３０２およびＳ３０４におけるメモリ１５への書き込みはメモリ空間Ａおよびメモリ空間Ｂに行われ、上記ステップＳ３０５の顔領域判定におけるメモリ１５からの読み出しはメモリ空間Ｂ’およびメモリ空間Ａ’から行われる。フレーム２２期間終了後におけるメモリ空間の例を図１３（ｃ）に示す。
【００９６】
（４）静止画撮影時
モニタリング動作中に得られたＡＥ評価値をメモリ１５に記憶しておけば、モニタリング動作の後に行われる静止画撮影時にも、そのＡＥ評価値を用いて信号処理部１３におけるガンマ処理、補間処理、マトリクス変換等のパラメータを設定することが可能である。
なお、本実施形態において、シーンの変化が許容内のフレームで且つ最新のフレームの画像に対して、ＡＦ／ＡＥ／ＷＢ領域を設定するとしたが、シーンの変化が許容内のフレームの画像であるならば、どの画像を領域設定の際に使用する画像としても良い。
また、シーンの変化が許容内のフレームの画像の中で最もシーンの変化が少ない（評価の高い）フレームの画像に対してＡＦ／ＡＥ／ＷＢ領域を設定してもよい。
【００９７】
また、シーンの変化が許容内のフレームの画像がない場合は、例えば、通常の評価測光を行い、ＡＦ／ＡＥ／ＷＢ領域を設定しＡＦ／ＡＥ／ＷＢ制御を行う。
【００９８】
以上説明したとおり、上記実施形態によれば、顔領域検出の対象となるフレームの画像に対しての変化量が所定内の撮影画像に基づきＡＦ／ＡＥ／ＷＢ評価値検出とを行うことができるため、人物の顔への焦点調節と露出制御を従来よりも精度よく行い、人物の動きや手振れに強い撮影装置を提供することが可能となる。
また、時間的に最も新しいフレームの画像にてＡＦ／ＡＥ／ＷＢ評価値検出を行うことで構図自体は変わっていなくても、時間の変化からシーン全体の明るさ等が変わった時にも正確な露出制御を行うことが可能である。
【００９９】
（第４の実施形態）
本実施形態は第２の実施形態ではフレーム１のデータに対してＡＦ／ＡＥ／ＷＢ評価値検出領域を行っているのに対して、顔領域検出の対象となるフレームの画像に対しての変化量が所定内の撮影画像に基づきＡＦ／ＡＥ／ＷＢ評価値検出を行う点が、第２の実施形態と異なる。
【０１００】
撮像装置の構成については第２の実施形態と同様なので説明は省略する。
【０１０１】
以下、本発明の第４の実施形態の撮影装置の動作を図１４に示すフローチャートに従って説明する。
【０１０２】
デジタルスチルカメラでは撮影の前に表示部１９でこれから撮影をしようとする画像のモニタリングを行っており、本実施形態ではモニタリング動作中に人物の顔の位置およびＡＦ／ＡＥ／ＷＢ評価値を抽出するものとする。
【０１０３】
ステップＳ４０１では、モニタリングしている画像に対して顔検出を行う顔検出モードが設定されると、結像光学部１０に入射した光は撮像素子１１の受光面に結像し、撮像素子１１からアナログ画像信号として出力される。アナログ画像信号はＡ／Ｄ変換回路１２でデジタル画像データに変換され、信号処理部１３およびＡＦ／ＡＥ／ＷＢ検出部１７に入力される。なお、ここでは顔検出モードの設定されると信号処理部１３へ信号の入力が開始されているが、レリーズボタンが半押し（ＳＷ１）されると、信号処理部１３へ信号の入力を開始してもよい。
【０１０４】
ステップＳ４０２では、ＡＦ／ＡＥ／ＷＢ検出部は、随時入力された画像データからＡＦ／ＡＥ／ＷＢ評価値を検出する。
ステップＳ４０３において、ＣＰＵ１８は、メモリＩ／Ｆ１４を通じてメモリ１５の予め決められたメモリ空間（メモリ空間Ａ）にＡＦ／ＡＥ／ＷＢ評価値の積分値を記憶する。
【０１０５】
ここで、画面全体を例えば縦横１６分割の２５６ブロックに分割し、それぞれのブロック内のＡＦ／ＡＥ／ＷＢ評価値の積分値をメモリ１５に記憶する。こうすることで、第３の実施形態においてＲＡＷ圧縮方式で圧縮されたデータをメモリ１５に記憶した場合よりも、メモリ１５に記憶するデータ量を削減することができる。また、ＡＦ評価値は、画像データにハイパスフィルタもしくはバンドパスフィルタを施すことにより得られ、特定の範囲の周波数成分のみを含む。従って、ＡＦ評価値を低域成分に周波数変換してデシメート（データ間引き）することにより、メモリ１５に記憶するデータ量を削減することができる。
【０１０６】
ステップＳ４０４では、信号処理部１３は、入力された画像データにガンマ処理、補間処理、マトリクス変換等を施して映像データを作成する。
【０１０７】
ステップＳ４０５では、ＣＰＵ１８は、メモリＩ／Ｆ１４を通じてメモリ１５のメモリ空間Ａとは異なる予め決められたメモリ空間（メモリ空間Ｂ）にステップＳ４０４で作成された映像データを記憶する。ステップＳ１０２にて記憶された画像データと、ステップＳ１０３にて作成された映像データとは、Ａ／Ｄ変換回路１２から出力された同一の画像データを基にしていることになる。
【０１０８】
ステップＳ４０６では、顔領域判定部１６は、ステップＳ４０５においてメモリ空間Ｂに記憶された顔検出モード設定後の最初の１フレーム分の映像データを用いて人物の顔の領域を検出する。人物の顔領域の検出方法としては、主成分分析による固有顔（eigenface）を用いた方法（M.A.Turk and A.P.Pentland, "Face recognition using eigenfaces", Proc. of IEEE Conf. on Computer Vision and Pattern Recognition, pp.586-591, 1991.）や、特開平０９−２５１５３４号公報では、目、鼻、口等の特徴点を利用した方法が提案されており、適用可能である。これらの方法は、入力画像と複数の標準パターンとのパターンマッチング法により入力画像が人物の顔であるかどうかを判定している。
【０１０９】
本実施形態では、予めメモリ１５のメモリ空間Ｃに記憶してある人物の顔の標準パターンと、ステップＳ４０５においてメモリ空間Ｂに記憶された顔検出モード設定後の最初の１フレーム分の映像データとの間でパターンマッチングを行う。そしてこのパターンマッチングを行っている間に、使用者が被写体をモニタリングできるように表示部１９は、顔検出モード設定後の最初に得られた１フレーム後に新たに得られた映像データを随時表示する。
【０１１０】
ステップＳ４０７では、ＣＰＵ１８は、ステップＳ４０６において検出された人物の顔領域の情報に基づいて、ＡＦ評価値を検出する領域（ＡＦ領域）およびＡＥ評価値を検出する領域（ＡＥ領域）を設定する。ステップＳ４０６において人物の顔が存在しないと判定された場合には、通常の方法でＡＦ／ＡＥ／ＷＢ領域を設定する。
【０１１１】
次に、ステップＳ４０８では、ＣＰＵ１８は、ステップＳ４０３においてメモリ空間Ａに記憶された１フレーム期間以降の画像データの内、顔領域検出の対象となるフレーム１の画像に対しての変化量が所定内である最新の画像データを選択する。そしてこの選択された画像データのＡＦ／ＡＥ／ＷＢ評価値の内、ステップＳ４０７において設定したＡＦ／ＡＥ／ＷＢ領域に含まれる領域（既に述べた分割された２５６ブロックのうちの１つ又は複数）のＡＦ／ＡＥ／ＷＢ評価値を読み出す。
【０１１２】
ステップＳ４０９では、ＣＰＵ１８は、ＡＦ／ＡＥ／ＷＢ調整量を求め、結像光学部１０を制御する。また、ステップＳ４０８において得られたＡＥ評価値に基づいて、信号処理部１３での信号処理のパラメータ設定を行う。
【０１１３】
上述したようにデジタルスチルカメラのモニタリング動作中には、連続してフレーム画像がＡ／Ｄ変換回路１２から出力されるので、上記ステップＳ４０６からステップＳ４０９の処理が行われている最中にも、次のフレーム画像が信号処理部１３およびＡＦ／ＡＥ／ＷＢ検出部１７に入力されている。顔領域検出の対象となるフレーム１の画像に対しての変化量が所定内の撮影画像に基づきＡＦ／ＡＥ／ＷＢ評価値検出を行うため、フレーム毎にメモリ空間を切り替えて上記ステップＳ４０２からステップＳ４０８の処理を行う。この様子を図１５のタイミングチャートおよび図１６（ａ）、（ｂ）、（ｃ）のメモリ空間図に従って説明する。
【０１１４】
フレーム画像に対して信号処理部１３およびＡＦ／ＡＥ／ＷＢ検出部１７に入力された順番にフレーム１、フレーム２、フレーム３、…と番号を付け、また、フレーム１の画像データが入力されている期間をフレーム１期間、同様にフレーム２期間、フレーム３期間、…と名付ける。ここでは、人物の顔の位置を検出するのに１０フレーム期間かかるものとする。
【０１１５】
図１５のタイミングチャートは、垂直同期信号で区切られたフレーム１期間からフレーム１２期間における、上記ステップＳ４０１からＳ４０９までの処理が行われるタイミングと、それぞれのステップで処理するフレーム番号を示している。図１５において、画像データ入力はステップＳ４０１、ＡＦ／ＡＥ／ＷＢ評価値検出および記憶はステップＳ４０２とステップＳ４０３、映像データ記憶はステップＳ４０５、顔領域判定はステップＳ４０６、ＡＦ／ＡＥ／ＷＢ評価値読み出しはステップＳ４０８、ＡＦ／ＡＥ／ＷＢ制御はステップＳ４０９に相当する。
【０１１６】
（１）フレーム１期間
フレーム１の画像データに対して、ＡＦ／ＡＥ／ＷＢ検出部１７では上記ステップＳ４０２およびステップＳ４０３の処理が、信号処理部１３では上記ステップＳ４０５の処理が並行して行われ、フレーム１のＡＦ／ＡＥ／ＷＢ評価値はメモリ空間Ａに、映像データはメモリ空間Ｂに記憶される。フレーム１期間のメモリ空間の例を図１０（ａ）に示す。メモリ空間Ｃには、顔領域判定の際に用いられる顔の標準パターンが予め記憶されているものとする。
【０１１７】
（２）フレーム２〜１１期間
ステップＳ４０６の顔領域判定は、メモリ空間Ｂに記憶されているフレーム１の映像データを読み出して、メモリ空間Ｃに記憶されている標準パターンとのパターンマッチングによる顔領域判定を行う。フレーム２〜１１期間においても信号処理部１３にＡ／Ｄ変換回路１２から出力された画像データは入力され続け、表示部１９がこのフレーム２〜１１期間にて得られた画像データを基にした映像データを用いて表示動作を行うが、顔領域判定は、メモリ空間Ｂに記憶されているフレーム１の映像データに対して行われる。フレーム２〜１１の画像データに対しても、上記フレーム１期間と同じ処理が施され、フレーム２〜１１のＡＦ／ＡＥ／ＷＢ評価値はメモリ空間Ａと異なるメモリ空間に、映像データはメモリ空間Ｂと異なるメモリ空間に順次記憶される。フレーム１１期間終了後のメモリ空間の例を図１６（ｂ）に示す。図１６（ｂ）のメモリ空間Ａ’にはフレーム１１のＡＦ／ＡＥ／ＷＢ評価値、メモリ空間Ｂ’にはフレーム１１の映像データが記憶されている。
【０１１８】
ステップＳ４０７ではＣＰＵ１８は、ステップＳ４０６にて記録された顔領域判定の対象となるフレーム１の画像とフレーム２〜１１の画像との相関を求める。そして、求められた相関値に基づきフレーム間の変化が許容内であるかどうかの判定を行い、変化が許容内であればシーンが変化していないとして、変化が許容内のフレームで且つ最新のフレームのデータに対して、ＡＦ／ＡＥ／ＷＢ領域の設定を行う。
【０１１９】
ステップＳ４０８では、ＡＦ／ＡＥ／ＷＢ検出部１７は、ステップＳ４０７にてＡＦ/ＡＥ／ＷＢ領域に設定されたフレームに対応するフレームの領域のＡＦ／ＡＥ／ＷＢ評価値をメモリ１５から読み出す。なお、ＡＦ評価値に関しては、１フレーム分の画像から求めることはできない為、ステップＳ４０７にてＡＦ／ＡＥ／ＷＢ領域に設定されたフレームを基準に前後の数フレームのデータを加味して評価値の検出を行う。なお、評価値の検出が完了すれば、ＣＰＵ１８は、フレーム１からフレーム１１までの記憶されていたデータを消去する。
そして、ステップＳ４０９では、ＣＰＵ１８は、ステップＳ４０８にて読み出された評価値に基づきＡＦ／ＡＥ／ＷＢ制御を行う。
【０１２０】
一方、フレーム２の画像データに対して上記フレーム１期間と同じ処理が施されるが、フレーム２のＡＦ／ＡＥ／ＷＢ評価値はメモリ空間Ａと異なるメモリ空間Ａ’に、映像データはメモリ空間Ｂと異なるメモリ空間Ｂ’に記憶される。フレーム２期間のメモリ空間の例を図１６（ｂ）に示す。
【０１２１】
例えば、フレーム１およびフレーム１１の撮影画像として図６（ａ）、（ｂ）に示す撮影画像が取得された場合、フレーム１期間では図６（ａ）のＡＦ／ＡＥ／ＷＢ評価値と映像データが、フレーム１１期間では図６（ｂ）のＡＦ／ＡＥ／ＷＢ評価値と映像データがメモリ１５に記憶される。図６（ａ）の映像データから顔の位置を検出した結果がｘで示されている点線で囲まれた領域であり、ＡＦ／ＡＥ／ＷＢ制御は図６（ａ）のｘ領域から得られたＡＦ／ＡＥ／ＷＢ評価値をメモリ１５から読み出して行われる。
【０１２２】
（３）フレーム１２期間以降
フレーム１２期間以降は、上記フレーム２〜１１期間と同じ処理が行われるが、メモリ１５の書き込み／読み出しのメモリ空間はフレーム毎に異なる。すなわち、フレーム３期間では、上記ステップＳ４０３およびＳ４０５におけるメモリ１５への書き込みはメモリ空間Ａおよびメモリ空間Ｂに行われ、上記ステップＳ４０６の顔領域判定におけるメモリ１５からの読み出しはメモリ空間Ｂ’およびメモリ空間Ａ’から行われる。フレーム２２期間終了後におけるメモリ空間の例を図１０（ｃ）に示す。
【０１２３】
（４）静止画撮影時
モニタリング動作中に得られたＡＥ評価値をメモリ１５に記憶しておけば、モニタリング動作の後に行われる静止画撮影時にも、そのＡＥ評価値を用いて信号処理部１３におけるガンマ処理、補間処理、マトリクス変換等のパラメータを設定することが可能である。
【０１２４】
なお、本実施形態においても第１の実施形態と同様に、シーンの変化が許容内のフレームで且つ最新のフレームの画像に対して、ＡＦ／ＡＥ／ＷＢ領域を設定するとしたが、シーンの変化が許容内のフレームの画像であるならば、どの画像を領域設定の際に使用する画像としても良い。
【０１２５】
また、シーンの変化が許容内のフレームの画像の中で最もシーンの変化が少ない（評価の高い）フレームの画像に対してＡＦ／ＡＥ／ＷＢ領域を設定してもよい。
【０１２６】
また、シーンの変化が許容内のフレームの画像がない場合は、例えば、通常の評価測光を行い、ＡＦ／ＡＥ／ＷＢ領域を設定しＡＦ／ＡＥ／ＷＢ制御を行う。
【０１２７】
以上説明したとおり、上記の実施形態によれば、顔領域検出の対象となるフレームの画像に対しての変化量が所定内の撮影画像に基づきＡＦ／ＡＥ／ＷＢ評価値検出とを行うことができるため、人物の顔への焦点調節と露出制御を従来よりも精度よく行い、人物の動きや手振れに強い撮影装置を提供することが可能となる。
また、時間的に最も新しいフレームのデータにてＡＦ／ＡＥ／ＷＢ評価値検出を行うことで構図自体は変わっていなくても、時間の変化からシーン全体の明るさ等が変わった時にも正確な露出制御を行うことが可能である。
【０１２８】
（他の実施形態）
また、各実施形態の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１２９】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１３０】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【図面の簡単な説明】
【０１３１】
【図１】本発明の撮影装置の第１の実施形態の機能ブロック図である。
【図２】本発明の第１の実施形態における処理のフローチャートである。
【図３】本発明の第１の実施形態におけるタイミングチャートである。
【図４】本発明の第１の実施形態におけるメモリのメモリ空間を示す図である。
【図５】測距／測光領域と人物の位置関係を示す図である。
【図６】動いている人物の撮影画像を示す図である。
【図７】本発明の撮影装置の第２の実施形態の機能ブロック図である。
【図８】本発明の第２の実施形態における処理のフローチャートである。
【図９】本発明の第２の実施形態におけるタイミングチャートである。
【図１０】本発明の第２の実施形態におけるメモリのメモリ空間を示す図である。
【図１１】本発明の第３の実施形態における処理のフローチャートである。
【図１２】本発明の第３の実施形態におけるタイミングチャートである。
【図１３】本発明の第３の実施形態におけるメモリのメモリ空間を示す図である。
【図１４】本発明の第４の実施形態における処理のフローチャートである。
【図１５】本発明の第４の実施形態におけるタイミングチャートである。
【図１６】本発明の第４の実施形態におけるメモリのメモリ空間を示す図である。
【符号の説明】
【０１３２】
１０  結像光学部
１１  撮像素子
１２  Ａ／Ｄ変換回路
１３  信号処理部
１４  メモリＩ／Ｆ
１５  メモリ
１６  顔領域判定部
１７  ＡＦ／ＡＥ検出部
１８  ＣＰＵ
【図１】
2005318554.tif 000003
【図２】
2005318554.tif 000004
【図３】
2005318554.tif 000005
【図４】
2005318554.tif 000006
【図５】
2005318554.tif 000007
【図６】
2005318554.tif 000008
【図７】
2005318554.tif 000009
【図８】
2005318554.tif 000010
【図９】
2005318554.tif 000011
【図１０】
2005318554.tif 000012
【図１１】
2005318554.tif 000013
【図１２】
2005318554.tif 000014
【図１３】
2005318554.tif 000015
【図１４】
2005318554.tif 000016
【図１５】
2005318554.tif 000017
【図１６】
2005318554.tif 000018