(57)【要約】【課題】  静止画撮影待機中或いは、静止画撮影準備中の様子が記録される動画において、人物の顔及び、至近距離の主被写体にＡＦ補助光が照射されない画像記録再生装置の提供。【解決手段】  被写体像を形成する光学系により形成された光学像を電気信号に変換し、撮像画像から人物の顔を検出し、撮像画像を連続的に読み出して表示用画像及び、記録用動画像を生成し、記録用動画像を記録している最中に、撮影指示により撮像画像から記録用静止画像を生成記録する際、静止画画像生成に先立って行う焦点調節において、被写体の状況に応じて補助光を照射する手段は、被写体距離が至近でなく且つ、被写体に顔が含まれない場合に補助光を照射する。【選択図】  図１２
2013219493.tif 000002
【特許請求の範囲】
【請求項１】
被写体像を形成する光学系と、前記光学系により形成された光学像を電気信号に変換する撮像手段と、前記撮像手段から人物の顔を検出する顔検出手段と、前記撮像手段の出力を連続的に読み出して表示用画像及び、記録用動画像を生成する動画像生成手段と、前記撮像素子の出力を読み出して記録用静止画像を生成する静止画像生成手段と、前記静止画画像生成に先立って焦点調節を行う焦点調節手段と、前記焦点調節において、被写体の状況に応じて補助光を照射する手段と、前記表示用画像の一時記憶、前記記録用動画像及び、前記記録用静止画像を蓄積記憶する記憶手段と、蓄積記憶した前記記録用動画像及び、前記静止画画像を記録媒体に記録する記録手段と、撮影指示を行う撮影指示手段とを備え、前記表示用画像を生成して表示すると共に、前記記録用動画像を生成して蓄積記憶し、撮影指示に応じて、前記記録用静止画像を生成して蓄積記憶すると共に、前記記録用静止画と共に前記記録用動画像を記録媒体に記録する画像記録再生装置において、前記記録用動画像を生成記録している最中に、撮影指示により静止画撮影に先立って焦点調節を行う際、前記補助光照射手段は、前記焦点調節の範囲が至近でない或いは、被写体に顔が含まれない場合にのみ補助光を照射することを特徴とする画像記録再生装置。
【請求項２】
前記補助光照射手段は、静止画撮影に先立って焦点調節を行う前の待機中における焦点調節の結果に基づいて、被写体が至近にあると判定した場合に補助光照射を禁止することを特徴とする請求項１に記載の画像記録再生装置。
【請求項３】
前記補助光照射手段は、補助光照射領域を特定する補助光照射領域特定手段を持ち、前記顔検出手段で検出された被写体の顔情報と前記補助光照射領域に基づいて、被写体の顔に補助光が照射されると判断した場合には補助光が照射を禁止することを特徴とする請求項１又は請求項２に記載の画像記録再生装置。
【請求項４】
被写体像を形成する光学系と、前記光学系により形成された光学像を電気信号に変換する撮像ステップと、前記撮像ステップで得られる画像から人物の顔を検出する顔検出ステップと、前記撮像ステップで得られる出力を連続的に読み出して表示用画像及び、記録用動画像を生成する動画像生成ステップと、前記撮像ステップで得られる出力を読み出して記録用静止画像を生成する静止画像生成ステップと、前記静止画画像生成に先立って焦点調節を行う焦点調節ステップと、前記焦点調節ステップにおいて、被写体の状況に応じて補助光を照射するステップと、前記表示用画像の一時記憶、前記記録用動画像及び、前記記録用静止画像を蓄積記憶する記憶ステップと、蓄積記憶した前記記録用動画像及び、前記静止画画像を記録媒体に記録する記録ステップと、撮影指示を行う撮影指示ステップとを備え、前記表示用画像を生成して表示すると共に、前記記録用動画像を生成して蓄積記憶し、撮影指示に応じて、前記記録用静止画像を生成して蓄積記憶すると共に、前記記録用静止画と共に前記記録用動画像を記録媒体に記録する画像記録再生装置において、前記記録用動画像を生成記録している最中に、撮影指示により静止画撮影に先立って焦点調節を行う際、前記補助光照射ステップは、前記焦点調節の範囲が至近でない或いは、被写体に顔が含まれない場合にのみ補助光を照射することを特徴とする画像記録再生装置の制御方法。
【請求項５】
前記補助光照射ステップは、静止画撮影に先立って焦点調節を行う前の待機中における焦点調節の結果に基づいて、被写体が至近にあると判定した場合に補助光照射を禁止することを特徴とする請求項４に記載の画像記録再生装置の制御方法。
【請求項６】
前記補助光照射ステップは、補助光照射領域を特定する補助光照射領域特定手段を持ち、前記顔検出手段で検出された被写体の顔情報と前記補助光照射領域に基づいて、被写体の顔に補助光が照射されると判断した場合には補助光が照射を禁止することを特徴とする請求項４又は請求項５に記載の画像記録再生装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子の出力を利用して静止画像を撮影記録及び、再生する画像記録再生装置に関するものである。
【背景技術】
【０００２】
近年のデジタルカメラなどの画像記録再生装置では、音声付き動画を撮影記録及び、再生する様々な方式が採られる。従来通り、使用者が撮影記録の開始指示をしてから終了指示をするまで撮影し続ける方式や、撮影記録の開始指示から予め決められた時間だけ撮影記録する方式がある。
【０００３】
前者の方式で撮影された動画を再生する場合は、画像データ単位で再生し、後者の方式で撮影された動画を再生する場合には、複数の画像データから再生リストを作成して、その順序にしたがって連続して複数の動画を連続して再生する方式が採られている。
【０００４】
更に、動画撮影記録中に静止画を撮影可能とするデジタルカメラや、静止画撮影に連動して静止画撮影前を動画として記録するデジタルカメラも登場している。
【０００５】
静止画撮影に際しては、撮影される前に自動露出制御や自動焦点調節を行い、動画記録時以上の精度が求められる。自動焦点調節においては撮像素子の出力を利用したＴＴＬ（スルー・ザ・レンズ）方式が多く、低照度条件や低コントラスト被写体に対する焦点調節のために補助光を照射する場合がある。補助光の照射はユーザーインターフェースで強制的に照射をしない設定にすることも可能であるが、標準的には照射する設定になっており、設定を気にしない使用者も多いのが実情である。補助光に関しては、禁止するモードを設ける場合や、被写体距離により照射輝度を下げるなどが開示されている。
【０００６】
特許文献１では、ストロボ装置と、ＡＦ補助光発光装置と、ストロボ光及び、ＡＦ補助光の発光が禁止される撮影モードを有する制御部とを設けるとしている。
【０００７】
特許文献２では、動画撮影中であることを発光によって報知するカメラで、焦点調節範囲が至近（マクロ）に設定されている場合には、発光輝度を下げ、静止画記録時には発光を禁止するとしている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００６−３３９９９９号公報
【特許文献２】特許第４６４９２７７号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００９】
動画を撮影記録しながら静止画撮影を行う場合、撮影準備として行う自動焦点調節における補助光が被写体に照射されるさまが動画として記録されてしまい、動画として再生した場合に見苦しい結果になることがある。特に被写体が人物であり、顔の部分に照射されると雰囲気が台無しになる可能性が高い。しかしながら、上述の特許文献に開示された従来技術では、モードとして禁止してしまうために通常の焦点調節時に精度を欠く或いは、輝度下げのために見苦しさが解消されない結果になる可能性があった。
【００１０】
本発明の目的は、こうした課題に鑑み、動画撮影記録時に静止画撮影を行っても、補助光照射による見苦しさを解消することを可能にした画像記録装置を提供することである。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、本発明に係る画像記録再生装置の構成は、被写体像を形成する光学系と、光学系により形成された光学像を電気信号に変換する撮像手段と、撮像手段から人物の顔を検出する顔検出手段と、撮像手段の出力を連続的に読み出して表示用画像及び、記録用動画像を生成する動画像生成手段と、撮像素子の出力を読み出して記録用静止画像を生成する静止画像生成手段と、静止画画像生成に先立って焦点調節を行う焦点調節手段と、焦点調節において、被写体の状況に応じて補助光を照射する手段と、表示用画像の一時記憶、記録用動画像及び、記録用静止画像を蓄積記憶する記憶手段と、表示用画像を表示する表示手段と、蓄積記憶した記録用動画像及び、静止画画像を記録媒体に記録する記録手段と、撮影指示を行う撮影指示手段とを備え、表示用画像を生成して表示すると共に、記録用動画像を生成して蓄積記憶し、撮影指示に応じて、記録用静止画像を生成して蓄積記憶すると共に、記録用静止画と共に記録用動画像を記録媒体に記録する画像記録再生装置において、記録用動画像を生成記録している最中に、撮影指示により静止画撮影に先立って焦点調節を行う際、補助光照射手段は、被写体に顔が含まれない場合に補助光を照射することを特徴とする。
【発明の効果】
【００１２】
本発明の画像記録再生装置によれば、被写体に人物の顔が含まれる場合に、記録される動画の人物に補助光が照射されることを防ぐことができる。
【図面の簡単な説明】
【００１３】
【図１】本実施例の画像記録再生装置の外観図
【図２】本実施例の画像記録再生装置のブロック図
【図３】本実施例の顔検出のブロック図
【図４】本実施例の第一の撮影のフローチャート
【図５】本実施例の表示用画像データ生成のフローチャート
【図６】本実施例の表示処理のフローチャート
【図７】本実施例の表示終了処理のフローチャート
【図８】本実施例の顔検出のフローチャート
【図９】本実施例の個人認証のフローチャート
【図１０】本実施例の第二の撮影のフローチャート
【図１１】本実施例の特徴情報登録処理のフローチャート
【図１２】本実施例の最良角度画像登録処理のフローチャート
【図１３】ズームポジション（矩形の実線と破線）と被写体距離に依る補助光の照射領域の説明図
【発明を実施するための形態】
【００１４】
［実施例］
以下、添付図面を参照して本発明を実施する最良の形態を詳細に説明する。
【００１５】
図１に本発明の撮像装置の一例としてのデジタルカメラの外観図を示す。
表示部２８は画像や各種情報を表示する表示部である。シャッターボタン６１は撮影指示を行うための操作部である。モードダイヤル６０は各種モードを切り替えるための操作部である。コネクタ１１２は接続ケーブルとデジタルカメラ１００とのコネクタである。操作部７０はユーザーからの各種操作を受け付ける各種スイッチ、ボタン、タッチパネル等の操作部材より成る操作部である。コントロールホイール７３は操作部７０に含まれる回転操作可能な操作部材である。７２は電源スイッチであり、電源オン、電源オフを切り替える。７３はズームスイッチである。記録媒体２００はメモリカードやハードディスク等の記録媒体である。記録媒体スロット２０１は記録媒体２００を格納するためのスロットである。記録媒体スロット２０１に格納された記録媒体２００は、デジタルカメラ１００との通信が可能となる。蓋２０３は記録媒体スロット２０１の蓋である。
【００１６】
図２は、本実施形態によるデジタルカメラ１００の構成例を示すブロック図である。
【００１７】
図２において、撮影レンズ１０３はズームレンズ、フォーカスレンズを含むレンズ群である。シャッター１０１は絞り機能を備えるシャッターである。撮像部２２は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子である。Ａ／Ｄ変換器２３は、アナログ信号をデジタル信号に変換する。Ａ／Ｄ変換器２３は、撮像部２２から出力されるアナログ信号をデジタル信号に変換するために用いられる。バリア１０２は、デジタルカメラ１００の、撮影レンズ１０３を含む撮像系を覆うことにより、撮影レンズ１０３、シャッター１０１、撮像部２２を含む撮像系の汚れや破損を防止する。
【００１８】
撮像素子の単位画素には、Ｒ、Ｇ、Ｂの色相フィルタがあり、ベイヤ配列を成している。静止画を撮影する場合などには、有効領域の殆ど全ての画素を読み出して画像生成を行う。ＣＣＤの場合には、先幕としてフォトダイオード（以後、ＰＤ）の電荷を掃き捨てた後、後幕としてメカニカルな遮蔽部材によるシャッターを閉じて光路を断った後、ＰＤに蓄積した一面分の電荷をＣＣＤの垂直転送レジスタに移し、１ラインずつ読み出して行われる。ＣＭＯＳの場合には、各画素のＰＤと共に、ＰＤで発生した電荷を一時的に蓄積しておく蓄積領域となるフローティング・デフュージョン（以下、ＦＤ）の電荷を一括してリセットし、行単位で読み出しを行う一括リセット読み出しが行われる。この時も後幕にはメカニカルな遮光部材によるシャッターが用いられる。そして、得られた画像は一旦メモリ３２に保存され、画像処理部２４にて所望の信号処理を行う。
【００１９】
これに対して、ＥＶＦや動画撮影を行う場合、その性質上、画素数を表示用画像生成に必要な画素数近辺になるように間引いたり、加算平均して撮像素子１４から読み出し、出力される画像データを逐次画像処理して実現される。ＣＭＯＳの場合には画素若しくは、行単位でＰＤ及び、ＦＤに蓄積された電荷をリセットした後、画素若しくは、行単位で順次読み出すことによって、行単位の蓄積時間を一定に保ちながら連続的に電荷を読み出す走査で実現する。また、ＣＣＤの場合には、面単位でＰＤの電荷を掃き捨て、面単位で垂直転送路に移して読み出して実現する。
【００２０】
画像処理部２４は、撮像駆動用の同期信号や駆動信号を発生するＳＳＧ回路や、撮像出力となるＡ／Ｄ変換器２３からのデータ、又はメモリ制御部１５を介してメモリ３２からのデジタルデータ出力を受信し、前処理回路、ＡＦ評価値演算回路、輝度積分回路、信号処理回路、画像合成回路、顔検出認証回路、縮小回路、ラスタブロック変換回路及び、圧縮回路を含む。顔検出回路については、後に図３を用いて説明する。
【００２１】
ＳＳＧ回路では、タイミング発生器から撮像駆動用のクロックを受けて、水平及び、垂直同期信号を発生し、タイミング発生器と撮像素子に出力する。前処理回路では、入力画像を行単位で輝度積分回路と信号処理回路とに分配する。また、撮像データに必要となるチャネル間のデータ補正等の処理を行う。ＡＦ評価値演算回路では、設定された複数の評価領域内に入力される画像信号の輝度成分について水平方向のフィルタ処理を施し、コントラストをあらわす所定周波数を抽出しながら最大値を選択し、垂直方向に積分演算を行う。輝度積分回路では、ＲＧＢ信号から輝度成分を混合生成し、入力画像を複数領域に分割し、領域毎に輝度成分を生成する。信号処理回路では、撮像素子出力データに色キャリア除去、アパーチャー補正、ガンマ補正処理等を行って輝度信号を生成する。同時に、色補間、マトリックス変換、ガンマ処理、ゲイン調整等を施して色差信号を生成し、メモリ制御部１５にＹＵＶ形式の画像データを形成する。
【００２２】
縮小回路では、信号処理回路の出力を受けて、入力される画素データの切り出し、間引き及び、線形補間処理等を行い、水平垂直共に画素データの縮小処理を施す。それを受けて、ラスタブロック変換回路では、縮小回路で変倍されたラスタスキャン画像データをブロックスキャン画像データに変換を行う。こうした一連の画像処理には、メモリ３２がバッファメモリとして用いられて実現される。バッファメモリでブロックスキャンデータに変換した画像データは、圧縮回路でＪＰＥＧデータをブロック単位で圧縮する。また、圧縮回路は、バッファメモリでブロックスキャンデータに変換したＹＵＶ画像データを動画圧縮方式に従って圧縮して、動画ビットストリームを出力する。
【００２３】
また、信号処理回路では、生成するＹＵＶ形式の画像データの輝度信号（Ｙ）をそのレベル毎に集計し、画像データ毎の輝度分布データを生成する。こうした画像処理部２４で生成されたデータ用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部５０が露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（自動焦点調節）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。画像処理部２４では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。
【００２４】
Ａ／Ｄ変換器２３からの出力データは、画像処理部２４及びメモリ制御部１５を介して、或いは、メモリ制御部１５を介してメモリ３２に直接書き込まれる。メモリ３２は、撮像部２２によって得られＡ／Ｄ変換器２３によりデジタルデータに変換された画像データや、表示部２８に表示するためのＹＵＶ形式の画像データを格納する。メモリ３２は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。
【００２５】
再生回路１３は、ＹＵＶ形式の画像データを輝度成分信号Ｙと変調色差成分Ｃとに分離し、Ｄ／Ａ変換を行ったアナログ化されたＹ信号にＬＰＦを施す。また、Ｄ／Ａ変換を行ったアナログＣ信号にＢＰＦを施して変調色差成分の周波数成分のみを抽出する。こうして生成された信号成分とサブキャリア周波数に基づいて、Ｙ信号とＲＧＢ信号に変換生成して、表示部２８に出力される。撮像素子からの画像データを逐次処理することによって電子ビューファインダ（以後、ＥＶＦ）が実現される。
【００２６】
不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。
【００２７】
システム制御部５０は、デジタルカメラ１００全体を制御する。前述した不揮発性メモリ５６に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。５２はシステムメモリであり、ＲＡＭが用いられる。システムメモリ５２には、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等を展開する。また、システム制御部はメモリ３２、Ｄ／Ａ変換器１３、表示部２８等を制御することにより表示制御も行う。
【００２８】
システムタイマー５３は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。
【００２９】
モード切り替えスイッチ６０、第１シャッタースイッチ６２、第２シャッタースイッチ６４、操作部７０はシステム制御部５０に各種の動作指示を入力するための操作手段である。
【００３０】
モード切り替えスイッチ６０は、システム制御部５０の動作モードを静止画記録モード、動画記録モード、再生モード等のいずれかに切り替える。静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等がある。モード切り替えスイッチ６０で、静止画撮影モードに含まれるこれらのモードのいずれかに直接切り替えられる。あるいは、モード切り替えスイッチ６０で静止画撮影モードに一旦切り換えた後に、静止画撮影モードに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。第１シャッタースイッチ６２は、デジタルカメラ１００に設けられたシャッターボタン６１の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり第１シャッタースイッチ信号ＳＷ１を発生する。第１シャッタースイッチ信号ＳＷ１により、ＡＦ（自動焦点調節）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の撮影準備動作を開始する。
【００３１】
第２シャッタースイッチ６４は、シャッターボタン６１の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２により、撮像部２２からの信号読み出しから記録媒体２００に画像データを書き込むまでの一連の撮影処理の動作を開始する。
【００３２】
操作部７０の各操作部材は、表示部２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部２８に表示される。利用者は、表示部２８に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。
【００３３】
コントロールホイール７３は、操作部７０に含まれる回転操作可能な操作部材であり、方向ボタンと共に選択項目を指示する際などに使用される。コントロールホイール７３を回転操作すると、操作量に応じて電気的なパルス信号が発生し、このパルス信号に基づいてシステム制御部５０はデジタルカメラ１００の各部を制御する。このパルス信号によって、コントロールホイール７３が回転操作された角度や、何回転したかなどを判定することができる。なお、コントロールホイール７３は回転操作が検出できる操作部材であればどのようなものでもよい。例えば、ユーザーの回転操作に応じてコントロールホイール７３自体が回転してパルス信号を発生するダイヤル操作部材であってもよい。また、タッチセンサよりなる操作部材で、コントロールホイール７３自体は回転せず、コントロールホイール７３上でのユーザーの指の回転動作などを検出するものであってもよい（いわゆる、タッチホイール）。
【００３４】
電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。
【００３５】
電源部３０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。記録媒体Ｉ/Ｆ１８は、メモリカードやハードディスク等の記録媒体２００とのインターフェースである。記録媒体２００は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。
【００３６】
図３は画像処理部２４内の顔検出認証回路のブロック図である。
【００３７】
顔検出認証回路は図３のように、顔検出回路（１８−ａ乃至、１８−f）、角度抽出回路（１８−ｇ）、幾何変換回路（１８−ｈ）、顔抽出回路（１８−ｉ）、特徴抽出回路（１８−ｊ）、類似判定回路（１８−ｋ）で構成される。入力される信号は、信号処理回路の出力ＹＵＶ形式の画像データ或いは、ＪＰＥＧ伸張され、メモリ３２にバッファリングされたＹＵＶ形式の画像データが選択可能である。入力されたＹＵＶ形式の画像データは、画像変換部（１８−ａ）で一旦、所定サイズの画像に変換される。その後、画像抽出部（１８−ｂ）において所望領域が切り出され、中間画像が生成される。中間画像は一時メモリ（１８−ｃ）に記憶される。中間画像を一時的に記憶するメモリは２６を併用してもよい。
【００３８】
次に、輝度抽出部（１８−ｄ）において輝度抽出および、フィルタ処理を行う。その結果をパターン比較して顔の検出を行い、パターン比較結果から顔の座標、顔のサイズ、目の座標、目のサイズ、瞳の中心座標、瞳のサイズ、鼻先の座標、鼻孔の座標、鼻孔端の座標、鼻孔のサイズ、口角の座標及び、その信頼度を内部レジスタ（１８−ｆ）とメモリ制御部１５を介してメモリ３２に転送される。目、瞳、鼻孔、口角については左右のデータで構成される。尚、顔検出時のパターン比較を行う場合において、検出する顔の最大個数や、顔として認識する画素サイズを設定することができる。また、顔データを角度抽出回路（１８−ｇ）に入力し、顔データから顔が向いている角度を検出する。角度抽出回路（１８−ｇ）は鼻先座標と左右の目、瞳、口角の座標とサイズから左右の角度と回転の角度を決定し、鼻先座標と左右の目、瞳、口角の座標及び、鼻孔のサイズで上下の角度を決定する。また顔データは顔抽出回路（１８−ｉ）に入力され、入力画像から対象となる顔画像を抽出して幾何変換回路（１８−ｈ）とメモリ制御部１５を介してメモリ３２に転送される。角度抽出回路（１８−ｇ）で検出された角度に基づいて、特徴情報のデータベース上の画像と顔抽出回路（１８−ｉ）で抽出された顔画像を幾何変換回路（１８−ｈ）で正規化し、特徴抽出回路（１８−ｊ）でそれぞれの特徴量を抽出する。これらの特徴量の類似度を類似判定回路（１８−ｋ）で判定する。特徴量は画像変換部で決定する所定の画像サイズにおける濃淡情報と幾何変換後の顔情報の座標変位量の相関演算結果に基づいて行われる。
【００３９】
図４で本実施例による動画記録中における静止画撮影の全体の流れを説明する。
【００４０】
これらの動作はシステム制御部５０が不揮発性メモリ５６に記憶されたプログラムをロードして実行することで実現する。
【００４１】
まず、モードダイヤル６０を静止画撮影連動動画撮影モードに設定すると、ＥＶＦ表示期間中にＥＶＦ表示と並行して自動露出制御（Ｓ４００）と自動焦点調節（Ｓ４０１）を起動する。自動露出制御と自動焦点調節及び、ホワイトバランス制御は、それぞれ非同期で独立したスレッドで制御され、これらの動作もシステム制御部５０が不揮発性メモリ５６に記憶されたプログラムをロードして実行することで実現する。
【００４２】
自動露出制御を図９で説明する。
【００４３】
まず、信号処理回路の輝度積分を起動する（Ｓ９００）、初期の露出制御を行う（Ｓ９０１）。露出制御完了後、撮像素子の露光完了後に輝度積分が得られるのを待つ（Ｓ９０２）。積分が完了すると、輝度積分結果から被写体輝度の評価演算を行い（Ｓ９０３）、目標輝度に対応する露出制御を行う（Ｓ９０４）。ＥＶＦが完了していなければ、露出制御完了後、撮像素子の露出完了後に輝度積分が得られる状態に戻る（Ｓ９０２）。
【００４４】
次に自動焦点調節を図１０で説明する。
【００４５】
自動焦点調節は、フォーカスレンズ位置３点において撮像部２２から得られる輝度信号の高周波成分が最大になるレンズ位置を連続して探索する山登り方式である。具体的に評価に用いる信号は、撮像部２２からの画像データをフィルタリングして高周波帯域の輝度成分を抽出し、設定された領域内における水平方向のピークを枠内の垂直方向に積算するなどして求めた焦点評価値である。
【００４６】
まず、信号処理回路の評価値積分を起動し（Ｓ１０００）、合焦率が低いか判定し（Ｓ１００１）、合焦率が低い場合には現在のフォーカスレンズ位置での露光完了を待ち（Ｓ１００２）、露光が完了したら初期位置より至近側にフォーカスレンズを移動させる（Ｓ１００３）。フォーカスレンズの移動が完了し（Ｓ１００４）、初期位置の評価値積分が完了したら（Ｓ１００５）、レンズ位置と評価値を関連付けて記憶する（Ｓ１００６）。次に至近側に移動したフォーカスレンズ位置での露光が完了したら（Ｓ１００７）、フォーカスレンズを初期位置より無限側にフォーカスレンズを移動させる（Ｓ１００８）。フォーカスレンズの移動が完了し（Ｓ１００９）、至近側位置の評価値積分が完了したら（Ｓ１０１０）、レンズ位置と評価値を関連付けて記憶する（Ｓ１０１１）。次に無限側に移動したフォーカスレンズ位置での露光が完了したら（Ｓ１０１２）、無限側位置の評価値積分の完了を待ち（Ｓ１０１３）、レンズ位置と評価値を関連付けて記憶する（Ｓ１０１４）。３つの評価値から最も合焦率の高い位置にレンズを移動し（Ｓ１０１５）、ＥＶＦが終了でなければ（Ｓ１０１６）、合焦判定に戻って繰り返す。
【００４７】
図４に戻って、ＥＶＦ表示を行う（Ｓ４００）。ＥＶＦ表示の開始は、自動露出制御と自動焦点調節の結果、表示に適した露出になり、焦点調節状態になってから行ってもよい。
【００４８】
ＥＶＦ表示は先に説明した通り、ＥＶＦに適した方法で撮像素子を駆動し、１フレーム単位で連続的に得られる画像データ出力を画像処理部２４で色キャリア除去、アパーチャー補正、ガンマ補正処理等を行って輝度信号を生成すると同時に、色補間、マトリックス変換、ガンマ処理、ゲイン調整等を施して色差信号を生成し、メモリ３２にＹＵＶ形式の表示用画像データを形成する。表示用画像を格納するメモリ（ＶＲＡＭ）は３フレーム分用意し、１フレーム生成される度に画像を書き込むＶＲＡＭを順次切り替える。この時、表示用画像データは撮像素子の出力レートで生成される。また再生回路１３は、先に説明した処理を施し、表示用画像データをＹ信号とＲＧＢ信号に変換して表示部２８に出力される。表示は再生回路１３の周期で更新され、表示用画像が生成される度に、次回の更新タイミングで表示するＶＲＡＭを切り替えてＥＶＦを実現する。
【００４９】
これらの処理は、ハードウェアとプログラムによって実現されるが、一連の流れを図５乃至、図７で説明する。
【００５０】
ＥＶＦ動画が開始されると撮像素子を駆動し（Ｓ５０１）、撮像素子の出力から表示用画像としてＹＵＶデータを生成するＶＲＡＭ領域をＶＲＡＭ１に設定する（Ｓ５０２）。ＶＲＡＭ領域を設定したら表示用画像生成を開始する（Ｓ５０３）。生成が完了すると（Ｓ５０４）、ＶＲＡＭ領域をＶＲＡＭ２に設定して（Ｓ５０５）、表示用ＶＲＡＭをＶＲＡＭ１に切り替える（Ｓ５０６）。ＥＶＦ表示が終了でなければ（Ｓ５０７）、表示を開始する（Ｓ５０８）。次の表示用画像データが生成されると（Ｓ５０９）、ＶＲＡＭ領域をＶＲＡＭ３に設定し（Ｓ５１０）、表示用ＶＲＡＭをＶＲＡＭ２に切り替える（Ｓ５１１）。ＥＶＦ表示が終了でなく（Ｓ５１２）、次の表示用画像データが生成されると（Ｓ５１３）、ＶＲＡＭ領域をＶＲＡＭ１に設定して（Ｓ５１４）表示用ＶＲＡＭをＶＲＡＭ３に切り替える（Ｓ５１５）。ＥＶＦ表示が終了でなければ（Ｓ５１６）Ｓ５０４から繰り返す。ＥＶＦ表示が終了なら、表示を終了する（Ｓ５１７）。
【００５１】
表示開始処理では、処理中でなければ（Ｓ６０１）、表示用ＶＲＡＭ読み出しを開始し、表示用ＶＲＡＭ表示を行う（Ｓ６０３）。処理中であれば（Ｓ６０１）、表示用ＶＲＡＭを更新して表示を行う（Ｓ６０２）。表示後進の動作は、図４の動作とは非同期で独立したスレッドで制御される。
【００５２】
また、表示終了処理では、表示用ＶＲＡＭの読み出しを終了し、信号処理を停止して終了する（Ｓ７０１）。
【００５３】
図４に戻り、表示用画像データを利用した顔検出処理を開始する（Ｓ４０１）。
【００５４】
顔検出処理は図８に示すフローで処理される。システム制御回路５０は、顔検出回路のパターン比較部１８−ｅに検出する顔の最小サイズと検出する顔の数を設定する（Ｓ８０１）。先に説明した一連の顔検出を行う（Ｓ８０２）。この時、顔検出回路には表示用画像データが入力される。顔検出が終了すると（Ｓ８０３）、検出結果である顔の座標、顔のサイズ、目の座標、目のサイズ、瞳の座標、瞳のサイズ、鼻先の座標、鼻孔端の座標、鼻孔のサイズ、口角の座標及び、その信頼度をシステム制御回路が管理するメモリ領域に待避する（Ｓ８０４）。また、角度抽出回路で各顔の角度を抽出する（Ｓ８０６）。顔検出が終了でなければ（Ｓ８０６）次の検出を開始する。これらの動作は、図４の動作とは非同期で独立したスレッドで制御され、顔が検出された場合には、画像処理部２４で表示用ＶＲＡＭに対応したビットマップで矩形枠を生成し、表示用画像に重ねた表示データを生成して表示を行う。
【００５５】
図４に戻ると、ＥＶＦ表示用の画像と共に記録用の動画像の生成を開始する（Ｓ４０２）。
【００５６】
モード変更があった場合には（Ｓ４０３）、記録用の動画像の生成を終了して（Ｓ４０３）モードを終了する。
【００５７】
モード変更がない場合には（Ｓ４０３）、ズームスイッチ７２の操作を確認し、操作されている場合には（Ｓ４０５）ズーム駆動を行う（Ｓ４０６）。ズーム操作が行われている間はその他の操作は受け付けられない。
【００５８】
続いて、シャッタースイッチ操作によりＳＷ１信号がオンになっているか確認し（Ｓ４０７）、オンされていない場合にはモード変更の確認（Ｓ４０３）に戻る。ＳＷ１信号がオンになっている場合には、撮影準備を行う（Ｓ４０８）。
【００５９】
撮影準備期間では、ＥＶＦ状態での自動露出制御で得られた最新の被写体輝度に基づいて、焦点調節に適した露出制御を行った上で、静止画撮影用の焦点調節を行い、最後に静止画撮影に適正した露出制御を行う。撮影準備期間における自動焦点調節の詳細については後に説明する。
【００６０】
撮影準備が終了すると、シャッタースイッチ操作状態をＳＷ１信号とＳＷ２信号を交互に確認して行う。ＳＷ１信号がオフされていれば（Ｓ４１１）、モード変更確認に戻る。続いてＳＷ２信号がオンされていれば（Ｓ４１２）、動画像の生成を終了し（Ｓ４１３）、静止画撮影を行う（Ｓ４１４）。静止画撮影前に生成した動画像が所定時間を超えて蓄積されているか確認し（Ｓ４１５）、所定時間を超えている場合にのみ記憶した動画像を記録媒体に記録する（Ｓ４１６）。続いて、撮影した静止画像を現像圧縮し（Ｓ４１７）、記録媒体に記録する（Ｓ４１８）。
【００６１】
動画撮影記録中の静止画撮影準備における自動焦点調節について図１１で説明する。
自動焦点調節方式は、撮像部２２から得られる輝度信号の高周波成分が最大になるレンズ位置を合焦位置とする方式である。具体的に評価に用いる信号は、撮像部２２からの画像データをフィルタリングして高周波帯域の輝度成分を抽出し、設定された領域内における水平方向のピークを枠内の垂直方向に積算するなどして求めた焦点評価値である。また、自動焦点調節はフォーカスレンズを駆動し、レンズ位置毎の焦点評価値を評価して、最大評価値位置にレンズを駆動して焦点をあわせる方式である。
【００６２】
まず、フォーカスレンズをリセットして初期位置へ移動し（Ｓ１１００）、露光カウント値（Ｎ）と焦点評価値カウント（Ｍ）を初期化する（Ｓ１１０１）。次に、ＡＦ補助光点灯処理を行う。
【００６３】
ＡＦ補助光処理では、まず補助光のユーザー設定がオンであるかを確認する（Ｓ１１２０）。補助光のユーザー設定はシステム制御部５０の不揮発性メモリ５６に記憶され、デジタルカメラ１００カメラが起動されると記憶値に初期化される。操作部７０の各操作部材による操作により使用者によって補助光の発光はオンとオフで切り替えられるように構成されている。
【００６４】
次に自動焦点調節に入る前の被写体輝度情報を取得し（Ｓ１１２１）、被写体輝度が所定輝度よりも低い場合には（Ｓ１１２２）、補助光発光が許可されているか確認し（Ｓ１１２３）、許可されていれば撮影準備に入る前の自動焦点調節結果から、被写体が所定距離よりも至近側にあるか判定し（Ｓ１１２４）、至近側にいない時に補助光を点灯する（Ｓ１１２５）。補助光発光が許可されているか否かの判定基準については後に述べる。
【００６５】
ＡＦ補助光の処理が終了し、自動焦点調節動作が開始されると、スキャン開始位置である初期ステップにおいて撮像部２２の露光完了を待つ（Ｓ１１０３）。露光が完了したら、露光カウントをインクリメントし（Ｓ１１０４）、露光カウント値がサンプリング総数値以下ならば（Ｓ１１０５）、次ステップにレンズを移動させて（Ｓ１１０６）、次の露光期間中に読み出される画像データを輝度の高周波成分の抽出を行う（Ｓ１１０７）。得られた焦点評価値とフォーカスレンズの位置との対応を記憶し（Ｓ１１０８）、焦点評価値カウントをインクリメントし（Ｓ１１０９）、焦点評価値カウントがサンプリング総数に達したら（Ｓ１１１０）、焦点評価値の最も出力の大きいレンズ位置に移動して終了する（Ｓ１１１１）。サンプリングを続ける場合には、露光終了から焦点評価値がサンプリング総数揃うまでを繰り返し行う。
【００６６】
次に、補助光発光が許可されているか否かの判定基準を図１２で説明する。
【００６７】
補助光発光判定処理は、非同期で独立したスレッドで制御され、これらの動作もシステム制御部５０が不揮発性メモリ５６に記憶されたプログラムをロードして実行することで実現する。
【００６８】
まず、補助光のユーザー設定がオンであるか確認し（Ｓ１２００）、オンであれば撮影時のズームポジションンを取得し（Ｓ１２０１）、ズームポジションにおける補助光が照射される領域情報（Ｘ、Ｙ、Ｗ、Ｈ）を取得する（Ｓ１２０２）。また、顔検出結果である顔座標（ｘ、ｙ、ｗ、ｈ）を取得する（Ｓ１２０３）。全ての顔について、補助光の照射領域に掛かるかを判定し（Ｓ１２０４〜Ｓ１２０７）、掛からない場合に補助光の発光を許可し（Ｓ１２０８）、一つでも掛かる場合には補助光の照射を禁止にする。これらの判定はＥＶＦが終了するまで（Ｓ１２１１）継続される。
【００６９】
補助光の照射領域は、撮影レンズと補助光の物理的な配置位置が異なるため、常に撮影レンズの光軸中心に照射されることはなく、被写体距離をズームポジションによって異なる。
【００７０】
図１３（ａ）はズームポジション（矩形の実線と破線）と被写体距離に依る補助光の照射領域を示した概略図である。斜線の矩形領域をズームポジションが最も広角時の照射領域座標を示す。座標は撮影画像の記録領域を基準に正規化されており、図１３（ｂ）の表に示すようにズームポジション毎に不揮発性メモリ５６に記憶し、システム制御部５０がプログラム実行時に読み出し参照し、先に説明した補助光照射禁止を決定する。
【００７１】
このようにして動画撮影記録中における静止画撮影準備で行う自動焦点調節では、被写体が人物の場合に顔への補助光の照射或いは、至近にある時の被写体への補助光の照射がなされないようにし、記録される動画が見苦しい状態になることを避けることができる。
【００７２】
尚、本発明は以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【００７３】
本発明は、動画撮影記録中に静止画撮影を行う技術に関する。
【符号の説明】
【００７４】
１３：再生回路、１５：メモリ制御部、２２：撮像部、２４：画像処理部、２８：表示部、３２：メモリ、５０：システム制御部、５６：不揮発性メモリ、７０：操作部
【図１】
2013219493.tif 000003
【図２】
2013219493.tif 000004
【図３】
2013219493.tif 000005
【図４】
2013219493.tif 000006
【図５】
2013219493.tif 000007
【図６】
2013219493.tif 000008
【図７】
2013219493.tif 000009
【図８】
2013219493.tif 000010
【図９】
2013219493.tif 000011
【図１０】
2013219493.tif 000012
【図１１】
2013219493.tif 000013
【図１２】
2013219493.tif 000014
【図１３】
2013219493.tif 000015