(57)【要約】【課題】固定フレームレートで動画記録を行う場合においても、正確なＡＦ、ＡＥ及びＡＷＢの評価値を取得する仕組みを提供する。【解決手段】画像処理装置は、撮像素子から読み出し行を間引いて動画記録用の画像データを取得して出力する第１の読み出し手段（メインストリーム）と、撮像素子の第１の読み出し手段と重複しない読み出し行から第１の読み出し手段より高速で画像データを取得して第１の読み出し手段と同時に出力する第２の読み出し手段（サブストリーム）と、第１の読み出し手段により取得した画像データ、及び第２の読み出し手段により取得した画像データからそれぞれ被写体の状態が変化したかを判断する判断手段と、判断手段が第２の読み出し手段により取得した画像データの被写体の状態が変化（低輝度）したと判断した場合に、第１の読み出し手段での画像データの取得速度を固定した状態で、第２の読み出し手段での画像データの取得速度を被写体の状態変化に応じて変更する変更手段とを備える。【選択図】図４
2015119206.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子の駆動を制御して動画を記録する画像処理装置であって、
前記撮像素子から読み出し行を間引いて動画記録用の画像データを取得して出力する第１の読み出し手段と、
前記撮像素子の前記第１の読み出し手段と重複しない読み出し行から前記第１の読み出し手段より高速で画像データを取得して前記第１の読み出し手段と同時に出力する第２の読み出し手段と、
前記第１の読み出し手段により取得した画像データ、及び前記第２の読み出し手段により取得した画像データからそれぞれ被写体の状態が変化したかを判断する判断手段と、
前記判断手段が前記第２の読み出し手段により取得した画像データの前記被写体の状態が変化したと判断した場合に、前記第１の読み出し手段での画像データの取得速度を固定した状態で、前記第２の読み出し手段での画像データの取得速度を前記被写体の状態変化に応じて変更する変更手段と、を備えることを特徴とする画像処理装置。
【請求項２】
前記判断手段が前記第２の読み出し手段により取得した画像データの前記被写体の状態変化を低輝度と判断した場合、前記変更手段は、前記撮像素子での露光時間を延長するように、前記第２の読み出し手段での画像データの取得速度を変更することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記判断手段が前記第１の読み出し手段により取得した画像データの前記被写体の状態変化を低輝度と判断した場合、前記変更手段は、前記撮像素子での露光時間を延長するように、前記第２の読み出し手段での画像データの取得速度を変更し、
前記露光時間を延長した後、前記第２の読み出し手段による画像データから取得した前記被写体の状態の評価値を前記第１の読み出し手段の出力に反映させることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記変更手段は、前記第２の読み出し手段での画像データの取得速度を遅くすることを特徴とする請求項２又は３に記載の画像処理装置。
【請求項５】
撮像素子の駆動を制御して動画を記録する画像処理装置の制御方法であって、
前記撮像素子から読み出し行を間引いて動画記録用の画像データを取得して出力する第１の読み出しステップと、
前記撮像素子の前記第１の読み出しステップと重複しない読み出し行から前記第１の読み出しステップより高速で画像データを取得して前記第１の読み出しステップと同時に出力する第２の読み出しステップと、
前記第１の読み出しステップで取得した画像データ、及び前記第２の読み出しステップで取得した画像データからそれぞれ被写体の状態が変化したかを判断する判断ステップと、
前記判断ステップにより前記第２の読み出しステップで取得した画像データの前記被写体の状態が変化したと判断された場合に、前記第１の読み出しステップでの画像データの取得速度を固定した状態で、前記第２の読み出しステップでの画像データの取得速度を前記被写体の状態変化に応じて変更する変更ステップと、を備えることを特徴とする画像処理装置の制御方法。
【請求項６】
撮像素子の駆動を制御して動画を記録する画像処理装置を制御するプログラムであって、
前記撮像素子から読み出し行を間引いて動画記録用の画像データを取得して出力する第１の読み出しステップと、
前記撮像素子の前記第１の読み出しステップと重複しない読み出し行から前記第１の読み出しステップより高速で画像データを取得して前記第１の読み出しステップと同時に出力する第２の読み出しステップと、
前記第１の読み出しステップで取得した画像データ、及び前記第２の読み出しステップで取得した画像データからそれぞれ被写体の状態が変化したかを判断する判断ステップと、
前記判断ステップにより前記第２の読み出しステップで取得した画像データの前記被写体の状態が変化したと判断された場合に、前記第１の読み出しステップでの画像データの取得速度を固定した状態で、前記第２の読み出しステップでの画像データの取得速度を前記被写体の状態変化に応じて変更する変更ステップと、をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画記録が可能な例えばデジタルスチルカメラやデジタルビデオカメラ等の画像処理装置、その制御方法及びプログラムに関する。
【背景技術】
【０００２】
動画記録が可能なデジタルスチルカメラ等の画像処理装置では、輝度変化に応じてフレームレートを切り替える技術が知られている。例えば、ＣＭＯＳ型やＣＣＤ型の撮像素子から取得した画像の輝度レベルを検出し、この輝度レベルをあらかじめ設定しておいた閾値と比較してフレームレートの切り替えを必要と判断したとき、フレームレートを増減させる撮像装置が知られている（特許文献１）。
【０００３】
また、動画記録中には、常に被写体の状態に適したＡＥ（自動露出）及びＡＷＢ（オートホワイトバランス）を維持するために、被写体の状態変化に合わせて撮像条件を調整する技術が知られている（特許文献２）。
【０００４】
これらの技術では、常に被写体の状態に適したＡＥやＡＷＢの条件を維持しながら動画記録ができるように、フレームレートを変化させて動画記録を行うことが可能となる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−８７６３０号公報
【特許文献２】特開２０１２−１５１７０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、上記特許文献１及び２では、被写体の様々な条件に応じて、動画記録のフレームレートを変更しなければならないため、固定フレームレートで動画記録を行う条件では対応することが困難である。また、固定フレームレートで動画記録を行う際には、被写体が低輝度の場合、被写体を露光する時間の上限が決められてしまうため、ＡＦ（オートフォーカス）、ＡＥ、及びＡＷＢなどの評価値を正しく取得することができない問題が発生する。
【０００７】
そこで、本発明は、固定フレームレートで動画記録を行う場合においても、正確なＡＦ、ＡＥ及びＡＷＢの評価値を取得する仕組みを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明は、撮像素子の駆動を制御して動画を記録する画像処理装置であって、前記撮像素子から読み出し行を間引いて動画記録用の画像データを取得して出力する第１の読み出し手段と、前記撮像素子の前記第１の読み出し手段と重複しない読み出し行から前記第１の読み出し手段より高速で画像データを取得して前記第１の読み出し手段と同時に出力する第２の読み出し手段と、前記第１の読み出し手段により取得した画像データ、及び前記第２の読み出し手段により取得した画像データからそれぞれ被写体の状態が変化したかを判断する判断手段と、前記判断手段が前記第２の読み出し手段により取得した画像データの前記被写体の状態が変化したと判断した場合に、前記第１の読み出し手段での画像データの取得速度を固定した状態で、前記第２の読み出し手段での画像データの取得速度を前記被写体の状態変化に応じて変更する変更手段と、を備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、固定フレームレートで動画記録を行う場合においても、正確なＡＦ、ＡＥ及びＡＷＢの評価値を取得することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の画像処理装置の実施形態の一例であるデジタルスチルカメラの概略ブロック図である。
【図２】デジタルスチルカメラの動作例を示すフローチャート図である。
【図３】サブストリームの電子シャッタが各フィールド毎に同一の場合の動画記録動作時の撮像素子の駆動例を示すタイミングチャート図である。
【図４】サブストリームで取得したＡＥ評価値が低輝度と判断された場合の撮像素子の駆動例を示すタイミングチャート図である。
【図５】図４とは異なる手段でサブストリームの読み出し方法を変更する場合を示すタイミングチャート図である。
【図６】メインストリームで取得したＡＥ評価値が低輝度と判断された場合の撮像素子の駆動例を示すタイミングチャート図である。
【図７】サブストリームの電子シャッタを各読み出しフィールド毎に別々に設定できる場合の動画記録動作時の撮像素子の駆動例を示すタイミングチャート図である。
【図８】サブストリームで取得したＡＥ評価値が低輝度と判断された場合の撮像素子の駆動例を示すタイミングチャート図である。
【図９】図８とは異なる手段でサブストリームの読み出し方法を変更する場合を示すタイミングチャート図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態の一例を図面を参照して説明する。
【００１２】
図１は、本発明の画像処理装置の実施形態の一例であるデジタルスチルカメラの概略ブロック図である。
【００１３】
本実施形態のデジタルスチルカメラ１００は、図１に示すように、撮影レンズ１０、絞り機能を備える機械式のシャッタ１２、光学像を電気信号に変換する撮像素子１４、及び撮像素子１４のアナログ信号出力をデジタル信号に変換するＡ／Ｄ変換器１６等を有する。タイミング発生回路１８は、メモリ制御回路２２及びシステム制御回路５０により制御され、撮像素子１４、 及びＡ／Ｄ変換器１６にクロック信号や制御信号を供給する。
【００１４】
なお、シャッタ１２以外にも、撮像素子１４のリセットタイミングの制御によって、電子シャッタとして、電荷の蓄積時間を制御することができ、動画撮影などに使用可能である。
【００１５】
画像処理回路２０は、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。また、画像処理回路２０によって、画像の切り出しや変倍処理を行うことで電子ズーム機能が実現される。さらに、画像処理回路２０では、画像データの画像識別や、前フレーム画像との変化量を検出する処理も行っている。
【００１６】
また、画像処理回路２０では、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御回路５０が露光制御部４０、フォーカス制御部４２に対して制御を行う、ＴＴＬ方式のＡＦ処理、ＡＥ処理、ＥＦ処理を行う。更に、画像処理回路２０では、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行う。
【００１７】
メモリ制御回路２２は、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、メモリ３０、及び圧縮・伸長回路３２を制御する。Ａ／Ｄ変換器１６のデータが画像処理回路２０、及びメモリ制御回路２２を介して、或いは直接メモリ制御回路２２を介してメモリ３０に書き込まれる。メモリ３０には、撮影した静止画像データや動画像データが格納される。また、メモリ３０は、システム制御回路５０の作業領域としても使用することが可能である。
【００１８】
画像表示部２８は、ＴＦＴやＬＣＤ等で構成される。メモリ３０に書き込まれた表示用の画像データは、メモリ制御回路２２を介して画像表示部２８により表示される。画像表示部２８に撮像した画像データを逐次表示すれば、電子ファインダ機能を実現することが可能である。
【００１９】
システム制御回路５０は、デジタルスチルカメラ１００全体の制御を司る。システム制御回路５０が実行するプログラムコードは、フラッシュロム等の不揮発性メモリ３１に書き込まれて、逐次読み出される。また、不揮発性メモリ３１には、システム情報を記憶する領域や、ユーザ設定情報を記憶する領域が設けられ、各種情報や設定が次回起動時に読み出される。
【００２０】
圧縮・伸長回路３２は、適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する回路であり、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。
【００２１】
露光制御部４０は、シャッタ１２を制御し、また、ストロボ４８と連動することによりストロボ調光機能も有する。フォーカス制御部４２は、撮影レンズ１０のフォーカシングを制御し、ズーム制御部４４は、撮影レンズ１０のズーミングを制御する。ストロボ４８は、ストロボ調光機能の他に、ＡＦ補助光の投光機能も有する。露光制御部４０及びフォーカス制御部４２は、ＴＴＬ方式を用いて制御され，撮像した画像データを画像処理回路２０によって演算した演算結果に基づき、システム制御回路５０が露光制御部４０及びフォーカス制御部４２に対して制御を行う。
【００２２】
モードダイアル６０は、電源オフ、自動撮影モード、撮影モード、パノラマ撮影モード、動画撮影モード、再生モード、ＰＣ接続モード等の各機能モードを切り替え設定する。
【００２３】
シャッタスイッチ（ＳＷ１）６２は、シャッタボタンの操作途中でオンとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理等の動作開始を指示する。
【００２４】
シャッタスイッチ（ＳＷ２）６４は、シャッタボタンの操作完了でオンとなり、システム制御回路５０は、ストロボ撮影の場合、ＥＦ（調光）処理を行った後に、ＡＥ処理で決定された露光時間分、撮像素子１４を露光させる。そして、システム制御回路５０は、この露光期間中にストロボ４８を発光させて、露光期間終了と同時に露光制御部４０により遮光することで、撮像素子１４への露光を終了させる。
【００２５】
また、シャッタスイッチ（ＳＷ２）６４がオンされると、システム制御回路５０は、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、及びメモリ制御回路２２を介してメモリ３０に画像データを書き込む読み出し処理を行う。
【００２６】
更に、シャッタスイッチ（ＳＷ２）６４がオンされると、システム制御回路５０は、画像処理回路２０やメモリ制御回路２２での演算による現像処理やメモリ３０から画像データを読み出して圧縮・伸長回路３２で圧縮する処理を行う。更に、シャッタスイッチ（ＳＷ２）６４がオンされると、システム制御回路５０は、記録媒体２００に画像データを書き込む記録処理を行う。
【００２７】
表示切替スイッチ６６は、画像表示部２８の表示を切替える。この機能により、光学ファインダ１０４を用いて撮影を行う際に、画像表示部２８への電流供給を遮断することにより、省電力を図ることが可能となる。
【００２８】
操作部７０は、各種ボタン、タッチパネルや回転式ダイアル等から構成され、例えばメニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、ストロボ設定ボタン、動画記録スイッチ、単写／連写／セルフタイマー切り替えボタン等がある。また、操作部７０には、電源スイッチ、サブメニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像移動−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等もある。
【００２９】
ズームスイッチ７２は、ユーザが撮像画像の倍率の変更指示を行うためのスイッチである。ズームスイッチ７２は、撮像画角を望遠側に変更させるテレスイッチと、広角側に変更させるワイドスイッチとを有する。ズームスイッチ７２は、ズーム制御部４４に撮影レンズ１０の撮像画角の変更を指示し、光学ズーム操作を行うトリガとなる。また、ズームスイッチ７２は、画像処理回路２０による画像の切り出しや、画素補間処理などによる撮像画角の電子的なズーミング変更のトリガともなる。
【００３０】
電源部８６は、アルカリ電池の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉイオン電池等の二次電池、ＡＣアダプタ等から構成される。Ｉ／Ｆ９０は、記録媒体２００とのインタフェースであり、コネクタ９２には、記録媒体２００が接続される。記録媒体２００は、メモリカードやハードディスク等で構成され、半導体メモリや磁気ディスク等の記録部２０２、デジタルスチルカメラ１００とのＩ／Ｆ（インタフェース）２０４、コネクタ９２に接続されるコネクタ２０６を備える。
【００３１】
光学ファインダ１０４は、画像表示部２８による電子ファインダ機能を使用することなく、撮影を行うことを可能にする。通信部１１０は、ＵＳＢ、ＩＥＥＥ１３９４、ＬＡＮ、無線通信等の各種通信機能を有する。コネクタ／アンテナ１１２は、通信部１１０によりデジタルスチルカメラ１００を他の機器と接続する際に用いるコネクタ、或いは無線通信の場合はアンテナである。
【００３２】
図２は、デジタルスチルカメラ１００の動作例を示すフローチャート図である。図２に示す処理は、システム制御回路５０のＣＰＵ等が不揮発性メモリ３１に格納されたプログラムをメモリ３０に展開して実行することにより実現される。
【００３３】
ステップＳ１０１では、システム制御回路５０は、電池交換等の電源投入によりフラグや制御変数等を初期化し、ステップＳ１０２に進む。
【００３４】
ステップＳ１０２では、システム制御回路５０は、モードダイアルスイッチ６０の設定位置を判断する。そして、システム制御回路５０は、モードダイアルスイッチ６０が撮影モードに設定されている場合は、ステップＳ１０４に進み、モードダイアルスイッチ６０が他のモード（再生等）に設定されている場合は、ステップＳ１０３に進む。
【００３５】
ステップＳ１０３では、システム制御回路５０は、設定されたモードに応じた処理を実行し、処理終了後にステップＳ１０２に戻る。
【００３６】
ステップＳ１０４では、システム制御回路５０は、撮像素子１４を起動させ、ステップＳ１０５に進む。撮像素子１４を起動させる場合、複数のフレームレート（取得速度）の読み出しモードで撮像素子１４を動作させる。この場合、例えば、画像表示部２８に使用するフレームレート読み出しを３０ｆｐｓとし、ＡＦ処理、ＡＥ処理及びＡＷＢ処理などに使用するフレームレート読み出しを２４０ｆｐｓとする。
【００３７】
ここで、以下の説明では、３０ｆｐｓでのフレーム読み出しをメインストリームとし、メインストリームより高速な２４０ｆｐｓでのフレーム読み出しをサブストリームとする。また、１ＶＤ（１垂直同期期間）でメインストリーム及びサブストリームを合わせると、９フィールド分の読み出しが行われ、メインストリームの読み出しを１／９フィールド読み出し、及びサブストリームの読み出しを２／９〜９／９フィールド読み出しとする。
【００３８】
また、サブストリームの電子シャッタは、各読み出しフィールド毎に別々に設定できる場合と、各フィールド毎に同一の場合が存在する。電子シャッタが各読み出しフィールド毎に別々に設定できる場合は、各フィールド専用の電子シャッタを発生させることができるため、他のフィールドの電子シャッタの影響を受けることがない。そのため、各フィールドの露光時間は、各フィールドの専用電子シャッタが発生してから各フィールドの読み出しを開始するまでが露光時間となる。電子シャッタが各フィールド毎に同一の場合、各フィールド専用の電子シャッタは存在せず、電子シャッタを発生させてから各フィールドの読み出しが開始されるまでが露光時間となる。
【００３９】
ステップＳ１０５では、システム制御回路５０は、メインストリームで読み出された画像データを画像表示部２８に逐次表示するＥＶＦ表示状態に設定し、ステップＳ１０６に進む。
【００４０】
ステップＳ１０６では、システム制御回路５０は、操作部７０の動画記録スイッチが動画記録の開始操作がされたかを判断し、開始操作された場合は、ステップＳ１０７に進み、開始操作されない場合は、ステップＳ１０９に進む。
【００４１】
ステップＳ１０９では、システム制御回路５０は、操作部７０の電源スイッチがオフ操作されたかを判断し、電源スイッチがオフ操作されると、ステップＳ１１０に進み、オフ操作されない場合は、ステップＳ１０５に戻ってＥＶＦ表示状態を継続する。
【００４２】
ステップＳ１１０では、システム制御回路５０は、カメラ動作を停止してステップＳ１０５のＥＶＦ表示状態を停止し、処理を終了する。
【００４３】
ステップＳ１０７では、システム制御回路５０は、動画記録スイッチが動画記録の開始操作されたことを受けて動画記録を開始し、ステップＳ１０８に進む。
【００４４】
ステップＳ１０８では、システム制御回路５０は、動画記録スイッチが動画記録の終了操作がされたかを判断し、終了操作された場合は、動画記録を終了して、ステップＳ１０５に戻る。
【００４５】
次に、図３乃至図９を参照して、図２のステップＳ１０７における動画記録動作時の撮像素子１４の制御例について説明する。
【００４６】
図３は、サブストリームの電子シャッタが各フィールド毎に同一の場合の動画記録動作時の撮像素子１４の駆動例を示すタイミングチャート図である。図３に示すように、動画記録動作時には、複数のフレームレートの読み出しモードで撮像素子１４を動作させる。本実施形態では、動画記録用には、メインストリームを使用し、ＡＦ、ＡＥ及びＡＷＢの評価値取得用には、サブストリームを使用する。なお、図３において「ＥＸＰ」は露光時間を表していて、サブストリームでは「ＥＸＰ」と記載されていないが、メインストリームと同様の部分が露光時間にあたる。
【００４７】
ここで、メインストリームは、本発明の撮像素子から読み出し行を間引いて動画記録用の画像データを取得して出力する第１の読み出し手段の一例に相当する。また、サブストリームは、本発明の撮像素子の第１の読み出し手段と重複しない読み出し行から第１の読み出し手段より高速で画像データを取得して第１の読み出し手段と同時に出力する第２の読み出し手段の一例に相当する。
【００４８】
図３では、サブストリームの電子シャッタが各フィールド毎に同一の場合であるため、サブストリームの露光時間は、約４ｍｓ（２４０ｆｐｓ＝約４ｍｓ）が最大露光時間となる。
【００４９】
また、メインストリームでもサブストリームとは別に評価値を取得する。本実施形態では、動画記録のフレームレートを３０ｆｐｓに固定する。通常、サブストリームで高速に取得された評価値とメインストリームで取得した評価値とを基に、ＡＦ処理、ＡＥ処理、ＡＷＢ処理を実施し、適切な被写体状態で動画記録を実施する。ここで、適切な被写体状態とは、被写体に焦点が合い、被写体の適正露出が算出された状態で、被写体の色が正確に判断できた状態をいう。
【００５０】
図４は、サブストリームで取得したＡＥ評価値が低輝度と判断された場合の撮像素子１４の駆動例を示すタイミングチャート図である。ここで、ＡＥ評価値が低輝度と判断した場合とは、メインストリーム及びサブストリームで取得した画像データの被写体の状態変化により、システム制御回路５０が画像処理回路２０を介して被写体輝度があらかじめ定めた閾値より低いと判断した場合をいう。
【００５１】
図４では、サブストリームで取得したＡＥ評価値が低輝度と判断された場合、動画記録用に使用しているメインストリームを３０ｆｐｓに保持しつつ、サブストリームの読み出し方法を変更する。
【００５２】
具体的には、サブストリームの読み出しを１ＶＤ禁止することで、サブストリームの露光時間を４ｍｓ以上にすることが可能となる。また、サブストリームの読み出しを１ＶＤ以上禁止することで、サブストリームの露出が適切になるように露光時間を調節することが可能である。
【００５３】
図５は、図４とは異なる手段でサブストリームの読み出し方法を変更する場合を示すタイミングチャート図である。
【００５４】
図５では、電子シャッタを発生させるタイミングと読み出しを開始するタイミングとを１フィールド毎に禁止することで、フレームレートを遅くして各フィールドの露光時間を延長する。具体的には、２／９フィールド、４／９フィールド、６／９フィールド、８／９フィールドの読み出しを禁止し、３／９フィールド、５／９フィールド、７／９フィールド、９／９フィールドの露光時間を延長させる。
【００５５】
また、電子シャッタを発生させるタイミングと読み出しを開始するタイミングとを１フィールド以上禁止することで、サブストリームの露出が適切になるように露光時間を調節することが可能である。
【００５６】
図６は、メインストリームで取得したＡＥ評価値が低輝度と判断された場合の撮像素子１４の駆動例を示すタイミングチャート図である。
【００５７】
メインストリームで低輝度と判断された場合、図４と同様に、サブストリームの読み出しを１ＶＤ以上禁止することでサブストリームの露出が適切になるように露光時間を調整する。その後、サブストリームで適切な露光時間になった評価値をメインストリームの出力に反映させることで、メインストリームのＡＥ処理、及びＡＷＢ処理を適切に設定することが可能となる。
【００５８】
これは、メインストリームからの出力値が小さいため、評価値を正しく取得することができず、その評価値を用いてＡＦ処理、ＡＥ処理、ＡＷＢ処理を行うと、正確な処理を行うことができない場合があるためである。
【００５９】
図７は、サブストリームの電子シャッタを各読み出しフィールド毎に別々に設定できる場合の動画記録動作時の撮像素子１４の駆動例を示すタイミングチャート図である。
【００６０】
図７に示すように、動画記録動作時には、複数のフレームレートの読み出しモードで撮像素子１４を動作させる。この場合も、動画記録用には、メインストリームを使用し、ＡＦ、ＡＥ、ＡＷＢの評価値取得用には、サブストリームを使用する。
【００６１】
図７では、サブストリームの電子シャッタを各読み出しフィールド毎に別々に設定できる場合であるため、サブストリームの露光時間は、約３３ｍｓ（３０ｆｐｓ＝約３３ｍｓ）が最大露光時間となる。
【００６２】
また、メインストリームでもサブストリームとは別に評価値を取得する。ここでは、動画記録のフレームレートを３０ｆｐｓに固定する。
【００６３】
図８は、サブストリームで取得したＡＥ評価値が低輝度と判断された場合の撮像素子１４の駆動例を示すタイミングチャート図である。
【００６４】
図８では、動画記録用に使用しているメインストリームを３０ｆｐｓに保持しつつ、サブストリームの読み出し方法を変更する。具体的には、サブストリームの読み出しを１ＶＤ禁止することで、サブストリームの露光時間を３３ｍｓ以上の露光を可能とする。また、サブストリームの読み出しを１ＶＤ以上禁止することで、サブストリームの露出が適切になるように露光時間を調節することが可能である。
【００６５】
図９は、図８とは異なる手段でサブストリームの読み出し方法を変更する場合を示すタイミングチャート図である。
【００６６】
図９では、図８と同様に、サブストリームの読み出しを１ＶＤ禁止することで、サブストリームの露光時間を３３ｍｓ以上の露光を可能とするが、１ＶＤ期間で禁止するフィールドを偶数フィールドと奇数フィールドとで交互に行う。具体的には、ＶＤ期間Ａでは、２／９、４／９、６／９、８／９フィールドを読み出し、３／９、５／９、７／９、９／９フィールド読み出しを禁止する。ＶＤ期間Ｂでは、逆に３／９、５／９、７／９、９／９フィールドを読み出し、２／９、４／９、６／９、８／９フィールドの読み出しを禁止する。
【００６７】
なお、各フィールドでの読み出しフィールドの設定は偶数奇数フィールドに限定するものではなく、ＶＤ期間Ａで２／９、３／９、４／９、５／９フィールドを読み出し、ＶＤ期間Ｂで６／９、７／９、８／９、９／９フィールドを読み出すことも可能である。
【００６８】
以上説明したように、本実施形態では、動画記録中のフレームレートを保持した状態で、低輝度時でもＡＦ、ＡＥ及びＡＷＢの評価値を正しく取得することができるので、正確なＡＦ、ＡＥ及びＡＷＢ処理を行うことができる。
【００６９】
なお、本発明は、上記各実施形態に例示したものに限定されるものではなく、本発明の要旨を逸脱しない範囲において適宜変更可能である。
【００７０】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００７１】
１０  撮影レンズ
１４  撮像素子
２０  画像処理回路
５０  システム制御回路
１００  デジタルスチルカメラ
【図１】
2015119206.tif 000003
【図２】
2015119206.tif 000004
【図３】
2015119206.tif 000005
【図４】
2015119206.tif 000006
【図５】
2015119206.tif 000007
【図６】
2015119206.tif 000008
【図７】
2015119206.tif 000009
【図８】
2015119206.tif 000010
【図９】
2015119206.tif 000011