(57)【特許請求の範囲】
【請求項１】
撮像素子内の所定の画素グループ単位ごとに電荷の蓄積と転送を行って画素信号を取得する撮像手段と、
前記撮像素子における画素信号を出力する領域である画像領域を設定する設定手段と、
前記撮像素子への露光量を調節する絞りを制御する絞り制御手段と、
前記撮像素子での電荷蓄積時間を調節する蓄積時間制御手段と、
前記撮像素子から得られた画素信号のレベルを調節するゲイン手段と、を備え、
前記蓄積時間制御手段は、前記画像領域に含まれる画素への電荷蓄積を行っていない期間内に前記絞りの駆動を行うために前記電荷蓄積時間を補正し、
前記ゲイン手段は、前記電荷蓄積時間の補正により生じた前記画素信号のレベルの差を補償し、
前記絞り制御手段は、前記電荷蓄積時間の補正を行っても、前記絞りの駆動を行うための前記電荷蓄積を行っていない期間を確保できない場合、前記絞りの駆動速度を補正することを特徴とする撮像装置。
【請求項２】
撮像素子内の所定の画素グループ単位ごとに電荷の蓄積と転送を行って画素信号を取得する撮像手段と、
前記撮像素子における画素信号を出力する領域である画像領域を設定する設定手段と、
前記撮像素子への露光量を調節する絞りと、
前記撮像素子での電荷蓄積時間を調節する蓄積時間制御手段と、
前記撮像素子から得られた画素信号のレベルを調節するゲイン手段と、
前記撮像素子により連続的に画像を生成するための垂直同期信号の周期を調節する信号制御手段と、を備え、
前記蓄積時間制御手段は、前記画像領域に含まれる画素への電荷蓄積を行っていない期間内に前記絞りの駆動を行うために前記電荷蓄積時間を補正し、
前記ゲイン手段は、前記電荷蓄積時間の補正により生じた前記画素信号のレベルの差を補償し、
前記信号制御手段は、前記電荷蓄積時間の補正を行っても、前記絞りの駆動を行うための前記電荷蓄積を行っていない期間を確保できない場合、前記垂直同期信号の周期を補正することを特徴とする撮像装置。
【請求項３】
撮像素子内の所定の画素グループ単位ごとに電荷の蓄積と転送を行って画素信号を取得する撮像手段と、
前記撮像素子における画素信号を出力する領域である画像領域を設定する設定手段と、
前記撮像素子への露光量を調節する絞りを制御する絞り制御手段と、
前記撮像素子での電荷蓄積時間を調節する蓄積時間制御手段と、
前記撮像素子から得られた画素信号のレベルを調節するゲイン手段と、
前記画像領域の中の所定の領域の輝度値を抽出する抽出手段と、を備え、
前記蓄積時間制御手段は、前記画像領域に含まれる画素への電荷蓄積を行っていない期間内に前記絞りの駆動を行うために前記電荷蓄積時間を補正し、
前記ゲイン手段は、前記電荷蓄積時間の補正により生じた前記画素信号のレベルの差を補償し、
前記絞り制御手段は、前記電荷蓄積時間の補正を行っても、前記絞りの駆動を行うための前記電荷蓄積を行っていない期間を確保できない場合、前記絞りと前記抽出手段により抽出された輝度値の組み合わせに応じて前記絞りを駆動するタイミングを設定することを特徴とする撮像装置。
【請求項４】
前記絞り制御手段は、前記絞りが閉じる方向に駆動され、前記画像領域の下部の輝度値が所定値以下の場合、前記絞りの駆動の開始タイミングを早くするように補正することを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記絞り制御手段は、前記絞りが閉じる方向に駆動され、前記画像領域の上部の輝度値が所定値以上の場合、前記絞りの駆動の開始タイミングを遅くするように補正することを特徴とする請求項３に記載の撮像装置。
【請求項６】
前記絞り制御手段は、前記絞りが開く方向に駆動され、前記画像領域の下部の輝度値が所定値以上の場合、前記絞りの駆動の開始タイミングを早くするように補正することを特徴とする請求項３に記載の撮像装置。
【請求項７】
前記絞り制御手段は、前記絞りが開く方向に駆動され、前記画像領域の上部の輝度値が所定値以下の場合、前記絞りの駆動の開始タイミングを遅くするように補正することを特徴とする請求項３に記載の撮像装置。
【請求項８】
撮像素子内の所定の画素グループ単位ごとに電荷の蓄積と転送を行って画素信号を取得する撮像手段と、
前記撮像素子における画素信号を出力する領域である画像領域を設定する設定手段と、
前記撮像素子への露光量を調節する絞りと、
前記撮像素子での電荷蓄積時間を調節する蓄積時間制御手段と、
前記撮像素子から得られた画素信号のレベルを調節するゲイン手段と、を備え、
前記蓄積時間制御手段は、前記画像領域に含まれる画素への電荷蓄積を行っていない期間内に前記絞りの駆動を行うために前記電荷蓄積時間を補正し、
前記ゲイン手段は、前記電荷蓄積時間の補正により生じた前記画素信号のレベルの差を補償し、
前記蓄積時間制御手段は、前記電荷蓄積時間を補正する際には、前記電荷蓄積時間の補正により生じた前記画素信号のレベルの差が前記ゲインの補償可能な範囲を超えないように、前記電荷蓄積時間を補正することを特徴とする撮像装置。
【請求項９】
前記設定手段は、前記画像領域の縦横比を設定するアスペクト比設定手段と、前記画像領域の画角を設定する電子ズーム設定手段の少なくともいずれかを有することを特徴とする請求項１ないし８のいずれか１項に記載の撮像装置。
【請求項１０】
前記撮像素子内の所定の画素グループは、前記撮像素子の水平方向の１ラインの画素から構成され、前記画素グループごとに電荷の蓄積と転送のタイミングが異なることを特徴とする請求項１ないし９のいずれか１項に記載の撮像装置。
【請求項１１】
撮像素子内の所定の画素グループ単位ごとに電荷の蓄積と転送を行って画素信号を取得する撮像手段を備える撮像装置の制御方法であって、
前記撮像素子における画素信号を出力する領域である画像領域を設定する設定ステップと、
前記撮像素子への露光量を調節する絞りを制御する絞り制御ステップと、
前記撮像素子での電荷蓄積時間を調節する蓄積時間制御ステップと、
前記撮像素子から得られた画素信号のレベルを調節するゲインステップと、を有し、
前記蓄積時間制御ステップでは、前記画像領域に含まれる画素への電荷蓄積を行っていない期間内に前記絞りの駆動を行うために前記電荷蓄積時間を補正し、
前記ゲインステップでは、前記電荷蓄積時間の補正により生じた前記画素信号のレベルの差を補償し、
前記絞り制御ステップでは、前記電荷蓄積時間の補正を行っても、前記絞りの駆動を行うための前記電荷蓄積を行っていない期間を確保できない場合、前記絞りの駆動速度を補正することを特徴とする撮像装置の制御方法。
【請求項１２】
撮像素子内の所定の画素グループ単位ごとに電荷の蓄積と転送を行って画素信号を取得する撮像手段と、前記撮像素子への露光量を調節する絞りと、を備える撮像装置の制御方法であって、
前記撮像素子における画素信号を出力する領域である画像領域を設定する設定ステップと、
前記撮像素子での電荷蓄積時間を調節する蓄積時間制御ステップと、
前記撮像素子から得られた画素信号のレベルを調節するゲインステップと、
前記撮像素子により連続的に画像を生成するための垂直同期信号の周期を調節する信号制御ステップと、を有し、
前記蓄積時間制御ステップでは、前記画像領域に含まれる画素への電荷蓄積を行っていない期間内に前記絞りの駆動を行うために前記電荷蓄積時間を補正し、
前記ゲインステップでは、前記電荷蓄積時間の補正により生じた前記画素信号のレベルの差を補償し、
前記信号制御ステップでは、前記電荷蓄積時間の補正を行っても、前記絞りの駆動を行うための前記電荷蓄積を行っていない期間を確保できない場合、前記垂直同期信号の周期を補正することを特徴とする撮像装置の制御方法。
【請求項１３】
撮像素子内の所定の画素グループ単位ごとに電荷の蓄積と転送を行って画素信号を取得する撮像手段を備える撮像装置の制御方法であって、
前記撮像素子における画素信号を出力する領域である画像領域を設定する設定ステップと、
前記撮像素子への露光量を調節する絞りを制御する絞り制御ステップと、
前記撮像素子での電荷蓄積時間を調節する蓄積時間制御ステップと、
前記撮像素子から得られた画素信号のレベルを調節するゲインステップと、
前記画像領域の中の所定の領域の輝度値を抽出する抽出ステップと、を有し、
前記蓄積時間制御ステップでは、前記画像領域に含まれる画素への電荷蓄積を行っていない期間内に前記絞りの駆動を行うために前記電荷蓄積時間を補正し、
前記ゲインステップでは、前記電荷蓄積時間の補正により生じた前記画素信号のレベルの差を補償し、
前記絞り制御ステップでは、前記電荷蓄積時間の補正を行っても、前記絞りの駆動を行うための前記電荷蓄積を行っていない期間を確保できない場合、前記絞りと前記抽出ステップにおいて抽出された輝度値の組み合わせに応じて前記絞りを駆動するタイミングを設定することを特徴とする撮像装置の制御方法。
【請求項１４】
撮像素子内の所定の画素グループ単位ごとに電荷の蓄積と転送を行って画素信号を取得する撮像手段と、前記撮像素子への露光量を調節する絞りと、を備える撮像装置の制御方法であって、
前記撮像素子における画素信号を出力する領域である画像領域を設定する設定ステップと、
前記撮像素子での電荷蓄積時間を調節する蓄積時間制御ステップと、
前記撮像素子から得られた画素信号のレベルを調節するゲインステップと、を有し、
前記蓄積時間制御ステップでは、前記画像領域に含まれる画素への電荷蓄積を行っていない期間内に前記絞りの駆動を行うために前記電荷蓄積時間を補正し、
前記ゲインステップでは、前記電荷蓄積時間の補正により生じた前記画素信号のレベルの差を補償し、
前記蓄積時間制御ステップでは、前記電荷蓄積時間を補正する際には、前記電荷蓄積時間の補正により生じた前記画素信号のレベルの差が前記ゲインの補償可能な範囲を超えないように、前記電荷蓄積時間を補正することを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置における露出制御技術に関するものである。
【背景技術】
【０００２】
デジタルカメラなどの撮像素子を用いた撮像装置において、様々な目的や用途に応じて撮像素子の露出制御が行われる。露出制御に用いられる機構としては、撮像素子への露光量を調節する絞り機構、撮像素子の電荷蓄積期間を調節する電子シャッター機構、撮像素子から読み出した信号レベルを調節するゲイン機構などがある。
【０００３】
これらの機構により、例えばＬＣＤなどの画像表示装置に、撮像装置にて生成した連続画像を表示出力している最中（以下、ライブビュー中とする）に被写体の明るさが変化した場合、画像の露出を適正に保つために撮像素子の露出制御が行われる。また例えば、絞り値による被写界深度の変化や、シャッター速度による被写体の動きなどを作品表現するための作画意図として露出制御が行われる場合もある。また例えば、被写体へのピント合わせを行うＡＦ時に必要となる被写界深度を得るために絞り制御が行われる場合もある。
【０００４】
しかしながら、上記のような様々な目的や用途に応じて絞り機構を駆動させる中で、ライブビュー中や動画撮影中に絞りを駆動する場合には、絞り駆動中の様子が表示画像に映り込んでしまい、１コマあるいは２コマ程度にわたって輝度変動が発生する。そのため、連続した表示画像において画像の明るさが一瞬だけ明るく、あるいは、暗くなってしまい、連続画像としては不自然になってしまうという問題が生じる。
【０００５】
このような問題を避けるために様々な提案がなされており、特許文献１においては、ライブビュー中には絞りを固定して電子シャッターのみで露出制御ことが開示されている。また、特許文献２においては、撮像素子への電荷蓄積期間外に絞り駆動を行う提案がなされている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１１−１１２８６５号公報
【特許文献２】特開平９−１０２９０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１のようにライブビュー中に絞り駆動を行わない場合、被写体輝度への追従範囲が制限されてしまうという課題がある。
【０００８】
また、撮像素子の電荷蓄積、及び蓄積データ読み出し方式は複数ある。例えばＣＣＤのように、蓄積開始と終了のタイミングを全素子一括して制御する方式や、例えばＣＭＯＳセンサのように、ライン単位で電荷蓄積と読み出しを順次行い、画像の上部と下部で実露光時刻に差異が生じる方式がある。
【０００９】
ＣＭＯＳセンサのような構造を持つ撮像素子において、特許文献２のように蓄積期間外に絞り駆動を行う場合、蓄積期間をいかに設定するかが課題となる。ＣＭＯＳセンサのような構造の場合、電子シャッター速度によっては、常にどこかのラインへの電荷蓄積が行われており、非露光期間を確保するのが容易ではない。
【００１０】
本発明は上述した課題に鑑みてなされたものであり、その目的は、ライブビュー中や動画撮影中に絞り駆動を行っても、連続画像における画像の明るさを変動しにくくすることである。
【課題を解決するための手段】
【００１１】
本発明に係わる撮像装置は、撮像素子内の所定の画素グループ単位ごとに電荷の蓄積と転送を行って画素信号を取得する撮像手段と、前記撮像素子における画素信号を出力する領域である画像領域を設定する設定手段と、前記撮像素子への露光量を調節する絞りを制御する絞り制御手段と、前記撮像素子での電荷蓄積時間を調節する蓄積時間制御手段と、前記撮像素子から得られた画素信号のレベルを調節するゲイン手段と、を備え、前記蓄積時間制御手段は、前記画像領域に含まれる画素への電荷蓄積を行っていない期間内に前記絞りの駆動を行うために前記電荷蓄積時間を補正し、前記ゲイン手段は、前記電荷蓄積時間の補正により生じた前記画素信号のレベルの差を補償し、前記絞り制御手段は、前記電荷蓄積時間の補正を行っても、前記絞りの駆動を行うための前記電荷蓄積を行っていない期間を確保できない場合、前記絞りの駆動速度を補正することを特徴とする。
【００１２】
また、本発明に係わる撮像装置の制御方法は、撮像素子内の所定の画素グループ単位ごとに電荷の蓄積と転送を行って画素信号を取得する撮像手段を備える撮像装置の制御方法であって、前記撮像素子における画素信号を出力する領域である画像領域を設定する設定ステップと、前記撮像素子への露光量を調節する絞りを制御する絞り制御ステップと、前記撮像素子での電荷蓄積時間を調節する蓄積時間制御ステップと、前記撮像素子から得られた画素信号のレベルを調節するゲインステップと、を有し、前記蓄積時間制御ステップでは、前記画像領域に含まれる画素への電荷蓄積を行っていない期間内に前記絞りの駆動を行うために前記電荷蓄積時間を補正し、前記ゲインステップでは、前記電荷蓄積時間の補正により生じた前記画素信号のレベルの差を補償し、前記絞り制御ステップでは、前記電荷蓄積時間の補正を行っても、前記絞りの駆動を行うための前記電荷蓄積を行っていない期間を確保できない場合、前記絞りの駆動速度を補正することを特徴とする。
【発明の効果】
【００１３】
本発明によれば、ライブビュー中や動画撮影中に絞り駆動を行っても、連続画像における画像の明るさを変動しにくくすることが可能となる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態に係わる撮像装置の構成を示すブロック図。
【図２】カメラの概観図。
【図３】カメラの動作シーケンスを示す図。
【図４】露出制御のためのプログラム線図を示す図。
【図５】ＣＣＤでの輝度変動発生のタイミングチャート。
【図６】ＣＭＯＳセンサーでの輝度変動発生のタイミングチャート。
【図７】輝度変動対策のタイミングチャート。
【図８】輝度変動対策のタイミングチャート。
【図９】輝度変動対策が不可能な場合のタイミングチャート。
【図１０】輝度変動対策のタイミングチャート。
【図１１】シーン例を示す図。
【図１２】シーン例を示す図。
【図１３】露光動作のタイミングチャート。
【図１４】露光動作のタイミングチャート。
【図１５】カメラの全体動作を示すフローチャート。
【図１６】輝度変動対策条件算出フローチャート。
【図１７】シーン適応絞り駆動タイミング補正フローチャート。
【発明を実施するための形態】
【００１５】
以下、本発明の一実施形態について、添付図面を参照して詳細に説明する。
【００１６】
図１は、本発明の一実施形態に係わる撮像装置としてのカメラの構成を示すブロック図である。図１において、レンズ１０により外光を集光する。レンズ駆動回路４２にてレンズ位置を光軸に沿って前後に動かすことで焦点を調節したり、画角を調節することが可能である。
【００１７】
さらに、ブレ量検知回路４４で測定したカメラのブレ量を元に、手ブレ補正回路４０にてレンズを駆動し、手ブレをキャンセルする方向に光軸を変化させることで光学的な手ブレ補正を行う構成とすることも可能である。
【００１８】
レンズを通過した光は絞り１４により、その光量を調節することができる。システム制御回路６０は、絞り制御情報を絞り駆動回路２６に伝達することで絞り１４を制御することが可能である。絞り１４には、複数枚の羽根から構成された虹彩絞りや、あらかじめ板を様々な径で穴を打ち抜いた丸絞りがある。システム制御回路６０はこれらの絞り１４と絞り駆動回路２６を用い、被写体輝度が高い場合は絞りを絞って光量を落とすように制御し、被写体輝度が低い場合は絞りを開放にして光を多く取り込むように制御することが可能である。
【００１９】
また、システム制御回路６０は、メカニカルシャッター制御情報をメカニカルシャッター駆動回路２８に伝達することで、メカニカルシャッター１２を制御することが可能である。静止画撮影時の露光時間は、メカニカルシャッター１２の開閉時間により決定され、この時間はシステム制御回路６０が時間を判断し、メカニカルシャッター駆動回路２８に指示を出す。
【００２０】
レンズ１０、メカニカルシャッター１２、絞り１４を通過した光は撮像素子１６に受光される。システム制御回路６０は、撮像素子制御信号をＴＧ（TiＭｉｎg Generator）２４に伝達することで、撮像素子１６を制御することができる。ＴＧ２４は、システム制御回路６０から受信した制御情報をもとに撮像素子１６を駆動する。撮像素子１６は素子への露光と、露光したデータの読み出し作業を周期的に行っており、この作業はＴＧ２４からの駆動信号を基準に行われる。撮像素子１６で露光したデータのうち、特定のラインや特定の領域のみを読み出してくることが可能である。これは、ＴＧ２４から出力される読み出し制御パルスにより読み出し方式を変更することで実現できる。
【００２１】
システム制御回路６０は状況に応じて最適な読み出し方式を決定し、ＴＧ２４に指示する。例えば、静止画撮影時は高解像度が要求されるため撮像素子１６の全データを読み出し、電子ファインダー時や動画撮影時は３０fps/６０fpsなどの高いフレームレートが要求されるため特定のラインだけ間引いて読み出す、といった使い分けを行う。またＴＧ２４は、撮像素子１６の露光時間を制御することが可能である。任意のタイミングで、素子がチャージした電荷を開放するように、ＴＧ２４から撮像素子１６へ駆動信号を出すことでこれを可能としている。
【００２２】
撮像素子１６から読み出された画像データは、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｅｒ）回路１８を通過する。ＣＤＳは相関二重サンプリング方式により画像データのノイズ成分を除去することを主な役割とする。その後、画像データはＰＧＡ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｉｎ Ａｍｐｌｉｆｉｅｒ）回路２０により、画像データレベルを減衰／増幅することができる。システム制御回路６０は、増幅レベルをＰＧＡ２０に伝達することで、増幅量を制御することができる。通常、撮像素子１６の露出を適正にするには、絞り１４で撮像素子１６への露光量を適切に設定すると共に、シャッターにより露光時間を適切に設定することで実現される。しかし、ＰＧＡ２０で画像データ信号を減衰／増幅することで、擬似的に画像データの露出を変える役割を担うことができる。これは、絞りやシャッター速度と並ぶ撮影時の露出条件の一つとして、感度という概念でユーザーに機能提供することが可能である。
【００２３】
画像データはＡ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ）回路２２にてアナログ信号からデジタル信号へ変換される。デバイスにより、デジタル信号のビット幅は１０ビット、１２ビット、１４ビットなどがあり、後段の画像処理回路５０は、複数種類のビット幅に対応可能である。図では、ＣＤＳ、ＰＧＡ、Ａ／Ｄ、ＴＧをそれぞれ別のブロックとして表現しているが、一つのＩＣパッケージにこれらの機能を搭載したものを採用することも可能である。
【００２４】
Ａ／Ｄ２２からデジタル化された画像データは画像処理回路５０へ入力される。画像処理回路５０は複数のブロックから構成され、さまざまな機能を実現している。
【００２５】
撮像素子１６はカラーフィルターを通して各画素ごとに特定の色成分を抽出するのが一般的である。Ａ／Ｄ２２からの画像信号は撮像素子１６の画素及びカラーフィルター配置に対応したデータ形式になっており、輝度成分のみを評価して露出制御を行う自動露出制御（ＡＥ：Ａｕｔｏ Ｅｘｐｏｓｕｒｅ Ｃｏｎｔｒｏｌ）で使用するには適さない形式である。画像処理回路５０では、画像信号から色情報を排除し、輝度情報のみを抜き出す機能を備えている。逆に、色情報のみを抽出する機能も備え、被写体の光源色を特定し、色を適切に調節するホワイトバランス処理に使用することができる。
【００２６】
さらに、画像処理回路５０では、撮像素子１６から読み出された信号の周波数成分のみを抜き出す機能を備え、自動フォーカス合わせ制御（ＡＦ：Ａｕｔｏ Ｆｏｃｕｓ）時に使用することができる。
【００２７】
さらに、画像処理回路５０は、Ａ／Ｄ２２によりデジタル化された画像信号のレベルの増減、画像の色効果などを操作する機能を備え、撮影画像の画質を調節するという役割も担っている。画像信号のレベルは、画像全体に一律の増幅率でレベルを増減させる機能や、元の信号レベルの大小に応じて信号レベルを変換するトーンカーブ（ガンマ）機能や、画面内の領域ごとの周波数成分に応じた増幅率でレベルを増減させる機能などで調節可能である。
【００２８】
Ａ／Ｄ２２からデジタル化された画像データは画像処理回路５０へ入力すると同時に、一時記憶メモリ３０に記憶することができる。一旦、一時記憶メモリに記憶した画像データは再度読み出すことができ、システム制御回路６０から画像データを参照したり、読み出した画像データを画像処理回路５０に入力することが可能である。さらに、画像処理回路５０で画像処理した画像データを一時記憶メモリに書き戻したり、システム制御回路６０から任意のデータを書き込むことも可能である。
【００２９】
画像処理回路５０で適切に処理された画像データは、画像認識回路３８に入力することができる。画像認識回路３８は、入力された画像の明るさ状況、ピント合焦状況、色状況の認識に加え、人物の顔認識とその表情、文字がある場合はその文字情報を認識することが可能となっている。画像認識回路には複数の画像を入力することが可能となっており、例えば２つの画像を入力し、その２つの画像の特徴を比較することで、同一の画像かどうかを判定することが可能となっている。画像認識回路で画像を認識する方法に加え、システム制御回路６０でも画像認識処理を行うことができる。システム制御はＣＰＵ上であらかじめコーディングされたプログラムを実行することができるが、一時記憶メモリ３０に記憶された画像データをシステム制御回路６０から読み出し、その画像データを解析してシーンの状況を認識することができる。
【００３０】
ＬＣＤなどの画像表示装置１０８に出力する場合、画像処理回路５０で画像処理を行った画像データをＶＲＡＭ３４上に展開しておき、それをＤ／Ａ３６にてアナログデータに変換して画像表示装置１０８に表示する。電子ファインダーを実現する場合は、撮像素子１６から読み出される連続した画像を順次画像表示装置１０８に表示更新していくことで可能となる。ＶＲＡＭ３４上に画像データを展開する際、１つの画像データを画像表示装置１０８に最も大きくなるように、または複数の画像をマルチ画面表示するように、など、様々な表示形態に対応するようにＶＲＡＭ３４上に展開することができる。
【００３１】
画像表示装置１０８には、画像だけでなく任意の情報を単独、もしくは画像と共に表示することが可能である。カメラの状態表示や、ユーザーが選択あるいはカメラが決定したシャッター速度や絞り値、感度情報などの文字情報や、画像処理回路５０にて測定した輝度分布のようなグラフや、顔認識結果、シーン認識結果等も表示可能である。情報の表示位置、表示色も任意に選択可能である。これら様々な情報を表示することで、ユーザーインターフェースをとることが可能となる。また、画像表示装置１０８には、画像記憶媒体８２に記憶されている画像データを表示することも可能である。画像データが圧縮されている場合、圧縮伸張ブロック３２にて伸張し、ＶＲＡＭ３４にデータを展開する。このデータをＤ／Ａ３６にてアナログ信号に変換して出力する。
【００３２】
画像記憶媒体８２は不揮発性のものであり、主に撮影した画像データを記憶することが可能である。
【００３３】
図２に、カメラの外観図を示す。カメラ前面にはレンズ１０が配置され、被写体像をとらえることができる。レンズ１０の同一面にストロボユニット９０が配置されている。主被写体が暗い場合にストロボユニット９０を発光させることで十分な光量を得ることができ、暗い中でも速いシャッター速度を保ち、好適な画像を得ることができる。図２ではレンズ１０とストロボユニット９０が同一面に配置されているがこの限りではなく、ストロボ光が直接主被写体に当たることを避けるために、ストロボがカメラ上部に向くように配置することも可能である。
【００３４】
カメラ背面に画像表示装置１０８が配置されている。前述したように、画像表示装置１０８には画像のみならず、文字情報やグラフ、アイコンなどを表示することができ、ユーザーとインターフェースをとる重要な部材となっている。近年デジタルカメラでは電子ビューファインダー（ＥＶＦ：Ｅｌｅｃｔｒｉｃａｌ Ｖｉｅｗ Ｆｉｎｄｅｒ）が主流となっており、画像表示装置１０８に出力される連続画像を参照することで被写体を捕らえ、ファインダーとして使用している。このとき、ＡＥやＡＦにおける測光領域情報、測距領域情報を被写体画像に重畳して表示することも可能である。さらに、被写体の認識状況として、人物の顔を認識した結果を人物の顔に枠を重畳させて表示したり、青空、夕陽、逆光など、背景シーンの状況を認識してアイコンで表示するなどが可能となっている。また、従来からの光学ファインダー１０６を併設する構成とすることも可能である。
【００３５】
撮影モード切替スイッチ１１０は、静止画撮影モード、動画撮影モード、再生モードなどのカメラ動作モードを切り替えることができる。図２では、数モードを切り替え可能な部材として表現しているが、撮影する特定のシーンに最適化した、風景撮影モードや人物撮影モードなどの多くの静止画モードを備えることも可能である。
【００３６】
パラメータ選択スイッチ１５１，１５３，１５５，１５７，１５９により、測距領域や測光モードをはじめとする撮影時の撮影条件の選択や、撮影画像再生時のページ送り、カメラの動作設定全般などをユーザーが選択することができる。さらに前述の電子ファインダーのＯｎ／Ｏｆｆを選択することもできる。また、画像表示装置１０８は画像を表示すると共に、タッチパネルとして入力装置となる構成とすることもできる。
【００３７】
カメラ上部に撮影準備動作の開始指示及び撮影動作の開始指示を行うためのレリーズボタン１０４が配置されている。レリーズボタン１０４は一つの操作部材であるが、ボタンを浅く押下する場合（ＳＷ１動作）と深く押下する場合（ＳＷ２動作）の２段階の押下操作を実現可能である。自動露出制御や自動ピント制御を行うカメラの場合、レリーズボタン１０４を浅く押すことで撮影準備動作として自動露出制御とピント制御が行われ、深く押すことで静止画や動画の撮影動作が行われる。
【００３８】
自動露出制御は、撮影モード切替スイッチ１１０で選択されている撮影モードで好適な露出を得るように動作する。撮影モードには、ポートレートモードや風景モード、夜景モード、といった特定の被写体に特化したものや、オートモードといった汎用的なモードがある。また、シャッター速度優先モードや絞り優先モードなど、撮影時のシャッター速度や絞り値をあらかじめユーザーが指定しておくモードもある。これらのモードでは、ＰＧＡ２０で設定する撮影感度を自動で好適に選択設定することや、あらかじめユーザーが感度を指定することが可能である。ユーザーがあらかじめ感度を指定する際、撮影感度を上げるほど画像信号のＳ／Ｎが低下するため、画質を優先したいユーザーは低感度を選択することが想定される。またＡＦ制御は、各撮影モードで好適なピント合わせが可能なように動作を切り替えることができる。
【００３９】
このような構成からなるカメラ１００において、カメラ起動後、ライブビュー中から静止画撮影に至るシーケンスを図３に示す。
【００４０】
カメラ起動後、画像表示装置１０８に連続画像を表示する（ライブビューを行う）ために、露出を適正露出に調整し続けるＣｏｎｔｉｎｕｏｕｓＡＥ３１１が行われる。ＣｏｎｔｉｎｕｏｕｓＡＥ３１１は被写体輝度に応じて絞り、電子シャッター、ゲインを調節して適正露出になるように動作する。
【００４１】
このとき、図４（ａ）に示したプログラム線図に基づいて露出を決定する。図のプログラム線図は縦軸に絞り値、横軸にシャッター速度を表現しており、被写体輝度が明るくなれば絞りＣｌｏｓｅ、シャッター速度Ｆａｓｔ、被写体輝度が暗くなれば絞りＯｐｅｎ、シャッター速度Ｓｌｏｗにする。図４（ａ）のプログラム線図では１段おきに絞り値を変化させる例を示しており、たとえば被写体輝度に対応する値である露出値ＥｖがＥｖ８からＥｖ９に変化した場合、Ａｖ３からＡｖ４に絞りが駆動される。また、例えばＥｖ８からＥｖ１１に変化した場合、Ａｖ３からＡｖ６に絞りが駆動される。Ｅｖ８からＥｖ１１への被写体の輝度変化に追従する場合、ライブビュー中に表示される画像の見栄えを考慮して徐々に露出を変化させればよく、その場合、絞りがＡｖ３→Ａｖ４、Ａｖ４→Ａｖ５、Ａｖ５→Ａｖ６といったように、３回絞り駆動が発生する。なお、図４（ａ）では光彩絞り機構の例として多段階に絞り制御可能なプログラム線図を示しているが、絞り機構が開放と小絞りの２段階しか制御できない場合、どのような被写体輝度変化量であったとしても、１回しか絞り駆動されない線図となる。
【００４２】
カメラのＳＷ１ボタンが押下された場合、図３のＳＷ１動作（３０１）を検知して静止画撮影のための準備として被写体への露出合わせ、ピント合わせ処理が行われる。ＰｒｅＡＥ（３１３）では被写体輝度を測定すると共に、この後行われるＡＦ（３１５）に適した絞り値に制御する処理が行われる。被写界深度は絞り径と関連があり、絞りが開放の場合深度が浅くなり、絞りが小絞りの場合深度が深くなる。被写体へのピント合わせは被写界深度が浅いほど厳密に合わせる必要があるため、ＡＦ（３１５）のためには可能な限り被写体深度が浅い絞り開放の状態にしておく。そうすることで、静止画撮影の露出制御のために絞りを変化させたとしても、被写体へピントが合った状態を維持することができる。ＡＦ（３１５）用のプログラム線図を図４（ｂ）に示しており、開放絞りを使用することを基本とし、被写体輝度が高輝度になりシャッター速度限界に達した場合に、絞りを絞りはじめる線図となっている。例えばＥｖ１１だった場合、図４（ａ）で示したＣｏｎｔｉｎｕｏｕｓＡＥ時のプログラム線図によればＡｖ６になっていて、図４（ｂ）で示したＡＦ用のプログラム線図によればＡｖ３になっている。すなわち、被写体輝度が変化しなくてもこの線図の切り替わりで絞り駆動が発生することとなる。
【００４３】
ＡＦ（３１５）の後、静止画撮影のための露出を決定するＡＥ（３１７）が行われる。静止画撮影の露出は、撮影モードごとにあらかじめ設計された複数のプログラム線図を使用したり、絞り値やシャッター速度をユーザーが任意に指定できるモードの場合はプログラム線図によらず指定された値を静止画用撮影に用いるなど、様々な仕様がある。図４（ｃ）に、ある撮影モードのプログラム線図例を示す。静止画撮影時は最も解像感が高まる絞り値を多用するといった画質を重視したプログラム線図にしたり、ブレを防ぐために速いシャッター速度を多用するといったプログラム線図にしたり、様々な考えに基づいて決定される。例えばＥｖ１１だった場合、図４（ｂ）のＡＦ用プログラム線図によればＡｖ３になっていて、図４（ｃ）の静止画撮影用プログラム線図によればＡｖ４になっている。すなわち、被写体輝度が変化しなくてもこの線図の切り替わりで絞り駆動が発生することとなる。
【００４４】
図３で示したシーケンスでは、ＡＥ（３１７）の時点で静止画撮影用の絞り値に制御するようにし、ＳＷ２動作（３０３）時に絞り駆動により発生するタイムラグを短くするようにしている。しかしながら、絞り駆動にかかる速度が十分速ければ、ＳＷ２動作後に静止画撮影で用いる絞り値に制御するシーケンスとしてもよい。
【００４５】
ＳＷ２動作３０３後、静止画撮影が行われるが、ストロボ撮影のためにフラッシュ発光を行う場合、どの程度の発光量が適切かを決定するためのＦｌａｓｈ調光処理３２１が撮影前に行われる。調光処理の結果、例えば至近距離にいる被写体や反射率が高い被写体の場合、最小発光量に設定しても白飛びが発生する可能性が高い場合がある。この対策として、ＡＥ３１７で決定された絞り値からさらに絞る場合がある。口径を小さくして撮像素子への入射光量を抑えれば、白飛びを抑えられる場合がある。
【００４６】
このように、図３で図示したシーケンスの各所で絞り駆動が発生する。ところが、ライブビュー中あるいは動画撮影中のように連続的に画像生成を行っている最中に絞り駆動を行う場合、絞り駆動中の様子が画像に映り込んでしまい、連続画像における画像の明るさが変動する場合がある。
【００４７】
図５に、撮像素子にＣＣＤを搭載した場合の絞り駆動例を示す。図５は、Ｆｒａｍｅ１（５１１）とＦｒａｍｅ２（５２１）で露出値Ｅｖを保ったまま、絞りとシャッター速度の組み合わせを変えるように制御する例を示している。Ｆｒａｍｅ１まではＥｖ９．１＝Ａｖ３．０＋Ｔｖ６．１−ΔＧａｉｎ０．０だったところ、Ｆｒａｍｅ２でＥｖ９．１＝Ａｖ４．０＋Ｔｖ５．１−ΔＧａｉｎ０．０というように、絞りを１段絞り、シャッター速度を１段遅くするように制御する。撮像素子の垂直同期信号ＶＤの周期（５０１）は３３．３ｍｓｅｃとしておく。
【００４８】
ＣＣＤの特長として、露光時間の制御は撮像素子の全画素を一括して露光開始及び露光終了のタイミングを指定できる構造となっており、一画像内における実露光時間の差は生じない。Ｆｒａｍｅ１のシャッター速度はＴｖ６．１＝約１４．６ｍｓｅｃとなっており、垂直同期期間の中ほどから露光が開始され、次のＶＤ信号付近で露光が終了される。Ｆｒａｍｅ２のシャッター速度はＴｖ５．２＝約２９．２ｍｓｅｃとなっており、垂直同期期間のほとんどが露光中となっている。ただし、Ｆｒａｍｅ１とＦｒａｍｅ２の間にはわずかながら非露光期間が存在しており、この非露光期間において絞り駆動を完了することができれば、Ｆｒａｍｅ１とＦｒａｍｅ２はいずれも所望の露出にすることができる。
【００４９】
非露光期間に絞り駆動を行うために図５では、Ｆｒａｍｅ１の露光完了を示すＥｎｄＥｘｐｏｓｕｒｅ１（５１７）から絞りをＡｖ３．０からＡｖ４．０に向けて駆動を開始している。しかし、絞り駆動にかかる時間であるＩｒｉｓＭｏｖｉｎｇ（５５１）は非露光期間より長く、絞り駆動中に次のＦｒａｍｅ２の露光が開始されてしまう。絞り駆動とＦｒａｍｅ２の露光が重なった期間であるＯｖｅｒｌａｐ（５２９）により、Ｆｒａｍｅ２の露出は所望していた露出にはならず、Ａｖ４．０ になるまでの分だけ露出オーバーとなってしまう。
【００５０】
このように絞り駆動と露光が重なることで所望露出に対して輝度変動が発生してしまった場合、ＣＣＤであれば補正することが容易である。ＣＣＤは露光開始及び露光終了を一括してタイミング制御できるために、輝度変動は画面全体に発生しており、若干の露出オーバーであれば、Ｆｒａｍｅ２のシャッター速度をその分だけ高速側に補正し、絞りによる露出オーバー分を相殺することが可能である。また、ゲインを調節して同様な補正を行うことも可能である。しかし、ＣＭＯＳセンサのようなライン単位で電荷蓄積と読み出しを順次行い、画像の上部と下部で実露光時刻に差異が生じる構造を持つ撮像素子の場合、ＣＣＤのように露出変動分を補正することが困難となる。
【００５１】
図６に、撮像素子にＣＭＯＳセンサを搭載した場合の絞り駆動例を示す。図６は図５と同様に、Ｆｒａｍｅ１（６１１）のＥｖ９．１＝Ａｖ３．０＋Ｔｖ６．１−ΔＧａｉｎ０．０ を Ｆｒａｍｅ２（６２１）のＥｖ９．１＝Ａｖ４．０＋Ｔｖ５．１−ΔＧａｉｎ０．０に制御する様子を示している。撮像素子の垂直同期信号ＶＤの周期（６０１） も 図５と同様に３３．３ｍｓｅｃとしておく。
【００５２】
ＣＭＯＳセンサは、撮像素子内に配置された画素のうち、水平方向の１ライン単位（画素グループ単位）で露光開始及び露光終了のタイミングを制御できる構造となっており、一画面内における実露光時刻はラインごとに異なっている。この様子を示すために図６では露光の様子を平行四辺形で図示し、画面上部ラインが先に露光され、画面下部ラインにいくに従い後に露光されていく様子を示している。
【００５３】
このようなＣＭＯＳ構造において、ＣＣＤと同様なタイミングで絞りをＡｖ３．０からＡｖ４．０に制御した場合、Ｆｒａｍｅ１の露光の途中から絞り値が変化し始めることになり、露光と絞り駆動の重複期間であるＯｖｅｒｌａｐ１（６１７） が発生してしまう。Ｆｒａｍｅ１はＡｖ３．０で露光すべきところ、絞り駆動の重複開始からＡｖ３．０ではなくなりはじめ、露光終了時点ではＡｖ４．０になってしまっている。Ｆｒａｍｅ２に関しても、露光と絞り駆動の重複期間であるＯｖｅｒｌａｐ２（６２７）において画面上部の露光を行っている最中にまだ絞り駆動が行われている。そのため、このラインの絞り値は所望していたＡｖ４．０にはならず、画面内（画像領域内）で輝度差が生じてしまうこととなる。
【００５４】
Ｆｒａｍｅ１から生成された表示画像イメージ（６６１）から分かるように、画面上部は所望のＡｖ３．０だったが、途中からＡｖ３．０〜Ａｖ４．０への絞り駆動が開始され、画面下部に至ってはＡｖ４．０になってしまう。またＦｒａｍｅ２から生成された表示画像イメージ（６７１）から分かるように、画面上部はまだＡｖ３．０〜Ａｖ４．０への絞り駆動中である。
【００５５】
このようにＣＭＯＳセンサにおいて、図５で示したＣＣＤと同様な露出制御を行った場合、２フレームにわたって所望の絞り値にならず、生成画像に輝度変動が発生してしまう。また、画面内で輝度差が生じてしまうため、ＣＣＤのように画面全体の露出を補正する手法が使用できず、補正が困難である。
【００５６】
上述のようにＣＭＯＳセンサは、露光中に絞り駆動を行って輝度変動が発生してしまってから変動分を補正するのは困難なため、できる限り露光と絞り制御が重複しないようにする必要がある。
【００５７】
図１４に、撮像素子に配置された画素と、画像として出力する領域の関係を図示する。（ａ）は画像のアスペクト比（縦横比）が４：３、（ｂ）は画像のアスペクト比が１６：９、（ｃ）はアスペクト比が４：３の画像の切り出し領域を狭くした電子ズーム（電子ズーム設定）の様子をそれぞれ示している。ちなみに、（ｂ）のアスペクト比が１６：９の画像は、水平方向サイズは４：３と同一とし、垂直方向のみの画像領域を狭くすることで実現している例である。
【００５８】
撮像素子に配置された画素全体（１４０１）に対し、画像として生成される画素領域（画像領域）は、アスペクト比（アスペクト比設定）や電子ズーム倍率に応じて設定される。（ａ）のアスペクト比が４：３の場合、Ｌｉｎｅ２から開始される領域（１４１１）内の画素が画像領域となるのに対し、（ｂ）のアスペクト比が１６：９の場合、Ｌｉｎｅ４から開始される領域（１４２１）内の画素が画像領域となる。（ｃ）のアスペクト比が４：３で電子ズームを行った場合、Ｌｉｎｅ５から開始される領域（１４３１）内の画素が画像領域となり、さらに電子ズームの場合はアスペクト比４：３を保ったまま画像領域を狭くするため、水平方向も領域が狭くなっている。
【００５９】
図１４の（ａ）、（ｂ）、（ｃ）いずれにおいても、撮像素子に配置された画素の信号（画素信号）全てが画像として出力されるわけではなく、画面上下、左右に、画像とはならない領域が存在する。この画像とはならない領域には遮光された領域も含まれており、画像生成時に必要な黒レベル基準を取るための画素として用いられる。
【００６０】
ＣＭＯＳセンサにおいてこのように配置された各画素には、ライン単位で露光蓄積の開始と終了が制御される。そのため、図１４のタイミング図に示したように、垂直同期信号ＶＤに対して、Ｌｉｎｅ０の蓄積開始、Ｌｉｎｅ１の蓄積開始、…というように蓄積開始はライン単位で順次行われる。また、蓄積データの転送も、Ｌｉｎｅ０の転送開始、Ｌｉｎｅ１の転送開始、…というように、こちらも順次行われる。この結果、各ラインの電荷蓄積時間であるＥｘｐｏｓｕｒｅＴｉｍｅ（１４０３）と、転送時間である ＲｅａｄＴｉｍｅ（１４０５） は、平行四辺形のイメージで表現される。
【００６１】
平行四辺形で表現された図のさらに網掛けの領域が画像領域ＩｍａｇｅＡｒｅａ（１４１１），（１４２１），（１４３１）となる。そして、画像として出力されるライン数によって、画像として出力される先頭ラインの露光開始から最終ラインの露光終了までの時間である必要露光期間ＴｏｔａｌＥｘｐｏｓｕｒｅＴｉｍｅ（１４１５），（１４２５），（１４３５）は異なってくる。図１４で示したように、画像領域となるライン数が多いほど必要露光期間は長くなる。
【００６２】
すなわち、同じ垂直同期信号ＶＤの周期、同じシャッター速度であっても、アスペクト比の設定や電子ズームの設定によって、垂直同期期間中において画像領域に露光する期間の長さ及び非露光期間の長さが異なる。すなわち、非露光期間に絞り駆動を行おうとする際、画像領域がどこかを考慮することが非常に重要となってくる。
【００６３】
図７に図６の例と同様に、Ｆｒａｍｅ１のＥｖ９．１＝Ａｖ３．０＋Ｔｖ６．１−ΔＧａｉｎ０．０から、Ｆｒａｍｅ２のＥｖ９．１＝Ａｖ４．０＋Ｔｖ５．１−ΔＧａｉｎ０．０に制御する際、画像領域を考慮して非露光期間を確保して絞り駆動を行う場合を示す。なお、図７では、図１４（ａ）と同様に４：３のアスペクト比が設定されているとする。
【００６４】
図６では、Ｆｒａｍｅ（６１１）のシャッター速度Ｔｖ６．１からＦｒａｍｅ２（６２１）のシャッター速度Ｔｖ５．１へすぐに制御し、Ｆｒａｍｅ１とＦｒａｍｅ２の両フレームへの露光が行われている最中に絞り駆動を行った。それに対して、本発明を適用した図７では、Ｆｒａｍｅ１（７１１）とＦｒａｍｅ２（７３１）の間に、絞り駆動用Ｆｒａｍｅ２’（７２１）を設ける。絞り駆動用Ｆｒａｍｅ２’はＦｒａｍｅ２（６２１）のシャッター速度Ｔｖ５．１よりもシャッター速度を高速化している。すなわち、Ｆｒａｍｅ２’における電荷蓄積時間が短くなるように蓄積時間制御を行う。そうすることで、Ｆｒａｍｅ１の最終ラインの露光の終了ＥｎｄＥｘｐｏｓｕｒｅ１（７１７）から、Ｆｒａｍｅ２’の先頭ラインの露光の開始 ＳｔａｒｔＥｘｐｏｓｕｒｅ２’（７２７）までの間に非露光期間を確保している。
【００６５】
具体的には、シャッター速度をＴｖ８．１まで速めることで、絞り駆動所要時間ＩｒｉｓＭｏｖｉｎｇ（７５１）を確保し、ＥｎｄＥｘｐｏｓｕｒｅ１（７１７）に応じて絞り駆動を開始することで、非露光期間に絞り駆動を行うことができる。このとき、Ｆｒａｍｅ２のシャッター速度Ｔｖ５．１に対し、３段も高速なＴｖ８．１にしているため、このままではその分露出アンダーになってしまう。この露出アンダー分はゲインΔＧにより３段分増感し、Ｅｖ９．１を保つように補正を行う。このようにして絞り駆動を行った後、Ｆｒａｍｅ２’の次のフレームで本来の目標露出である Ｔｖ５．１、ΔＧ０．０ へ制御する。このように、目標露出へ移行する前にシャッター速度を高速にして絞り駆動が可能な非露光期間を設けることで、連続したＦｒａｍｅ１、Ｆｒａｍｅ２’、Ｆｒａｍｅ２の露出を安定させた状態で、絞りをＡｖ３．０からＡｖ４．０へ制御することが可能となる。
【００６６】
続いて図８に、アスペクト比が１６：９の場合や電子ズームを行っている場合のように、図７で示したアスペクト比が４：３の場合に対して画像として出力されるラインが少ない設定でのタイミング図を示す。Ｆｒａｍｅ１（８１１）と、Ｆｒａｍｅ２（８３１）は、図７と同様に、Ｆｒａｍｅ１のＥｖ９．１＝Ａｖ３．０＋Ｔｖ６．１−ΔＧａｉｎ０．０から、Ｆｒａｍｅ２のＥｖ９．１＝Ａｖ４．０＋Ｔｖ５．１−ΔＧａｉｎ０．０に制御するものとする。
【００６７】
アスペクト比や電子ズームにより画像として出力されるラインが少なくなった場合、画像として出力される最終ラインの露光終了ＥｎｄＥｘｐｏｓｕｒｅ１（８１７）は早くなる。このため、非露光期間に絞り駆動を行おうとすれば、図８は図７に対して早く絞り駆動を開始することが可能となる。これに伴い、図７に比べてＡｖ４．０への絞り駆動も早く終了することとなり、Ｆｒａｍｅ２’の先頭ラインの露光開始も早く開始することが可能となる。これはすなわち、非露光期間を確保するために必要なシャッター速度は図７に比べて低速にできることを意味しており、高速シャッター化に伴うゲインアップ量も少なくて済むことになる。ゲインアップはＳ／Ｎの悪化を伴い画質の低下を招くため、ゲインアップは必要最小限に留めることが望ましい。
【００６８】
そのため、図７と図８は、Ｆｒａｍｅ１からＦｒａｍｅ２へ変化させる露出は全く同じであるが、アスペクト比や電子ズームの設定により、Ｆｒａｍｅ２’において最適なシャッター速度、最適なゲインアップ量はそれぞれ異なっている。図７と図８を比較すると、Ｆｒａｍｅ２’におけるゲインアップ量は図８のほうが少ないため、図８のほうが連続したＦｒａｍｅ１、Ｆｒａｍｅ２’、Ｆｒａｍｅ２の画質も安定し、好適な画像を表示することができる。
【００６９】
以上、図７及び図８では、シャッター速度を高速にすることで非露光期間を確保し、非露光期間に絞り駆動を行うことができた例を説明したが、図９では、シャッター速度を高速にしても非露光期間を確保できない例を示す。
【００７０】
垂直同期期間において画像出力されるラインへの露光がいつ終わるかは、アスペクト比や電子ズームの設定以外にも、撮像素子駆動クロック周波数、撮像素子から読み出す画素数、垂直同期信号ＶＤの周期などのハードウェアスペックも含む様々な要因に左右される。
【００７１】
図９は、図７と同様にアスペクト比が４：３の場合のタイミングチャートであり、Ｆｒａｍｅ１、Ｆｒａｍｅ２’、Ｆｒａｍｅ２の露出、撮像素子から読み出す画素数、垂直同期信号ＶＤの周期も同様である。一方、撮像素子駆動クロック周波数を低下させ、１画素あたりの読み出しに掛かる時間が長くなっている。１画素あたりの読み出しに時間がかかった結果、図９のように１フレームにかかる読み出し形状がより偏平な平行四辺形となっているのが分かる。
【００７２】
図９のＦｒａｍｅ１の最終ラインの露光終了ＥｎｄＥｘｐｏｓｕｒｅ１（９１７）のタイミングは、図７に比べて相対的に遅くなっており、次の Ｆｒａｍｅ２’の先頭ラインの露光開始 ＳｔａｒｔＥｘｐｏｓｕｒｅ２’（９２７）に接近しているのが分かる。この結果、図７と図９はＦｒａｍｅ２’のシャッター速度を同じＴｖ８．１にしているにも関わらず、確保できる非露光期間に差があることが分かる。これでは絞り駆動にかかる時間ＩｒｉｓＭｏｖｉｎｇ（９５１）を確保できず、絞り駆動のタイミングによらず、露光期間に重複することなく非露光期間内に絞り駆動を行うことができない。図９では、Ｆｒａｍｅ１の下部に重複期間Ｏｖｅｒｌａｐ１（９１９）と、Ｆｒａｍｅ２’の上部に重複期間Ｏｖｅｒｌａｐ２’（９２９）が存在する様子が示されている。
【００７３】
シャッター速度の高速化による非露光期間の確保が困難な場合に、垂直同期信号ＶＤの周期を伸ばすことで非露光期間を確保する様子を図１０に示す。
【００７４】
図１０は、Ｆｒａｍｅ１のＥｎｄＥｘｐｏｓｕｒｅ１（１０１７）から Ｆｒａｍｅ２’の ＳｔａｒｔＥｘｐｏｓｕｒｅ２’（１０２７）までの間に必要な非露光期間を確保できるように垂直同期信号ＶＤの周期を長くしている。すなわち、図１０は図９に比べて絞り駆動を行う垂直同期期間を長くしている。そのため、Ｆｒａｍｅ２’の ＳｔａｒｔＥｘｐｏｓｕｒｅ２’（１０２７）が遅くなり、ＩｒｉｓＭｏｖｉｎｇ（１０５１）に十分な非露光期間が確保される。
【００７５】
なお、ライブビュー中などのように、垂直同期信号の周期への規定が緩い場合はこの方法が適用できるが、例えばＮＴＳＣにて動画撮影を行う際などでは、２９．９７fps という周期を守る必要があり、周期を伸ばすという方法は適さない。
【００７６】
図１０に示したようにして垂直同期信号の周期を伸ばすことができなくて十分な非露光期間の確保が困難な場合、絞り駆動のタイミングによらず絞り駆動と露光期間が重複される。しかしながら、絞り駆動の様子が反映され、あるラインに輝度変動が発生したとしても、撮影シーンによっては輝度変動が目立たない場合がある。
【００７７】
図１１に撮影シーン例を示す。図１１（ａ）は、画面上部に輝度が高めな空、画面下部に輝度が低めな地面が配置されている。このようなシーンにおいて、画面上部、あるいは下部のラインを露光している最中に絞り駆動が行われていた場合、輝度変動が映り込んでしまう。図１１（ｂ）、（ｃ）は、その様子を示したものであるが、図１１（ｂ）では、輝度が高めな上部領域に輝度変動が発生し、さらに露出オーバーになった様子を示している。これに対し図１１（ｃ）では、輝度が高めな上部領域に輝度変動が発生し、周辺領域よりも輝度が低くなっている。図１１（ｂ）と図１１（ｃ）を比較すると、周辺領域の輝度の影響から図１１（ｂ）のほうが図１１（ｃ）よりも輝度変動が目立ちにくい。これと同様に、図１１（ｂ）の下部領域が輝度変動によりさらに露出アンダーになるほうが、図１１（ｃ）の下部領域が周辺領域よりも輝度が高くなるよりも、輝度変動が目立ちにくい。
【００７８】
このように、画面内の上下領域の輝度と、絞り駆動による輝度変動が明るくなる変動か／暗くなる変動か、の組み合わせによっては、輝度変動が目立ちにくい組み合わせが存在する。そのため、非露光期間に絞り駆動を行えない場合、Ｆｒａｍｅ１の画像領域の下部ラインの露光中に絞り駆動を行うか、Ｆｒａｍｅ２’の画像領域の上部ラインの露光中に絞り駆動を行うかをシーンから判断し、絞り駆動開始タイミングを補正する。
【００７９】
図１２は、画面内の上下領域の輝度を抽出するために、画面内をブロックに分割した様子を示している。このようにブロック分割して各ブロックから輝度成分Ｙ値を抽出する作業は画像処理回路５０で可能となっている。ブロック分割して得られた各ブロックのＹ値のうち、画面の上部領域の輝度値としてＬｉｎｅ０とＬｉｎｅ１のブロックの平均Ｙ値ＡｖｅＹＴｏｐ（１２０１）を算出する。また、画面の下部領域の輝度値としてＬｉｎｅ１０とＬｉｎｅ１１のブロックの平均Ｙ値ＡｖｅＹＢｏｔｔｏｍ（１２０３）を算出する。図１２では画面内を等分割しているが、画面内の上下領域の輝度平均や輝度分布を直接出力する構成としてもよい。
【００８０】
図９のように絞りをＡｖ３からＡｖ４に絞る場合、絞り駆動開始タイミングが早いとＦｒａｍｅ１の下部領域が暗くなり、絞り駆動開始タイミングが遅いとＦｒａｍｅ２’の上部領域が明るくなる。あらかじめ、Ｆｒａｍｅ１以前の絞りを駆動していない画像データを用いて画面内の上下領域の輝度値ＡｖｅＹＴｏｐ、ＡｖｅＹＢｏｔｔｏｍを算出しておく。そして、絞りを小絞り方向へ閉じる際、画面の下部領域が暗ければ（輝度値が所定値以下であれば）図９において絞り駆動タイミングを早くしてＦｒａｍｅ１の下部ラインを露光している最中に絞り駆動を行う。また、画面の上部領域が明るければ（輝度値が所定値以上であれば）絞り駆動タイミングを遅くしてＦｒａｍｅ２’の上部ラインを露光している最中に絞り駆動を行うようにする。同様に、絞りを開放方向へ開く際、画面の下部領域が明るければ絞り駆動タイミングを早くしてＦｒａｍｅ１の下部ラインを露光している最中に絞り駆動を行う。また、画面の上部領域が暗ければ絞り駆動タイミングを遅くしてＦｒａｍｅ２’の上部ラインを露光している最中に絞り駆動を行うようにする。
【００８１】
このように、露光中に絞り駆動を行うことで輝度変動は発生してしまうが、シーンに応じて絞り駆動タイミングを早め／遅めに補正することで、輝度変動を目立ちにくく軽減することができる。
【００８２】
以下に、フローチャートを用いて露出制御動作を説明する。図１５は本実施形態の露出制御を搭載したカメラの全体フローチャートである。
【００８３】
カメラ１００の電源投入ボタン１０２が押下されてから、システム制御を司るＣＰＵ起動、メモリ等への電源供給が行われ、カメラシステムが起動する（Ｓ１０１）。その後、カメラでの撮影動作に必要なレンズ１０の繰り出し処理や、メカニカルシャッター１２、絞り１４ といった各種デバイス、撮像素子１６、画像表示装置１０８などのデバイスが起動される（Ｓ１０３）。カメラ起動直後からライブビューを行って画像表示装置１０８に被写体画像の表示を行う場合には、画像表示装置１０８に表示される画像（以下、ライブ画像とする）の露出、色、ピントが適切になるように、ＡＥ／ＡＷＢ／ＡＦ処理が開始される（Ｓ１０５）。なお、ＡＥ／ＡＷＢ／ＡＦ処理はシステム制御回路６０により制御される。その後、システム制御回路６０は画像表示装置１０８にライブ画像をさせる（Ｓ１０７）。
【００８４】
ライブビュー中は、ライブ画像の露出、色、ピントを被写体に合わせ続けるためのＡＥ／ＡＷＢ／ＡＦ処理がそれぞれ繰り返し行われる（Ｓ１１３，Ｓ１１５，Ｓ１１７）。ＡＥ処理では図４（ａ）に示したＣｏｎｔｉｎｕｏｕｓＡＥ用のプログラム線図に従って被写体輝度変化に応じた露出制御を行い、ここで絞り制御が発生する場合がある。
【００８５】
撮影準備動作指示としてＳＷ１ボタンが押下（Ｓ１２１）されると、システム制御回路６０は被写体輝度を測定する測光処理により被写体輝度を取得する。そして、このあと行われるＡＦ処理（Ｓ１２５）のために図４（ｂ）に示したＡＦ用のプログラム線図に従ってＡＦに適した露出に制御され（Ｓ１２３）、ここでも絞り制御が発生する場合がある。
【００８６】
ＡＦ後、システム制御回路６０は静止画撮影用の露出を図４（ｃ）の静止画撮影プログラム線図に基づいて決定し、この時点で静止画撮影用の絞り値に制御しておく（Ｓ１２７）。
【００８７】
ＳＷ２が押下されたことを検出した場合（Ｓ１４１）、撮影処理を開始する（Ｓ１６１）。ただし、低照度環境下での撮影や逆光シーンでの撮影で、ストロボ発光が有効な場合にはストロボ発光量を決定するための調光動作を撮影前に行う（Ｓ１５３）。例えば被写体が至近距離にいる場合、発光管で実現可能な最小発光量に設定してもストロボ発光による露出オーバーの発生が懸念される場合があり、このとき、絞りを小絞り方向に絞ることで露出オーバーを抑えることができるため、絞りが制御される場合がある。
【００８８】
図１５のフローチャート中においてＣｏｎｔｉｎｕｏｕｓＡＥ（Ｓ１１３）、ＳＷ１ＰｒｅＡＥ（Ｓ１２３）、ＳＷ１ＡＥ（Ｓ１２７）の各処理において、絞り駆動による輝度変動を軽減するためのシステム制御回路６０の処理フローを図１６に示す。図１３で示したタイミングチャートに図示した各種タイミングも併用して説明する。
【００８９】
まず撮像素子駆動情報として、垂直同期信号周期ＶＤＴｉｍｅ（１３１３）と、垂直同期信号基準 ＶＤＲｅｆｅｒｅｎｃｅ（１３１１）から画像領域最終ラインの読み出しが開始されるまでの時間ＲｅａｄＴｉｍｅ（１３２１）を取得する（Ｓ２０１）。続いて、絞り駆動情報として、現在の絞り値から目標の絞り値までの駆動にかかる時間ＩｒｉｓＭｏｖｅＴｉｍｅ（１３２３）を算出する（Ｓ２０３）。ステッピングモータ等により所定速度で絞りを駆動する機構の場合、駆動速度ＩｒｉｓＭｏｖｅＳｐｅｅｄと、駆動量ＩｒｉｓＭｏｖｅＤｉｓｔａｎｃｅをもとにＩｒｉｓＭｏｖｅＴｉｍｅ を算出する。バネ機構により絞りを駆動するような、駆動速度を任意に指定する機構が無い場合、絞り開閉にかかる時間をあらかじめ内部に保持しておき、それをＩｒｉｓＭｏｖｅＴｉｍｅ として読み出して使用してもよい。
【００９０】
非露光期間に絞り駆動を行うためにＦｒａｍｅ２’の露光時間をいかほどにすればよいかを算出する（Ｓ２０５）。垂直同期信号周期ＶＤＴｉｍｅ（１３１３）から、ＲｅａｄＴｉｍｅ（１３２１）とＩｒｉｓＭｏｖｅＴｉｍｅ（１３２３）の和を減じた時間が Ｆｒａｍｅ２’の必要露光時間ＥｘｐｏｓｕｒｅＴｉｍｅ２’となる。続いて、算出した必要露光時間ＥｘｐｏｓｕｒｅＴｉｍｅ２’が、あらかじめ定義されている最短露光時間ＭｉｎＥｘｐｏｓｕｒｅＴｉｍｅ内にあるかをチェックする（Ｓ２０７）。最短露光時間は撮像素子を含むハードウェアの制御限界から設定されたり、シャッター速度が速すぎると動きのある被写体で不自然な連続画像となってしまうために画質的な観点から設定されたりする。算出した露光時間ＥｘｐｏｓｕｒｅＴｉｍｅ２’が実現可能な場合はこれが採用されるが、実現不可の場合、垂直同期信号の周期（以下、ＶＤ周期とする）を長くすることが可能か及び絞り駆動速度の高速化が可能かをチェックする。
【００９１】
まず、必要露光時間ＥｘｐｏｓｕｒｅＴｉｍｅ２’が実現不可の場合、実現するにはどの程度ＶＤ周期を長くすればよいかを算出し（Ｓ２１１）、そのあと本露光時間ＥｘｐｏｓｕｒｅＴｉｍｅ２’（１３２５）を最短露光時間ＭｉｎＥｘｐｏｓｕｒｅＴｉｍｅに決定する。動画記録を行わないライブビュー中であればＶＤ周期の規定が緩いためＶＤ伸長が可能と判断され（Ｓ２１５）、ＶＤ伸長が可能であれば先に算出しておいた不足時間ＯｖｅｒｌａｐＴｉｍｅ２’を加算したＶＤＴｉｍｅ２’を算出する。そして、これをＦｒａｍｅ２’のＶＤ周期として設定する。動画撮影中につきＶＤ伸長が不可である場合、絞り駆動速度を高速化することが可能であるかをチェックする（Ｓ２２１）。絞り駆動速度を速める余地がある場合、現状の非露光期間内で所望の絞り値まで制御できるように絞り駆動速度を算出し直し、絞り駆動速度上限の範囲内でＩｒｉｓＭｏｖｅＳｐｅｅｄ２’を算出する（Ｓ２２３）。ここまでで、補正のための露光時間ＥｘｐｏｓｕｒｅＴｉｍｅ２’が決定され、各種状況に応じて可能であればＶＤ伸長時間の算出、絞り駆動速度の算出が行われたこととなる。
【００９２】
補正用露光時間と、本来目標としていた露光時間のシャッター速度をそれぞれ、Ｔｖ２’、Ｔｖ２として算出する（Ｓ２３１）。Ｔｖ２は本来の制御目標シャッター速度であり、Ｔｖ２’は非露光期間を確保するためのシャッター速度であり、Ｔｖ２’とＴｖ２の差分が高速シャッター化による露出のアンダー分となる。このため、ゲインにて高速シャッター化による露出アンダー分を補正する（Ｓ２３３）。本来の制御目標ゲインであるΔＧａｉｎ２に、Ｔｖ２’とＴｖ２の差分を加えたものが補正用のゲイン値ΔＧａｉｎ２’となる。
【００９３】
ゲインによる増感により画像のＳ／Ｎが悪化しすぎないように、あらかじめ補正ゲインの上限ΔＭａｘＧａｉｎ を設定しておき（補正範囲を決めておき）、算出したΔＧａｉｎ２’が上限範囲内であるかをチェックする（Ｓ２３５）。上限を超えている場合、補正ゲインΔＧａｉｎ２’を上限値ΔＭａｘＧａｉｎに設定し、増感できない段数分は、先に求めた補正シャッター速度Ｔｖ２’から減じておく（Ｓ２３９）。上記により補正シャッター速度Ｔｖ２’、補正ゲインΔＧａｉｎ２’が算出され、絞り駆動開始時刻をＦｒａｍｅ１の画像領域の最終ラインの露光が終了した ＲｅａｄＴｉｍｅに設定する（Ｓ２３７）。以上のようにして、非露光期間内に絞り駆動を行うための各種条件が決定される。
【００９４】
図１６のフローで非露光期間絞り駆動を行うための各種条件を決定した結果、非露光期間に絞り駆動を行うことができない場合、図１７のフローチャートを適用し、シーンに応じて輝度変動が目立たない絞り駆動タイミングを設定する。
【００９５】
まず、画像処理回路５０であらかじめ絞り駆動前に生成された画像を用い、図１２に示したように画面内をブロック分割して各ブロックのＹ値を算出する（Ｓ３０１）。次に、システム制御回路６０は、ブロックＹ値を用い、画面の上部領域のブロックの平均Ｙ値ＡｖｅＹＴｏｐ、画面の下部領域のブロックの平均Ｙ値ＡｖｅＹＢｏｔｔｏｍを算出する（Ｓ３０３，Ｓ３０５）。本実施形態では上下それぞれの２ブロック分を対象としているが、対象ブロックは任意に設定してもよい。
【００９６】
続いて、システム制御回路６０は、絞り駆動方向に応じて条件分けを行う（Ｓ３０７）。絞り駆動方向が開方向であるか閉方向であるかによって、絞り駆動タイミングをずらした場合に生じる輝度変動に差があるためである。絞り駆動方向が閉方向の場合、システム制御回路６０は、画面の下部領域のＹ値が所定条件ＴｈＹＤａｒｋよりも暗いかどうかをチェックする（Ｓ３１１）。下部領域が暗いシーンであれば、暗い領域のＹ値レベルがさらに下がったとしても目視上は輝度変動が目立ちにくい。そのため、システム制御回路６０は、絞り駆動タイミングを早くしてＦｒａｍｅ１の画面下部ラインの露光中に絞りを閉方向に制御するようにタイミング補正を行う（Ｓ３１３）。画面の下部領域のＹ値が所定条件ＴｈＹＤａｒｋよりも暗くなかった場合、システム制御回路６０は、今度は画面の上部領域のＹ値が所定条件ＴｈＹＬｉｇｈｔよりも明るいかどうかをチェックする（Ｓ３２１）。上部が明るいシーンであれば、明るい領域のＹ値レベルがさらに上がったとしても目視上は輝度変動が目立ちにくい。そのため、システム制御回路６０は、絞り駆動タイミングを遅くしてＦｒａｍｅ２’の画面上部ラインの露光中に絞りを閉方向に制御するようにタイミング補正を行う（Ｓ３２３）。
【００９７】
Ｓ３０７にて絞り駆動方向が開方向と判断した場合は、閉方向と同様な考え方に基づき、システム制御回路６０は、画面内の上下領域のＹ値に応じて、絞り駆動タイミングの補正を行う（Ｓ３４３，Ｓ３３３）。これにより、目視上の輝度変動を軽減する。
【００９８】
以上のように、ライブビュー中や動画撮影中に連続画像生成している状態で絞り駆動を行う際、画像領域の画素に電荷蓄積を行っていない期間である非露光期間に応じて絞り駆動を行うようにし、連続画像における画像の明るさを変動しにくくすることが可能となる。
【図１】
0005759190.tif 000002
【図２】
0005759190.tif 000003
【図３】
0005759190.tif 000004
【図４】
0005759190.tif 000005
【図１６】
0005759190.tif 000006
【図１７】
0005759190.tif 000007
【図５】
0005759190.tif 000008
【図６】
0005759190.tif 000009
【図７】
0005759190.tif 000010
【図８】
0005759190.tif 000011
【図９】
0005759190.tif 000012
【図１０】
0005759190.tif 000013
【図１１】
0005759190.tif 000014
【図１２】
0005759190.tif 000015
【図１３】
0005759190.tif 000016
【図１４】
0005759190.tif 000017
【図１５】
0005759190.tif 000018