(57)【要約】【課題】複数の異なる露光量で繰り返し撮像して得られる画像信号をもとに画像データを生成可能な撮像装置においてＡＦ速度の低下を抑制する。【解決手段】ＡＦ評価値生成部１１８は、複数の異なる露光量の露光それぞれに対応して撮像回路１０６から出力される画像信号に処理をし、撮影レンズ１５０の焦点調節状態を評価する指標であるＡＦ評価値を逐次生成する。補正処理部１２０は、同一の撮影シーン、同一の焦点調節状態のときに出力される画像信号を処理したときに、露光量の違いによらず略同一のＡＦ評価値が得られるように、ＡＦ評価値生成部１１８に入力される画像信号またはＡＦ評価値生成部１１８で生成されたＡＦ評価値に補正をする。焦点調節制御部１２４は、ＡＦ評価値生成部１１８で生成されたＡＦ評価値に基づき、より鮮鋭な像が得られるようにフォーカス駆動部１５６へ制御信号を出力する。【選択図】図１
2011232671.tif 000002
【特許請求の範囲】
【請求項１】
撮影光学系によって形成される被写体像を撮像して画像信号を生成する撮像部であって、複数の異なる露光量で露光動作を行うことを周期的に繰り返し、それぞれの露光動作に対応して画像信号を逐次出力することが可能な撮像部と、
前記それぞれの露光動作に対応して前記撮像部から出力される画像信号を逐次処理し、記録用画像データおよび再生用画像データのうち少なくともいずれかを生成する画像処理部と、
前記それぞれの露光動作に対応して逐次出力される画像信号のそれぞれに対して処理を行い、前記撮影光学系の焦点調節状態を評価する指標であるＡＦ評価値を逐次生成するＡＦ評価値生成部と、
前記ＡＦ評価値に基づき、前記撮影光学系により形成される被写体像がより鮮鋭となるように前記撮影光学系の焦点調節動作の制御を行う焦点調節制御部と、
同一の撮影シーンにおいて同一の焦点調節状態であるときに出力される画像信号を処理したときには、露光量の違いによらず略同一のＡＦ評価値が得られるように、前記ＡＦ評価値生成部で処理する前の画像信号または前記ＡＦ評価値生成部で生成されたＡＦ評価値に対して補正処理をする補正処理部と
を備えることを特徴とする撮像装置。
【請求項２】
前記画像処理部は、前記複数の異なる露光量で周期的に繰り返される露光動作に対応して出力される画像信号中から一周期分の画像信号を用いて合成処理し、それにより被写体のより広い輝度範囲に対応した階調を再現可能な画像データを生成する処理を実行可能に構成されることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記補正処理部は、前記ＡＦ評価値生成部で処理する前の画像信号または前記ＡＦ評価値生成部で生成されたＡＦ評価値に対して前記補正処理をする際に、前記撮像部において前記複数の異なる露光量で周期的に露光動作が繰り返される際の露光量の比に基づき、前記補正処理を行うことを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記撮像部から出力される画像信号を解析し、前記撮像部で撮像された画像中での被写体の動き量を検出する動き量検出部をさらに備え、
前記動き量検出部で検出された前記被写体の動き量が予め定められた閾値を下回る場合には、前記補正処理部における前記補正処理を行わず、前記焦点調節制御部が、前記複数の異なる露光量で露光動作を行うことが周期的に繰り返されるのに対応して前記撮像部から逐次出力される画像信号中から、各周期に対応して出力される複数の画像信号のうちのいずれかを処理して生成されるＡＦ評価値に基づき、前記焦点調節動作の制御を行う
ことを特徴とする請求項１から３のいずれか一つに記載の撮像装置。
【請求項５】
前記撮像部から出力される画像信号を解析し、前記撮像部で撮像された画像中での被写体の動き量を検出する動き量検出部をさらに備え、
前記動き量検出部で検出された前記被写体の動き量が予め定められた閾値を下回る場合には、前記補正処理部における前記補正処理を行わず、前記ＡＦ評価値生成部が、前記複数の異なる露光量で露光動作を行うことが周期的に繰り返されるのに対応して前記撮像部から逐次出力される画像信号中から、各周期に対応して出力される複数の画像信号のうちの少なくとも二つの画像信号を処理して一つのＡＦ評価値を生成することを周期毎に繰り返し行う
ことを特徴とする請求項１から３のいずれか一つに記載の撮像装置。
【請求項６】
前記ＡＦ評価値生成部は、前記複数の異なる露光量で露光動作を行うことが周期的に繰り返されるのに対応して前記撮像部から逐次出力される画像信号中から、各周期に対応して出力される複数の画像信号全てに対応して前記ＡＦ評価値をそれぞれ生成し、
前記焦点調節制御部は、一つの周期に対応して得られる複数の前記ＡＦ評価値中、最も良いＡＦ評価値に基づいて前記焦点調節動作の制御を行う
ことを特徴とする請求項４に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子から読み出される画像信号を処理して画像データを生成可能な撮像装置に関する。
【背景技術】
【０００２】
デジタルスチルカメラ、デジタルムービーカメラを始めとする撮像装置において、自動焦点調節（以下では「ＡＦ」と称する）機能を有するものが一般的となっている。中でもコントラストＡＦ方式は、比較的簡易な構成で実現可能なことと、動画撮影中に焦点調節が可能なことから、搭載される製品は増えている。コントラストＡＦ方式では、撮像素子から読み出された画像信号を処理して得た画像データにフィルタ処理等が行われ、空間周波数の高い成分の値が最大となるように焦点調節レンズが駆動される。
【０００３】
一方、コントラストＡＦ方式は、位相差検出方式等、他のＡＦ方式に対して合焦速度が課題となっている。コントラストＡＦ方式では、焦点調節状態の検出動作と焦点調節動作とが繰り返し行われる。それ故、合焦速度を増すためには、焦点調節用レンズの移動速度を増すのに加えて、撮像素子から画像信号を読み出す際のフレームレートを増し、それにより焦点調節状態の検出動作を繰り返し行う際の時間間隔を短縮することが効果的である。
【０００４】
ところで、太陽光の当たっている部分と日陰とが同時に存在するような、明暗差の大きい条件で撮影をすると、太陽光の当たっている部分では白とびを生じ、日陰部分では黒つぶれを生じることがある。これは撮像素子および撮像素子から出力される画像信号を処理する処理系のダイナミックレンジに制限があることにより生じる。
【０００５】
こうした白とび、黒つぶれの課題を解決する一つの方法として、以下に説明する「高ダイナミックレンジ合成」方式が知られている（以下、「高ダイナミックレンジ」の英語訳である「High Dynamic Range」の頭文字をとり、「ＨＤＲ」と称する）。ＨＤＲ方式では、同じ被写体に対して互いに異なる露光量で複数回の撮影をして得た複数の画像中で階調の良好に再現されている情報を用いて合成し、一つの画像を得ることにより、画像中の明部から暗部に至るまでの階調を再現可能とする。
【０００６】
上記ＨＤＲ方式での撮影が可能な撮像装置でコントラストＡＦを行うものとして、特許文献１に開示されるものがある。特許文献１に開示される撮像装置では、異なる露光条件で時間的に隣接したタイミングで撮像して得られた複数の画像を得る。そして、これら複数の画像の各々に含まれる高周波成分である焦点電圧を各々の画面から検出して比較する。予め定められた選択基準に基づき、これら複数の焦点電圧のいずれか一つを選択して出力し、出力された焦点電圧により自動焦点調節が行われる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００２−３２３６４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１に開示される技術においては、複数の画像それぞれから検出された焦点電圧が比較され、選択された焦点電圧によって焦点調節（焦点調節状態の確認）が行われる。コントラストＡＦでは、上述したように焦点調節用のレンズを移動させながら焦点調節状態の確認が繰り返し行われ、それによって焦点調節用のレンズが合焦位置に到達するように位置制御が行われる。したがって、焦点調節状態を繰り返し検出する際の時間間隔の長さ（焦点調節状態検出周期）がＡＦ速度（焦点調節を開始してから完了するまでの時間の長さ）に影響を与える。
【０００９】
この点、特許文献１に開示されるものでは、複数回の撮像をして初めて１回の焦点調節状態検出動作が可能となる。例えば、撮像素子が３０ｆｐｓのフレームレートで画像信号を出力可能な撮像素子からの画像信号によって１フレーム分のＨＤＲ画像を得るために２回の露光動作が行われる場合、上記の焦点調節状態検出周期は１／１５秒となる。つまり、焦点調節状態の検出が１秒間に１５回しか行えないため、ＡＦ速度が低下する。
【００１０】
本発明は上記の問題に鑑みてなされたもので、複数の異なる露光量で露光することを周期的に繰り返して撮像して得られる画像信号をもとに画像データを生成可能な撮像装置において、ＡＦ速度の低下を抑制可能とする技術を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明は、撮像装置に適用される。この撮像装置が、
撮影光学系によって形成される被写体像を撮像して画像信号を生成する撮像部であって、複数の異なる露光量で露光動作を行うことを周期的に繰り返し、それぞれの露光動作に対応して画像信号を逐次出力することが可能な撮像部と、
前記それぞれの露光動作に対応して前記撮像部から出力される画像信号を逐次処理し、記録用画像データおよび再生用画像データのうち少なくともいずれかを生成する画像処理部と、
前記それぞれの露光動作に対応して逐次出力される画像信号のそれぞれに対して処理を行い、前記撮影光学系の焦点調節状態を評価する指標であるＡＦ評価値を逐次生成するＡＦ評価値生成部と、
前記ＡＦ評価値に基づき、前記撮影光学系により形成される被写体像がより鮮鋭となるように前記撮影光学系の焦点調節動作の制御を行う焦点調節制御部と、
同一の撮影シーンにおいて同一の焦点調節状態であるときに出力される画像信号を処理したときには、露光量の違いによらず略同一のＡＦ評価値が得られるように、前記ＡＦ評価値生成部で処理する前の画像信号または前記ＡＦ評価値生成部で生成されたＡＦ評価値に対して補正処理をする補正処理部と
を備えることにより、上述した課題を解決する。
【発明の効果】
【００１２】
本発明によれば、撮影光学系での焦点調節動作を速めて、合焦するまでの時間を短縮することが可能となる。
【図面の簡単な説明】
【００１３】
【図１】本発明が適用される撮像装置の概略的構成を示すブロック図である。
【図２】複数の異なる露光量で周期的に繰り返される露光動作に対応して出力される画像信号を用いてＡＦ評価値を導出した場合にＡＦ評価値が振動する様子を示す図である。
【図３】複数の異なる露光量で周期的に繰り返される露光動作に対応して逐次出力される異露光画像信号をもとにＨＤＲ画像およびＡＦ評価値が生成される様子を説明するタイムチャートである。
【図４】ＡＦ動作制御手順を概略的に説明するフローチャートである。
【図５】画像信号選択処理手順を概略的に説明するフローチャートである。
【図６】必要とする露光量に応じてパルス状の露光を行う回数を変化させる方式の撮像装置において、複数の異なる露光量で周期的に繰り返される露光動作に対応して逐次出力される異露光画像信号をもとにＨＤＲ画像およびＡＦ評価値が生成される様子を説明するタイムチャートである。
【発明を実施するための形態】
【００１４】
図１は、本発明の実施の形態に係る撮像装置１００の概略的構成を説明するブロック図である。図１に示される撮像装置１００は、レンズ一体式のいわゆるコンパクトデジタルスチルカメラやムービーカメラであってもよいし、撮影レンズ交換式のムービーカメラやデジタル一眼レフレックス式カメラ（以下、「デジタル一眼レフカメラと称する」）であってもよい。
【００１５】
また、撮像装置１００は、撮影レンズ交換式ではあるが、レフレックスミラーやフォーカシングスクリーン、ペンタゴナルダハプリズム等を有しておらず、代わりに電子ビューファインダ装置（ＥＶＦ）やライブビュー画像を表示するための表示装置を備えるカメラであってもよい。撮像装置１００はまた、携帯電話や携帯情報端末（ＰＤＡ）、あるいはパーソナルコンピュータなどに組み込まれるものであってもよい。
【００１６】
以下では、撮像装置１００はレンズ交換式で、いわゆるノーマリオープン式のフォーカルプレンシャッタを備え、表示部１２８に表示されるライブビュー画像を観察しながら撮影をするタイプのカメラであるものとして説明をする。
【００１７】
撮影レンズ１５０は、撮像装置１００に対して着脱可能に構成される。撮影レンズ１５０は、フォーカシングレンズ１６２を少なくとも含むレンズエレメント１６０と、絞りユニット１５２と、絞り駆動部１５４と、フォーカス駆動部１５６とを備える。絞りユニット１５２は、撮影レンズの光路中に配設されて開口形状が可変に構成され、それによって撮影レンズのＦ値を調節可能に構成される。この絞りユニット１５２は、開口の大きさを変化させるための部材を機械的に駆動することにより開口形状を可変に構成される機械的なものであっても、液晶（ＬＣＤ）やエレクトロクロミック素子（ＥＣＤ）を駆動して開口形状を可変に構成されるもの（物性絞り）であってもよい。
【００１８】
絞りユニット１５２が機械的なものである場合、絞り駆動部１５４は、例えばステッピングモータやプランジャ等のアクチュエータを有して構成され、撮像装置１００から出力される制御信号に基づいて絞りユニット１５２を駆動し、開口形状を変化させる。また、絞りユニット１５２が物性絞りである場合、絞り駆動部１５４はＬＣＤやＥＣＤ等を駆動して開口形状を変化させる。
【００１９】
絞りユニット１５２はまた、開口径を固定した状態でその開口部分にフィルタを配置し、光学濃度を機械的または電気的に変化させるものであってもよい。光学濃度を機械的に変化させることの可能な構成の例としては、撮影レンズ１５０の光路に対して挿抜可能なＮＤフィルタを設け、それを機械的に駆動することにより、光路中にＮＤフィルタが挿入された状態または光路から退避した状態に切り替えるものとすることが可能である。このとき、複数の光学濃度を有するＮＤフィルタを備えて、所望の光学濃度を有するＮＤフィルタが光路上に位置するように切り替えることも可能である。
【００２０】
光学濃度を電気的に変化させる構成の例としては、ＬＣＤやＥＣＤ等の素子を撮影レンズ１５０の光路中に配置し、これらのＬＣＤやＥＣＤを駆動すればよい。このときに光透過状態と遮光状態とにしか切り替えられない素子を用いることも可能であり、例えば露光動作中の半分の時間を遮光状態、残りの時間を光透過状態とすることにより、等価的に１／２の光透過率を得ることが可能である。これらの遮光状態、光透過状態の時間の比率を変化させることにより、等価的に所望の光学濃度を得ることが可能である。あるいは、ＬＣＤやＥＣＤ等によって細かな水玉状あるいは蜂の巣状等のパターンを形成し、それらのパターンを遮光状態に切り替えることにより、等価的に所望の光透過率を得ることができるようにパターン形状および配置を定めても良い。
【００２１】
フォーカス駆動部１５６は、例えば電磁駆動式のモータや超音波モータ等を備えて構成され、撮像装置１００から出力される制御信号に基づいてフォーカシングレンズ１６２を撮影レンズ１５０の光軸が延在する方向に沿って駆動する。これにより、撮影レンズ１５０の焦点調節位置を、撮像素子１０４の受光面に対して被写体に近づく方向、あるいは遠ざかる方向に移動させることができる。
【００２２】
記録媒体１４０は、フラッシュメモリ等によって構成され、撮像装置１００に内蔵されるものであっても、撮像装置１００に対して挿脱可能に構成されるメモリユニットやメモリカード等であってもよい。
【００２３】
本発明の実施の形態において撮像装置１００は、撮影レンズ１５０と記録媒体１４０とが着脱可能に構成されるものとする。以下では、撮像装置１００に撮影レンズ１５０と記録媒体１４０とが装着された状態にあるものとして説明をする。
【００２４】
撮像装置１００は、シャッタ１０２と、撮像素子１０４と、撮像回路１０６と、画像処理部１１２と、ＲＡＭ１１４と、撮像タイミングジェネレータ（図１中では「撮像ＴＧ」と表記される）１１６と、ＡＦ評価値生成部１１８と、表示部１２８と、システムコントローラ１３０と、フラッシュ発光部１３２と、フラッシュ制御回路１３４と、操作部１３６と、各種センサ１３８とを備える。
【００２５】
画像処理部１１２は、動き検出部１０８と、ＨＤＲ合成部１１０とを備える。ＡＦ評価値生成部１１８は、補正処理部１２０を備える。システムコントローラ１３０は、露光量制御部１２２と、焦点調節制御部１２４と、画像信号選択部１２６とを備える。
【００２６】
システムコントローラ１３０は、撮像装置１００の動作を統括的に制御する。このシステムコントローラ１３０は、ＣＰＵと、ＣＰＵ上で実行されるプログラムとによって実施されるものであってもよいし、専用のハードロジック等を備えて構成されるものであってもよい。システムコントローラ１３０中の露光量制御部１２２、焦点調節制御部１２４、および画像信号選択部１２６については後で説明する。
【００２７】
図１において、ＡＦ評価値生成部１１８はシステムコントローラ１３０から独立した処理ブロックであるものとして描かれているが、システムコントローラ１３０内に設けられるものであって良いし、画像処理部１１２内に設けられるものであってもよい。
【００２８】
フラッシュ発光部１３２は、撮影時、必要に応じて補助光を被写体に向けて照射するためのものであり、キセノン管等の放電発光管、または高輝度ＬＥＤ等の発光装置を備える。フラッシュ制御回路１３４は、フラッシュ発光部１３２から放射される光の量を制御する。
【００２９】
操作部１３６は、レリーズスイッチ、モード切替スイッチ等を備え、ユーザが操作部１３６を操作するのに応じてシステムコントローラ１３０は撮像装置１００の動作を制御する。各種センサ１３８は、手振れセンサ、光センサ、温度センサ等を含む。
【００３０】
手振れセンサは、撮影動作中および撮影準備動作中における撮像装置１００の揺れを検出するセンサである。システムコントローラ１３０は、手振れにより発生する像ブレを、手振れセンサからの出力に基づいて低減する処理を行う。例えば、撮像素子１０４をその受光面に平行な面に沿って二次元方向に駆動する機構を撮像装置１００が備える場合について説明する。システムコントローラ１３０は、手振れセンサから出力される信号と、撮影レンズ１５０から得られる被写体の撮影倍率情報とに基づいて像ぶれの量を導出し、その像ぶれ量を軽減する方向およびストロークで撮像素子１０４を移動させる。
【００３１】
光センサは、被写界輝度を検出する測光センサや、フラッシュ発光部１３２から放射されて被写体で反射された光の量（反射光量）を検出するフォトトランジスタ等を含む。なお、撮像素子１０４から出力される画像信号をもとに被写体輝度や反射光量を計測可能な場合には、光センサを省略することも可能である。
【００３２】
表示部１２８は、バックライト付きの液晶表示装置や、有機ＥＬ表示装置等の自発光表示装置で構成され、撮像装置１００で動画像の記録が行われている最中や撮影準備動作（ユーザが撮像装置１００を被写体に向けてフレーミングし、撮影機会が訪れるのを待つ動作）中にライブビュー画像が表示される。あるいは、撮影動作完了後のポストビューや、撮像装置１００が再生モードに設定されたときに再生画像が表示される。表示部１２８にはまた、撮像装置１００の動作モード等を切り替える操作をする際のメニューや設定状態等が表示される。
【００３３】
シャッタ１０２は、ノーマリオープン式のフォーカルプレンシャッタである。すなわち、通常は開放状態に維持されていて、静止画撮影のための露光動作が行われる寸前に一旦閉じられ、その後フォーカルプレンシャッタ内の先幕・後幕が走行して露光（シャッタ開閉動作）が行われ、その後再び開放状態に維持されるタイプのシャッタである。
【００３４】
撮像素子１０４は、ＣＣＤまたはＣＭＯＳ等の固体撮像素子であり、全画素読み出しモードおよび間引き読み出しモードで画像信号を出力可能に構成される。全画素読み出しモードは、主に高画素の静止画像を生成する際に設定される動作モードである。間引き読み出しモードは、ライブビュー画像や動画像を生成する際に設定される動作モードであり、全画素読み出しモードに比して短い時間間隔で露光および画像信号の読み出しを繰り返し行うことが可能である。
【００３５】
撮像素子１０４は、いわゆる電子シャッタによる露光動作が可能に構成される。すなわち、シャッタ１０２を開放状態に維持したまま、制御された時間での光電変換および電荷蓄積動作が可能に構成される。本明細書中では特に説明の無い限り、「露光動作」はシャッタ１０２を開放に維持したまま、撮像素子１０４で電子シャッタによる露光動作を行うことを意味するものとする。
【００３６】
撮像素子１０４で露光動作が行われるのに伴い、画像信号が撮像回路１０６に出力される。撮像回路１０６は、撮像素子１０４から出力される画像信号に増幅やＡ／Ｄ変換等の処理をしてデジタル画像信号を画像処理部１１２およびＡＦ評価値生成部１１８に出力する。撮像素子１０４がＣＭＯＳイメージセンサである場合、撮像回路１０６を撮像素子１０４中に設けることも可能である。
【００３７】
撮像タイミングジェネレータ１１６は、システムコントローラ１３０から出力される露光時間制御信号に基づき、タイミング信号を生成して撮像素子１０４および撮像回路１０６に出力する。撮像素子１０４および撮像回路１０６は、撮像タイミングジェネレータ１１６から出力されるタイミング信号に基づき、露光動作と画像信号を出力する動作とを行う。このとき、撮像素子１０４は、撮像タイミングジェネレータ１１６から出力されるタイミング信号に基づいて、複数の異なる露光量で露光動作を行うことを周期的に繰り返し、それぞれの露光動作に対応して画像信号を逐次出力することが可能に構成される。
【００３８】
例えば一周期の間に二回の露光動作および画像信号の出力が行われる場合、一回目の露光動作における露光量を基準としたときに、二回目の露光動作においては一回目の露光動作における露光量よりも多めあるいは少なめとなるように露光量が設定される。そして、それぞれの露光動作に対応して画像信号が出力される。
【００３９】
一周期の間に行われる露光動作の回数は二回に限らず、三回以上の回数で行われてもよい。つまり、一周期の間に行われる露光動作の回数に応じて異なる露光量での複数の画像信号が撮像素子１０４から出力される。本明細書中では、一周期の間に複数の異なる露光量で露光動作をして得られた複数の画像信号のセットを総称して「異露光画像信号」と称する。
【００４０】
以下では説明を単純化するため、一周期で二回の露光動作が行われて異露光画像信号が生成されるものとして説明をする。また、異露光画像信号中、多めの露光量に対応する画像信号を「明画像信号」と称し、少なめの露光量に対応する画像信号を「暗画像信号」と称する。また、多めの露光量を得るための露光を「明露光」と称し、少なめの露光量を得るための露光を「暗露光」と称する。
【００４１】
なお、本明細書において「明」、「暗」という表現はあくまでも相対的に明るいまたは暗いことを意図している。例えば所与の被写体輝度に対して与えられる標準的な露光量（基準露光量）よりも多い露光量での露光を「明露光」、少ない露光量での露光を「暗露光」とすることを必ずしも意図していない。つまり、「明露光」が上記基準露光量を得る露光であってもよいし、この基準露光量よりも少ない露光量を得る露光であってもよい。この「明露光」での露光量よりも少ない露光量で行われる露光が「暗露光」である。
【００４２】
画像処理部１１２は、一周期で行われた二回の露光動作（明露光、暗露光の動作）に対応して撮像回路１０６から出力された明画像信号および暗画像信号を受信し、それぞれの画像信号に対してホワイトバランス、黒レベル補正、γ補正、欠陥画素の補正等の処理を行うとともにデモザイク処理を行い、二つの画像データを生成してＲＡＭ１１４に一時的に記憶する（これら二つの画像データを区別して参照する際に、「明画像データ」、「暗画像データ」と称する）。
【００４３】
ＲＡＭ１１４は、比較的高速のアクセスが可能なＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）であり、画像処理部１１２で後述する画像処理が行われる際や、システムコントローラ１３０によって様々な処理が行われる際のワークエリアとして用いられる。
【００４４】
画像処理部１１２はさらに、明画像データと暗画像データとを合成処理し、それにより被写体のより広い輝度範囲に対応した階調を再現可能な画像を生成する処理を行う。例えば、快晴の雪景色や砂浜等を背景にしたような逆光条件下で人物を撮影した場合について説明する。一般に、撮像素子のダイナミックレンジ（再現可能な被写体輝度範囲）は、逆光条件下における被写体輝度分布範囲ほど広くはない。また、画像データのビット深度（一般的はＲＧＢ各色８ビット）にも制約があることから、再生画像上で再現可能な輝度範囲には限りがある。
【００４５】
例えば、上記逆光条件下のもと、人物に対して適正露光量が得られる露光条件で露光を行うと、画像中の背景部分はいわゆる白とびを起こし、背景部分の階調を再現することができない。同様に、背景部分に対して適正露光量が得られる露光条件で露光を行うと、画像中の人物の部分、特に黒い髪の毛や暗めの服装部分等でいわゆる黒つぶれを起こし、階調を再現することができない。
【００４６】
そこで、一周期で行われた二回の露光動作から得られる明画像データおよび暗画像データを合成して一つの画像データを生成する。つまり、明画像データからは暗部（画像中で暗い部分）の階調情報を得ることが可能であり、暗画像データからは明部（画像中で明るい部分）の階調情報を得ることが可能であるので、それらの階調情報を組み合わせるようにして一つの画像データを合成する。
【００４７】
合成の手法としては様々なものが過去に提案されており、単純な方法としては、二つの画像データの対応する画素位置における画素値を平均したものを新たな画素値とする方法がある。あるいは、二つの画像データ中から階調の残っている（白とび、黒つぶれのない）部分を択一的に切り出して組み合わせ、あたかもジグソーパズルを組みあげるかのようにして一つの画像を合成し、その後で適宜階調を補正することも可能である。
【００４８】
ところで、明画像データおよび暗画像データは一周期中の異なるタイミングで撮影されて得られたものである。したがって、撮像装置１００で撮影が行われる際に被写体が動いている場合や、撮像装置１００が手持ちされていて動いている場合、これら二つの画像を単純に合成しただけではブレを生じた写真のように見えてしまう。この問題に対処するため、動き検出部１０８は二つの画像を解析して二つの画像中での被写体の動き量を検出する。そして、検出された動き量に対応していずれかの画像を変形して合成（一方の画像中の、ある画素位置に存在する画素に対応する他方の画像中の画素を特定し、対応しあう画素のペアをもとに新たな画素値を生成）し、合成後の画像に違和感が残らないようにする。
【００４９】
上記の動き量を検出する方法としては、一方の画像中から基準となる画像要素（パターン、あるいはテンプレート）を抽出し、抽出された画像要素を他方の画像中から見出して、各画像要素が二つの画像間でどれだけ動いているかを検出する、いわゆるテンプレートマッチングの手法が知られている。また、各画像要素の、二つの画像間での動き量（方向および距離）は「動きベクトル」として扱われる。
【００５０】
例えば、走行中の列車を真横から撮影した場合、各画像要素に対応する動きベクトルは一つの方向に揃ったものとなる。また、列車の速度がさほど高速ではなく、かつ、撮影倍率が小さい場合（例えば１０輌編成の列車の全体を真横から捉えるような場合）には動きベクトルは比較的小さくなる。
【００５１】
一方、走行中の列車を正面から捉えるような撮影をした場合、時間経過とともに主要被写体（この場合、列車）の撮影倍率が増して像が大きくなるので、各画像要素に対応する動きベクトルは放射状に分布したものとなる。また、列車の速度が比較的速く、かつ撮影倍率が大きい場合（例えば走行中の列車の先頭部を画面一杯に捉えるような場合）、動きベクトルは比較的大きくなる。
【００５２】
上記のようにして二つの画像中での被写体の動き量を動き検出部１０８は検出し、二つの画像間で対応しあう画素位置を求める。ＨＤＲ合成部１１０は、先に例示した方法等を用いて合成処理を行い、一回の露光からでは得ることのできない、より広い被写体輝度範囲に対応する階調が再現された画像、すなわちＨＤＲ画像を生成する。
【００５３】
ＡＦ評価値生成部１１８は、撮像回路１０６から出力される明画像信号および暗画像信号それぞれを用いてＡＦ評価値を生成する処理を行う。ＡＦ評価値とは、撮影レンズ１５０によって撮像素子１０４の受光面上に形成される像の合焦の度合いを評価するための値である。
【００５４】
例えば、撮像回路１０６から出力される画像信号中、画面中央部分、あるいは画面内でユーザによって選択された一つまたは複数の部分領域に対応する画像信号を抽出し、ハイパスフィルタリングやバンドパスフィルタリング等のフィルタリング処理をする。次に、フィルタリング処理によって得られた、比較的高い空間周波数成分の画像信号を積分する処理を行い、得られた値をＡＦ評価値とすることが可能である。
【００５５】
同一の被写体に対して合焦動作をした場合、フォーカシングレンズ１６２が合焦位置に近づくほど撮像素子１０４の受光面上に形成される被写体像は鮮鋭となって画像信号中の高空間周波成分が増し、したがって上記ＡＦ評価値が増す。なお、ＡＦ評価値は撮影レンズ１５０による焦点調節状態を評価する指標であり、ＡＦ評価値の扱い方は様々である。
【００５６】
例えば、フォーカシングレンズ１６２が合焦位置に近づくほどＡＦ評価値が小さくなるようにＡＦ評価値生成手順を定めてもよい。あるいは、その逆に、フォーカシングレンズ１６２が合焦位置に近づくほどＡＦ評価値が大きくなるようにＡＦ評価値生成手順を定めてもよい。本明細書中においては、フォーカシングレンズ１６２が合焦位置に近づくほどＡＦ評価値が大きくなるものとして説明をする。
【００５７】
システムコントローラ１３０内の焦点調節制御部１２４は、ＡＦ評価値生成部１１８から出力されるＡＦ評価値を参照しながらフォーカス駆動部１５６に制御信号を出力してフォーカシングレンズ１６２の位置を合焦位置に近づける。このとき、焦点調節制御部１２４は、いわゆる「山登りＡＦ」の制御を行う。すなわち、フォーカシングレンズ１６２をある方向に移動させながら、ＡＦ評価値生成部１１８から出力されるＡＦ評価値の増減を焦点調節制御部１２４は監視する。そして、ＡＦ評価値の増加する方向（撮影レンズ１５０によって撮像素子１０４の受光面上に形成される被写体像がより鮮鋭となる方向）にフォーカシングレンズ１６２を動かす。
【００５８】
やがてフォーカシングレンズ１６２が合焦位置を通り越し、それに伴って、今まで増加の傾向にあったＡＦ評価値が減少傾向に転ずる。焦点調節制御部１２４は、ＡＦ評価値が直近で最高値を示した位置までフォーカシングレンズ１６２を戻し、合焦動作を完了する。動き続ける被写体に対して連続的に焦点調節を行い続ける場合には上記の合焦動作を継続して行う。
【００５９】
ところで、複数の異なる露光量で露光動作を行うことが周期的に繰り返されるのに対応して撮像回路１０６から逐次出力される明画像信号、暗画像信号、明画像信号、暗画像信号、…をＡＦ評価値生成部１１８で順に処理してＡＦ評価値を生成した場合、明画像信号で白飛びを多く発生している場合を除き、明画像信号から生成されるＡＦ評価値に比して暗画像信号から生成されるＡＦ評価値は低くなる。
【００６０】
例えば、明画像信号は暗画像信号を得る場合の２倍の露光量が与えられているものとする。暗画像中、比較的明るい部分の画素値が８０で比較的暗い部分の画素値が２０であるものとする。明画像中において、暗画像中で上記画素値を示す部分と同じ部分の画素値は、明露光では暗露光に対して２倍の露光量が与えられていることより、それぞれ１６０、４０となる。明るい部分の画素値と暗い部分の画素値との差がＡＦ評価値に比例するものと考えられる。暗画像では８０と２０との差は６０である一方、明画像では１６０と４０との差は１２０となる。明画像信号から得られるＡＦ評価値と、暗画像信号から得られる評価値との間にも上述した差（６０と１２０）にほぼ比例した差を生じることになる。
【００６１】
図２は、山登りＡＦが行われている際に、時間ｔの経過に伴ってＡＦ評価値が変化する様子を概念的に示すグラフである。上述のように、複数の異なる露光量で露光動作を行うことを周期的に繰り返しつつ、フォーカシングレンズ１６２を一定の方向に動かしながら、撮像回路１０６から逐次出力される明画像信号、暗画像信号、明画像信号、暗画像信号、…からＡＦ評価値を順に生成すると、図２のグラフ中、破線で示されるようなジグザグ状の推移をたどる。
【００６２】
山登りＡＦでは、フォーカシングレンズ１６２をある方向にそって移動させた結果、ＡＦ評価値が増加するか減少するかを監視して、ＡＦ評価値が増加するようにフォーカシングレンズ１６２の次のタイミングにおける移動方向を決める。従って、ＡＦ評価値が図２のグラフ中の破線で示されるようなジグザグ状の推移をたどると、焦点調節制御部１２４では好ましい焦点調節動作の制御を維持することができない。
【００６３】
これに対して、異露光画像信号を得るための露光動作を行わず、略一定の露光量で露光動作が繰り返し行われて生成される画像信号をもとにＡＦ評価値を生成して山登りＡＦを行った場合、図２のグラフ中、太い実線の曲線で示されるような推移をたどる。この、太い実線の曲線で示されるようなＡＦ評価値の推移が得られれば、円滑な焦点調節動作を行うことが可能となる。
【００６４】
補正処理部１２０は、以下で説明するように、同一の撮影シーンにおいて同一の焦点調節状態であるときに出力される画像信号を処理したときには、露光量の違いによらず略同一のＡＦ評価値が得られるように、ＡＦ評価値生成部１１８で処理する前の画像信号またはＡＦ評価値生成部１１８で生成されたＡＦ評価値に対して補正処理をする。
【００６５】
補正処理部１２０で行われる補正処理の一例について説明する。複数の異なる露光量で露光動作を行うことが周期的に繰り返されるのに対応して撮像回路１０６から逐次出力される明画像信号、暗画像信号に対して、補正処理部１２０は正規化の処理を行う。
【００６６】
正規化の処理の一例としては、明画像信号、暗画像信号に対して線形に調整を行うものとすることが可能である。例えば、明露光での露光時間をＡ、暗露光での露光時間をＢとすると、以下に示す式で導出される係数を明画像信号および暗画像信号のそれぞれに対して乗ずる。
明画像信号用係数：  （Ａ＋Ｂ）  ／  （２×Ａ）
暗画像信号用係数：  （Ａ＋Ｂ）  ／  （２×Ｂ）
明画像信号および暗画像信号に対し、それぞれ上記係数を乗じた後にＡＦ評価値を生成する処理をＡＦ評価値生成部１１８で行うことにより、同一の撮影シーンにおいて同一の焦点調節状態であるときに出力される画像信号を処理したときに、露光量の違いによらず略同一のＡＦ評価値が得られるようになる。
【００６７】
このように露光量そのものを用いて処理するよりも露光時間を用いて処理をした方が望ましい。なぜならば、露光量を用いて正規化処理をしようとすると、明画像データと暗画像データを用いる必要があり処理時間が長くなるが、上記のような露光時間を用いた正規化処理であれば、明画像データと暗画像データを用いる必要もなく、処理時間をより短くすることができるので、動きの速い被写体に対しても対応することが可能となる。
【００６８】
以上では、明画像信号および暗画像信号に対して線形に調整を行う例について説明したが、非線形に調整を行うものであってもよい。例えば、明画像信号および暗画像信号用のそれぞれに対応して変換テーブル（入力値に対応する出力値または補正係数を読み出し可能なルックアップテーブル）が用意されていてもよい。その場合、補正処理部１２０は、明画像信号および暗画像信号から得られる各信号値（画素値）に対応する値を上記階調変換テーブルから読み出し、それを調整後の値とする。このとき、変換テーブルが補正係数を記憶するものである場合には、明画像信号および暗画像信号中の各信号値に、これらの各信号値に対応して変換テーブルから読み出された補正係数を乗じて調整後の値を導出する。
【００６９】
以上では、明画像信号および暗画像信号の双方に対して補正処理をする例について説明したが、どちらか一方の画像信号、たとえば暗画像信号のみに補正処理をしてもよい。
【００７０】
補正処理部１２０で行われる補正処理の別の例について説明する。明画像信号、暗画像信号それぞれに対して補正をすることなくＡＦ評価値を生成した場合、上述したように、それらの画像信号が同一の撮影シーンにおいて同一の焦点調節状態であるときに出力されたものであっても、異なったものとなる。そこで、補正処理部１２０は、補正処理の行われていない明画像信号および暗画像信号をもとに生成されたＡＦ評価値（これらのＡＦ評価値を「明画像ＡＦ評価値」、「暗画像ＡＦ評価値」と称する）に対して補正処理を行う。
【００７１】
一例としては、明画像ＡＦ評価値、暗画像ＡＦ評価値のそれぞれに対して上記明画像信号用係数、暗画像信号用係数を乗じて線形の調整をすることができる。あるいは、非線形の調整を行う場合には、明画像ＡＦ評価値用、暗画像ＡＦ評価値用の変換テーブル（入力値に対応する出力値を読み出し可能なルックアップテーブル）が用意されていてもよい。
【００７２】
その場合、補正処理部１２０は、明画像ＡＦ評価値および暗画像ＡＦ評価値に対応する補正後の値を上記階調変換テーブルから読み出し、それを調整後の値とする。あるいは、変換テーブルが補正係数を記憶するものである場合には、明画像ＡＦ評価値および暗画像ＡＦ評価値のそれぞれに、これら明画像ＡＦ評価値、暗画像ＡＦ評価値に対応して変換テーブルから読み出された補正係数を乗じて調整後の明画像ＡＦ評価値および暗画像ＡＦ評価値を生成する。
【００７３】
以上では、明画像ＡＦ評価値および暗画像ＡＦ評価値の双方に対して補正処理をする例につい説明したが、どちらか一方のＡＦ評価値、たとえば暗画像ＡＦ評価値のみに補正処理をしてもよい。
【００７４】
補正処理部１２０において上述した補正処理のいずれかが行われることにより、ＡＦ評価値生成部１１８から出力されるＡＦ評価値は、明画像信号および暗画像信号の双方に基づくものであるにもかかわらず、変動が抑制される。つまり、複数の異なる露光量で露光動作を行うことを周期的に繰り返し行っている撮像素子１０４から逐次読み出される異露光画像信号中、明画像信号および暗画像信号のいずれかをスキップして残りの画像信号のみに基づいてＡＦ評価値を得る場合等に比して略半分の周期でＡＦ評価値を更新することが可能となる。したがって、コントラストＡＦでの合焦速度を速めることが可能となる。
【００７５】
以上に説明したＡＦ評価値生成部１１８、露光量制御部１２２、画像処理部１１２での処理により、複数の異なる露光量で露光動作を行うことが周期的に繰り返されて、それぞれの露光動作に対応して撮像素子１０４から逐次出力される異露光画像信号が処理されてＨＤＲ画像の生成およびＡＦ評価値の生成が行われる様子を図３に示す。
【００７６】
図３は、撮像素子１０４で行われる露光動作と、その露光動作に伴って異露光信号が出力され、その異露光信号をもとにＨＤＲ画像の生成およびＡＦ評価値の生成が行われる様子を示すタイムチャートである。図３には、横方向に時間軸が示されていて、上から順に、撮像素子１０４により行われる露光動作、撮像回路１０６から出力される異露光画像信号、画像処理部１１２により合成されるＨＤＲ画像、ＡＦ評価値生成部１１８により生成されるＡＦ評価値が示されている。
【００７７】
以下の説明では、撮像素子１０４において複数の異なる露光量で露光動作を繰り返す際に、撮像素子１０４の露光時間の長さを変えて露光動作を行うものとして説明する。図３中、Ｐ１、Ｐ２、Ｐ３、Ｐ４はそれぞれ、一組の異露光画像信号を得るための動作が行われる周期を示している。
【００７８】
第１周期Ｐ１において、撮像素子１０４は露光時間Ａ１およびＢ１での露光を行う。その結果、撮像回路１０６から明画像信号Ｈ１および暗画像信号Ｌ１が出力される。図３において明画像信号および暗画像信号は矩形で示されているが、縦方向の長さが各画像信号の信号レベルを象徴的に示している。
【００７９】
同様に、第２周期、第３周期、第４周期において、撮像素子１０４は露光時間Ａ２、Ｂ２、Ａ３、Ｂ３、Ａ４、Ｂ４での露光を行う。図３においてＡ１からＡ４の時間、そしてＢ１からＢ４時間はそれぞれ、変化が無いものとして示されているが、これらの時間は被写体輝度が変化するのに対応してＰ１、Ｐ２、…の各周期で変化しうる。
【００８０】
図３に示す例では、明画像信号、暗画像信号を得るために異なる露光量での露光を行う際、明露光の露光時間と暗露光の露光時間とが異なるものとなっている。しかし、本発明はこれに限られるものではなく、一つの周期中で行われる明露光、暗露光における露光時間は互いに同じとして、明露光、暗露光それぞれが行われる際の他の露光パラメータを変えてもよい。例えば、絞りユニット１５２での設定絞り値や光学濃度を、明露光が行われるときと暗露光が行われるときとで変化させてもよい。
【００８１】
撮像回路１０６から出力される異露光画像信号をもとに、画像処理部１１２はＨＤＲ画像を生成する。このとき、画像処理部１１２は、一つの周期で得られる明画像信号および暗画像信号からＨＤＲ画像を生成するだけでなく、一つ前の周期で行われた暗露光により得られた暗画像信号および最新の周期で行われた明露光により得られた明画像信号からもＨＤＲ画像を生成する。
【００８２】
このＨＤＲ画像生成の処理について説明する。ここで、一つ前の周期で行われた暗露光により得られた暗画像信号をＬp-1、現在の周期で行われた明露光および暗露光により得られた明画像信号、暗画像信号をそれぞれＨp、Ｌp、次の周期で行われる明露光および暗露光により得られる明画像信号、暗画像信号をＨp+1、Ｌp+1とする。また、一周期内では明露光、暗露光の順で露光動作が行われるものとする。
【００８３】
画像処理部１１２は、明画像信号Ｈpが得られると、暗画像信号Ｌpが得られるのを待たずにＬp-1、Ｈpを用いてＨＤＲ画像を生成する。そして、暗画像信号Ｌpが得られると、Ｈp、Ｌpを用いてＨＤＲ画像を生成する。さらに次のタイミングで明画像信号Ｈp+1が得られると、暗画像信号Ｌp+1が得られるのを待たずにＬp、Ｈp+1を用いてＨＤＲ画像を生成する。画像処理部１１２がこのようにＨＤＲ画像を生成することにより、より速いフレームレートでＨＤＲ画像を生成することが可能となり、ライブビュー表示や動画の表示をスムーズなものとすることが可能となる。
【００８４】
図３には、画像処理部１１２が上記のようにしてＨＤＲ画像を生成する様子が示されている。すなわち、図３の左から順にＨＤＲ画像としてＬ０Ｈ１、Ｈ１Ｌ１、Ｌ１Ｈ２、…なる符号が付されているが、例えばＨＤＲ画像Ｌ０Ｈ１は周期Ｐ１の一つ前の周期（Ｐ０）の周期で行われた暗露光により得られた暗画像信号Ｌ０と、周期Ｐ１で行われた明露光により得られた明画像信号Ｈ１とから生成されたＨＤＲ画像であることを示している。同様に、ＨＤＲ画像Ｈ１Ｌ１は、周期Ｐ１で行われた明露光および暗露光それぞれにより得られた明画像信号Ｈ１および暗画像信号Ｌ１から生成されたＨＤＲ画像であることを示している。図３中において、各ＨＤＲ画像がどの明画像信号および暗画像信号（暗画像信号および明画像信号）から生成されたものであるかを破線の矢印で示している。
【００８５】
ＡＦ評価値ＡＦＨ１は、周期Ｐ１で行われた明露光により得られた明画像信号Ｈ１を処理して得られたものであることを意味する。ＡＦＬ１は、周期Ｐ１で行われた暗露光により得られた暗画像信号Ｌ１を処理して得られたものであることを意味する。ＡＦＨ２、ＡＦＬ２、ＡＦＨ３、…も同様である。図３中において、各ＡＦ評価値がどの明画像信号または暗画像信から生成されたものであるかを破線の矢印で示している。図３において各ＡＦ評価値は矩形で示されているが、縦方向の長さが同じに示されているのは補正処理部１２０での処理によってＡＦ評価値が明露光、暗露光によらず略同一になっていることを象徴的に示している。
【００８６】
ところで、撮影状況によっては、合焦速度を速めることを必ずしも必要としない場合がある。例えば、静物や、撮影倍率が比較的小さい状況で動きの比較的遅い被写体を撮影する場合、合焦速度の高速化は必ずしも必要とされない。そのような場合、補正処理部１２０による上述した補正処理は行われない。そして、異露光画像信号中のいずれか一つまたは複数の画像信号から生成されるＡＦ評価値に基づいて焦点調節動作の制御が行われる。あるいは、異露光画像信号中の少なくとも二つの画像信号（異露光画像信号が二つの画像信号からなるときには両方、三以上の画像信号からなるときには少なくとも二つ）を処理して一つのＡＦ評価値が生成され、生成されたＡＦ評価値に基づいて焦点調節動作の制御が行われる。
【００８７】
上述のように合焦速度の向上が必ずしも求められない状況において、より良い合焦精度を得るために、画像信号選択部１２６は以下で説明する処理を行う。
【００８８】
最初に、複数の異なる露光量で露光動作を行うことを周期的に繰り返す撮像素子１０４から読み出された異露光画像信号中のいずれか一つまたは複数の画像信号から生成されるＡＦ評価値に基づいて焦点調節動作の制御が行われる例について説明する。
【００８９】
画像信号選択部１２６は、複数の異なる露光量で露光動作を行うことが撮像素子１０４で周期的に繰り返され、各周期に対応して得られる異露光画像信号中からＡＦ評価値生成用として適した画像信号を選択する。先にも説明したように、本実施の形態では異露光画像信号は明画像信号および暗画像信号の二つの画像信号を含む。したがって、画像信号選択部１２６で選択される画像信号は明画像信号および暗画像信号のいずれかになる。
【００９０】
しかし、本発明はこの例に限定されるものではなく、異露光画像信号は３以上の画像信号（例えば明露光、暗露光に加えて、それらの中間の露光量での露光で得られた複数の画像信号）を含むものであってもよい。その場合、画像信号選択部１２６は、異露光画像信号中からＡＦ評価値生成用として適した１または複数（異露光画像信号中に含まれる画像信号の数よりも少ない数）の画像信号を選択可能に構成される。
【００９１】
画像信号選択部１２６は、異露光画像信号に含まれるすべての画像信号について、それぞれ輝度分布およびコントラストを検出する処理を行う。輝度分布を調べることにより、各画像信号に対応する画像中で白とびや黒つぶれの有無を確認することが可能となる。特に画面内の合焦状態検出エリアとして設定された領域で白とびや黒つぶれが発生している場合、ＡＦ評価値生成用には適していないという判断がなされる。
【００９２】
また、コントラストを検出することにより、コントラストが低すぎてＡＦ評価値生成用には適していない画像を含む画像信号を排除することができる。画像信号選択部１２６は、このような判定基準に基づき、異露光画像信号中からＡＦ評価値生成用として適した画像信号を選択する。
【００９３】
ＡＦ評価値生成部１１８は、画像信号選択部１２６で選択された画像信号（本実施の形態においては明画像信号および暗画像信号のいずれか）を処理してＡＦ評価値を生成する。焦点調節制御部１２４は、ＡＦ評価値生成部１１８で生成されたＡＦ評価値に基づいて焦点調節動作の制御を行う。
【００９４】
ところで、以上では画像信号選択部１２６で選択された一つまたは複数の画像信号を処理してＡＦ評価値生成部１１８がＡＦ評価値を生成する例について説明した。本発明はこれに限られるものではない。すなわち、ＡＦ評価値生成部１１８は、撮像回路１０６から逐次出力される画像信号全てに対応してＡＦ評価値を生成し、１周期の間に得られる複数のＡＦ評価値の中から最も良いＡＦ評価値が選択されるようにしてもよい。その場合には、画像信号選択部１２６による上述した輝度分布およびコントラスト検出等の処理を省くことができる。
【００９５】
焦点調節制御部１２４は、以上のようにして選択されたＡＦ評価値に基づいて焦点調節動作の制御を行う。
【００９６】
続いて、異露光画像信号中の少なくとも二つの画像信号を処理して一つのＡＦ評価値が生成され、生成されたＡＦ評価値に基づいて焦点調節動作の制御が行われる例について説明する。
【００９７】
画像信号選択部１２６は、複数の異なる露光量で露光動作を行うことが撮像素子１０４で周期的に繰り返され、各周期に対応して得られる異露光画像信号中からＡＦ評価値生成用として適した少なくとも二つの画像信号を選択する。本実施の形態においては、異露光画像信号が明画像信号と暗画像信号とからなるので、これらの明画像信号および暗画像信号が共に選択される。
【００９８】
画像信号選択部１２６における画像信号選択の処理としては、先に説明したように、異露光画像信号に含まれるすべての画像信号について、それぞれ輝度分布およびコントラストを検出する処理を行うことが可能である。そして、これらの輝度分布やコントラストの検出結果をもとに、各画像信号中で白とびや黒つぶれ等による情報の欠落を互いに補完できる組み合わせの画像信号を画像信号選択部１２６は選択する。ＡＦ評価値生成部１１８は、画像信号選択部１２６で選択された複数の画像信号をもとに一つのＡＦ評価値を生成する。
【００９９】
なお、本実施の形態のように異露光画像信号が明画像信号および暗画像信号しか含まない場合には画像信号選択部１２６で上記処理をするまでもなく、二つの画像信号が選択される。また、ＡＦ評価値生成部１１８は、撮像回路１０６から出力される画像信号をもとにＡＦ評価値を生成するのに代えて、ＨＤＲ合成部１１０で生成されたＨＤＲ画像を用いてＡＦ評価値を生成するようにしてもよい。
【０１００】
焦点調節制御部１２４は、ＡＦ評価値生成部１１８で以上のように生成されたＡＦ評価値に基づいて焦点調節動作の制御を行う。
【０１０１】
図４、図５は、ＡＦ評価値生成部１１８、補正処理部１２０、焦点調節制御部１２４、画像信号選択部１２６により実行される処理手順を説明するフローチャートである。本実施の形態においては、図４、図５のフローチャートに示される処理がシステムコントローラ１３０によって実行されるものとして説明する。図４に示される処理は、図３に示される第１周期Ｐ１、第２周期Ｐ２、…のそれぞれにおいて、異露光画像信号を得るための撮像動作が行われるのに同期して繰り返し実行される。
【０１０２】
Ｓ４００においてシステムコントローラ１３０は、撮像素子１０４で撮像された画像中での被写体の動き量が予め定められた閾値以上であるか否かを判定する。この判定は、画像処理部１１２中の動き検出部１０８での動き検出処理結果を参照して行われる。
【０１０３】
Ｓ４００での判定が肯定された場合、処理はＳ４０２に進み、補正処理を伴うＡＦ評価値生成処理が行われる。すなわち、図１から図３を参照して説明した、ＡＦ評価値生成部１１８および補正処理部１２０での処理が行われる。これにより、異露光画像信号中に含まれる各画像信号が得られる際の露光量の違いによらず、同一の撮影シーンにおいて同一の焦点調節状態であるときに出力される画像信号に対しては、露光量の違いによらず略同一のＡＦ評価値が得られるように処理が行われる。Ｓ４０２の処理に続き、Ｓ４０４の処理が行われる。
【０１０４】
Ｓ４００での判定処理が否定された場合、すなわち撮像素子１０４で撮像された画像中での被写体の動き量が予め定められた閾値を下回り、動きは少ないと判定された場合にはＳ４０６に処理は分岐する。Ｓ４０６では画像信号選択処理が行われる。この画像信号選択処理は、図１を参照して説明した、画像信号選択部１２６で行われる処理である。Ｓ４０６での処理については後で図５を参照して説明する。
【０１０５】
Ｓ４０８でシステムコントローラ１３０は、１周期分の撮像動作で得られた異露光画像信号中、Ｓ４０６で選択された画像信号を用いてＡＦ評価値を生成する処理を行う。Ｓ４０８での処理はＡＦ評価値生成部１１８で行われる処理である。Ｓ４０８での処理に続き、Ｓ４０４の処理が行われる。
【０１０６】
Ｓ４０４においてシステムコントローラ１３０は、Ｓ４０２またはＳ４０８で生成されたＡＦ評価値に基づき、フォーカスレンズ駆動の処理を行い、１周期分のＡＦ動作制御処理を完了する。Ｓ４０４の処理は、焦点調節制御部１２４がフォーカス駆動部１５６に制御信号を出力する処理に相当する。
【０１０７】
Ｓ４０６で行われる処理の内容を説明するフローチャートである図５を参照して説明する。
【０１０８】
Ｓ５００においてシステムコントローラ１３０は、１周期分の撮像動作で得られた異露光画像信号中の各画像信号を解析して輝度分布およびコントラストを検出する。続くＳ５０２においてシステムコントローラ１３０は、１周期分の撮像動作で得られた異露光画像信号中から、Ｓ５００での輝度分布およびコントラストの検出結果に基づき、ＡＦ評価値生成用に適した画像信号を１または複数選択し、リターンする。Ｓ５００およびＳ５０２での処理は画像信号選択部１２６で行われる処理である。
【０１０９】
以上、図４、図５のフローチャートを参照して、Ｓ４００での判定が否定された場合には１周期分の撮像動作中で得られた異露光画像信号中の画像信号を解析してＡＦ評価値生成用に適した画像信号を１または複数選択する例について説明した。これに関しては、先に説明したように、異露光画像信号中の画像信号全てに対応してそれぞれＡＦ評価値を生成し、その中の最も良いＡＦ評価値に基づいて焦点調節動作の制御をおこなってもよい。また、１周期分の撮像動作で得られた異露光画像信号中の複数の画像信号中、選択された少なくとも二つの画像信号を処理して一つのＡＦ評価値を生成し、焦点調節の制御を行っても良い。
【０１１０】
ところで、図３には、異露光画像信号を得るために撮像素子１０４の露光時間（電子シャッタ時間）を変化させる例が示されているが、図６に示される露光動作によって露光時間を変化させてもよい。図６は、図３に示されるものと同様、撮像素子１０４で行われる露光動作と、その露光動作に伴って異露光信号が出力され、その異露光信号をもとにＨＤＲ画像の生成およびＡＦ評価値の生成が行われる様子を示すタイムチャートである。図３および図６に示されるタイムチャートの違いは撮像素子１０４で行われる露光動作にある。
【０１１１】
図６に示される例では、周期Ｐ１、Ｐ２、…  のそれぞれにおいて２フィールド分の露光が行われて異露光画像信号Ｈ１およびＬ１、Ｈ２およびＬ２、…  が出力される。このとき、１フィールド分の露光が行われる際に、パルス幅の比較的短い複数のシャッタパルス（撮像素子１０４の電子シャッタを制御するパルス）が撮像素子１０４に入力される。シャッタパルスは略一定のパルス幅（オンデューティ時間）を有している。
【０１１２】
例えば、長めの露光時間で露光を行う場合には、１フィールド分の露光動作が行われる際に、より多い数のシャッタパルスを撮像素子１０４に入力する。撮像素子１０４は、入力されたシャッタパルスの数に応じて比較的短時間の光電変換・電荷蓄積動作を繰り返す。その間、撮像素子１０４からの画像信号の読み出しは行われず、１フィールド分の露光動作が完了した後に画像信号の読み出しが行われる。
【０１１３】
図６に示される例では、Ｃ１、Ｃ２、Ｃ３、Ｃ４の各露光期間においてそれぞれ４回のシャッタパルスが撮像素子１０４に入力され、それに伴ってパルス状の露光が４回行われる。また、Ｄ１、Ｄ２、Ｄ３、Ｄ４の各露光期間においてはそれぞれ２回のシャッタパルスが撮像素子１０４に入力され、それに伴ってパルス状の露光が２回行われる。
【０１１４】
例えば、同じ輝度の被写体に対し、Ｃ１の露光期間中に行われる４回のパルス状露光によって蓄積される電荷と、図３のＡ１の露光期間中に行われる１回の露光動作によって蓄積される電荷とが等しくなるようにパルス状の露光の回数が定められれば、図３のＡ１の露光期間中に行われる露光と図６のＣ１の露光期間中に行われる露光とは等価となる。
【０１１５】
このように、パルス状の露光の回数を制御することによって露光量を制御することが可能となる。図１において、露光量制御部１２２は、前の露光で得られた画像信号をもとに被写体輝度を導出し、明露光、暗露光用の露光時間を決定する。これらの明露光、暗露光のための露光時間をもとに、露光量制御部１２２は明露光、暗露光それぞれに対応するパルス状の露光の回数を導出する。例えば、明露光用として必要な総露光時間をＨ、暗露光用として必要な総露光時間をＬ、一回のパルス状の露光での露光時間をｔとすると、明露光用、暗露光用の露光回数はそれぞれＨ／ｔ、Ｌ／ｔで求められる。これらのＨ／ｔ、Ｌ／ｔが整数とならないときには切り捨て、切り上げ、四捨五入等の処理をする。ｔの値が小さければ、上記切り捨て、切り上げ、四捨五入等による影響は僅かなものとなる。
【０１１６】
露光量制御部１２２は、上述のようにして求められた明露光用露光回数、暗露光用露光回数に基づき、撮像タイミングジェネレータ１１６に制御信号を出力する。撮像タイミングジェネレータ１１６は、撮像素子１０４および撮像回路１０６に制御信号を発し、その結果、図６に例示されるようなパルス状の露光とそれに続く画像信号の読み出しとが行われる。
【０１１７】
図６では明画像信号Ｈ１、Ｈ２、Ｈ３、Ｈ４を得る際にはそれぞれ４回の、暗画像信号Ｌ１、Ｌ２、Ｌ３、Ｌ４を得る際にはそれぞれ２回のパルス状の露光が行われる例が示される。しかし、被写体輝度が変化するのに対応して、明露光、暗露光のためのパルス状の露光の回数はＰ１、Ｐ２、…の各周期で変化しうる。
【０１１８】
図６に示す例では、明画像信号、暗画像信号を得るために一周期内で互いに異なる露光量での露光を行う際、明露光、暗露光におけるパルス状の露光の回数を変えている。しかし、本発明はこれに限られるものではなく、一周期中で行われる明露光、暗露光におけるパルス状の露光の回数は一周期内で互いに同じとして、明露光、暗露光それぞれが行われる際の他の露光パラメータを変えてもよい。例えば、絞りユニット１５２での設定絞り値や光学濃度を明露光中と暗露光中とで変化させてもよい。
【産業上の利用可能性】
【０１１９】
本発明は、デジタルスチルカメラ、デジタルムービーカメラ、記録部を有しないカメラヘッド、撮影機能を有する携帯電話、ＰＤＡ、あるはパーソナルコンピュータなどに適用可能である。
【符号の説明】
【０１２０】
１００  …  撮像装置
１０２  …  シャッタ
１０４  …  撮像素子
１０６  …  撮像回路
１０８  …  動き検出部
１１０  …  ＨＤＲ合成部
１１２  …  画像処理部
１１６  …  撮像タイミングジェネレータ
１１８  …  ＡＦ評価値生成部
１２０  …  補正処理部
１２２  …  露光量制御部
１２４  …  焦点調節制御部
１２６  …画像信号選択部
１３０  …  システムコントローラ
１５０  …  撮影レンズ
１５２  …  絞りユニット
１５４  …  絞り駆動部
１５６  …  フォーカス駆動部
【図１】
2011232671.tif 000003
【図２】
2011232671.tif 000004
【図３】
2011232671.tif 000005
【図４】
2011232671.tif 000006
【図５】
2011232671.tif 000007
【図６】
2011232671.tif 000008