(57)【要約】【課題】電子ズームなどのリサイズ動作が可能な撮像装置において、光学系に起因する収差や周辺光量落ちに対する補正を適切に行うことを可能にする。【解決手段】光学系を介して得られた像を撮像素子により撮像する撮像装置は、光学系に起因して画像に発生する収差を画像処理を用いて補正する収差補正部と、光学系に起因して画像の周辺に生じる光量落ちを画像処理を用いて補正する光量補正部とを有する。撮像装置は、指定された電子ズーム倍率に応じて、縮小または拡大された画像を得るようリサイズを行なう。撮像装置は、リサイズ処理される画像に対する収差補正部と光量補正部の実行の順番を、電子ズーム倍率が予め定められた値以下の場合は光量補正部を先に実行し、電子ズーム倍率が予め定められた値より大きい場合は収差補正部を先に実行するように実行の順番を切り替える。【選択図】  図１
2013131848.tif 000002
【特許請求の範囲】
【請求項１】
光学系を介して結像された被写体像を撮像素子により撮像する撮像装置であって、
前記光学系に起因して前記撮像素子から得られる画像に発生する収差を画像処理により補正する収差補正手段と、
前記光学系に起因して前記画像の周辺に生じる光量落ちを画像処理により補正する光量補正手段と、
前記収差補正手段と光量補正手段により補正された画像を用いて、指定された電子ズーム倍率に応じて縮小または拡大された画像を得るリサイズ手段と、
前記リサイズ手段で処理される画像に対する前記収差補正手段と前記光量補正手段の実行の順番を切り替える切り替え手段と、を備え、
前記切り替え手段は、前記電子ズーム倍率が予め定められた値以下の場合は前記光量補正手段を先に実行し、前記電子ズーム倍率が予め定められた値より大きい場合は前記収差補正手段を先に実行するように実行の順番を切り替える、ことを特徴とする撮像装置。
【請求項２】
光学系を介して結像された被写体像を撮像素子により撮像する撮像装置であって、
前記光学系に起因して前記撮像素子から得られる画像に発生する収差を画像処理により補正する収差補正手段と、
前記光学系に起因して前記画像の周辺に生じる光量落ちを画像処理により補正する光量補正手段と、
前記収差補正手段と光量補正手段により補正された画像の一部を切り出す切り出し手段と、
前記切り出し手段で切り出される画像に対する前記収差補正手段と前記光量補正手段の実行の順番を切り替える切り替え手段と、を備え、
前記切り替え手段は、前記収差補正手段および前記光量補正手段のそれぞれが前記画像に対して行う補正のうち、前記切り出し手段により切り出される画像の範囲に対して行われる補正の補正量の大きさを評価し、前記光量補正手段の補正量に対して前記収差補正手段の補正量が大きい場合に前記収差補正手段による補正が先に実行され、前記光量補正手段の補正量に対して前記収差補正手段の補正量が大きくない場合に前記光量補正手段による補正が先に実行されるように前記切り替えを制御する、ことを特徴とする撮像装置。
【請求項３】
前記切り出し手段は、前記収差補正手段と光量補正手段により補正された画像を用いて、指定された電子ズーム倍率に応じて縮小または拡大された画像を切り出すものであり、
前記切り替え手段は、前記収差補正手段による補正量の絶対値和の値が前記光量補正手段による補正量の絶対値和に係数を乗じて得られた値より大きい場合は前記収差補正手段を先に実行し、前記収差補正手段による補正量の絶対値和の値が前記光量補正手段による補正量の絶対値和に前記係数を乗じて得られた値以下の場合は前記光量補正手段を先に実行し、
前記係数は、前記電子ズーム倍率が大きいほど小さい値に設定される、ことを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記収差補正手段は、倍率色収差補正と歪曲収差補正の少なくともいずれかを含むことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
光学系を介して結像された被写体像を撮像素子により撮像する撮像装置の制御方法であって、
収差補正手段が、前記光学系に起因して前記撮像素子から得られる画像に発生する収差を画像処理により補正する収差補正工程と、
光量補正手段が、前記光学系に起因して前記画像の周辺に生じる光量落ちを画像処理により補正する光量補正工程と、
リサイズ手段が、前記収差補正工程と光量補正工程により補正された画像を用いて、指定された電子ズーム倍率に応じて縮小または拡大された撮像画像を得るリサイズ工程と、
切り替え手段が、前記リサイズ工程で処理される画像に対する前記収差補正工程と前記光量補正工程の実行の順番を切り替える切り替え工程と、を有し、
前記切り替え工程では、前記電子ズーム倍率が予め定められた値以下の場合は前記光量補正手段を先に実行し、前記電子ズーム倍率が予め定められた値より大きい場合は前記収差補正手段を先に実行するように、前記リサイズ工程で処理される画像に対する前記収差補正工程と前記光量補正工程の実行の順番を切り替えることを特徴とする撮像装置の制御方法。
【請求項６】
光学系を介して結像された被写体像を撮像素子により撮像する撮像装置の制御方法であって、
収差補正手段が、前記光学系に起因して前記撮像素子から得られる画像に発生する収差を画像処理により補正する収差補正工程と、
光量補正手段が、前記光学系に起因して前記画像の周辺に生じる光量落ちを画像処理により補正する光量補正工程と、
リサイズ手段が、前記収差補正工程と光量補正工程により補正された画像の一部を切り出す切り出し工程と、
切り替え手段が、前記切り出し手段で処理される画像に対する前記収差補正手段と前記光量補正手段の実行の順番を切り替える切り替え工程と、を有し、
前記切り替え工程では、前記収差補正工程および前記光量補正工程のそれぞれが前記画像に対して行う補正のうち、前記切り出し工程で切り出される画像の範囲に対して行われる補正の補正量の大きさを評価し、前記光量補正工程による補正量に対して前記収差補正工程による補正量が大きい場合に前記収差補正工程が先に実行され、前記光量補正工程による補正量に対して前記収差補正工程による補正量が大きくない場合に前記光量補正工程が先に実行されるように、前記切り出し工程で切り出される画像に対する前記収差補正工程と前記光量補正工程の実行の順番を切り替える切り替え手段と、を備えることを特徴とする撮像装置の制御方法。
【請求項７】
請求項５または６に記載の撮像装置の制御方法の各工程をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置およびその制御方法に関し、特に光学系に起因した画質劣化を画像信号処理によって補正するものに関する。
【背景技術】
【０００２】
従来、光学系に起因する色収差、歪曲収差、周辺光量低下等の画質劣化を、撮像装置本体内の画像信号処理によって低減する撮像装置が提案されている。このような撮像装置では、色収差、歪曲収差、周辺光量低下等の光学系に起因する画質劣化が、焦点距離、絞り、フォーカス位置（以下光学パラメータと呼ぶ）と、光軸中心からの距離（以下像高と呼ぶ）に応じて変化する。そのため、これら収差や光量低下についてあらかじめ補正特性をメモリに記憶しておき、光学パラメータの設定に応じて、メモリから補正特性を参照し、撮像装置内の信号処理で補正を行っている（特許文献１）。
【０００３】
また、光学起因の画質劣化を撮像装置内の信号処理で補正する場合に、色収差、歪曲収差等に対しては、画像内の画素位置を補正する処理が行われ、周辺光量低下等に対しては、画像の信号レベルを補正する処理が行われている。このとき、周辺光量低下用の補正処理によって、色収差、歪曲収差用の画素位置の補正特性に誤差が生じて画像が歪むことを懸念し、画素位置の補正を行ってから信号レベルの補正を行うようにした撮像装置が提案されている（特許文献２）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−２２５２７０号公報
【特許文献２】特開２００２−１９０９７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献２に記載の撮像装置では、色収差、歪曲収差用の補正を行った後に周辺光量低下の補正を行うよう、補正の順番が固定されている。そのため、特許文献２の撮像装置では、常に、周辺光量低下用の補正特性が前段で行われる色収差や歪曲収差用の補正処理の影響を受けることになる。
【０００６】
一方、電子ズームなどのリサイズ動作が可能な撮像装置において、リサイズ動作により画像を縮小している時（入力画像よりリサイズ後の出力画像が小さい場合）は、倍率色収差による色ずれの画素は縮小されて目立たなくなる。これに対して、周辺光量低下は、上記縮小時には広い画角が使用されるため、非常に目立ってしまう。
【０００７】
このように、リサイズ動作によって画像を縮小している場合は、画像に発生している周辺光量低下の特性が、前段の色収差、歪曲収差用の補正処理によって変性し、光学データベースから読み出してきた周辺光量落ち用の補正特性からずれが生じる。そのため、周辺光量落ちに関する補正が適切に行われなくなるという課題がある。
【０００８】
本発明は、上記の課題に鑑みてなされたものであり、電子ズームなどのリサイズ動作が可能な撮像装置において、光学系に起因する収差や周辺光量落ちに対する補正を適切に行うことを可能にすることを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するための本発明の一態様による撮像装置は以下の構成を備える。すなわち、
光学系を介して結像された被写体像を撮像素子により撮像する撮像装置であって、
前記光学系に起因して前記撮像素子から得られる画像に発生する収差を画像処理により補正する収差補正手段と、
前記光学系に起因して前記画像の周辺に生じる光量落ちを画像処理により補正する光量補正手段と、
前記収差補正手段と光量補正手段により補正された画像を用いて、指定された電子ズーム倍率に応じて縮小または拡大された画像を得るリサイズ手段と、
前記リサイズ手段で処理される画像に対する前記収差補正手段と前記光量補正手段の実行の順番を切り替える切り替え手段と、を備え、
前記切り替え手段は、前記電子ズーム倍率が予め定められた値以下の場合は前記光量補正手段を先に実行し、前記電子ズーム倍率が予め定められた値より大きい場合は前記収差補正手段を先に実行するように実行の順番を切り替える。
【発明の効果】
【００１０】
本発明によれば、電子ズームなどのリサイズ動作が可能な撮像装置において、光学系に起因する、収差や周辺光量落ちに対する補正を適切に行うことを可能になる。
【図面の簡単な説明】
【００１１】
【図１】第１実施形態の撮像装置の構成を説明するブロック図。
【図２】第１実施形態による収差補正と光量補正の処理順序の決定方法を説明する図。
【図３】第２実施形態による収差補正と光量補正の処理順序の決定方法を説明する図。
【図４】第２実施形態の倍率色収差補正および周辺光量落ち補正の補正特性を示す図。
【図５】第２実施形態による評価値の算出を説明する図。
【発明を実施するための形態】
【００１２】
以下、図面を参照しながら、本発明の好適な実施形態の例を説明する。
［第１実施形態］
【００１３】
図１は、第１実施形態による撮像装置の構成を示すブロック図である。図１において、１は光学系であり、ズームレンズ、フォーカスレンズ、絞りを含む。光学系１を通して撮像素子３に被写体像が結像される。２は光学系駆動部であり、光学系１を駆動する。３は撮像素子であり、光学系１を介して結像された被写体像を撮像する。４は撮像素子駆動部であり、撮像素子３を駆動する。５はアナログフロントエンド部（ＡＦＥ）であり、相関二重サンプリング部（ＣＤＳ）およびＡ／Ｄ変換器を含む。６はシステム制御部であり、撮像装置の全体の制御を受け持つ。７は光学データベースであり、予め複数の像高と光学パラメータから算出した倍率色収差および歪曲収差、光量落ちの補正量のテーブルを保持する。８はセレクタであり、ＡＦＥ５の出力信号および歪曲収差補正部１６の出力信号の一方を選択して出力する。
【００１４】
９は周辺光量落ち補正部であり、光学系１の光学特性に起因して発生する周辺光量落ちを画像処理により補正する。１０はセレクタであり、ＡＦＥ５の出力信号および周辺光量落ち補正部９の出力信号の一方を選択して出力する。１１は倍率色収差補正部であり、光学系１の光学特性に起因して発生する倍率色収差を画像処理により補正する。１６は歪曲収差補正部であり、光学系１の光学特性に起因して発生する歪曲収差を画像処理により補正する。１２はセレクタであり、周辺光量落ち補正部９の出力信号および歪曲収差補正部１６の出力信号の一方を選択して出力する。１３は順番切替判定部であり、セレクタ８、セレクタ１０、セレクタ１２がいずれの信号を選択するかを示す制御信号を生成する。１４はカメラ信号処理部であり、アパーチャ補正、ガンマ補正、ホワイトバランス処理などの撮像系の信号処理を行う。１５はリサイズ処理部であり、システム制御部６により指定される電子ズーム倍率でカメラ信号処理部１４の出力信号（画像）に対して電子ズームの処理を施す。
【００１５】
撮像素子３は、被写体像を光電変換により電気信号に変換してアナログ画像信号を出力する。撮像素子３から出力されたアナログ画像信号はＡＦＥ５内部のＡ／Ｄ変換器によりデジタル画像信号に変換され、出力される。
【００１６】
周辺光量落ち補正部９は、光学データベース７に保持された周辺光量落ちの補正特性をシステム制御部６を介して取得し、システム制御部６から出力される像高に応じて周辺光量落ちの補正量を算出し、補正処理を行う。
【００１７】
周辺光量落ちは、レンズの光軸から離れた位置ほど、光量が低下して輝度が低くなるという現象である。光学データベース７には、レンズの光軸と一致する画像上の位置を中心としたときの像高に応じて光量がどの程度低下するのかを示す関数が記憶されている。周辺光量落ち補正部９は、システム制御部６を介して光学データベース７から読み出したこの関数を基に、像高別の周辺光量落ちの補正量を算出する。
【００１８】
倍率色収差補正部１１は、光学データベース７に保持された倍率色収差の補正特性を、システム制御部６を介して取得する。そして、倍率色収差補正部１１は、取得した補正特性を参照することにより、システム制御部６から出力される像高に応じた倍率色収差補正の補正量を算出し、補正処理を行う。
【００１９】
倍率色収差は、レンズの光軸から離れた位置ほど、色毎の結像位置が像高の方向にシフトするという現象である。そのため、光学データベース７には、レンズの光軸と一致する画像上の位置を中心としたときの像高に応じて、Ｇ（緑）の色成分からなる画像に対する、Ｂ（青）の色成分からなる画像及びＲ（赤）の色成分からなる画像の、それぞれの結像位置のズレ量を示す関数が記憶されている。例えば、ある着目画素におけるＲＧＢの各色成分の画素値を求める場合に、Ｇ成分の画素値については、着目画素におけるＧ成分の画素値、あるいは、その周辺画素におけるＧ成分の画素値を用いて補間演算した値を用いれば良い。これに対し、Ｂ成分の画素値は、その着目画素の位置に対して結像位置がシフトしまっている。そのため、そのシフトした先の座標を上述した関数から求め、その座標におけるＢ成分の画素値を、着目画素の位置におけるＢ成分の画素値として求める。ただし、ほとんどの場合は、シフトした先の座標が画素の重心位置と一致していないため、その座標を囲う周辺画素におけるＢ成分の画素値を用いて、その座標との距離に応じた重み付け平均をすることで、その座標におけるＢ成分の画素値を求める。これはＲ成分においても同様である。
【００２０】
歪曲収差補正部１６は、光学データベース７に保存された歪曲収差の補正特性を、システム制御部６を介して取得し、システム制御部６から出力される像高に応じて歪曲収差補正の補正量を算出し、補正処理を行う。
【００２１】
歪曲収差は、レンズの光軸から離れた位置ほど、結像位置が像高の方向にシフトすることで、被写体像が樽型あるいは糸巻き型に歪むという現象である。そのため、光学データベース７には、レンズの光軸と一致する画像上の位置を中心としたときの像高に応じて、結像位置のズレ量を示す関数が記憶されている。例えば、ある着目画素における画素値を求める場合に、歪曲収差によってシフトした先の座標を上述した関数から求め、その座標における画素値を、着目画素の位置における画素値として求める。ただし、ほとんどの場合は、シフトした先の座標が画素の重心位置と一致していないため、その座標を囲う周辺画素における画素値を用いて、その座標との距離に応じた重み付け平均をすることで、その座標における画素値を求める。
【００２２】
光量補正を行なう周辺光量落ち補正部９と、収差補正を行なう倍率色収差補正部１１および歪曲収差補正部１６とにより補正された画像は、カメラ信号処理部１４へ入力される。カメラ信号処理部１４は、こうして入力された画像に対して、アパーチャ補正、ガンマ補正、ホワイトバランス処理などの撮像系の信号処理を行う。
【００２３】
リサイズ処理部１５は、カメラ信号処理部１４の出力信号（出力画像）およびシステム制御部６の出力信号（電子ズーム倍率）を入力して、リサイズ処理を行なう。すなわち、リサイズ処理部１５では、電子ズーム倍率の値に応じて、カメラ信号処理部１４の出力画像に対して拡大処理を行なってその一部を切り出したり、縮小処理を行ったりして、撮像装置の出力としての撮像画像を得る。
【００２４】
システム制御部６内の順番切替判定部１３は、電子ズーム値zoomに応じて、セレクタ８、セレクタ１０、セレクタ１２の切替動作を制御する切替制御信号を出力する。図２は、順番切替判定部１３の動作を説明する図であり、（ａ）は順番切替判定部１３の処理手順を示すフローチャートを示し、（ｂ）は順番切替判定部１３による切り替え動作を示す。まず、Ｓ２０１において、順番切替判定部１３は電子ズーム値zoomを取得する。電子ズーム値zoomは、電子ズーム倍率ＭＡＧから例えば（数１）に示す演算を用いて求められる。
【数１】
2013131848.tif 000003
【００２５】
次に、Ｓ２０２において、順番切替判定部１３は、電子ズーム値zoomと予め定められた値Ｎとを比較する。そして、順番切替判定部１３は、電子ズーム値zoomが予め決められた値以下（Ｎ以下）の場合は０を切替制御信号としてセレクタ８，１０，１２に出力する（Ｓ２０２：ＹＥＳ、Ｓ２０３）。また、順番切替判定部１３は、電子ズーム値zoomが予め決められた値よりも大きい（Ｎより大きい）場合には１を、切替制御信号としてセレクタ８，１０，１２に出力する（Ｓ２０２：ＮＯ、Ｓ２０４）。この切り替え制御信号により、光量補正（周辺光量落ち補正部９）と収差補正（倍率色収差補正部１１、歪曲収差補正部１６）のいずれの補正を先に実行するかが制御される。順番切替判定部１３の出力である切替制御信号と、周辺光量落ち補正部９、倍率色収差補正部１１、歪曲収差補正部１６の処理の順番の関係を、図２（ｂ）に示す。
【００２６】
切替制御信号が０の場合は、電子ズーム値が小さく、周辺光量落ちの目立っている状況であると推定されるので、光量補正が収差補正より先に実行されるようにセレクタ８，１０，１２が切り替わる。すなわち、切り替え制御信号が０の場合、セレクタ８ではＡＦＥ５の出力画像を選択し、セレクタ１０では周辺光量落ち補正部９の出力画像を選択し、セレクタ１２では歪曲収差補正部１６の出力画像を選択する。こうして、切り替え信号が０のときは、切替制御信号が０の場合は、ＡＦＥ５の出力画像に対して周辺光量落ち補正部９が補正処理を行ってから、倍率色収差補正部１１と歪曲収差補正部１６が補正処理を行うように構成される。
【００２７】
一方、切替制御信号が１の場合は、電子ズーム倍率が大きく、倍率色収差の色ずれまたは、歪曲収差による画像歪みが拡大されて目立っている状況と推定されるので、収差補正が光量補正より先に実行されるようにセレクタ８，１０，１２が切り替わる。すなわち、切り替え制御信号が１の場合、セレクタ８では歪曲収差補正部１６の出力画像を選択し、セレクタ１０ではＡＦＥ５の出力画像を選択し、セレクタ１２では、周辺光量落ち補正部９の出力画像を選択する。こうして、切り替え信号が１のときは、ＡＦＥ５の出力画像に対して倍率、倍率色収差補正部１１と歪曲収差補正部１６が補正処理を行ってから、周辺光量落ち補正部９が補正処理を行うように、セレクタ８、セレクタ１０、セレクタ１２が切り替わる。
【００２８】
なお、本実施形態では、収差補正として倍率色収差補正と歪曲収差補正を示したが、他の収差補正を実行するようにしてもよいし、いずれか１つの収差補正を実行するようにしてもよい。また、電子ズーム倍率を（数１）によりzoom値に変換して用いたが、電子ズーム倍率をそのまま用いるようにしてもよい。
【００２９】
以上のように、第１実施形態によれば、撮影中の電子ズーム倍率に応じて、周辺光量落ちと、倍率色収差および歪曲収差のどちらが目立つか、すなわちどちらが画質劣化に対して支配的であるか、を推定する。そして、画質劣化に対して支配的な方を先に補正するよう、補正処理の順番を制御している。複数種類の光学補正処理を順次行っていく撮像装置では、先に行った補正処理の影響で、次に行う補正処理の補正結果に誤差が生じる。したがって、本実施形態のように、電子ズーム倍率に応じて画質劣化が目立つものを先に補正することにより、最終的な出力画像の画質を向上させることができる。特に、座標変換を伴う収差補正と座標変換を伴わない光量補正の実行順序は、画質に影響を与えるため、上記実施形態のようにそれらの実行順序を適切に制御することで、画質を向上させることができる。
【００３０】
［第２実施形態］
第１実施形態では、電子ズーム倍率に基づいて収差補正と光量補正の実行順序を制御する例を説明した。第２実施形態では、更に、光量補正と収差補正のそれぞれの補正量の評価を加味して収差補正と光量補正の実行順序を決定する構成を説明する。
【００３１】
第２実施形態による撮像装置の構成は、第１実施形態（図１）と同様である。ただし、順番切替判定部１３が収差補正と光量補正の実行順序の判定に用いる信号、およびその手順が異なる。順番切替判定部１３は、電子ズーム倍率、周辺光量落ち補正特性、倍率色収差補正特性、歪曲収差補正特性によって、セレクタ８、セレクタ１０、セレクタ１２の切替動作を制御する切替制御信号を出力する。なお、電子ズーム倍率、周辺光量落ち補正特性、倍率色収差補正特性、歪曲収差補正特性は、それぞれシステム制御部６から、周辺光量落ち補正部９、倍率色収差補正部１１、歪曲収差補正部１６へ入力される信号である。
【００３２】
図３は、第２実施形態の順番切替判定部１３の動作を説明する図であり、（ａ）は順番切替判定部１３の処理手順を示すフローチャートを示し、（ｂ）は順番切替判定部１３による切り替えを示す。図３（ａ）のＳ３０１において、順番切替判定部１３は、まず、周辺光量落ち補正特性、倍率色収差補正特性、歪曲収差補正特性を取得する。そして、Ｓ３０２〜Ｓ３０４によりそれぞれの補正度合いを算出する。
【００３３】
Ｓ３０２において、順番切替判定部１３は、電子防振および／または電子ズーム処理等で画像の切り出しを行なっているか否かを判定する。画像の切り出しが行なわれていなければ、Ｓ３０３において、順番切替判定部１３は、評価値としての補正の度合いを算出する像高の範囲、すなわち切り出された部分の像高の範囲を図５（ａ）のｓからｅの範囲のように決定する。他方、画像の切り出しが行なわれている場合は、処理はＳ３０４へ進む。Ｓ３０４において、順番切替判定部１３は、評価値としての補正の度合いを算出する像高の範囲を切り出された画像の部分の像高の範囲とする。例えば、図５（ｂ）（ｃ）のように、切り出された画像の最小の像高位置を切り出し開始位置ｓに、最大の像高位置を切り出し終了位置ｅに設定する。
【００３４】
次に、Ｓ３０５において、順番切替判定部１３は、Ｓ３０３またはＳ３０４において設定された像高の範囲において、光量補正や収差補正のそれぞれの補正特性から、各補正による補正度合いを算出する。すなわち、撮像画像として出力される画像（画像全体または切り出された画像）における補正量の度合いを算出する。
【００３５】
周辺光量落ちの補正度合いＫの算出の概念を図４（ａ）を参照して説明する。周辺光量落ちの各像高に対する補正量ｋは画面中心から像高方向に決まっており、補正ゲインとして定められている。なお、補正ゲインは１．０で補正なしとなる。電子防振および／または電子ズーム処理（リサイズ処理）で撮像素子３の出力画像からの切り出し制御を行っている場合は、切り出された画像の位置および大きさにより定まる像高の範囲の補正が用いられることになる。たとえば、図４（ａ）に示すような、切り出し開始位置ｓと切り出し終了位置ｅの間の補正量が使用される。この各像高の補正量に対して（数２）に表されるように、切り出し開始位置ｓから切り出し終了位置ｅまでの補正量ｋの補正ゲイン＝１．０との差分の絶対値和を周辺光量落ち補正の度合いＫとして求め、これを評価値とする。
【数２】
2013131848.tif 000004
たとえば、図５の（ｂ）のように、切り出された画像５１１が光軸位置５０１（画面中央）を含まない場合は、その切り出し画像５１１における像高が最小の位置（ｅ）と像高が最大の位置（ｓ）までの範囲で、上記補正量の絶対値和が算出される。ただし、図５の（ａ）のように画像全体が用いられる場合や、図５の（ｃ）のように切り出された画像５１２が光軸位置５０１を含む場合は、ｓから光軸位置５０１（画面中央）までの絶対値和と、光軸位置（画面中央）からｅまでの絶対値和を合計する。
【００３６】
同様に、倍率色収差補正特性から倍率色収差補正度合いＢを算出するための概念を図４（ｂ）に示す。倍率色収差の各像高に対する補正量ｂは画面中心から像高方向に決まっており、ずれている画素数として定められ、画素数が０で補正なしとなる。電子防振および／または電子ズーム処理（リサイズ処理）で撮像素子３の出力画像からの切り出し制御を行っている場合は、図４（ｂ）に示すように切り出し開始位置ｓと切り出し終了位置ｅの間の補正量が使用される。この各像高の補正量に対して（数３）に表されるように、切り出し開始位置ｓから切り出し終了位置ｅまでの補正量ｂの絶対値和を倍率色収差補正度合いＢとして求め、これを評価値とする。
【数３】
2013131848.tif 000005
なお、図５の（ａ）や（ｃ）のように、画像全体が用いられる場合や切り出された画像が光軸位置を含む場合は、ｓから光軸位置（画面中央）までの絶対値和と、光軸位置（画面中央）からｅまでの絶対値和を合計する。
【００３７】
同様に、歪曲収差補正特性から歪曲収差補正度合いＷを算出するための概念を図４（ｃ）を参照して説明する。歪曲収差の各像高に対する補正量ｗは画面中心から像高方向に決まっており、ずれている画素数として定められ、画素数が０で補正なしとなる。電子防振および／または電子ズーム処理（リサイズ処理）で撮像素子３の出力画像からの切り出し制御を行っている場合は、図４（ｃ）に示すように切り出し開始位置ｓと切り出し終了位置ｅの間の補正量が使用される。この各像高の補正量に対して（数４）に表されるように、切り出し開始位置ｓから切り出し終了位置ｅまでの補正量ｗの絶対値和を歪曲収差補正度合いＷとして求め、これを評価値とする。
【数４】
2013131848.tif 000006
なお、図５の（ａ）や（ｃ）のように、画像全体が用いられる場合や切り出された画像が光軸位置を含む場合は、ｓから光軸位置（画面中央）までの絶対値和と、光軸位置（画面中央）からｅまでの絶対値和を合計する。
【００３８】
次に、Ｓ３０６において、順番切替判定部１３は、光量補正の度合いを収差補正の度合いと比較するために、光量補正の度合いに作用させる係数Ａを決定する。光量補正は座標変換であり、光量補正は光量値（ゲイン）の変換であり、両者は異なる物理量に対応した評価値となっている。そのため、係数Ａを用いて光量補正の度合いと収差補正の度合いを比較、評価できるようにしている。また、本実施形態では、電子ズーム倍率（zoom値）に応じて係数Ａを変化させ、zoom値が小さいほど光量補正が先に実行されやすくなるような評価を実現している。なお、具体的な係数Ａの値は、経験的に求まるものである。
【００３９】
電子ズーム倍率から係数Ａを求めるグラフを図５（ｄ）に示す。図５（ｄ）に示すように、係数Ａは、電子ズーム倍率が大きくなるに従って小さくなるような特性を有する。なお、このグラフは一例であり、電子ズーム倍率が大きくなるに従って小さくなるような特性を持っていれば良く、全域にわたって線型特性を有する必要もなく、折れ線や、直線と曲線を組み合わせたような、連続した特性でなくてもよい。また、図５（ｄ）のzminとは、電子的なリサイズの最広角時の入力画像の大きさと、出力画像の大きさから算出した電子ズーム値で、電子ズーム値の取り得る値の最小値を示している。最広角時の入力画像よりもリサイズ処理された出力画像が小さい場合（縮小された場合）、電子ズーム倍率ＭＡＧが１未満となるので、電子ズーム値zoomはマイナスの値となる。
【００４０】
次に、Ｓ３０７〜Ｓ３０９において、順番切替判定部１３は、Ｓ３０３またはＳ３０５、およびＳ３０６で求めた周辺光量落ち補正の度合いＫおよび、倍率色収差補正の度合いＢ、歪曲収差補正の度合いＷ、係数Ａから切替制御信号を決定する。
【００４１】
まず、Ｓ３０７において、順番切替判定部１３は、係数Ａを周辺光量落ち補正の度合いＫに乗算した結果（Ａ・Ｋ）が、倍率色収差補正の度合いＢと歪曲収差補正の度合いＷの最大値（ＭＡＸ（Ｂ，Ｗ））以下か否かを判定する。Ａ・ＫがＭＡＸ（Ｂ，Ｗ）以下の場合は、処理はＳ３０８へ進み、順番切替判定部１３は、切替制御信号として０を出力し、光量補正を収差補正より先に実行させる。また、Ａ・ＫがＭＡＸ（Ｂ，Ｗ）よりより大きい場合は、処理はＳ３０９へ進み、順番切替判定部１３は、切替制御信号として１を出力し、収差補正を光量補正より先に実行させる。
【００４２】
切替制御信号が０の場合は、周辺光量落ちの目立っている状況であると推定される。そのため、順番切替判定部１３は、ＡＦＥ５の出力画像に対して、周辺光量落ち補正処理を行ってから、倍率色収差補正処理、歪曲収差補正処理を行うように、セレクタ８、セレクタ１０、セレクタ１２を制御する。したがって、切り替え信号が０の場合、セレクタ８ではＡＦＥ５の出力画像を選択し、セレクタ１０では周辺光量落ち補正部９の出力画像を選択し、セレクタ１２では歪曲収差補正部１６の出力画像を選択するように切り替わる。
【００４３】
他方、切替制御信号が１の場合は、倍率色収差の色ずれまたは、歪曲収差による画像歪みが拡大されて目立っている状況と推定される。そのため、順番切替判定部１３は、ＡＦＥ５の出力画像に対して倍率色収差補正処理および歪曲収差補正処理を行ってから、周辺光量落ち補正処理を行うように、セレクタ８、セレクタ１０、セレクタ１２を制御する。したがって、切り替え信号が１の場合、セレクタ８では歪曲収差補正部１６の出力画像を選択し、セレクタ１０ではＡＦＥ５の出力画像を選択し、セレクタ１２では周辺光量落ち補正部９の出力画像を選択するように切り替わる。
【００４４】
また、係数Ａは電子ズーム倍率に応じて変化し、図５（ｄ）の特性より、電子ズーム倍率が大きい時ほど小さな値となる。そして、この係数Ａを周辺光量落ち補正の度合いＫに乗算した値が、倍率色収差補正の度合いＢまたは歪曲収差補正の度合いＷの最大値と比較される。したがって、電子ズーム倍率が小さい場合は周辺光量落ち補正の優先度合いが高くなり、電子ズーム倍率が大きい場合は倍率色収差補正および歪曲収差補正の優先度が高くなる。
【００４５】
なお、上記第２実施形態では、電子ズーム倍率が大きいほど小さくなる係数Ａを用いたが、係数Ａを電子ズーム倍率の変化に関わらず一定の値としてもよい。この場合、順番切替判定部１３は、収差補正（倍率色収差補、歪曲収差補正）および光量補正（周辺光量落ち補正）のそれぞれが行う補正のうち、リサイズ処理部１５で用いられる画像の範囲に対して行われる補正の補正量の大きさを評価する。そして順番切替判定部１３は、その評価結果にしたがって補正の実行順序を決定することになる。すなわち、光量補正による補正量に対して収差補正による補正量が大きいほど、収差補正が先に実行されるように、収差補正と光量補正の実行の順番の切り替えを制御するようにしてもよい。
【００４６】
以上のように、第２実施形態は、撮影中の電子ズーム倍率および、周辺光量落ち補正量、倍率色収差補正量、歪曲収差補正量から、周辺光量落ちによる画質劣化と、倍率色収差および歪曲収差を含む収差による画質劣化のどちらが目立つかが推定される。そして、目立つ方の画質劣化を先に補正するよう、光量補正と収差補正の処理の実行順番が制御される。複数種類の光学補正処理を順次行っていく撮像装置では、先に行った補正処理の影響で、次に行う補正処理の補正結果に誤差が生じてしまう。したがって、第２実施形態のように、電子ズーム倍率および、周辺光量落ち補正量、倍率色収差補正量、歪曲収差補正量に応じて画質劣化が目立つものを先に補正することにより、最終的な出力画像の画質を向上させることができる。
【００４７】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2013131848.tif 000007
【図２】
2013131848.tif 000008
【図３】
2013131848.tif 000009
【図４】
2013131848.tif 000010
【図５】
2013131848.tif 000011