(57)【要約】【課題】撮像装置のコンピュータに高い負荷がかかっている場合であっても、撮像した画像に対して光学補正を実行できるようにする。【解決手段】撮像装置１ａは、画像信号を出力する撮像素子０１０３と、画像信号から画像情報を生成する勾配検出手段０１１７と、画像情報と光学系０１０１に関する情報とに基づいて画像信号に関する光学特性値を生成するシステム制御部０１１５と、光学特性値に基づいて光学補正値を生成する複数の光学補正値生成手段０１０７，０１０９，０１１４と、複数の光学補正値のそれぞれに基づいて画像信号に対して光学補正を実行する複数の光学補正手段０１０６，０１０８，０１１３とを有し、システム制御部０１１５は、勾配検出手段０１１７が生成する画像情報に基づいて、学補正値を生成する優先順序を決定する。【選択図】図１１
2014087022.tif 000002
【特許請求の範囲】
【請求項１】
光学系によって投影された被写体像を画像信号に変換して出力する撮像素子と、
前記撮像素子が出力する画像信号から画像情報を取得する画像情報取得手段と、
前記光学系に関する光学特性値に基づいて複数の光学補正値を生成する制御手段と、
前記複数の光学補正値のそれぞれに基づいて、前記撮像素子が出力する画像信号に対して光学補正を実行する複数の光学補正手段と、
を有し、
前記制御手段は、前記画像情報に基づいて、前記光学補正値を生成する優先順序を決定することを特徴とする撮像装置。
【請求項２】
前記制御手段は、前記画像情報に基づいて、前記光学補正値を生成する優先順序を決定するとともに、前記光学補正値の生成の時間の割り付けを前記優先順序に応じて決定することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記画像情報取得手段は、前記画像信号から複数の異なる画像情報を取得し、
前記制御手段は、前記複数の異なる画像情報に基づいて、前記優先順序を決定することを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記制御手段は、前記複数の異なる画像情報に対して前記光学補正の内容に応じて重み付けを行い、重み付けの結果に基づいて前記複数の光学補正値の生成の優先順序を決定することを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記制御手段は、前記複数の異なる画像情報に対して予め決定した順序に基づいて前記画像情報を評価し、前記評価の結果に基づいて前記複数の光学補正値の生成の優先順序を決定することを特徴とする請求項３に記載の撮像装置。
【請求項６】
前記制御手段は、複数の前記光学補正値の生成に割付けられる時間と前記複数の光学補正値の生成の優先順序とに基づいて、前記光学補正値を生成できるか否かを判定し、できると判定した場合に前記光学補正値を生成することを特徴とする請求項２に記載の撮像装置。
【請求項７】
前記制御手段は、前記光学補正値の生成に割付けられる時間と前記光学補正値の生成に要する時間とに応じて、前記光学補正値を通常の処理によって生成するか前記通常の処理よりも短い時間の簡易処理によって生成するかを切替えることを特徴とする請求項２に記載の撮像装置。
【請求項８】
前記制御手段は、前記光学補正値の生成に割付けられる時間が前記光学補正値の生成に要する時間よりも短い場合には、前記光学補正値を生成しないことを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記制御手段は、前記光学補正値の生成の履歴を記憶し、記憶した前記履歴に基づいて前記光学補正値の生成の優先順序を決定することを特徴とする請求項１から８のいずれか１項に記載の撮像装置。
【請求項１０】
前記制御手段は、前記光学補正値の生成の優先順序の履歴を記憶し、記憶された前記履歴における前記光学補正値の生成の優先順序が所定回数にわたって低い優先順序が連続した前記光学補正値の生成の優先順序を高くすることを特徴とする請求項１から８のいずれか１項に記載の撮像装置。
【請求項１１】
前記制御手段は、前記光学補正値の生成の履歴を記憶し、記憶された前記履歴において前記光学補正値が所定の期間にわたって少ない前記光学補正値の生成の優先順序を高くすることを特徴とする請求項１から８のいずれか１項に記載の撮像装置。
【請求項１２】
前記複数の光学補正は、光量落ち補正と倍率色収差補正と歪曲収差補正であることを特徴とする請求項１〜１１のいずれか１項に記載の撮像装置。
【請求項１３】
光学系によって投影された被写体像を画像信号に変換して出力するステップと、
前記画像信号から画像情報を生成するステップと、
前記光学系に関する光学特性値に基づいて前記画像信号に関する複数の光学補正値を生成するステップと、
複数の前記光学補正値のそれぞれに基づいて、前記画像信号に対して複数の光学補正を実行するステップと、
前記画像情報に基づいて前記光学補正値を生成する優先順序を決定するステップと、
を有することを特徴とする撮像装置の制御方法。
【請求項１４】
撮像装置のコンピュータに、
光学系によって投影された被写体像を画像信号に変換して出力するステップと、
前記画像信号から画像情報を生成するステップと、
前記画像情報と前記光学系に関する情報とに基づいて前記画像信号に関する複数の光学特性値を生成するステップと、
複数の前記光学特性値に基づいて複数の光学補正値を生成するステップと、
複数の前記光学補正値のそれぞれに基づいて、前記画像信号に対して複数の光学補正を実行するステップと、
前記画像情報に基づいて前記光学補正値を生成する優先順序を決定するステップと、
を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置、撮像装置の制御方法、プログラムに関する。特に、本発明は、レンズで発生する各種収差を補正する撮像装置と、この撮像装置の制御方法と、プログラムに関する。
【背景技術】
【０００２】
従来、撮像装置に用いられるレンズには、そのレンズ性能に起因する色収差、歪曲収差、周辺光量低下、ボケ等の各種収差がある。これらの収差は、画質を劣化させる要因となっている。
なお、各種収差は、焦点距離、絞り、フォーカス位置（以下、光学パラメータと記す）と、光軸中心からの距離に応じて変化することが知られている。そこで、従来の撮像装置には、レンズの特性と現在の光学パラメータとに応じて、収差の補正を行うものがある。たとえば、撮像装置がそれぞれのレンズの特性を記憶したメモリを有し、設定された光学パラメータに応じてメモリからレンズ特性を読み出して、現在の光学パラメータに応じた補正（以下、光学補正）を行う。この場合、設定された光学パラメータに対応するレンズ特性が記憶されていなければ、撮像装置は、その近傍のレンズ特性を読み出して補間し、レンズ特性を生成する。
【０００３】
ところで、光学補正の処理内容は、各種収差ごとに相違する。たとえば、周辺光量低下に対する補正は、光量の低下量に応じてゲインを重畳する処理である。これに対して、色収差や歪曲収差に対する補正は、位相ずれが生じた画素を元の位置に戻す処理である。そして、特許文献1に記載のように、複数の光学補正の処理を実行する構成が公知である。
【０００４】
しかしながら、光学補正のための補正データ生成処理は、光学パラメータが格納された光学データベースへのアクセスや、各種計算処理などによって、マイコンにかかる負荷が高い。このため、特許文献１に記載の構成を、動画などのリアルタイム処理に適用すると、他の処理がマイコンにかける負荷が高い場合には、補正データ生成に割り当てられる時間が短くなる可能性がある。そうすると、全ての補正データ生成が所定時間内に完了しないおそれがある。また、特許文献１に記載の構成では、撮像装置は、固定的な順番で複数の光学補正データの生成を実行する。このため、他の処理によってマイコンにかかる負荷が高い状況が連続すると、一部の光学補正の補正データが生成されない状況が連続する。そうすると、光学補正の効果が得られない。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−１９０９７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
前記実情に鑑み、本発明が解決しようとする課題は、撮像装置のコンピュータに高い負荷がかかっている場合であっても、撮像した画像に対して光学補正を実行できるようにすることである。
【課題を解決するための手段】
【０００７】
前記課題を解決するため、本発明にかかる撮像装置は、光学系によって投影された被写体像を画像信号に変換して出力する撮像素子と、前記撮像素子が出力する画像信号から画像情報を取得する画像情報取得手段と、前記光学系に関する光学特性値に基づいて複数の光学補正値を生成する制御手段と、前記複数の光学補正値のそれぞれに基づいて、前記撮像素子が出力する画像信号に対して光学補正を実行する複数の光学補正手段を有し、前記制御手段は、前記画像情報に基づいて、前記光学補正値を生成する優先順序を決定することを特徴とする。
【発明の効果】
【０００８】
撮影した映像の解析結果を参照して、補正効果の高い光学補正を推定し、優先的に補正データ生成時間を割り当てていくことで、マイコンが高負荷時でも、撮影画像に対して、効果の高い光学補正を実行できる。
【図面の簡単な説明】
【０００９】
【図１】図１は、本発明の第１実施形態にかかる撮像装置の構成例を示すブロック図である。
【図２】図２は、勾配検出手段の構成を模式的に示すブロック図である。
【図３】図３は、光量落ち補正値生成手段の構成を模式的に示す図である。
【図４】図４は、像高と補正量の関係を示すグラフである。
【図５】図５は、倍率色収差補正値生成手段と歪曲収差補正値生成手段の構成を模式的に示す図である。
【図６】図６は、光量落ち補正手段の構成を模式的に示す図である。
【図７】図７は、位相ずれを補正する概念を模式的に示す図である。
【図８】図８は、倍率色収差補正手段と歪曲収差補正回路の構成を模式的に示す図である。
【図９】図９は、高負荷であるためシステム制御部が光学特性値生成を実行できない状態の一例を示すタイミングチャートである。
【図１０】図１０はシステム制御部における、光学特性値を生成する処理の全体のフローチャートである。
【図１１】図１１はシステム制御部における、順序決定処理のフローチャートである。
【図１２】図１２は、勾配値と光学特性値の生成順序の関係を示す図である。
【図１３】図１３は、システム制御部が実行する内容決定処理のフローチャートである。
【図１４】図１４は、内容決定処理の別形態のフローチャートである。
【図１５】図１５は、本発明の第２の実施形態にかかる撮像装置の構成の例を示すブロック図である。
【図１６】図１６は、第２の実施形態における、順序決定処理のフローチャートである。
【図１７】図１７は、第３の実施形態における順序決定処理を示すフローチャートである。
【図１８】図１８は、勾配値、顔サイズ値、動きベクトル値と光学特性値の生成の順序との関係を模式的に示す図である。
【図１９】図１９は、内容決定処理により決定された処理が実行された場合のタイミングチャートの一例である。
【図２０】図２０は、本発明の第４実施形態における光学特性値を生成する処理の全体を示すフローチャートである。
【図２１】図２１は、履歴判定処理のフローチャートである。
【発明を実施するための形態】
【００１０】
以下に、本発明の各種実施形態について、図面を参照して詳細に説明する。
（第１実施形態）
図１は、本発明の第１実施形態にかかる撮像装置１ａの構成例を示すブロック図である。
まず、図１を参照して、撮像装置１ａの撮像動作について説明する。
光学系０１０１は、被写体像を三板撮像素子０１０３上に投影して結像させる。光学系０１０１は、ズームレンズと、フォーカスレンズと、絞りとを含んで構成される。光学系０１０１の絞り、フォーカス、および、ズームは、システム制御部０１１５からの制御情報より、光学系駆動手段０１０２によって制御される。なお、光学系０１０１のズームレンズと、フォーカスレンズと、絞りとは、従来公知の構成が適用できる。
三板撮像素子０１０３は、投影されて結像した被写体像を光電変換により電気信号に変換し、変換した電気信号を画像信号として出力する。三板撮像素子０１０３は、システム制御部０１１５からの制御情報によって、撮像素子駆動手段０１０４から出力される駆動パルスで駆動される。
三板撮像素子０１０３が出力する画像信号は、光量落ち補正手段０１０６（光学補正手段）と勾配検出手段０１１７のそれぞれに入力される。
光量落ち補正手段０１０６は、システム制御部０１１５内部の光量落ち補正値生成手段０１０７（光学補正値生成手段）（後述）が生成した光学補正値を用い、入力された画像信号に対して光量落ち補正（光学補正）を実行する。光量落ち補正が実行された画像信号は、倍率色収差補正手段０１０８に入力される。
倍率色収差補正手段０１０８（光学補正手段）は、システム制御部０１１５内部の倍率色収差補正値生成手段０１０９（光学補正値生成手段）（後述）が生成した光学補正値を用い、入力された画像信号に対して倍率色収差補正（光学補正）を実行する。倍率色収差補正が実行された画像信号は、カメラ信号処理手段０１１０に入力される。
カメラ信号処理手段０１１０は、入力された画像信号に対して、ホワイトバランスの調整や、輪郭強調や、γ補正などの処理（カメラ信号処理）を実行する。これらの処理が実行された画像信号は、画像メモリ０１１１に書き込まれる。
画像メモリ０１１１より読み出された画像信号は、歪曲収差補正手段０１１３（光学補正手段）に入力される。歪曲収差補正手段０１１３は、システム制御部０１１５内部の歪曲収差補正値生成手段０１１４（光学補正値生成手段）（後述）が生成した光学補正値を用いて、読み出された画像信号に対して歪曲収差補正（光学補正）を実行する。そして、歪曲収差補正手段０１１３は、歪曲収差補正が実行された画像信号を出力する。
【００１１】
次に、図１と図２を参照して、撮像装置１ａの制御について説明する。
勾配検出手段０１１７（画像情報取得手段）は、入力された画像信号を用いて勾配値（画像情報）を算出（取得）し、算出した勾配値（画像情報）をシステム制御部０１１５に出力する。図２は、勾配検出手段０１１７の構成を模式的に示すブロック図である。本実施形態においては、評価方法として、画面全体の勾配値を算出するための構成としている。
勾配検出手段０１１７は、まず、入力された画像信号（ＲＧＢ信号）を、勾配値を生成するためのコントラスト評価用信号ＣＹに変換する。コントラスト評価用信号ＣＹとしては、被写体の色成分に関係ないように、勾配値を生成するための評価用信号ＣＹをＲＧＢ信号の合成信号としている。本実施例においては、下記の式１を用いて、コントラスト評価用信号ＣＹを生成する。
【００１２】
【数１】
2014087022.tif 000003
【００１３】
本実施形態においては、乗算器０２０１と加算器０２０２が、この計算を実行してコントラスト評価用信号ＣＹを生成する。生成されたコントラスト評価用信号ＣＹは、バンドパスフィルタ（ＢＰＦ）０２０３を経てＡＢＳ０２０４に入力される。
ＡＢＳ０２０４は、入力されたコントラスト評価用信号ＣＹを絶対値化する。ＡＢＳ０２０４が出力するコントラスト評価用信号ＣＹの絶対値は、ラインピークホールド部０２０７に入力される。
ラインピークホールド部０２０７は、ＡＢＳ０２０４が出力するコントラスト評価用信号ＣＹの水平１ラインごとに、絶対値の最大値（ピーク値）を保持する。そして、入力画像信号の垂直座標の変化に応じた制御により、ラインピークホールド部０２０７に保持されている絶対値が、それぞれ積分計算部０２０８に入力される。
積分計算部０２０８は、映像の１画面ごとに入力されたピーク値を垂直方向に積分して積分値を算出する。積分計算部０２０８は、積分値をその画像信号における勾配値とする。そして、積分計算部０２０８は、積分値（勾配値）をシステム制御部０１１５に出力する。この勾配値が大きければ大きいほど、その画像信号は多くの勾配情報を有していることを意味する。
【００１４】
システム制御部０１１５は、光量落ち補正値生成手段０１０７と、倍率色収差補正値生成手段０１０９と、歪曲収差補正値生成手段０１１４を有しており、各々の補正値生成手段による光学補正値の生成の優先順序を決定する。この優先順序の決定には、勾配検出手段０１１７より入力された勾配評価値と、システム制御部０１１５の負荷情報が用いられる。
システム制御部０１１５に含まれるそれぞれの補正値生成手段は、光学データベース０１１６から入力される光学特性値から、現在の光学系０１０１の条件に応じて、光量落ちと、倍率色収差と、歪曲収差との各光学補正値を算出する。そして、システム制御部０１１５は、算出した各光学特性値を各光学補正の補正手段に出力する。
【００１５】
なお、光学データベース０１１６には、光学系０１０１に関する情報が格納されている。光学系０１０１に関する情報としては、たとえば、システム制御部０１１５から入力される焦点距離情報Ｚと、フォーカス位置情報Ｌと、絞り位置情報Ｆの組合せからなる光学パラメータに対応する、それぞれの光学補正に最適な光学特性値がある。光学データベース０１１６には、光学パラメータに対する光学特性値を保持しているフラッシュメモリなどの記憶装置が適用される。
システム制御部０１１５は、光学データベース０１１６から光学系０１０１の光学パラメータに対応する光学特性値を選択する。そして、システム制御部０１１５は選択した光学特性値を光量落ち補正値生成手段０１０７と、倍率色収差補正値生成手段０１０９と、歪曲収差補正値生成手段０１１４とのそれぞれに入力する。そして、これらの光学補正値生成手段は、光量落ち補正手段０１０６と、倍率色収差補正手段０１０８と、および歪曲収差補正手段０１１３とのそれぞれに入力する各光学補正値を生成する。
【００１６】
次に、本実施形態における各光学補正値生成手段の詳細な動作について説明する。
図３は、光量落ち補正値生成手段０１０７の構成を模式的に示す図である。システム制御部０１１５が光学データベース０１１６から読み出してくる光量落ち補正用の光学特性値をＣmt1、Ｃmt2、Ｃmt3、Ｃmt4とする。
まず、極座標変換部０３０１は、システム制御部０１１５から入力される着目画素のアドレス（Ｈｔ，Ｖｔ）に対して極座標変換処理を実行し、像高（光学中心からの距離）ｒｔを算出する。
極座標変換式には、光学中心の位置を（Ｃｈ，Ｃｖ）とすると、次の式２が用いられる。極座標変換部０３０１は、以下の式２を用いて極座標変換処理を実行する。
【００１７】
【数２】
2014087022.tif 000004
【００１８】
極座標変換部０３０１は、算出した像高ｒｔを線分近似部０３０２に出力する。線分近似部０３０２は、像高ｒｔと、システム制御部０１１５より入力される光学特性値Ｃmt1〜Ｃmt4とを入力として、画像信号に対する光学補正値Ｚｔを算出する。
ここで、像高ｒｔにおける光学補正値Ｚｔの算出方法を、図４を参照して説明する。図４は、像高と補正量の関係を示すグラフである。たとえば、図４（ａ）に示すように、光学データベース０１１６には、像高に対応する光学特性値のプロットデータが格納されている。ここで、各光学特性値のプロットデータは、像高の値に対応する光学補正値を示す。そこで、線分近似部０３０２は、算出された着目画素の像高ｒｔに最も近い２点（図４（ｂ）の例ではＣmt1とＣmt2）を選択して、選択した２点間の区間を、着目画素の像高ｒｔが属するプロット区間とする。そして、線分近似部０３０２は、プロット区間を次の式３に示す２次関数で近似し、この近似関数の係数a，ｂ，ｃを算出する。この計算により、光学補正値Ｚｔが算出される。
【００１９】
【数３】
2014087022.tif 000005
【００２０】
なお、式３には、近似関数として２次関数を示すが、近似関数は１次関数であってもよく、３次以上の高次の関数であってもよい。
【００２１】
次に、倍率色収差補正値生成手段０１０９（光学補正値生成手段）と歪曲収差補正値生成手段０１１４（光学補正値生成手段）について、図５を参照して説明する。図５は、倍率色収差補正値生成手段０１０９と歪曲収差補正値生成手段０１１４の構成を模式的に示す図である。なお、システム制御部０１１５から入力される光学特性値を、Ｃmbt1〜Ｃmbt4，Ｃmgt1〜Ｃmgt4，Ｃmrt1〜Ｃmrt4とする。Ｃmbt1〜Ｃmbt4はＢ信号のための光学特性値であり、Ｃmgt1〜Ｃmgt4はＧ信号のための光学特性値であり、Ｃmrt1〜Ｃmrt4はＲ信号のための光学特性値である。
極座標変換部０５０１は、システム制御部０１１５から入力される着目画素のアドレス（Ｈｔ，Ｖｔ）に極座標変換処理を実行する。この極座標変換処理により、像高ｒｔ（光学中心からの距離）と位相θｔが算出される。極座標変換処理には、次の式４に示す極座標変換式が用いられる。
【００２２】
【数４】
2014087022.tif 000006
【００２３】
線分近似部０５０２１は、算出された像高ｒｔと、光学データベース０１１６から読み出したＲ信号の光学特性値Ｃmrt1〜Ｃmrt4とを用いて、Ｒ信号に対する光学補正値Ｚｒｔを算出する。像高ｒｔについての光学補正値Ｚｒｔの算出方法は、光量落ち補正値生成手段０１０７による光学補正値Ｚｔの算出方法と同様の方法が適用できる。したがって説明は省略する。
同様に、線分近似部０５０２２は、算出された像高ｒｔと、光学データベース０１１６から読み出したＧ信号の光学特性値Ｃmgt1〜Ｃmgt4とを用いて、Ｇ信号に対する光学補正値Ｚｇｔを算出する。線分近似部０５０２３は、算出された像高ｒｔと、光学データベース０１１６から読み出したＢ信号の光学特性値Ｃmbt1〜Ｃmbt4とを用いて、Ｂ信号に対する光学補正値Ｚｂｔを算出する。光学補正値Ｚｔｇ、光学補正値Ｚｔｂの算出方法も、入力される光学特性値がＣmgt1〜Ｃmgt4，Ｃmbt1〜Ｃmbt4となるだけで、光学補正値Ｚｒｔと同じ計算処理で求められる。このため、これらの線分近似部０５０２１〜０５０２３は同じ回路構成となっている。
光学補正値Ｚｒｔ、ＺｇｔおよびＺｂｔは、各像高に対応するθ方向の光学補正値である。このため、水平方向と垂直方向に光学補正値を分解する必要がある。ベクトル分解部０５０３１〜０５０３３は、光学補正値Ｚｒｔ，Ｚｇｔ，Ｚｂｔのぞれぞれと位相θｔとを入力として、水平方向の光学補正値ＺｔＨｒ，ＺｔＨｇ，ＺｔＨｂと垂直方向の光学補正値ＺｔＶｒ，ＺｔＶｇ，ＺｔＶｂを算出する。具体的には、ベクトル分解部０５０３１は、次の式５を用いて、Ｒ信号への光学補正値ＺｔＨｒとＺｔＶｒを算出する。ベクトル分解部０５０３２は、次の式６を用いて、Ｇ信号への光学補正値ＺｔＨｇとＺｔＶｇを算出する。ベクトル分解部０５０３３は、次の式７を用いて、Ｂ信号への光学補正値ＺｔＨｂとＺｔＶｂを算出する。
【００２４】
【数５】
2014087022.tif 000007
【００２５】
【数６】
2014087022.tif 000008
【００２６】
【数７】
2014087022.tif 000009
【００２７】
各光学補正手段は、各光学補正値を用いて、画像信号に対して各光学補正を実行する。すなわち、光量落ち補正手段０１０６は、光量落ち補正値生成手段０１０７が生成した光量落ち補正値を用いて、画像信号に対し光量落ち補正を実行する。倍率色収差補正手段０１０８は、倍率色収差補正値生成手段０１０９が生成した倍率色収差補正値を用いて、画像信号に対し倍率色収差補正を実行する。歪曲収差補正手段０１１３は、歪曲収差補正値生成手段０１１４が生成した歪曲収差補正値を用いて、画像信号に対し歪曲収差補正を実行する。
【００２８】
ここで、本実施形態における各光学補正手段について説明する。
【００２９】
図６は、光量落ち補正手段０１０６の構成を模式的に示す図である。光量落ち補正手段０１０６には、光量落ち補正値生成手段０１０７から光学補正値Ｚｔが入力される。この光学補正値Ｚｔは、着目画素位置における周辺光量落ち量を逆数としたゲイン値である。そして、光量落ち補正手段０１０６は、乗算器０６０１，０６０２，０６０３によって、デジタル形式の画像信号Ｓｒ，Ｓｇ，Ｓｂに、入力された光学補正値Ｚｔを乗じる。そして、光量落ち補正手段０１０６は、光学補正値Ｚｔが乗じられた画像信号Ｓｒ’，Ｓｇ’，Ｓｂ’（光学補正された画像信号）を出力する。
【００３０】
倍率色収差補正手段０１０８と歪曲収差補正手段０１１３について、図７と図８を参照して説明する。
倍率色収差補正手段０１０８と歪曲収差補正手段０１１３が用いる光学補正値は、着目画素位置における歪み量を、水平方向と垂直方向の位相ずれ成分として分離した位相ずれ量である。図７（ａ）〜（ｃ）は、位相ずれを補正する概念を模式的に示す図である。図７（ａ）の黒色の画素は、着目画素Ｓが本来あるべき位相を示す。灰色の画素は、着目画素Ｓが倍率色収差や歪曲収差の影響で、位相ずれして撮像された位置を示す仮想画素Ｓ'である。
倍率色収差や歪曲収差を補正するには、位相が水平方向にＨｐの距離、垂直方向にＶｐの距離をずれた仮想画素Ｓ'を求め、着目画素Ｓの本来の位置に再配置すればよい。
図７（ｂ）に示すように、近傍に存在する実際に撮像された画素ｓ１，ｓ２，ｓ３，ｓ４に、画素ｓ１、ｓ２、ｓ３、Ｓ４と仮想画素Ｓ'との画素間距離ｃ１、ｃ２、ｃ３、ｃ４で重み付け補間演算することによって仮想画素Ｓ'が生成される。生成された仮想画素Ｓ'は、図７（ｃ）に示すように、着目画素Ｓの位置に置き換えられる。これにより、倍率色収差や歪曲収差が補正される。
【００３１】
図８は、倍率色収差補正手段０１０８と歪曲収差補正手段０１１３の構成を模式的に示す図である。倍率色収差補正手段０１０８と歪曲収差補正手段０１１３は、図７に示す処理（光学補正）を実現する。この処理（光学補正）は、色ごとに独立して実行される。
補間制御回路０８０１、バッファメモリ０８０２、乗算器０８０３〜０８０６、および、平均化回路０８０７は、Ｒ信号に対する処理を行う回路である。ここで、着目画素Ｒについての処理を例にあげて説明を行う。
補間制御回路０８０１は、倍率色収差補正値生成手段０１０９と歪曲収差補正値生成手段０１１４のそれぞれから入力された光学補正値ＺｔＨｒ，ＺｔＶｒの整数の部分を、整数の水平および垂直位相ズレ成分Ｈｒｐ，Ｖｒｐとして出力する。また、補間制御回路０８０１は、光学補正値ＺｔＨｒ，ＺｔＶｒの小数の部分を、Ｒ信号の参照画素ｒ１，ｒ２，ｒ３，ｒ４と仮想画素Ｒ'との画素間距離の重み付けによる補間係数ｃｒ１，ｃｒ２，ｃｒ３，ｃｒ４として出力する。
バッファメモリ０８０２は、Ｒ信号を水平および垂直方向に順次複数画素にわたって保持している。そして、バッファメモリ０８０２は、Ｈｒｐ，Ｖｒｐで画素毎に指示された位置に保持されている画素を、仮想画素Ｒ'近傍の参照画素ｒ１，ｒ２，ｒ３，ｒ４として順次出力する。
着目画素Ｒの補正後の信号Ｒ'は、次の式８により表される。
【００３２】
【数８】
2014087022.tif 000010
【００３３】
乗算器０８０３，０８０４，０８０５，０８０６は、参照画素ｒ１，ｒ２，ｒ３，ｒ４のそれぞれに、補間係数ｃｒ１，ｃｒ２、ｃｒ３，ｃｒ４のそれぞれを乗じる。乗算結果は、平均化回路０８０７に入力される。平均化回路０８０７は、入力された乗算結果の平均値を算出する。そして、倍率色収差補正手段０１０８と歪曲収差補正手段０１１３とは、平均化回路０８０７が算出した平均値を、補正後の信号Ｒ’として出力する。
同様に、補正信号Ｇ'、補正信号Ｂ'の算出方法も、入力される光学補正値がＺｔＨｇとＺｔＶｇ、およびＺｔＨｂとＺｔＶｂとなるだけで、補正信号Ｒ'と同じ上述の計算処理で求められる。よって、Ｒ信号の補正信号Ｒ'を算出する計算部０８０１〜０８０７とＧ信号の補正信号Ｇ'を算出する計算部０８０８〜０８１４、及びＢ信号の補正信号Ｂ'を算出する計算部０８１５〜０８２１は同じ回路構成となっている。
【００３４】
以上の制御によって、本実施形態にかかる撮像装置１ａは、各光学補正処理を実行する。
【００３５】
図１に示す構成の撮像装置１ａにおいては、システム制御部０１１５は、光学系０１０１の駆動の変化毎に、光学データベース０１１６から光学特性値を取得し、各光学補正値を生成する必要がある。また、動画を撮像する場合には、リアルタイムで光学系０１０１が変化する。このため、システム制御部０１１５は、その変化に応じて適宜光学補正値を生成する必要がある。
図９は、高負荷であるためシステム制御部０１１５が光学補正値の生成を実行できない状態の一例を示すタイミングチャートである。図９で示すように、図１に示す構成の撮像装置１ａにおけるシステム制御部０１１５は、垂直同期期間毎に、光学特性値生成を実行するプログラムなどといった、各種制御プログラムを実行する。図９（a）に示すように、処理状況が低負荷の場合には、全ての光学補正の処理について、光学データベース０１１６から光学特性値を取得して光学補正値を生成する時間がある。このため、システム制御部０１１５は、全ての光学特性値を用いて、全ての光学補正値を高精度に生成できる。したがって、全ての光学補正手段は、システム制御部０１１５が生成した光学補正値を用いて、高精度の光学補正処理を実行できる。一方で、図９（ｂ）で示すように、被写体検出などの処理によって処理状況が高負荷となった場合には、光学補正値の生成に割り当てられる処理時間が短くなる。そうすると、１垂直同期期間内に、全部の光学補正値の生成を完了できず、システム制御部０１１５は一部の光学補正値しか生成できないという状況が発生することがある。そこで、システム制御部０１１５は、画像信号の勾配情報に基づいて、現在の撮影状況において、倍率色収差補正と、歪曲収差補正と、光量落ち補正とのいずれが最も補正精度が求められるものであるかを推定する。そして、システム制御部０１１５は、推定の結果に基づいて、光学補正値の生成の優先順序を決定する。
【００３６】
次に、本発明の第１実施形態における光学補正値を生成する処理の全体のフローについて説明する。図１０はシステム制御部０１１５における、光学補正値を生成する処理の全体のフローチャートである。
【００３７】
ステップＳ１００１において、システム制御部０１１５は、現在の垂直同期期間内に光学補正値の生成に割り付け可能な時間を算出する。本実施形態では、この時間を単に「割付け時間」と称する。具体的には、システム制御部０１１５は、この割付け時間を、システム制御部０１１５の負荷状況に基づいて決定する。ここで、システム制御部０１１５の負荷状況は、垂直同期期間毎に実行する制御プログラムに基づいて求められる。たとえば、負荷状況は、予め各制御プログラムの処理時間を実行ステップ数から算出してテーブル化しておき、呼び出す制御プログラムの処理時間の総和をとることで求められる。
【００３８】
ステップＳ１００２においては、システム制御部０１１５は、割付け時間を第１の閾値と比較する。第１の閾値は、全ての光学補正値を生成する時間の有無を判断する指標となる。たとえば、第１の閾値は、全ての光学補正を行うために、光学特性値を用いて全ての光学補正値を生成するための必要となる時間である。システム制御部０１１５は、割付け時間が第１の閾値より大きい場合には、全ての光学補正値を生成できる時間があると判定する。そして、この場合には、ステップＳ１００３〜Ｓ１００５に進む。
【００３９】
ステップＳ１００３〜Ｓ１００５においては、システム制御部０１１５は、倍率色収差補正（Ｓ１００３）の光学補正値、光量落ち補正（Ｓ１００４）の光学補正値、歪曲収差補正（Ｓ１００５）の光学補正値の順で、全ての（複数の）光学補正値を生成する。
一方、割付け時間が第１の閾値より小さい場合には、システム制御部０１１５は、割付け時間内に、一部の光学補正値しか生成できないか、または光学補正値を１つも生成できないと判定する。この場合には、ステップＳ１００６に進む。
ステップＳ１００６においては、システム制御部０１１５は、光学補正値を生成する順序（優先順序）を決定する。以下、この処理を「順序決定処理」と称する。ステップＳ１００６の順序決定処理の内容については後述する。そして、ステップＳ１００７に進む。
【００４０】
ステップＳ１００７においては、システム制御部０１１５は、ステップＳ１００６で決定した優先順序と、光学補正値の生成に要する時間とを用いて、光学補正値を生成する処理の内容を決定する。以下、この処理を、「内容決定処理」と称する。ステップＳ１００７の内容決定処理の内容については後述する。そして、ステップＳ１００８に進む。
ステップＳ１００８においては、システム制御部０１１５は、ステップＳ１００８とＳ１００７の処理結果に基づいて、光学補正値を生成する処理を実行する。そして、光学補正値を生成する処理が終了する。
以上が、光学補正値を生成する処理の全体のフローである。
【００４１】
次に、ステップＳ１００６の順序決定処理のフローについて説明する。図１１はシステム制御部０１１５における、順序決定処理のフローチャートである。図１２は、勾配値と光学補正値の生成順序の関係を示す。この順序決定処理においては、システム制御部０１１５は、勾配検出手段０１１７から取得した勾配値（勾配情報）を、図１２に示す関係に当てはめることによって、光学補正値を生成する順序を決定する。
【００４２】
画像信号の勾配が急になる（勾配値が高くなる）にしたがって、特にエッジ部において倍率色収差による色にじみが目立つようになる。また、合わせて、歪曲収差による画像のひずみが目立つようになる。このため、画像信号の勾配が急である場合には、倍率色収差補正と歪曲収差補正の精度を高くする必要がある。
そこで、ステップＳ１１０１において、システム制御部０１１５は、勾配検出手段０１１７から入力された勾配値が、光量落ちよりも色にじみおよび歪が目立つようになる閾値（第２の閾値）以上であるか否かを判定する。勾配値が第２の閾値以上であると判定された場合には、ステップＳ１１０２に進む。
【００４３】
ステップＳ１１０２においては、システム制御部０１１５は、優先順序が最も高い光学補正Ａに倍率色収差補正を設定し、優先順序が次に高い光学補正Ｂに歪曲収差補正を設定し、優先順序が最も低い光学補正Ｃに光量落ち補正を設定する。
【００４４】
一方、画像信号の勾配が緩くなる（勾配値が低くなる）にしたがって、エッジ部がぼやけていき一様な画面に近づいていく。このため、倍率色収差による色にじみよりも、光量落ちによる画像周辺部での輝度の変化が目立つようになる。
そこで、ステップＳ１１０１において勾配値が第２の閾値未満であると判定された場合には、ステップＳ１１０３に進む。
ステップＳ１１０３においては、システム制御部０１１５は、勾配検出手段０１１７から入力された勾配値が、色にじみおよび歪よりも光量落ちが目立つようになる閾値（第３の閾値）以上であるか否かを判定する。
【００４５】
勾配値が第３の閾値以上である場合には、ステップＳ１１０４に進む。ステップＳ１１０４に進んだ場合には、勾配値は、第２の閾値未満で第３の閾値以上である。この場合は、色にじみ、歪み、および、光量落ちのそれぞれの目立ち具合に大きな差は無い。ただし、倍率色収差による色にじみは、本来であれば存在しない色が画像上に存在してしまう現象であるため、他の２つに比べて画像に違和感を与えやすい。そのため本実施形態では、システム制御部０１１５は、最も優先順序が高い光学補正Ａに倍率色収差補正を、次いで優先順序が高い光学補正Ｂに光量落ち補正を、最も優先順序が低い光学補正Ｃに歪曲収差補正を設定する。
【００４６】
Ｓ１１０３において、勾配値が第３の閾値未満であると判定された場合には、ステップＳ１１０５に進む。勾配値が第３の閾値未満であれば、光量落ちが他の２つの現象よりも目立つ状態となっている。
ステップＳ１１０５においては、システム制御部０１１５は、優先順序が最も高い光学補正Ａに光量落ち補正を設定し、次に優先順序が高い光学補正Ｂに歪曲収差補正を設定し、最も優先順序が低い光学補正Ｃに倍率色収差補正を設定する。
以上が、光学補正値を生成する順序を決定する処理のフローである。
【００４７】
次に、内容決定処理について説明する。
システム制御部０１１５は、この内容決定処理において、ステップＳ１００６で決定した優先順序と、光学補正値の生成に要する時間とを用いて、光学補正値を生成する処理の内容を決定する。以下、通常の処理によって１つの光学補正値の生成に要する時間を「通常生成時間」と称する。
この処理においては、システム制御部０１１５は、優先順序が最も高い光学補正が、現在の画像信号において高い補正精度が求められる光学補正であると判断する。そして、システム制御部０１１５は、優先順序が最も高い光学補正に用いる光学補正値の生成を、他の光学補正値の生成に優先して行う。そして、システム制御部０１１５は、割付け時間によっては、優先順序が低い光学補正の光学補正値を、通常の処理よりも処理時間が短く精度が低い処理によって生成するか、または、生成しない。これにより、システム制御部０１１５の負荷が高い状況であっても、目立つ収差を精度よく補正できる。なお、通常の処理よりも処理時間が短い処理を、以下「簡易処理」と称する。「簡易処理」には、たとえば、次のような処理が適用される。（１）通常の処理よりも、光学データベース０１１６から取得する光学特性値のデータ数を少なくした処理。（２）光学特性値から光学補正値を生成する計算式を簡略化した処理。
【００４８】
内容決定処理のフローは、次のとおりである。図１３は、システム制御部０１１５が実行する内容決定処理（図１０のステップＳ１００７）のフローチャートである。
ステップＳ１３０１において、システム制御部０１１５は、割付け時間（ステップＳ１００１で算出）を取得する。
【００４９】
ステップＳ１３０２において、システム制御部０１１５は、割付け時間を通常生成時間で除算した値Ｗを算出する。この値Ｗは、各光学補正値を生成する通常の処理が割付け時間内に実行できる回数を示す。なお、各光学補正値を生成する処理の時間に差はないものとして説明を行う。したがって、値Ｗは、光学補正値の種類に関係なく、光学補正値を生成するための通常の処理が割付け時間内に実行できる回数を示す。
【００５０】
ステップＳ１３０３においては、システム制御部０１１５は、値Ｗが２以上であるか否かを判定する。値Ｗが２以上である場合には、２つの光学補正値を通常の処理によって生成可能である。値Ｗが２以上である場合には、ステップＳ１３０４に進む。
【００５１】
ステップＳ１３０４とＳ１３０５においては、システム制御部０１１５は、優先順序が最も低い光学補正（光学補正Ｃ）に用いる光学補正値を、簡易処理で生成できるか否かを判定する。すなわち、ステップＳ１３０４において、システム制御部０１１５は、「割付け時間」から「２×（通常生成時間）」を差し引いた値Ｘ（残り時間）を算出する。次いで、ステップＳ１３０５において、システム制御部０１１５は、値Ｘ（残り時間）が簡易処理による光学補正値の生成に要する時間以上であるか否かを判定する。以下、簡易処理による光学補正値の生成に要する時間を「簡易生成時間」と称する。値Ｘが簡易生成時間以上である場合には、システム制御部０１１５は、優先順序が最も低い光学補正（光学補正Ｃ）に用いる光学補正値を、残り時間内に簡易処理によって生成できる。一方、値Ｘが簡易生成時間未満である場合には、システム制御部０１１５は、光学補正Ｃに用いる光学補正値を、残り時間内に生成できない。
【００５２】
そこで、値Ｘ（残り時間）が簡易生成時間以上である場合には、ステップＳ１３０６に進む。
ステップＳ１３０６においては、システム制御部０１１５は、「光学補正Ａと光学補正Ｂに用いる光学補正値を通常の処理によって生成し、光学補正Ｃに用いる光学補正値を簡易処理で生成する」と決定する。
【００５３】
一方、値Ｘ（残り時間）が簡易生成時間未満である場合には、ステップＳ１３０７に進む。
ステップＳ１３０７においては、システム制御部０１１５は、「光学補正Ａと光学補正Ｂに用いる光学補正値を通常の処理によって生成し、光学補正Ｃに用いる光学補正値を生成しない」と決定する。
以上が、値Ｗが２以降である場合の処理である。
【００５４】
ステップＳ１３０３において値Ｗが２未満であると判定された場合には、ステップＳ１３０８に進む。
ステップＳ１３０８においては、システム制御部０１１５は、値Ｗが１以上であるか否かを判定する。
値Ｗが１以上である場合にはステップＳ１３０９に進む。なお、ステップＳ１３０３において、値Ｗが２未満であると判定されている。このため、値Ｗが１以上２未満である場合に、処理がステップＳ１３０９に進む。そしてこの場合、値Ｗが１以上であるため、最も順序が高い１つの光学補正Ａに用いる光学補正値を通常の処理で生成できる。
ステップＳ１３０９とＳ１３１０においては、システム制御部０１１５は、優先順序の低い２つの光学補正（光学補正Ｂと光学補正Ｃ）に用いる光学補正値の生成を、通常の処理で生成するか簡易処理で生成するかを判定する。具体的には、まず、ステップＳ１３０９において、システム制御部０１１５は、「割付け時間」から「通常生成時間」を差し引いた値Ｘ（残り時間）を算出する。そして、ステップＳ１３１０において、システム制御部０１１５は、値Ｘが「２×（簡易生成時間）」以上であるか否かを判定する。値Ｘが「２×（簡易生成時間）」以上である場合には、システム制御部０１１５は、残り時間内に、２つの光学補正値を生成できる。そこで、この場合には、ステップＳ１３１１に進む。
【００５５】
ステップＳ１３１１においては、システム制御部０１１５は、「光学補正Ａに用いる光学補正値を通常の処理で生成し、光学補正Ｂと光学補正Ｃに用いる光学補正値を簡易処理で算出する」と決定する。
【００５６】
ステップＳ１３１０において値Ｘが「２×（簡易生成時間）」未満であると判定された場合には、システム制御部０１１５は、残り時間内に、２つの光学補正値を生成できない。この場合には、ステップＳ１３１２に進む。
【００５７】
ステップＳ１３１２においては、値Ｘが簡易生成時間より大きいか否かを判定する。大きいと判定された場合には、システム制御部０１１５は、残り時間内に、優先順序が２番目の光学補正（光学補正Ｂ）に用いる光学補正値を、簡易処理で生成できる。そこでこの場合には、ステップＳ１３１３に進む。
ステップＳ１３１３においては、システム制御部０１１５は、「光学補正Ａに用いる光学補正値を通常の処理で生成し、光学補正Ｂに用いる光学補正値を簡易処理で算出し、光学補正Ｃに用いる光学補正値を生成する処理を実行しない」と決定する。
【００５８】
ステップＳ１３１２において値Ｘが簡易生成時間未満であると判定された場合には、システム制御部０１１５は、簡易処理であっても、残り時間内に、下位の優先順序の２つの光学補正に用いる光学補正値を算出できない。そこでこの場合には、ステップＳ１３１４に進む。
ステップＳ１３１４においては、システム制御部０１１５は、「光学補正Ａに用いる光学補正値を通常の処理で生成し、光学補正Ｂおよび光学補正Ｃに用いる光学補正値を生成する処理を実行しない」と決定する。
以上が、値Ｗが１以上２未満である場合の処理のフローである。
【００５９】
ステップＳ１３０８において値Ｗが１未満であると判定された場合には、システム制御部０１１５は、通常の処理では、補正値生成時間内に１つも光学補正値を生成できない。そこでこの場合には、ステップＳ１３１５に進む。
ステップＳ１３１５においては、システム制御部０１１５は、割付け時間を値Ｘとする（割付け時間を残り時間とする）。そしてステップＳ１３１６に進む。
ステップＳ１３１６においては、値Ｘ（残り時間）が、簡易生成時間以上であるか否かを判定する。値Ｘが簡易生成時間以上である場合には、システム制御部０１１５は、優先順序が最も高い光学補正（光学補正Ａ）に用いる光学補正値を、簡易処理で生成できる。したがって、この場合には、ステップＳ１３１７に進む。
ステップＳ１３１７においては、システム制御部０１１５は、「優先順序が最も高い光学補正（光学補正Ａ）に用いる光学補正値を簡易処理で生成し、優先順序が低い２つの光学補正（光学補正Ｂと光学補正Ｃ）に用いる光学補正値を生成しない」と決定する。
ステップＳ１３１６において値Ｘが簡易生成時間未満であると判定された場合には、システム制御部０１１５は、簡易処理であっても、残り時間内に、光学補正値を１つも生成できない。したがって、この場合には、ステップＳ１３１８に進む。
ステップＳ１３１８においては、システム制御部０１１５は、「全ての光学補正値を生成する処理を実行しない」と決定する。
以上が、値Ｗが１未満である場合の内容決定処理のフローである。
【００６０】
ここで、内容決定処理のフローの別形態について説明する。図１４は、内容決定処理の別形態のフローチャートである。前記内容決定処理のフローでは、システム制御部０１１５は、優先順序が高い光学補正に用いる光学補正値を優先して生成する。これに対して、この別形態では、システム制御部０１１５は、優先順序が低い光学補正に用いる光学補正値もできるだけ生成する。
【００６１】
ステップＳ１４０１において、システム制御部０１１５は、割付け時間を取得する。この割付け時間は、ステップＳ１００１において算出されている。
ステップＳ１４０２において、システム制御部０１１５は、「割付け時間」を「簡易生成時間」で除した値Ｙを算出する。この値Ｙは、割付け時間内に、光学補正値を生成する簡易処理を実行できる回数を示す指標となる。
ステップＳ１４０３において、システム制御部０１１５は、値Ｙが３以上であるか否かを判定する。
【００６２】
値Ｙが３以上である場合には、システム制御部０１１５は、割付け時間内に、優先順序が最も低い光学補正Ｃに用いる光学補正値を、簡易処理によって生成できる。このため、この場合には、ステップＳ１４０４に進む。
ステップＳ１４０４においては、システム制御部０１１５は、「割付け時間」から「簡易生成時間」を差し引いた残り時間を「通常生成時間」で除算した値Ｚを算出する。この値Ｚは、割付け時間の残り時間内に、優先順序が高い光学補正Ａと光学補正Ｂに用いる光学補正値を通常の処理で算出できるか否かを示す指標となる。そして、ステップＳ１４０５に進む。
【００６３】
ステップＳ１４０５においては、システム制御部０１１５は、値Ｚが２以上であるか否かを判定する。値Ｚが２以上である場合には、システム制御部０１１５は、割付け時間内に、順序が高い光学補正Ａと光学補正Ｂに用いる光学補正値を通常の処理で生成できる。このため、この場合には、ステップＳ１４０６に進む。
ステップＳ１４０６においては、システム制御部０１１５は、「光学補正Ａと光学補正Ｂに用いる２つの光学補正値を通常の処理で生成し、光学補正Ｃに用いる光学補正性値を簡易処理で生成する」と決定する。
【００６４】
ステップＳ１４０５において値Ｚが２未満であると判定された場合には、ステップＳ１４０７に進む。
ステップＳ１４０７においては、システム制御部０１１５は、さらに、値Ｚが１以上であるか否かを判定する。値Ｚが１以上である場合には、システム制御部０１１５は、優先順序が最も高い光学補正Ａに用いる光学補正値を、残り時間内に通常の処理で生成ができる。このため、この場合には、ステップＳ１４０８に進む。
ステップＳ１４０８においては、システム制御部０１１５は、「優先順序が最も高い光学補正Ａに用いる光学補正値を通常の処理で生成し、それ以外の光学補正Ｂと光学補正Ｃに用いる光学補正値を簡易処理で生成する」と決定する。
【００６５】
ステップＳ１４０７において値Ｚが１未満であると判定された場合には、システム制御部０１１５は、優先順序が最も高い光学補正Ａに用いる光学補正値を、残り時間内に通常の処理で生成できない。このため、この場合には、ステップＳ１４０９に進む。
ステップＳ１４０９においては、システム制御部０１１５は、「全ての学特性値を簡易処理で生成する」と決定する。
【００６６】
ステップＳ１４０３において値Ｙが３未満であると判定された場合には、ステップＳ１４１０に進む。この場合には、システム制御部０１１５は、割付け時間内に、優先順序が最も低い光学補正Ｃに用いる光学補正値を生成できない。そこでこの場合には、ステップＳ１４１０に進む。
ステップＳ１４１０においては、システム制御部０１１５は、値Ｙが２以上であるか否かを判定する。
【００６７】
値Ｙが２以上であると判定された場合には、システム制御部０１１５は、割付け時間内に、優先順序が高い２つの光学補正（光学補正Ａと光学補正Ｂ）に用いる光学補正値を生成できる。そこで、この場合には、ステップＳ１４１１に進む。
ステップＳ１４１１においては、システム制御部０１１５は値Ｚを算出する。この値Ｚは、ステップＳ１４０４と同じである。そして、ステップＳ１４１２に進む。
【００６８】
ステップＳ１４１２においては、システム制御部０１１５は、値Ｚが１以上であるか否かを判定する。値Ｚが１以上である場合には、システム制御部０１１５は、割付け時間内に、優先順序が高い光学補正に用いる光学補正値を通常の処理で生成できる。このため、この場合には、ステップＳ１４１３に進む。
ステップＳ１４１３においては、システム制御部０１１５は、「光学補正Ａに用いる光学補正値を通常の処理によって生成し、光学補正Ｂに用いる光学補正値を簡易処理で生成し、光学補正Ｃに用いる光学補正値を生成しない」と決定する。
【００６９】
ステップＳ１４１２において値Ｚが１未満であると判定された場合には、システム制御部０１１５は、割付け時間内に、最も順序が高い光学補正Ａに用いる光学補正値を通常の処理で生成できない。そこでこの場合には、ステップＳ１４１４に進む。
ステップＳ１４１４において、システム制御部０１１５は、「優先順序が高い２つの光学補正（光学補正ＡとＢ）に用いる２つの光学補正値を簡易処理で生成し、優先順序が最も低い光学補正（光学補正Ｃ）に用いる光学補正値を生成しない」と決定する。
【００７０】
ステップＳ１４１０において値Ｙが２未満であると判定された場合には、システム制御部０１１５は、割付け時間内に、２つの光学補正値を算出できない。そこでこの場合には、ステップＳ１４１５に進む。
ステップＳ１４１５においては、システム制御部０１１５は、値Ｙが１以上であるか否かを判定する。値Ｙが１以上である場合には、システム制御部０１１５は、割付け時間内に、１つの光学補正値を生成できる。そこでこの場合には、ステップＳ１４１６に進む。
【００７１】
ステップＳ１４１６においては、システム制御部０１１５は、割付け時間を通常生成時間で除した値Ｚを算出する。そして、ステップＳ１４１７に進む。
ステップＳ１４１７においては、システム制御部０１１５は、値Ｚが１以上であるか否かを判定する。値Ｚが１以上である場合には、システム制御部０１１５は、割付け時間内に、通常の処理によって１つの光学補正値を生成できる。そこでこの場合には、ステップＳ１４１８に進む。
ステップＳ１４１８においては、システム制御部０１１５は、「優先順序が最も高い光学補正Ａに用いる光学補正値を通常の処理で生成し、優先順序が低い２つの光学補正（光学補正Ｂと光学補正Ｃ）に用いる２つの光学補正値を生成しない」と決定する。
【００７２】
ステップＳ１４１７において値Ｚが１未満であると判定された場合には、システム制御部０１１５は、割付け時間内に、簡易処理によって１つの光学補正値を生成できる。そこでこの場合には、ステップＳ１４１９に進む。
ステップＳ１４１９においては、システム制御部０１１５は、「優先順序が最も高い光学補正Ａに用いる光学補正値を簡易処理で生成し、優先順序が低い２つの光学補正（光学補正Ｂと光学補正Ｃ）に用いる２つの光学補正値を生成しない」と決定する。
ステップＳ１４１５において値Ｙが１未満であると判定された場合には、システム制御部０１１５は、割付け時間内に、１つの光学補正値も生成できない。そこでこの場合には、ステップＳ１４２０に進む。
【００７３】
ステップＳ１４２０においては、システム制御部０１１５は、「全ての光学補正に用いる光学補正値を生成しない」と決定する。
【００７４】
なお、システム制御部０１１５は、撮影状況や使用者による指示などに応じて、内容決定処理を、図１３に示すフローと図１４に示すローとで適宜切替える構成であってもよい。このような構成であると、光学補正の効果の向上を図ることができる。さらに、システム制御部０１１５は、第２の閾値と第３の閾値（図１１参照）に対して、優先順序の判定結果の遷移方向に応じたヒステリシス制御を行う構成であってもよい。このような構成であると、生成順序の切り替わりによる画質変動を抑え、動画撮影に適したなめらかな画質変動を実現することが可能である。
【００７５】
以上説明のとおり、本発明の第１の実施形態によれば、システム制御部０１１５による各光学補正値の生成に優先順序をつけることで、現在の画像信号で高い補正精度が求められる光学補正に用いられる光学補正値の生成を優先的に実行することができる。このため、システム制御部０１１５の処理状況が高負荷で、各光学補正値の生成時間が制限された場合であっても、効果的に光学補正を実行することが可能となる。
【００７６】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。図１５は、本発明の第２の実施形態にかかる撮像装置１ｂの構成の例を示すブロック図である。前記のとおり、第１の実施形態にかかる撮像装置１ａは、画像情報取得手段として勾配検出手段０１１７を有している。これに対し、第２の実施形態にかかる撮像装置１ｂは、画像情報取得手段として、勾配検出手段１５１７と、動きベクトル検出手段１５１８と、顔検出手段１５１９とを有する。
なお、第１の実施形態にかかる撮像装置１ａと第２の実施形態にかかる撮像装置１ｂの撮像動作は同じである。このため、撮像動作の説明は省略する。また、第２の実施形態にかかる撮像装置１ｂの各部（各手段）のうち、第１の実施形態と共通のものについては説明を省略する。
【００７７】
システム制御部１５１５は、勾配検出手段１５１７と、動きベクトル検出手段１５１８と、顔検出手段１５１９とから、各画像評価値（画像情報）を取得する。
動きベクトル検出手段１５１８は、２フレーム間の差分より、動きベクトルを抽出する（たとえば、特開平５−７３２７号公報参照）。本実施形態においては、動きベクトル検出手段１５１８は、検出した動きベクトルの大きさを、動きベクトル値（画像評価値）としてシステム制御部１５１５に出力する。
顔検出手段１５１９は、画像信号より顔領域を抽出する（たとえば、特開２０００−４８１８４号公報参照）。本実施形態においては、顔検出手段１５１９は、検出した顔領域のサイズを、顔サイズ値（画像評価値）としてシステム制御部１５１５に出力する。
【００７８】
このように、システム制御部１５１５には、画像評価値（画像情報）として、勾配検出手段１５１７から勾配値が、動きベクトル検出手段１５１８から動きベクトル値が、顔検出手段１５１９から顔サイズ値が入力される。そして、システム制御部１５１５は、入力されたこれらの画像評価値と、システム制御部１５１５の負荷情報とに基づいて、各光学補正に用いる光学補正値の生成の優先順序を決定する。補正の種類および生成する光学補正値の種類は、第１の実施形態と同じである。
【００７９】
システム制御部１５１５は、光学データベース１５１６から、現在の光学条件に応じた、光量落ち補正と、倍率色収差補正と、歪曲収差補正のそれぞれに用いる光学特性値を選択して読み出す。そして、システム制御部１５１５は、読み出した各光学特性値を、それぞれ対応する各光学補正値生成手段（光量落ち補正値生成手段１５０７、倍率色収差補正値生成手段１５０９、歪曲収差補正値生成手段１５１４）に出力する。
システム制御部１５１５の各光学補正値生成手段は、補正内容に対応した光学補正値（光量落ち補正値、倍率色収差補正値、歪曲収差補正値）を生成する。そして、各光学補正値生成手段は、生成した光学補正値を各光学補正手段（光量落ち補正手段１５０６、倍率色収差補正手段１５０８、及び歪曲収差補正手段１５１３）に出力する。
【００８０】
各光学補正手段は、入力された光学補正値を用いて、画像信号に対して所定の光学補正（光量落ち補正、倍率色収差補正、歪曲収差補正）を実行する。
以上の処理によって、各光学補正が実行される。
第２の実施形態における光学補正値の生成の優先順序の決定方法は、第１の実施形態と同様に、システム制御部１５１５が画像評価値（画像情報）から目立つ収差を推定し、目立つ収差の補正の精度を向上させるという考えに基づく。なお、第１の実施形態においては、１つの画像評価値（画像情報）として勾配値を用いて目立つ収差を推定する方法である。これに対し、第２の実施形態は、複数の画像評価値（画像情報）から目立つ収差を推定する。
【００８１】
第２の実施形態における光学補正値の生成処理の全体的なフローは、第１の実施形態と共通である（図１０参照）。したがって、説明は省略する。
第２の実施形態における順序決定処理について、説明する。図１６は、第２の実施形態における、順序決定処理のフローチャートである。第２の実施形態においては、光学補正値を生成するための画像評価値（画像情報）として、勾配値（勾配評価値）と、動きベクトル値と、顔サイズ値の３つを用いる。
【００８２】
ステップＳ１６０１〜Ｓ１６０３において、システム制御部１５１５は、３つの画像評価値を取得し、取得した３つの画像評価値に対して正規化処理を行う。正規化行う理由は、３つの画像評価値である勾配値と動きベクトル値と顔サイズ値とは、それぞれ値域が異なるためである。本実施形態においては、取得した画像評価値がとりうる最大値と最小値を用いて正規化を行う。具体的には、次の式９を用いて正規化を行う。なお、Ｅnが正規化された画像評価値、Ｅが取得された画像評価値、ＥMaxが取得した画像評価値がとりうる最大値、ＥMinが取得した画像評価値がとりうる最小値である。
【００８３】
【数９】
2014087022.tif 000011
【００８４】
ステップＳ１６０４において、システム制御部１５１５は、正規化した３つの画像評価値を用いて、倍率色収差評価値ＯptAと、歪曲収差評価値ＯptBと、光量落ち評価値ＯptCとの、３つの収差評価値を算出する。これらの収差評価値は、勾配値、動きベクトル値、顔サイズ値より算出される。そして、これらの収差評価値は、値が大きくなるほど、対応する収差が目立ちやすいと推定されるため、精度の高い補正が求められる。
ここで、倍率色収差評価値ＯptAと、歪曲収差評価値ＯptBと、光量落ち評価値ＯptCの算出方法について説明する。なお、以下の説明においては、正規化された勾配値をＣnとし、正規化された動きベクトル値とＭnとし、正規化された顔サイズ値をＦｎとする。
倍率色収差評価値ＯptAと、歪曲収差評価値ＯptBと、光量落ち評価値ＯptCとは、それぞれ上記３つの正規化された画像評価値の重みづけ合成で算出される。計算式は次の式１０のとおりである。
【００８５】
【数１０】
2014087022.tif 000012
【００８６】
式１０中のa、b、c、d、e、f、g、h、iは重み係数である。重み係数の設定の概念は、次のとおりである。
第１の実施形態で示したように、画像の勾配が急になるにしたがって、倍率色収差による色ずれが大きくなる。そこで、倍率色収差評価値ＯptAの算出においては、Ｃｎの重みを大きくする。一方、勾配に影響しない光量落ち評価値ＯptCの算出においてはＣnの重みを小さくする。したがって、重み係数ａを重み係数ｇより大きくする。
被写体が動いている画像は、静止している画像と比べて勾配が緩やかになり、被写体の動きが大きいほど、画面が一様になっていく。したがって、動き量の大きい画は、色にじみや歪みが目立たず、光量落ちが目立つと推定される。そこで、光量落ち評価値ＯptCの算出においては、Ｍnの重みを大きくし、倍率色収差評価値ＯptAや、歪曲収差評価値ＯptBの算出においてはＭnの重みを小さくする。したがって、重み係数ｈを、重み係数ｂ，ｅよりも大きくする。
人間は人間の顔に対して極めて高い認識力を持っており、例えばある人の顔を見ただけで、その人が前より少し太った、痩せたという判断をすばやく下すことができる。このため、歪曲収差による顔の歪みも目立つと推定される。そこで、歪曲収差評価値ＯptBの算出において、Ｆｎの重みを大きくする。すなわち、重み係数ｆを、重み係数ｃ，ｉよりも大きくする。
以上の概念によって、重み係数が決定される。なお、本実施形態においては、たとえば、次の式１１に示す重み付けが適用される。
【００８７】
【数１１】
2014087022.tif 000013
【００８８】
ステップＳ１６０５以降においては、システム制御部１５１５は、算出された各収差評価値ＯptA、ＯptB、ＯptCの値を比較する。そして、システム制御部１５１５は、値が大きい収差評価値を有する光学補正から順に光学補正値の生成を行えるように、光学補正値の生成の優先順序を決定する。具体的には次のとおりである。
【００８９】
ステップＳ１６０５においては、システム制御部１５１５は、倍率色収差評価値ＯptAが歪曲収差評価値ＯptBよりも大きいか否かを判定する。倍率色収差評価値ＯptAが歪曲収差評価値ＯptBよりも大きいと判定された場合には、ステップＳ１６０６に進む。
ステップＳ１６０６において、システム制御部１５１５は、歪曲収差評価値ＯptBが光量落ち評価値ＯptCよりも大きいか否かを判定する。歪曲収差評価値ＯptBが光量落ち評価値ＯptCよりも大きいと判定された場合には、ステップＳ１６０７に進む。
ステップＳ１６０７に進んだ場合には、各収差評価値の大小関係は、倍率色収差評価値ＯptA＞歪曲収差評価値ＯptB＞光量落ち評価値ＯptCである。そこでこの場合には、システム制御部１５１５は、倍率色収差補正を優先順序が最も高い光学補正Ａに、歪曲収差補正を優先順序が２番目に高い光学補正Ｂに、光量落ち補正を優先順序が最も低い光学補正Ｃに決定する。
【００９０】
ステップＳ１６０６において歪曲収差評価値ＯptBが光量落ち評価値ＯptCよりも小さいと判定された場合には、ステップＳ１６０８に進む。
ステップＳ１６０８において、システム制御部１５１５は、倍率色収差評価値ＯptAが光量落ち評価値ＯptCよりも大きいか否かを判定する。倍率色収差評価値ＯptAが光量落ち評価値ＯptCよりも大きいと判定された場合には、ステップＳ１６０９に進む。
ステップＳ１６０９に進んだ場合には、各収差評価値の大小関係は、倍率色収差評価値ＯptA＞光量落ち評価値ＯptC＞歪曲収差評価値ＯptBである。そこでこの場合には、システム制御部１５１５は、倍率色収差補正を優先順序が最も高い光学補正Ａに、光量落ち補正を優先順序が２番目に高い光学補正Ｂに、歪曲収差補正を優先順序が最も低い光学補正Ｃに決定する。
【００９１】
ステップＳ１６０８において倍率色収差評価値ＯptAが光量落ち評価値ＯptCよりも小さいと判定された場合には、ステップＳ１６１０に進む。
ステップＳ１６１０に進んだ場合には、各収差評価値の大小関係は、光量落ち評価値ＯptC＞倍率色収差評価値ＯptA＞歪曲収差評価値ＯptBである。そこでこの場合には、システム制御部１５１５は、光量落ち補正を優先順序が最も高い光学補正Ａに、倍率色収差補正を優先順序が２番目に高い光学補正Ｂに、歪曲収差補正を優先順序が最も低い光学補正Ｃに決定する。
【００９２】
ステップＳ１６０５において倍率色収差評価値ＯptAが歪曲収差評価値ＯptBよりも小さいと判定された場合には、ステップＳ１６１１に進む。
ステップＳ１６１１において、システム制御部１５１５は、倍率色収差評価値ＯptAが光量落ち評価値ＯptCよりも大きいか否かを判定する。倍率色収差評価値ＯptAが光量落ち評価値ＯptCよりも大きいと判定された場合には、ステップＳ１６１２に進む。
ステップＳ１６１２に進んだ場合には、各収差評価値の大小関係は、歪曲収差評価値ＯptB＞倍率色収差評価値ＯptA＞光量落ち評価値ＯptCである。そこでこの場合には、システム制御部１５１５は、歪曲収差補正を優先順序が最も高い光学補正Ａに、倍率色収差補正を優先順序が２番目に高い光学補正Ｂに、光量落ち補正を優先順序が最も低い光学補正Ｃに決定する。
【００９３】
ステップＳ１６１１において倍率色収差評価値ＯptAが光量落ち評価値ＯptCよりも小さいと判定された場合には、ステップＳ１６１３に進む。
ステップＳ１６１３において、システム制御部１５１５は、歪曲収差評価値ＯptBが光量落ち評価値ＯptCよりも大きいか否かを判定する。歪曲収差評価値ＯptBが光量落ち評価値ＯptCよりも大きいと判定された場合には、ステップＳ１６１４に進む。
ステップＳ１６１４に進んだ場合には、各収差評価値の大小関係は、歪曲収差評価値ＯptB＞光量落ち評価値ＯptC＞倍率色収差評価値ＯptAである。そこでこの場合には、システム制御部１５１５は、歪曲収差補正を優先順序が最も高い光学補正Ａに、光量落ち補正を優先順序が２番目に高い光学補正Ｂに、倍率色収差補正を優先順序が最も低い光学補正Ｃに決定する。
【００９４】
ステップＳ１６１３において歪曲収差評価値ＯptBが光量落ち評価値ＯptCよりも小さいと判定された場合には、ステップＳ１６１５に進む。
ステップＳ１６１５に進んだ場合には、各収差評価値の大小関係は、光量落ち評価値ＯptC＞歪曲収差評価値ＯptB＞倍率色収差評価値ＯptAである。そこでこの場合には、システム制御部１５１５は、光量落ち補正を優先順序が最も高い光学補正Ａに、歪曲収差補正を優先順序が２番目に高い光学補正Ｂに、倍率色収差補正を優先順序が最も低い光学補正Ｃに決定する。
以上が、第２の実施形態における順序決定処理のフローである。
【００９５】
なお、本実施形態においては、複数の画像評価値（画像情報）として勾配値と動きベクトル値、顔サイズ値を用いたが、使用される複数の画像評価値（画像情報）はこれらに限定されない。たとえば、直線検出などのその他の画像評価値を使用して目立つ収差を推定してもよい。
また、内容決定処理のフローは第１の実施形態と同じである（図１３と図１４参照）。したがって、これらの説明は省略する。
本発明の第２の実施形態によれば、システム制御部１５１５により各光学補正値の生成に優先順序をつけることで、現在の画像信号で高い補正精度が求められる光学補正に用いられる光学補正値の生成を優先的に実行することができる。このため、システム制御部１５１５の処理状況が高負荷で、各光学補正値の生成時間が制限された場合であっても、効果的に光学補正を実行することが可能となる。
【００９６】
（第３の実施形態）
次に、本発明の第３の実施形態について説明する。
本発明の第３実施形態にかかる撮像装置の構成は、第２の実施形態と共通の構成が適用できる（図１３参照）。また、第３の実施形態にかかる撮像装置の制御および構成要素も、第２の実施形態と共通である。したがって、説明は省略する。
第３の実施形態においては、第２の実施形態と同様に、複数の画像情報から目立つ収差を推定し、推定結果に基づいて光学補正値の生成の優先順序を決定する。これにより、第３の実施形態においては、複数の光学補正を実行する撮像装置において、目立つ収差の補正の精度の向上を図る。
なお、第３実施形態は、複数の画像情報を順に評価して光学補正値の生成の優先順序を決定する構成である。この構成が、第２の実施形態と相違する。
第３の実施形態における光学補正値の生成の処理の全体のフローは、第１の実施形態と共通である（図１０参照）。したがって、説明は省略する。
【００９７】
以下に、第３の実施形態における、順序決定処理について説明する。図１７は、第３の実施形態における順序決定処理を示すフローチャートである。
第３の実施形態においては、システム制御部１５１５は、取得された３つの画像評価値（画像情報）がそれぞれ所定の閾値より大きいか否かを順番に判定し、判定結果に応じて優先順序を決定する。なお、以下に示す例では、システム制御部１５１５は、勾配値、顔サイズ値、動きベクトル値という順序で評価を行う。ただし、この順序は一例であり、本発明はこの順序に限定されない。
【００９８】
図１８は、勾配値、顔サイズ値、動きベクトル値と光学補正値の生成の順序との関係を模式的に示す図である。
図１８（ａ）に示すように、勾配値が所定の閾値（第４の閾値）よりも大きい場合は、倍率色収差による色ずれが目立ちやすくなる。そこでこの場合には、システム制御部１５１５は、倍率色収差補正に用いる光学補正値の生成の優先順序を高くする。
図１８（ｂ）に示すように、顔サイズ値が所定の閾値（第５の閾値）よりも大きい場合は、歪曲収差による歪みが目立ちやすくなる。このため、システム制御部１５１５は、歪曲収差補正に用いる光学補正値の生成の優先順序を高くする。
図１８（ｃ）に示すように、動きベクトル値が所定の閾値（第６の閾値）よりも大きい場合は、光量落ちによるシェーディングが目立ちやすくなる。このため、システム制御部１５１５は、光量落ち補正の光学補正値の生成の優先順序を高くする。
なお、第４の閾値と、第５の閾値と、第６の閾値とは、それぞれ適宜設定される。
ただし、このような方法では、複数の光学補正の光学補正値の生成の優先順序を高くするという決定や、複数の光学補正値の生成の優先順序を低くするという決定がされることがある。そこで、システム制御部１５１５は、あらかじめ設定される所定の優先順序と組み合わせて、光学補正値の生成の優先順序を決定する。「所定の優先順序」は、光学補正の観点から要求される補正の精度が高い順に設定される。たとえば、この所定の優先順序は、倍率色収差補正、光量落ち補正、歪曲収差補正の順である。
【００９９】
順序決定処理の具体的なフローは、次のとおりである。
ステップＳ１７０１において、システム制御部１５１５は、勾配値が第４の閾値よりも大きいか否かを判定する。勾配値が第４の閾値よりも大きい場合には、ステップＳ１７０２に進む。
ステップＳ１７０２においては、システム制御部１５１５は、顔サイズ値が第５の閾値よりも大きいか否かを判定する。顔サイズ値が第５の閾値よりも大きい場合には、ステップＳ１７０３に進む。
ステップＳ１７０３においては、システム制御部１５１５は、動きベクトル値が第６の閾値よりも大きいか否かを判定する。動きベクトル値が第６の閾値よりも大きい場合には、ステップＳ１７０４に進む。
【０１００】
ステップＳ１７０４に進んだ場合には、勾配値と顔サイズ値と動きベクトル値のすべてが、それぞれ所定の閾値よりも大きい。これは、全ての光学補正を高い優先順序に設定する必要があることを示している。そこで、この場合には、システム制御部１５１５は、光学補正値の生成の優先順序を、光学補正の観点から要求される補正の精度が高い順に設定する。すなわち、前記のとおり、システム制御部１５１５は、倍率色収差補正を優先順序が最も高い光学補正Ａに、光量落ち補正を優先順序が２番目に高い光学補正Ｂに、歪曲収差補正を優先順序が最も低い光学補正Ｃに決定する。
ステップＳ１７０３において動きベクトル値が第６の閾値よりも小さいと判定された場合には、ステップＳ１７０５に進む。
【０１０１】
ステップＳ１７０５に進んだ場合には、勾配値と顔サイズ値が、所定の閾値よりも大きい。これは、倍率色収差補正と歪曲収差補正を高い優先順序に設定する必要があることを示している。そこで、この場合には、システム制御部１５１５は、光学補正値の生成の優先順序を、前記の「所定の優先順序」とこの判定結果とを組み合わせて決定する。すなわち、システム制御部１５１５は、倍率色収差補正を優先順序が最も高い光学補正Ａに、歪曲収差補正を優先順序が２番目に高い光学補正Ｂに、光量落ち補正を優先順序が最も低い光学補正Ｃに決定する。
【０１０２】
ステップＳ１７０２において顔サイズ値が第５の閾値よりも小さいと判定された場合には、ステップＳ１７０７に進む。
【０１０３】
ステップＳ１７０７に進んだ場合には、勾配値が所定の閾値よりも大きく、顔サイズが所定の閾値よりも小さい。これは、倍率色収差補正の優先順位が低く、歪曲収差補正の優先順位が低いことを示している。ここで、所定の優先順序が倍率色収差補正、光量落ち補正、歪曲収差補正の順に設定されているため、動きベクトルが所定の閾値より大きい場合はもちろんのこと、大きくない場合であっても、光量落ち補正は歪曲収差補正よりも高い優先順位が設定される。そこで、この場合には、システム制御部１５１５は、倍率色収差補正を優先順序が最も高い光学補正Ａに、光量落ち補正を優先順序が２番目に高い光学補正Ｂに、歪曲収差補正を優先順序が最も低い光学補正Ｃに決定する。
【０１０４】
ステップＳ１７０１において勾配値が第４の閾値よりも小さいと判定された場合には、ステップＳ１７０９に進む。
ステップＳ１７０９においては、システム制御部１５１５は、顔サイズ値が第５の閾値よりも大きいか否かを判定する。顔サイズ値が第５の閾値よりも大きい場合には、ステップＳ１７１０に進む。
【０１０５】
ステップＳ１７１０においては、システム制御部１５１５は、動きベクトル値が第６の閾値よりも大きいか否かを判定する。動きベクトル値が第６の閾値よりも大きい場合には、ステップＳ１７１１に進む。
ステップＳ１７１１に進んだ場合には、顔サイズ値と動きベクトルが所定の閾値よりも大きい。これは、歪曲収差補正と光量落ち補正を高い優先順序に設定する必要があることを示している。前記の「所定の優先順序」においては、光量落ち補正が歪曲収差補正よりも高い優先順序に設定されている。そこで、この場合には、システム制御部１５１５は、光量落ち補正を優先順序が最も高い光学補正Ａに、歪曲収差補正を優先順序が２番目に高い光学補正Ｂに、倍率色収差補正を優先順序が最も低い光学補正Ｃに決定する。
【０１０６】
ステップＳ１７１０において動きベクトル値が第６の閾値よりも小さいと判定された場合には、ステップＳ１７１２に進む。
ステップＳ１７１２に進んだ場合には、顔サイズ値が所定の閾値よりも大きい。これは、歪曲収差補正を高い優先順序に設定する必要があることを示している。そこで、この場合には、システム制御部１５１５は、歪曲収差補正を優先順序が最も高い光学補正Ａに設定する。また、前記の「所定の優先順序」においては、倍率色収差補正が光量落ち補正よりも高い優先順序に設定されている。そこで、システム制御部１５１５は、倍率色収差補正を優先順序が２番目に高い光学補正Ｂに、光量落ち補正を優先順序が最も低い光学補正Ｃに決定する。
【０１０７】
ステップＳ１７０９において顔サイズ値が第５の閾値よりも小さいと判定された場合には、ステップＳ１７１３に進む。
ステップＳ１７１３においては、システム制御部１５１５は、動きベクトル値が第６の閾値よりも大きいか否かを判定する。動きベクトル値が第６の閾値よりも大きい場合には、ステップＳ１７１４に進む。
【０１０８】
ステップＳ１７１４に進んだ場合には、動きベクトルが所定の閾値よりも大きい。これは、光量落ち補正を高い優先順序に設定する必要があることを示している。そこで、この場合には、システム制御部１５１５は、光量落ち補正を優先順序が最も高い光学補正Ａに決定する。前記の「所定の順序」においては、倍率色収差補正が歪曲収差補正よりも高い順序に設定されている。そこで、システム制御部１５１５は、倍率色収差補正を優先順序が２番目に高い光学補正Ｂに、歪曲収差補正を優先順序が最も低い光学補正Ｃに決定する。
【０１０９】
ステップＳ１７１３において動きベクトル値が第６の閾値よりも小さいと判定された場合には、ステップＳ１７１５に進む。
ステップＳ１７１５に進んだ場合には、勾配値と顔サイズ値と動きベクトル値のすべてが所定の閾値よりも小さい。これは、全ての補正の優先順序が高くないことを示している。そこでこの場合には、システム制御部１５１５は、光学補正値の生成の優先順序を、前記の「所定の優先順序」のとおりに決定する。すなわち、システム制御部１５１５は、倍率色収差補正を優先順序が最も高い光学補正Ａに、光量落ち補正を優先順序が２番目に高い光学補正Ｂに、歪曲収差補正を優先順序が最も低い光学補正Ｃに決定する。
以上が、第３の実施形態における光学特性の生成順の決定のフローである。
【０１１０】
なお、本実施形態においては、複数の画像評価値（画像情報）として、勾配値と動きベクトル値と顔サイズ値を用いたが、画像評価値（画像情報）はこれらに限定されない。たとえば、直線検出などのその他の画像情報を用いてもよい。
なお、本実施形態においては、優先順序の判定結果の遷移方向に応じたヒステリシス制御を入れる構成であってもよい。このような構成であると、生成順序の変動による画質変動を抑えることができる。したがって、動画撮影に適した、なめらかな画質変動を実現することが可能である。
第３の実施形態における内容決定処理のフローは、第１の実施形態と共通である（図１３と図１４参照）。したがって、説明は省略する。
本発明の第３の実施形態によれば、第１の実施形態と同様の効果が得られる。
【０１１１】
（第４の実施形態）
次に、本発明の第４の実施形態について説明する。
本発明の第４実施形態にかかる撮像装置の構成は、第１の実施形態と共通の構成が適用できる（図１参照）。また、第４の実施形態にかかる撮像装置の制御および構成要素も、第１の実施形態と共通である。したがって、説明は省略する。
第４実施形態は、光学補正値の生成の処理や、時間の割り付けの決定に、画像情報に基づいて推定される目立つ収差と、内容決定処理の履歴情報とを使用する。このような構成である点が、第１の実施形態と主に相違する。
【０１１２】
履歴情報を用いて光学補正値を生成する処理の概念について、図１９を参照して説明する。図１９は、内容決定処理（図１３参照）により決定された処理が実行された場合のタイミングチャートの一例である。このタイミングチャートは、垂直同期期間ごとに、システム負荷判定結果と、光学補正値生成処理履歴と、光学補正値生成順序判定結果と、実行した光学補正値処理内容とを示す。
図１９中の「処理１３０２」は、光学補正Ａ（倍率色収差補正）の光学補正値を通常の処理で生成し、光学補正Ｂ（歪曲収差補正）の光学補正値を簡易処理で生成し、光学補正Ｃ（光量落ち補正）の光学補正値は生成しない処理の例である（後述）。そして、図１９は、処理１３０２が連続している例を示す。このような処理が連続すると、光量落ち補正に用いる光学補正値を生成する処理が実行されないため、光量落ち補正の精度がよくない状況が連続する。
そこで、たとえば、光学補正値の生成の順序と光学補正値の生成の処理に変化がない状態が所定回数以上（図１９の例では４回）連続する場合には、システム制御部０１１５は、光学補正Ａと光学補正Ｃの光学補正値の処理の内容を入れ替える。これにより、システム制御部０１１５は、補正精度がよくない光学補正Ｃ（光量落ち補正）に用いる光学補正値を生成する処理を優先して実行する。
なお、図１９に示すタイミングチャートにおいては、生成処理の内容を入れ替えることで、生成の順序が低い光学補正の補正精度の向上を図っている。このほか、優先順序が高い光学補正に用いる光学補正値を簡易処理で生成し、優先順序が低い光学補正に用いる光学補正値を通常の処理で生成する、という構成であってもよい。
【０１１３】
次に、本発明の第４実施形態における光学補正値を生成する処理の全体のフローについて、図２０を参照して説明する。図２０は、本発明の第４実施形態における光学補正値を生成する処理の全体を示すフローチャートである。第４実施形態における光学補正値を生成する処理は、「内容決定処理の履歴を判定する処理」（Ｓ２００８）が追加されている以外は、第１の実施形態と同じである。すなわち、ステップＳ２００１〜Ｓ２００７は、第１の実施形態のステップＳ１００１〜Ｓ１００７のそれぞれと同じである。ステップＳ２００９は、第１の実施形態のステップＳ１００８と同じである。そして、第１の実施形態のステップＳ１００７とＳ１００８との間に、「内容決定処理の履歴を判定する処理」（Ｓ２００８）が追加されている。「内容決定処理の履歴を判定する処理」を以下、「履歴判定処理」と称する。
ステップＳ２００１〜Ｓ２００７、Ｓ２００９は、第１の実施形態と同じであるため、説明は省略する。
【０１１４】
ステップＳ２００８の履歴判定処理について、図２１を参照して説明する。図２１は、履歴判定処理のフローチャートである。なお、内容決定処理は、図１３のフローチャートで示す結果に基づいたものとする。本実施例では、内容決定処理の結果には、以下に示す７パターンがあり、これらの７パターンは４つのクラスに分類される。なお、処理１３０６とは、図１３のステップＳ１３０６の処理のことを示し、処理１３０７とは、図１３のステップＳ１３０７の処理のことを示す。他の処理１３１１、１３１３、１３１４、１３１７、および、１３１８についても、それぞれ図１３にて対応するステップに記載された処理のことを示す。
【０１１５】
（１）処理１３０６、処理１３０７：これらの処理は、光学補正Ａと光学補正Ｂの光学補正値が通常の処理で生成され、光学補正Ｃの光学補正値が簡易処理で生成されるか、あるいは、生成されない処理である。そして、これらの処理は、処理パターンが所定の回数連続した場合には、光学補正Ｂと光学補正Ｃの光学補正値の生成処理の内容が入れ替えられるクラスである。
（２）処理１３１１、処理１３１４、処理１３１７：これらの処理は、光学補正Ａの光学補正値が通常の処理で生成され、光学補正Ｂと光学補正Ｃの光学補正値が共に簡易処理で生成されるか、あるいは、共に生成されない処理である。そして、これらの処理は、処理パターンが所定の回数連続した場合には、光学補正Ａと光学補正Ｂの光学補正値の生成処理の内容が入れ替えられるクラスである。
（３）処理１３１３：この処理は、光学補正Ａの光学補正値が通常の処理で生成され、光学補正Ｂの光学補正値が簡易処理で生成され、光学補正Ｃの光学補正値を生成する処理が実行されない処理である。この処理は、処理パターンが所定の回数連続した場合に、光学補正Ａと光学補正Ｃの光学補正値の生成処理の内容が入れ替えられるクラスである。
（４）処理１３１８：この処理は、全ての光学補正値の生成を実施しないクラスである。
前記（１）〜（４）の４つのクラスのうち、処理１３１８が属するクラス（４）以外は、クラスごとにカウンタ変数を有する。そして、システム制御部０１１５は、それらのクラス（１）〜（３）に属する処理パターンが連続した回数をカウントする。
【０１１６】
ステップＳ２１０１において、システム制御部０１１５は、順序決定処理の結果が、前の垂直同期期間の結果と同じかどうかを判定する。同じであればステップＳ２１０２に進み、異なる場合にはステップＳ２１０２を経ずにステップＳ２１０３に進む。
ステップＳ２１０２においては、システム制御部０１１５は、処理履歴の連続回数を示すカウンタをリセットする。そして、ステップＳ２１０３に進む。
ステップＳ２１０３においては、システム制御部０１１５は、内容決定処理の結果が、前記処理１３０６、１３０７、１３１１、１３１３、１３１４、１３１７および１３１８のいずれに該当するかを判定する。そして、判定結果に応じて処理を分岐する。
【０１１７】
ステップＳ２１０３において内容決定処理の結果が処理１３０６または１３０７であると判定された場合には、ステップＳ２１０４に進む。ステップＳ２１０３において内容決定処理の結果が処理１３１１，１３１４，１３１７のいずれかであると判定された場合には、ステップＳ２１０９に進む。ステップＳ２１０３において内容決定処理の結果が処理１３１３であると判定された場合には、ステップＳ２１０４に進む。
【０１１８】
ステップＳ２１０４においては、システム制御部０１１５は、自身のクラスのカウンタ変数が所定値（この例では３）未満であるか否かを判定する。所定値未満であれば、ステップシステム制御部０１１５は、ステップＳ２１０５に進む。
ステップＳ２１０５においては、システム制御部０１１５は、内容決定処理の内容を変更しない。そして、ステップＳ２１０６に進む。
ステップＳ２１０６においては、ステップＳ２１０３で判定された処理が属するクラス（自身のクラス）のカウンタ変数を１カウントアップし、それ以外のクラスのカウンタ変数を０にリセットする。
【０１１９】
ステップＳ２１０４において自身のクラスのカウンタ変数が所定値（この例では３）未満でないと判定された場合には、ステップＳ２１０７に進む。
ステップＳ２１０７においては、システム制御部０１１５は、内容決定処理による決定の結果を入れ替える。そして、ステップＳ２１０８に進む。
ステップＳ２１０８においては、システム制御部０１１５は、全てのクラスのカウンタ変数を０にリセットする。
【０１２０】
なお、ステップＳ２１０９〜Ｓ２１１３の処理と、ステップＳ２１１４〜Ｓ２１１８の処理は、それぞれ、ステップＳ２１０４〜Ｓ２１０８の処理と同じである。したがって、説明は省略する。
【０１２１】
ステップＳ２１０３において処理内容が処理１３１８であると判定された場合には、光学補正値の生成処理が実行されない。このため、前の垂直同期期間のカウンタ変数を保持する。そして、「光学補正値の生成処理の履歴を判定する処理」（Ｓ２００８）を終了する。
以上が、第４の実施形態における履歴判定処理のフローである。なお、このほか、図１４に示す処理による内容決定処理の結果を用いて、光学補正値の生成の履歴を判定してもよい。
【０１２２】
以上説明のとおり、本発明の第４の実施形態によれば、システム制御部０１１５の処理状況が高負荷で、各光学補正値の生成時間が制限された場合であっても、効果的に光学補正を実行することが可能となる。さらに、第４の実施形態を、第２の実施形態や第３の実施形態による光学補正値の生成の順序の判定結果に適用することで、撮影した画像に対して、より効果的に光学補正値を生成する処理を実行することも可能である。
【０１２３】
ここで、本発明の各実施形態にかかる撮像装置のハードウェア構成について、簡単に説明する。本発明の各実施形態にかかる撮像装置は、所定の演算処理を行うＣＰＵと、プログラムやデータなどを格納できる記憶装置（ＲＡＭやＲＯＭ）とを含むコンピュータを有する。そして、前記各処理を実行するためのコンピュータプログラム（ソフトウェア）は、記憶装置に格納されている。ＣＰＵが記憶装置に格納されているコンピュータプログラムを読み出して実行することにより、前記各手段が実現されるとともに、前記各処理が実行される。なお、前記各手段は、共通のＣＰＵや記憶装置を備える構成であってもよく、個別のＰＣＵや記憶装置を備える構成であってもよい。
【０１２４】
以上、本発明を好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。
【０１２５】
（他の実施形態）
上述した実施形態の目的は、次のような方法によっても達成される。すなわち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施形態の機能が実現されるだけでなく、本発明には次のような場合も含まれる。すなわち、プログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。
【０１２６】
さらに、次のような場合も本発明に含まれる。すなわち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。
【０１２７】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した手順に対応するプログラムコードが格納されることになる。
【産業上の利用可能性】
【０１２８】
本発明は、レンズで発生する各種収差を補正する撮像装置に有効な技術である。
【符号の説明】
【０１２９】
０１０１：光学系、０１０２：光学系駆動手段、０１０３：撮像素子、０１０４：撮像素子駆動手段、０１０６：光量落ち補正手段、０１０７：光量落ち補正値生成手段、０１０８：倍率色収差補正手段、０１０９：倍率色収差補正値生成手段、０１１０：カメラ信号処理手段、０１１１：画像メモリ、０１１３：歪曲収差補正手段、０１１４：歪曲収差補正値生成手段、０１１５：システム制御部、０１１６：光学データベース、０１１７：勾配検出手段、０２０１：乗算器、０２０２：加算器、０２０３：バンドパスフィルタ、０２０４：ＡＢＳ、０２０７：ラインピークホールド、０２０８：積分計算部、０３０１：極座標変換部、０３０２：線分近似部、０５０１：極座標変換部、０５０２：線分近似部、０５０３１〜０５０３３：ベクトル分解部、０６０１〜０６０３：乗算器、０８０３〜０８０６：乗算器、０８０７：平均化回路、０８１０〜０８１３：乗算器、０８１４：平均化回路、０８１７〜０８２０：乗算器、０８２１：平均化回路、１５１５：システム制御部、１５１８：動きベクトル検出手段、１５１９：顔検出手段
【図１】
2014087022.tif 000014
【図２】
2014087022.tif 000015
【図３】
2014087022.tif 000016
【図４】
2014087022.tif 000017
【図５】
2014087022.tif 000018
【図６】
2014087022.tif 000019
【図７】
2014087022.tif 000020
【図８】
2014087022.tif 000021
【図１７】
2014087022.tif 000022
【図１８】
2014087022.tif 000023
【図２０】
2014087022.tif 000024
【図２１】
2014087022.tif 000025
【図９】
2014087022.tif 000026
【図１０】
2014087022.tif 000027
【図１１】
2014087022.tif 000028
【図１２】
2014087022.tif 000029
【図１３】
2014087022.tif 000030
【図１４】
2014087022.tif 000031
【図１５】
2014087022.tif 000032
【図１６】
2014087022.tif 000033
【図１９】
2014087022.tif 000034