(57)【特許請求の範囲】
【請求項１】
パラメータを用いて光学部材を制御する制御手段と、
前記光学部材を介して結像した光を変換して画像データを生成する撮像手段と、
前記光学部材の特性に起因する、前記光学部材の光軸について非点対称な、画像データの画質劣化を補正するための補正情報であって、前記光学部材の光軸を中心とした極座標系における複数の偏角の複数の像高に対応する補正情報を、前記光学部材を制御するためのパラメータが取り得る複数の値について記憶している記憶手段と、
前記制御手段が前記パラメータを用いて前記光学部材を制御する際に、前記記憶手段に記憶された補正情報のうち、前記制御手段が用いたパラメータの値に近い複数の値に対応する補正情報を読み出す読み出し手段と、
前記撮像手段で生成された画像データの画素位置を、前記光学部材の光軸を中心とした極座標に変換する変換手段と、
前記制御手段が用いたパラメータの値と前記変換手段により変換された極座標とに対応する補正情報を、前記読み出し手段により読み出された補正情報を補間して生成する生成手段と、
前記生成手段により生成された補正情報を用いて、前記極座標の画素位置の画像データを補正する補正手段とを有し、
前記記憶手段は、前記光学部材の光軸を中心とした周方向における前記画質劣化の変化の程度が大きい範囲ほど、多くの偏角に対応する補正情報を記憶することを特徴とする撮像装置。
【請求項２】
前記記憶手段は、第１の偏角における像高別の補正情報を、前記第１の偏角を含む範囲よりも前記光学部材の光軸を中心とした周方向における画質劣化の変化の程度が大きい範囲に含まれる第２の偏角における像高別の補正情報よりも、多く記憶することを特徴とする請求項１に記載の撮像装置。
【請求項３】
パラメータを用いて光学部材を制御する制御手段と、
前記光学部材を介して結像した光を変換して画像データを生成する撮像手段と、
前記光学部材の特性に起因する、前記光学部材の光軸について非点対称な、画像データの画質劣化を補正するための補正情報であって、前記光学部材の光軸を中心とした極座標系における複数の偏角の複数の像高に対応する補正情報を、前記光学部材を制御するためのパラメータが取り得る複数の値について記憶している記憶手段と、
前記制御手段が前記パラメータを用いて前記光学部材を制御する際に、前記記憶手段に記憶された補正情報のうち、前記制御手段が用いたパラメータの値に近い複数の値に対応する補正情報を読み出す読み出し手段と、
前記撮像手段で生成された画像データの画素位置を、前記光学部材の光軸を中心とした極座標に変換する変換手段と、
前記制御手段が用いたパラメータの値と前記変換手段により変換された極座標とに対応する補正情報を、前記読み出し手段により読み出された補正情報を補間して生成する生成手段と、
前記生成手段により生成された補正情報を用いて、前記極座標の画素位置の画像データを補正する補正手段と、
前記撮像手段で生成された画像データの領域ごとの特徴量を検出する特徴検出手段とを有し、
前記読み出し手段は、前記記憶手段に記憶された補正情報のうち、前記特徴検出手段で検出された特徴量が大きい領域ほど、多くの補正情報を読み出すことを特徴とする撮像装置。
【請求項４】
パラメータを用いて光学部材を制御する制御手段と、前記光学部材を介して結像した光を変換して画像データを生成する撮像手段と、前記光学部材の特性に起因する、前記光学部材の光軸について非点対称な、画像データの画質劣化を補正するための補正情報であって、前記光学部材の光軸を中心とした極座標系における複数の偏角の複数の像高に対応する補正情報を、前記光学部材を制御するためのパラメータが取り得る複数の値について記憶している記憶手段とを有する撮像装置における画像データの補正方法であって、
読み出し手段が、前記制御手段が前記パラメータを用いて前記光学部材を制御する際に、前記記憶手段に記憶された補正情報のうち、前記制御手段が用いたパラメータの値に近い複数の値に対応する補正情報を読み出す読み出しステップと、
変換手段が、前記撮像手段で生成された画像データの画素位置を、前記光学部材の光軸を中心とした極座標に変換する変換ステップと、
生成手段が、前記制御手段が用いたパラメータの値と前記変換ステップで変換された極座標とに対応する補正情報を、前記読み出しステップで読み出された補正情報を補間して生成する生成ステップと、
補正手段が、前記生成ステップで生成された補正情報を用いて、前記極座標の画素位置の画像データを補正する補正ステップとを有し、
前記記憶手段は、前記光学部材の光軸を中心とした周方向における前記画質劣化の変化の程度が大きい範囲ほど、多くの偏角に対応する補正情報を記憶することを特徴とする画像データの補正方法。
【請求項５】
パラメータを用いて光学部材を制御する制御手段と、前記光学部材を介して結像した光を変換して画像データを生成する撮像手段と、前記光学部材の特性に起因する、前記光学部材の光軸について非点対称な、画像データの画質劣化を補正するための補正情報であって、前記光学部材の光軸を中心とした極座標系における複数の偏角の複数の像高に対応する補正情報を、前記光学部材を制御するためのパラメータが取り得る複数の値について記憶している記憶手段とを有する撮像装置における画像データの補正方法であって、
読み出し手段が、前記制御手段が前記パラメータを用いて前記光学部材を制御する際に、前記記憶手段に記憶された補正情報のうち、前記制御手段が用いたパラメータの値に近い複数の値に対応する補正情報を読み出す読み出しステップと、
変換手段が、前記撮像手段で生成された画像データの画素位置を、前記光学部材の光軸を中心とした極座標に変換する変換ステップと、
生成手段が、前記制御手段が用いたパラメータの値と前記変換ステップで変換された極座標とに対応する補正情報を、前記読み出しステップで読み出された補正情報を補間して生成する生成ステップと、
補正手段が、前記生成ステップで生成された補正情報を用いて、前記極座標の画素位置の画像データを補正する補正ステップと、
特徴検出手段が、前記撮像手段で生成された画像データの領域ごとの特徴量を検出する特徴検出ステップとを有し、
前記読み出しステップでは、前記記憶手段に記憶された補正情報のうち、前記特徴検出ステップで検出された特徴量が大きい領域ほど、多くの補正情報を読み出すことを特徴とする画像データの補正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置及び画像データの補正方法に関し、特に光学的な要因による画質の劣化を、光学情報に基づいて補正する技術に関する。
【背景技術】
【０００２】
近年のデジタルビデオカメラ及びデジタルカメラでは、多画素化が進み、より高解像度の高画質な画像を得られるようになってきている。その一方で、画素の微細化による画像劣化や、小型レンズ設計の困難さなどの要因で、像円周辺部の光量低下や、倍率色収差、歪曲収差など、光学系が原理的に引き起こしてしまう画質劣化が顕在化するようになってきている。
【０００３】
上記のような光学要因の画質劣化は、理論上は、光軸中心から放射状に広がる点対称な現象特性を持つと考えられる。しかし実際の画像は、複数レンズ群で構成されるレンズの特性や、絞り機構などの光学部材の形状の影響、また、センサの物理的構造の影響を受けるため、必ずしも点対称な現象特性の画質劣化となるとは限らない。
【０００４】
このような非点対称な現象特性を持つ画質劣化に対し、従来より、焦点距離、絞り、フォーカス位置等の光学系のパラメータ情報（以下、「光学パラメータ」と呼ぶ。）を用いて補正する技術が提案されている（例えば、特許文献１〜４参照）。
【０００５】
特にビデオカメラのように、焦点距離、絞り、フォーカス位置が撮影中に常に変動することを想定した場合、光学要因の画質劣化は、光学パラメータの変化によって逐次変動する。また、上述した非点対称な画質劣化を補正するための補正特性データの保持に必要なメモリ容量や、補正特性データを処理する時間などのリソースは、カメラやビデオカメラでの撮影を考えれば、有限かつ少ないことを考慮する必要がある。
【０００６】
このような状況に対処するためには、補正特性データの生成に際して、画質劣化の非点対称性を考慮しつつ、光学特性の状況や撮影状況に応じて、適切に制御を行う必要がある。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特許第３８２４２３７号公報
【特許文献２】特許第３９１２４０４号公報
【特許文献３】特開２００５−３４１０３３号公報
【特許文献４】特開２００７−１３４９０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１では、光学パラメータに応じて光学補正値の混合比を決定し、着目画素の画面中心からの距離を、上下、左右方向に距離ゲイン関数で補正した画素距離に応じて、シェーディング補正を行っている。しかしながら、基本となる補正特性を距離ゲイン関数で相似的に変化させているに過ぎない。従って、複雑な非点対象性を持つ光学特性に対しては、複雑な距離ゲイン関数を持たなければならず、また、相似性のない形状変化に対しては対応できないため、適正な補正効果を得ることができない。また、光学パラメータや像高位置の変化に対する補正特性を単純なモデルで近似することは、実際には適正な補正処理を実現することにはならない。
【０００９】
特許文献２では、防振による光軸中心と撮像素子中心の相対位置を検出し、光軸中心から放射状に離散的に保持しているシェーディング補正情報の位相を切り替えている。しかしながら、この例では、離散的に配置された補正情報をそのまま使用するため、複雑な非点対称性を持つ光学特性に対しては、単に補正情報の密度を上げるしかない。
【００１０】
特許文献３では、センサの構造に起因したシェーディングの非対称性に対処するため、ｘ軸、ｙ軸方向に保持された補正情報に非対称性を持たせ、着目画素位置における補正係数を算出している。しかしながら、この例では、特定の関数で表現できるような線対称な現象特性の合成により、画面全体の非対称な性質を表現しているため、光軸中心に対して角度方向に変化する光学特性には対応できない。
【００１１】
特許文献４では、光学系の歪みに起因したシェーディングの非対称性に対処するため、実測したシェーディング量で補正情報を変換し、着目画素位置における補正係数を算出している。しかしながら、この例では、非点対称な特性を実際に測定し、かつその情報を保持する必要があるが、実測に基づくのであれば、本来は補正情報自体を持つ意義がない。また、光学パラメータが逐次変化する実際の撮影状況下で、同様の工程を行うのは、現実的には不可能である。
【００１２】
本発明は上記問題点を鑑みてなされたものであり、複雑な非点対称性を持つ光学要因の画質劣化を、装置構成を大きくすることなく、且つ、迅速に補正できるようにすることを目的とする。
【課題を解決するための手段】
【００１３】
上記目的を達成するために、本発明の撮像装置は、パラメータを用いて光学部材を制御する制御手段と、前記光学部材を介して結像した光を変換して画像データを生成する撮像手段と、前記光学部材の特性に起因する、前記光学部材の光軸について非点対称な、画像データの画質劣化を補正するための補正情報であって、前記光学部材の光軸を中心とした極座標系における複数の偏角の複数の像高に対応する補正情報を、前記光学部材を制御するためのパラメータが取り得る複数の値について記憶している記憶手段と、
前記制御手段が前記パラメータを用いて前記光学部材を制御する際に、前記記憶手段に記憶された補正情報のうち、前記制御手段が用いたパラメータの値に近い複数の値に対応する補正情報を読み出す読み出し手段と、前記撮像手段で生成された画像データの画素位置を、前記光学部材の光軸を中心とした極座標に変換する変換手段と、前記制御手段が用いたパラメータの値と前記変換手段により変換された極座標とに対応する補正情報を、前記読み出し手段により読み出された補正情報を補間して生成する生成手段と、前記生成手段により生成された補正情報を用いて、前記極座標の画素位置の画像データを補正する補正手段とを有し、前記記憶手段は、前記光学部材の光軸を中心とした周方向における前記画質劣化の変化の程度が大きい範囲ほど、多くの偏角に対応する補正情報を記憶する。
【発明の効果】
【００１４】
本発明によれば、複雑な非点対称性を持つ光学要因の画質劣化を、装置構成を大きくすることなく、且つ、迅速に補正できるようにすることができる。
【図面の簡単な説明】
【００１５】
【図１】第１の実施形態にかかる撮像装置の概略構成を示すブロック図。
【図２】第１の実施形態にかかる画素座標生成回路の内部構成を示すブロック図。
【図３】第１の実施形態にかかる係数生成回路の内部構成を示すブロック図。
【図４】第１の実施形態にかかる光学補正回路の構成例を示すブロック図。
【図５】撮像装置における画素位置を極座標で表現した例を示す図。
【図６】像高に対する非点対称性を持つ光学特性に対する補正量の一例を示す図。
【図７】第１の実施形態にかかる光学補正データベースに保持される非点対称性を有する光学補正特性情報の一例を説明するための図。
【図８】第１の実施形態にかかる補正係数の算出方法を説明するための図。
【図９】変形例１にかかる光学補正特性情報の別の一例を説明するための図。
【図１０】変形例１にかかる補正係数の算出方法を説明するための図。
【図１１】変形例２にかかる光学補正特性情報の別の一例を説明するための図。
【図１２】第２の実施形態にかかる倍率色収差補正回路または歪曲収差補正回路の処理を説明するための模式図。
【図１３】第２の実施形態にかかる光学補正回路の構成例を示すブロック図。
【図１４】第３の実施形態にかかる撮像装置の概略構成を示すブロック図。
【図１５】第３の実施形態にかかる特徴検出回路の構成例を示すブロック図。
【図１６】マッチングによる特徴評価値の取得方法を説明するための図。
【図１７】第２の実施にかかる光学補正特性情報の一例を説明するための図。
【発明を実施するための形態】
【００１６】
以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。
【００１７】
＜第１の実施形態＞
図１は、本第１の実施形態における撮像装置の概略構成を示すブロック図である。図１において、１はズームレンズ及びフォーカスレンズを含むレンズユニット、２は絞りである。撮像装置がビデオカメラの場合、レンズユニット１及び絞り２からなる光学系は、ズーミング操作や被写体の移動、撮影対象の変更、周囲の明るさの環境変化や撮影者の意図する撮影効果などの様々な要因に応じて制御されている。つまり、焦点距離、フォーカス位置、絞り値に代表される光学パラメータは、常に制御され変動している。
【００１８】
レンズユニット１及び絞り２からなる光学ユニットを通過した光は、色分離プリズム３により赤（Ｒ）、緑（Ｇ）、青（Ｂ）に色分離され、撮像素子４１〜４３上にそれぞれ光学的な画像として結像されて画像信号に順次変換される。撮像素子４１〜４３から出力された画像信号は、アナログフロントエンド（ＡＦＥ）５で、デジタル画像信号Ｓｒ、Ｓｇ、Ｓｂに変換される。
【００１９】
デジタル画像信号Ｓｒ、Ｓｇ、Ｓｂは、光学補正回路６に入力され、後述する係数生成回路１４から入力される補正値Ｚｔが画素毎に順次適用される。これにより、レンズユニット１及び絞り２によって生じる光学現象が補正され、デジタル画像信号Ｓｒ’、Ｓｇ’、Ｓｂ’が出力される。
【００２０】
７は、撮像装置全体の動作を制御するマイコンである。
【００２１】
８はレンズユニット１のズームレンズを駆動するためのアクチュエータで、マイコン７から出力される駆動パルスＣＬに基づいて、ズームレンズを駆動する。９はレンズユニット１のフォーカスレンズを駆動するためのアクチュエータで、マイコン７から出力される駆動パルスＣＦに基づいて、フォーカスレンズを駆動する。１０は絞り２を駆動するためのアクチュエータで、マイコン７から出力される駆動パルスＣｆに基づいて、絞り２を駆動する。
【００２２】
タイミングジェネレータ（ＴＧ）１１は、撮像素子４１〜４３の駆動仕様に合わせて、水平同期信号ＨＤ及び垂直同期信号ＶＤを発生してＡＦＥ５及び後述する画素座標生成回路１２に供給する。ＡＦＥ５は水平同期信号ＨＤ、垂直同期信号ＶＤに基づいて、撮像素子４１〜４３の駆動信号を生成して撮像素子４１〜４３に入力する。
【００２３】
画素座標生成回路１２は、マイコン７から供給される光軸位置情報Ｃｘ、Ｃｙと、ＴＧ１１から供給される水平同期信号ＨＤ及び垂直同期信号ＶＤとに基づいて、現在の画素の極座標を生成し、係数生成回路１４に供給する。光学系に起因して生じる画質劣化としては、倍率色収差や歪曲収差等の光学収差、周辺光量落ちがあげられるが、これらは像高に応じて変動することが知られている。そのため、水平同期信号ＨＤ及び垂直同期信号ＶＤに基づいて得られる撮像素子４１〜４３における画素位置を、画素座標生成回路１２により光軸からの動径Ｒｔ及び始線からの偏角θｔで表される極座標に変換する。なお、極座標の生成の詳細については後述する。
【００２４】
１４は係数生成回路であり、画素座標生成回路１２から得られる極座標と、マイコン７を介して入力される光学補正データベース１３に保存された光学補正データＣｍ（補正情報）とに基づいて、光学補正回路６で光学現象を補正するための補正値Ｚｔを生成する。なお、光学補正データベース１３は、フラッシュメモリなどの記憶装置である。
【００２５】
次に、上記構成を有する撮像装置において、補正値Ｚｔを生成する処理について、詳しく説明する。
【００２６】
●極座標の生成
図２は、画素座標生成回路１２の詳細な構成を示すブロック図である。図２に示すように、水平同期信号ＨＤの立ち下りでリセットされるＨカウンタ１２１と、垂直同期信号ＶＤの立ち下がりでリセットされるＶカウンタ１２２が、それぞれ水平カウンタ値Ｘｔ、垂直カウンタ値Ｙｔを出力する。ここで得られる水平カウンタ値Ｘｔ及び垂直カウンタ値Ｙｔは、図５に示すように、撮像素子４１〜４３の左上角の画素の座標を（０，０）として、水平方向にＸｔ、垂直方向にＹｔの画素の座標（Ｘｔ，Ｙｔ）を示す。
【００２７】
マイコン７から供給される光軸位置情報Ｃｘ、Ｃｙは、レンズユニット１及び絞り２で構成される光学系の光軸ｃが、撮像素子４１〜４３においてどの位置（座標）にあるかを示す。
【００２８】
極座標変換回路１２３は、画素ｔの水平カウンタ値Ｘｔ及び垂直カウンタ値Ｙｔを、光軸位置情報Ｃｘ、Ｃｙに基づいて、光軸Ｃを原点とする極座標系に変換する。極座標は
【００２９】
0005385740.tif 000002
【００３０】
と表すことができるので、極座標変換回路１２３は上記式の演算を行い、極座標値Ｒｔ、θｔを出力する。なお、平方根演算は、二分法、開平法などの既知の手法を有限語長精度で表現することにより、またatan演算は、高次関数近似あるいはＸＹ比を所定の値域に区間分割した区分低次関数近似により、ハードウェアでも実現が可能である。
●補正量プロットデータセットの選択
上述したように、複数のレンズを含むレンズユニット１及び絞り２の光学特性は、光学部材の形状や、センサの物理的構造などにより、非点対称となることが多い。図６（ａ）は、光軸ｃを中心とした偏角θ１〜θ４の動径方向ｃｆ１〜ｃｆ４を表し、図６（ｂ）は、図６（ａ）に示す動径方向ｃｆ１〜ｃｆ４の像高における適正な光学特性に対する補正量の一例を示したものである。図６に示す例では、光学特性が角度によって異なる非点対称性を持っているものとし、図６（ｂ）に示すように各動径方向Ｃｆ１〜Ｃｆ４の補正量は互いに一致しない。
【００３１】
本第１の実施形態では、このような非点対称な光学特性に起因する画質劣化を補正するための補正量を求める為に、光学パラメータに対する光学補正特性情報と領域情報とを予め光学補正データベース１３に保持しておく。光学補正データベース１３が保持する光学補正特性情報は、例えば、複数の偏角での動径方向に、予め設定された複数の像高（動径）における補正量（プロットデータ）を直接示すプロットデータセットである。なお、プロットデータセットの代わりに、各動径方向の補正量の特性を近似した関数の係数項を保持していてもよい。また、光学補正データベース１３が保持する領域情報は、保持された各補正量が対応する位置の、光軸を中心とした極座標（偏角及び像高）である。
【００３２】
図７は、本第１の実施形態における光学補正データベース１３に保持された光学補正特性情報から、係数生成回路１４に入力する光学補正データを求める処理の一例を示す図である。
【００３３】
図７（ａ）は、光学パラメータＯａに対応する、光学補正特性情報を保持した４つの動径方向ｃｆａ１〜ｃｆａ４及びその偏角θａ１〜θａ４を表している。また、第７（ｂ）は、光学パラメータＯｂに対応する、光学補正特性情報を保持した４つの動径方向ｃｆｂ１〜ｃｆｂ４及びその偏角θｂ１〜θｂ４を表している。このように、本第１の実施形態では、異なる複数の光学パラメータについて、それぞれ光学補正特性情報が保持されている。
【００３４】
また、図７（ｃ）及び（ｄ）は、光学パラメータＯａ及び光学パラメータＯｂに対応する、光学補正特性情報の各補正量が対応する位置を表している。図７（ａ）及び（ｃ）から分かるように、光学パラメータＯａに対応する光学補正特性情報は、４つの動径方向ｃｆａ１〜ｃｆａ４それぞれについて４つの像高に、計１３個（光軸における補正量は共通）が保持されている。動径方向ｃｆａ１〜ｃｆａ４それぞれの補正量（プロットデータ）と、各補正量が対応する領域情報（偏角θａ１〜θａ４、及び像高）とのセットを、以下、補正量プロットデータセットＣｍａ１〜Ｃｍａ４と呼ぶ。また、補正量プロットデータセットＣｍａ１〜Ｃｍａ４をまとめて補正量プロットデータセットＣｍａと呼ぶ。また、４つの像高を光軸から周辺に向けて像高１〜４とし、補正量プロットデータセットＣｍａ１に含まれる補正量（プロットデータ）を、補正量プロットデータＣｍａ１１〜Ｃｍａ１４と呼ぶ。なお、補正量プロットデータセットＣｍａ２〜Ｃｍａ４に含まれる補正量プロットデータについても同様に表す。
【００３５】
同様に、図７（ｂ）及び（ｄ）から分かるように、光学パラメータＯｂに対応する光学補正特性情報も、４つの動径方向ｃｆｂ１〜ｃｆｂ４それぞれについて４つの像高に、計１３個（光軸における補正量は共通）が保持されている。動径方向ｃｆｂ１〜ｃｆｂ４それぞれの補正量（プロットデータ）と、各補正量が対応する領域情報（偏角θｂ１〜θｂ４、及び像高）とのセットを、以下、補正量プロットデータセットＣｍｂ１〜Ｃｍｂ４と呼ぶ。また、補正量プロットデータセットＣｍｂ１〜Ｃｍｂ４をまとめて補正量プロットデータセットＣｍｂと呼ぶ。また、４つの像高を光軸から周辺に向けて像高１〜４として、補正量プロットデータセットＣｍｂ１に含まれる補正量（プロットデータ）を、補正量プロットデータＣｍｂ１１〜Ｃｍｂ１４と呼ぶ。なお、補正量プロットデータセットＣｍｂ２〜Ｃｍｂ４に含まれる補正量プロットデータについても同様に表す。
【００３６】
図７で、４つの偏角の動径方向それぞれに４像高分ずつの補正量を保持しないのは、光学補正データベース１３のメモリ容量が有限な為であり、補正量は離散的にしか持つことができない。本第１の実施形態では、非点対象性の光学特性の変化が激しい偏角の範囲については３動径方向分、緩やかな偏角の範囲については１動径方向分の光学補正特性情報をあらかじめ配分されている。従って、補正量がない光学パラメータ領域、像高位置、偏角では、近隣の情報から補間することで、補正量を取得することになる。なお、光学補正データベース１３に保持される本発明の光学補正特性情報の方向や数は、これに限られるものではなく、撮像装置が許容するメモリ容量や、光学系の特性変化量の傾向に応じて、情報量を予め決定しておくことができる。
【００３７】
一方、光学パラメータによる制御単位時間（１画像の撮像期間）は、画像信号の更新を示す垂直同期信号ＶＤの１周期（１フレーム期間）であるため、マイコン７が光学補正処理に与える処理時間は当然有限である。従ってマイコン７は、１フレーム期間中にデータ処理可能な有限個のプロットデータと領域情報を、現在の光学パラメータＯｔに近い光学パラメータに対応するものから、複数セット取得する。
【００３８】
従って、まずマイコン７は、光学補正データベース１３が保持している光学補正特性情報の複数の光学パラメータのうち、現在の光学パラメータＯｔ近傍の２つの光学パラメータを選択する。ここでは、上述した光学パラメータＯａ、Ｏｂとする。そして、マイコン７は、選択した光学パラメータＯａ、Ｏｂに対応する補正量プロットデータセットＣｍａ、Ｃｍｂを、光学補正データＣｍとして係数生成回路１４に出力する。この光学補正データＣｍは、マイコン７が光学ユニット１及び絞り２に駆動パルスＣＬ、ＣＦ、Ｃｆを出力する際に、出力される。
【００３９】
●補正係数の生成
図３は、係数生成回路１４の構成の一例を示すブロック図である。画素座標生成回路１２から出力された、現在の処理対象画素の極座標値Ｒｔ、θｔと、マイコン７から出力された光学補正データＣｍは、関数係数算出回路１４１に入力される。ここでは、図７における画素ｔ１（動径＝Ｒｔ１、偏角＝θｔ１）を処理する場合を例にとって説明する。
【００４０】
関数係数算出回路１４１では、入力された補正量プロットデータセットＣｍａ１〜Ｃｍａ４の内、図７（ｃ）に示すように、画素ｔ１の偏角θｔ１を挟む偏角θａ１及びθａ２に対応する２つ補正量プロットデータセットＣｍａ１、Ｃｍａ２を選択する。図８（ａ）は、選択された補正量プロットデータセットＣｍａ１、Ｃｍａ２の４つの像高（１〜４）に対する補正量プロットデータを示している。関数係数算出回路１４１は、各像高に対して与えられた２個の補正量プロットデータを、画素ｔ１の偏角θｔ１と、補正量プロットデータセットＣｍａ１、Ｃｍａ２の偏角θａ１、θａ２との距離で重み付けして補間処理する。その結果、図８（ｃ）に示すような４個の補正量プロットデータの重み付け平均値が算出される。
【００４１】
同様に、関数係数算出回路１４１は、入力された補正量プロットデータセットＣｍｂ１〜Ｃｍｂ４から、図７（ｄ）に示すように、画素ｔ１偏角θｔ１を挟む偏角θｂ２及びθｂ３に対応する２つの補正量プロットデータセットＣｍｂ２、Ｃｍｂ３を選択する。図８（ｂ）は選択された補正量プロットデータセットＣｍｂ２、Ｃｍｂ３の４つの像高（１〜４）に対する補正量プロットデータを示している。関数係数算出回路１４１は、各像高に対して与えられた２個の補正量プロットデータを、画素ｔ１の偏角θｔ１と、補正量プロットデータセットＣｍａ２の偏角θｂ２、θｂ３との距離で重み付けして補間処理する。その結果、図８（ｄ）に示すような４個の補正量プロットデータの重み付け平均値が算出される。
【００４２】
次に、関数係数算出回路１４１は、図８（ｃ）及び（ｄ）に示す補正量プロットデータの重み付け平均値を、更に像高毎に平均して、図８（ｅ）に示すような補正量プロットデータの平均値を得る。
【００４３】
最後に、関数係数算出回路１４１は、図８（ｆ）に示すように、画素ｔ１の動径Ｒｔ１が属する像高区間を求め（この例では、像高２と３の間）、求めた像高区間に対応する近似関数の係数ａ、ｂ、ｃを出力する。
【００４４】
補正値算出回路１４２は、以下の式に基づいて、係数ａ、ｂ、ｃと、画素ｔ１の像高Ｒｔ１とから、補正量Ｚｔ１を算出する。
Zt1 = aRt12 + bRt1 + c
【００４５】
なお、本第１の実施形態では、像高区間を上記式に示すように２次関数で近似するものとするが、これを１次関数（折れ線近似）としたり、３次以上の高次の関数で近似することも可能である。
【００４６】
このようにして求めた、現在の処理対象画素ｔ１の光学特性を補正するための補正量Ｚｔ１は、係数生成回路１４の補正値算出回路１４２から、光学補正回路６に出力される。なお、補正量Ｚｔは、各画素ｔについて上述した手順で順次求められて光学補正回路６に出力される。
【００４７】
●光学現象の補正
図４は、光学補正回路６の構成例を示す図であり、ここでは、光学特性として周辺光量落ちを補正するものとして説明する。周辺光量落ちの場合、係数生成回路１４から出力される補正量Ｚｔは、処理対象画素の位置における光量落ち量を逆数としたゲイン値となる。
【００４８】
光学補正回路６に入力された補正量Ｚｔは、ＡＦＥ５から出力されるデジタル画像信号Ｓｒ、Ｓｇ、Ｓｂにそれぞれ乗算器４０１、４０２、４０３で乗じられて、光学補正処理されたデジタル画像信号Ｓｒ’、Ｓｇ’、Ｓｂ’が出力される。
【００４９】
上記の通り、本第１の実施形態によれば、非点対称な光学特性による画質劣化を、必要なメモリの容量を増やすことなく、且つ、迅速に補正することができる。
【００５０】
なお、上述したように、光学補正データベース１３は、光学特性の補正量を直接示すプロットデータの代わりに、補正量の特性を近似した関数の係数項を保持していてもよい。その場合は、上記説明した「補正量プロットデータ」を、近似関数の次数に置き換えばよい。
【００５１】
＜変形例１＞
上述した第１の実施形態では、補正量プロットデータセットＣｍａ、Ｃｍｂに含まれる各動径方向の補正量プロットデータは、図７に示すように一律４個であった。これに対し、図９に示すように、非点対象性の変化が緩やかな方向（Ｃｍａ４及びＣｍｂ３）については、補正量プロットデータを多く割り当てることで、補間演算精度を上げることができる。その例を、図９における画素ｔ２（動径＝Ｒｔ２、偏角＝θｔ２）の補正係数を求める場合について説明する。なお、本変形例１においても、第１の実施形態と同様に、光学パラメータに基づいて、補正量プロットデータセットＣｍａ、Ｃｍｂが選択されているものとする。
【００５２】
関数係数算出回路１４１は、補正量プロットデータセットＣｍａ１〜Ｃｍａ４の内、図９（ａ）から分かるように、画素ｔ２の偏角θｔ２に基づいて、画素ｔ２を挟む２つの補正量プロットデータセットＣｍａ１、Ｃｍａ４を選択する。この場合、図１０（ａ）に示すように、それぞれ４個、７個の補正量プロットデータが含まれている。そして、各像高に対して与えられた補正量プロットデータの内、同じ像高に補正量プロットデータが２個ある場合には、画素ｔ２の偏角θｔ２と、補正量プロットデータセットＣｍａ１、Ｃｍａ４の偏角θａ１、θａ４との距離で重み付けして補間処理する。また、補正量プロットデータが１個しかない像高（像高２、４、６）については、まず、補正量プロットデータセットＣｍａ１の補正量プロットデータＣｍａ１２、Ｃｍａ１４、Ｃｍａ１６を、前後の像高での補正量プロットデータを平均して求める。そして、求めた値と、補正量プロットデータセットＣｍａ４の補正量プロットデータＣｍａ４２、Ｃｍａ４４、Ｃｍａ４６とを重み付け補間処理する。その結果、図１０（ｃ）に示すような８個の補正量プロットデータの重み付け平均値が算出される。
【００５３】
一方、関数係数算出回路１４１は、補正量プロットデータセットＣｍｂ１〜Ｃｍｂ４の内、画素ｔ２の偏角θｔ２に基づいて、画素ｔ２を挟む２つの補正量プロットデータセットＣｍｂ１、Ｃｍｂ４を選択する。図９（ｂ）は選択された補正量プロットデータセットＣｍｂ１、Ｃｍｂ４の４つの像高に対する補正量プロットデータを示している。そして、関数係数算出回路１４１は、各像高における２個の補正量プロットデータを、画素ｔ２の偏角θｔ２と、補正量プロットデータセットＣｍｂ１、Ｃｍａ４の偏角θｂ１、θｂ４との距離で重み付けして補間処理する。その結果、図１０（ｄ）に示すような４個の補正量プロットデータの重み付け平均値が算出される。
【００５４】
次に、関数係数算出回路１４１は、図１０（ｃ）及び（ｄ）に示す補正量プロットデータの重み付け平均値を、更に像高毎に平均して、図１０（ｅ）に示すような補正量プロットデータの平均値を得る。この例では、補正量プロットデータセットＣｍｂ１、Ｃｍｂ４の重み付け平均値が、像高２、４、６に対応していない。そのため、まず像高２、４、６の重み付け平均値を、前後の像高での重み付け平均値から求めてから、補正量プロットデータセットＣｍａ１、Ｃｍａ４の重み付け平均値と平均する。
【００５５】
最後に、関数係数算出回路１４１は、図１０（ｆ）に示すように、画素ｔ２の動径Ｒｔ２が属する像高区間を求め（この例では、像高５と６の間）、求めた像高区間に対応する近似関数の係数ａ、ｂ、ｃを出力する。
【００５６】
補正値算出回路１４２は、以下の式に基づいて、係数ａ、ｂ、ｃと、画素ｔ２の動径Ｒｔ２とから、補正量Ｚｔ２を算出する。
Zt2 = aRt22 + bRt2 + c
【００５７】
なお、本変形例１では、像高区間を上記式に示すように２次関数で近似するものとするが、これを１次関数（折れ線近似）としたり、３次以上の高次の関数で近似することも可能である。
【００５８】
このようにして求めた、現在の処理対象画素ｔ２の光学特性を補正するための補正量Ｚｔ２は、係数生成回路１４の補正値算出回路１４２から、光学補正回路６に出力される。
【００５９】
＜変形例２＞
上述した第１の実施形態及び変形例１では、補正量プロットデータセットＣｍａ、Ｃｍｂに含まれる補正量プロットデータの像高は等間隔であった。しかしながら、図１１（ａ）及び（ｂ）に示すように、非点対象性の変化が顕著となる像高領域（この図では像高の高い領域）に補正プロットデータを多く割り当てることで、補間演算精度を上げることができる。
【００６０】
なお、図１１（ａ）及び（ｂ）に示す補正プロットデータセットＣｍａ、Ｃｍｂを用いて補正係数を求める方法については、上記第１の実施形態で図８を参照して説明した方法と同様であるため、ここでは説明を省略する。
【００６１】
＜第２の実施形態＞
上記第１の実施形態においては、光学特性として、周辺光量落ちを補正する場合について説明した。本第２の実施形態では、倍率色収差や歪曲収差を補正する場合について説明する。なお、全体的な装置構成は、図１に示すものと同様であるので、ここでは説明を省略する。
【００６２】
倍率色収差補正や歪曲収差補正は、倍率色収差や歪曲収差が無かった場合に、ある画素で得られた画像データが本来得られるべき画素位置（座標）に配置し直す処理であり、画像データ自体を補正する処理ではない。従って、本第２の実施形態では、補正量プロットデータとして、画素（座標）の移動方向及び移動距離を保持している。
【００６３】
そして、補正係数Ｚｔは、画素の位置のずれ量を、水平、垂直方向のずれ成分として分離したずれ量であり、以下、赤（Ｒ）用の水平方向のずれ成分の係数をＺｔＨｒ、垂直方向のずれ成分の係数をＺｔＶｒとする。また、緑（Ｇ）用の水平方向のずれ成分の係数をＺｔＨｇ、垂直方向のずれ成分の係数をＺｔＶｇ、青（Ｂ）用の水平方向のずれ成分の係数をＺｔＨｂ、垂直方向のずれ成分の係数をＺｔＶｂとする。従って、本第２の実施形態では、光学補正特性情報として、水平方向、垂直方向それぞれの方向に、Ｒ、Ｇ、Ｂそれぞれの色に対する補正量プロットデータを持つ。そして、各方向の各色についてそれぞれ独立して上述したようにして補正係数を求めることで、補正係数ＺｔＨｒ、ＺｔＶｒ、ＺｔＨｇ、ＺｔＶｇ、ＺｔＨｂおよびＺｔＶｂを得ることができる。
【００６４】
図１２はこの画素位置のずれを補正する概念を示す図である。図１２（ａ）において、黒丸は処理対象の画素位置Ｓを示しており、グレー丸は、本来画素位置Ｓで得られるべき画像信号が、倍率色収差や歪曲収差の影響で、位置ずれして撮像された位置を示す仮想画素Ｓ’である。
【００６５】
倍率色収差や歪曲収差を補正するには、水平方向にＨｐ、垂直方向にＶｐ位相がずれてしまった仮想画素Ｓ’を求め、着目画素Ｓの位置に再配置すればよい。
【００６６】
仮想画素Ｓ’は、図１２（ｂ）のように、近傍に存在する画像信号が実際に得られた画素ｓ１、ｓ２、ｓ３、ｓ４から、画素ｓ１、ｓ２、ｓ３、ｓ４と仮想画素Ｓ’との画素間距離ｃ１、ｃ２、ｃ３、ｃ４で、重み付け補間演算することで生成する。生成された仮想画素Ｓ’は、図１２（ｃ）に示すように、画素位置Ｓに置き換えられることで、倍率色収差や歪曲収差が補正される。
【００６７】
図１３は、図１２に示す処理を実現するための、光学補正回路６が倍率色収差補正回路または歪曲収差補正回路である場合の構成を示すブロック図である。
【００６８】
まず、Ｒ成分の補正について説明する。光学補正回路６に入力された補正係数ＺｔＨｒ、ＺｔＶｒは、補間制御回路６０１に入力され、このうち、整数部分をＨｒｐ、Ｖｒｐとして出力する。また補間制御回路６０１は、小数部分を、参照画素ｓｒ１、ｓｒ２、ｓｒ３、ｓｒ４と仮想画素Ｓｒ’との画素間距離の重み付けによる補間係数ｃｒ１、ｃｒ２、ｃｒ３、ｃｒ４に換算して出力する。
【００６９】
バッファメモリ６０２は、デジタル画像信号Ｓｒを水平、垂直方向に順次複数画素にわたり保持しており、Ｈｒｐ、Ｖｒｐで画素毎に指示された位置に保持されている画素を、仮想画素Ｓｒ’近傍の参照画素ｓｒ１、ｓｒ２、ｓｒ３、ｓｒ４として順次出力する。
【００７０】
補正後のデジタル画像信号Ｓｒ’は、
【００７１】
0005385740.tif 000003
【００７２】
で表される。このように、参照画素ｓｒ１、ｓｒ２、ｓｒ３、ｓｒ４は、乗算器６０３、６０４、６０５、６０６で、補間係数ｃｒ１、ｃｒ２、ｃｒ３、ｃｒ４とそれぞれ乗じられ、平均値化回路６０７で平均値を取り、補正後のデジタル画像信号Ｓｒ’を出力する。
Ｇ成分、Ｂ成分についても、補間制御回路６０８、６１５、バッファメモリ６０９、６１６、乗算器６１０〜６１５、６１７〜６２０、平均値化回路６１４、６２１においてＲ成分と同様の処理が行われる。そしてｓ、補正後のデジタル画像信号Ｓｇ’、Ｓｂ’がそれぞれ出力される。
【００７３】
＜第３の実施形態＞
次に、本発明の第３の実施形態についての説明をする。図１４は、本第３の実施形態における撮像装置の概略構成を示すブロック図である。なお、図１の撮像装置と同様の構成については、同じ参照番号を付し、説明を省略する。本発明の第１の実施形態との違いは、光学補正回路６の前段に、撮影された画像の特徴検出を行う特徴検出回路１５を備え、特徴評価値Ｉｄ（特徴量）をマイコン７が取得していることである。
【００７４】
特徴検出回路１５は、デジタル画像信号Ｓｒ、Ｓｇ、Ｓｂからコントラスト検出、高周波成分検出、動き検出の少なくとも１つを実施して、特徴評価値Ｉｄを出力する。
【００７５】
コントラスト検出の場合、特徴検出回路１５は、例えば図１５（ａ）のように構成されている。デジタル画像信号Ｓｒ、Ｓｇ、Ｓｂは、輝度信号生成回路１５１に入力され、例えば
Y = 0.299Sr + 0.587Sg + 0.114Sb
【００７６】
のような、一般的な輝度生成式でデジタル画像信号Ｓｒ、Ｓｇ、Ｓｂを混合し、輝度信号Ｙが出力される。コントラスト検出回路１５２は、例えばソーベルフィルタであり、フィルタの出力である１次微分値を、特徴評価値Ｉｄとして出力する。
高周波成分検出の場合、特徴検出回路１５は、例えば図１５（ｂ）のように構成されている。デジタル画像信号Ｓｒ、Ｓｇ、Ｓｂは、輝度信号生成回路１５１に入力され、コントラスト検出の場合と同様にして、輝度信号Ｙが出力される。高周波成分検出回路１５３は、例えばバンドパスフィルタ（ＢＰＦ）であり、フィルタの出力である所定の周波数帯の応答値を、特徴評価値Ｉｄとして出力する。
【００７７】
動き検出の場合、特徴検出回路１５は、例えば図１５（ｃ）のように構成されており、これは代表点によるマッチング演算を適用した、一般的な構成である。デジタル画像信号Ｓｒ、Ｓｇ、Ｓｂは、輝度信号生成回路１５１に入力され、コントラスト検出の場合と同様にして、輝度信号Ｙを出力する。
【００７８】
フレームメモリ１５４は少なくとも２フレーム分の代表点の輝度信号を保持する容量があり、輝度信号生成回路１５１から得られた輝度信号Ｙを所定の画素間隔をもって水平、垂直方向にリサンプリングした代表点の輝度信号を保持する。同様の代表点の輝度信号は、バッファメモリ１５５にも保持される。フレームメモリ１５４からは、代表点の輝度信号Ｙｓを、図１６（ａ）で網掛けで示す所定の大きさの矩形領域ずつ、フレームメモリ１５４の左上のアドレスから右下のアドレスまで順次ずらしながら読み出す。一方、バッファメモリ１５５からは、図１６（ｂ）の矩形領域のように、画像内部を所定の大きさで区画分けして、各区画の代表点の輝度信号Ｙｔを区画番号１から１２まで順に読み出す。
【００７９】
代表点マッチング回路１５６には、バッファメモリ１５５から区画番号１の輝度信号Ｙｔが入力され、フレームメモリ１５４からは輝度信号Ｙｓをフレームメモリ１５４の左上のアドレスから右下のアドレスまで順次ずらしながら読み出して入力される。そして、輝度信号Ｙｔと輝度信号Ｙｓとの差分が最も小さかったときの輝度信号Ｙｓの読み出し位置と、バッファメモリ１５５からの輝度信号Ｙｔの区画番号１の位置とから、区画番号１の動きベクトルを特徴評価値Ｉｄとして出力する。
【００８０】
上述したようにして区画番号１のマッチング演算が終了すると、バッファメモリ１５５から区画番号２の輝度信号Ｙｔを読み出して代表点マッチング回路１５６に入力する。そして、フレームメモリ１５４からは、輝度信号Ｙｓをフレームメモリ１５４の左上のアドレスから右下のアドレスまで順次更新しながら読み出して、輝度信号Ｙｔとの差分を求める。これにより、区画番号１と同様にして区画番号２の動きベクトルを特徴評価値Ｉｄとして出力する。
【００８１】
以降、区画番号３〜１２についても同様にマッチング演算を繰り返すことで、特徴検出回路１５は、区画番号１から１２までの全ての動きベクトルを特徴評価値Ｉｄとして出力する。このようにして得られたそれぞれの特徴評価値Ｉｄは、マイコン７で統合されて一つの特徴評価値Ｉｄに加工される。
【００８２】
コントラストや高周波成分が高い領域は倍率色収差が目立つ領域となる可能性が高く、動き量が多い領域は周辺光量落ちが目立つ領域となる可能性が高いと考えられる。したがって、特徴評価値Ｉｄが大きな値である領域は、倍率色収差や周辺光量落ちが目立つ可能性が高い領域であると推測することができる。
【００８３】
そこで、マイコン７は、特徴評価値Ｉｄが大きな値となった領域については、それ以外の領域に比較して、補正量Ｚｔの近似精度が高くなるように、補正量プロットデータセットＣｍの読み出し方を後述する方法にて調整する。
【００８４】
マイコン７は、上述したように、光学ユニット１及び絞り２に駆動パルス位置ＣＬ、ＣＦ、Ｃｆを出力する際に、光学補正データベース１３にアクセスし、特徴評価値Ｉｄに応じて、係数生成回路１４に与える補正量プロットデータセットＣｍを出力する。以下、この時の特徴評価値Ｉｄによるマイコン７の制御について説明する。
【００８５】
マイコン７は、光学パラメータの制御単位時間である１フレーム期間中にデータ処理可能な有限個の補正量プロットデータと領域情報を、現在の光学パラメータ近傍で複数セット取得する。これに先立ち、マイコン７は、特徴評価値Ｉｄの画面内部の分布を見て、特徴評価値Ｉｄが最も高い領域を決定し、その領域を含む偏角θｉを決定する。
【００８６】
次にマイコン７は、光学補正データベース１３が保持している光学補正特性情報のうち、現在の光学パラメータ近傍の２つ光学パラメータＯａ、Ｏｂを選択する。光学補正データベース１３には、例えば図１７（ａ）のような、光学パラメータＯａにおける４方向のプロットデータセットと、例えば図１７（ｂ）のような、光学パラメータＯｂにおける４方向のプロットデータセットが保持されている。本第３の実施形態では、各方向にプロットデータが７個ずつ保持されているものとする。
【００８７】
そして、マイコン７は、光学補正データベース１３から光学パラメータＯａ、Ｏｂに対応する補正量プロットデータセットＣｍａ、Ｃｍｂを読み出すときに、偏角θｉをはさむ２方向では、補正量プロットデータセットを多く読み出すようにする。例えば、パラメータＯａに対応する図１７（ａ）では、図１７（ｃ）に示すように補正量プロットデータセットＣｍａ１、Ｃｍａ２として、プロットデータを７個ずつ読み出す。また、それ以外の補正量プロットデータセットＣｍａ３、Ｃｍａ４ではプロットデータを４個ずつ読み出す。同様に、光学パラメータＯｂに対応する図１７（ｂ）では、図１７（ｄ）に示すように、補正量プロットデータセットＣｍｂ１、Ｃｍｂ２として、プロットデータを７個ずつ、補正量プロットデータセットＣｍｂ３、Ｃｍｂ４としてプロットデータを４個ずつ読み出す。このようにして光学補正データベース１３読み出した補正量プロットデータセットＣｍａ、Ｃｍｂ（光学補正データＣｍ）を係数生成回路１４に出力する。
【００８８】
係数生成回路１４では、上述した変形例１において図１０を参照して説明したものと同様の演算を行い、得られた補正量Ｚｔを光学補正回路６に出力する。
【００８９】
上記の通り本第３の実施形態によれば、第１の実施形態の効果に加えて、画像信号中の特徴情報に応じて補正精度をより高くすることができる。
【００９０】
なお、上記第１乃至第３の実施形態では各動径方向のプロットデータの数を４個または７個としたが、本発明はこれに限るものではなく、装置の処理能力に応じて、１フレーム期間内に１画像の処理を終了できる数であればよい。
【図１】
0005385740.tif 000004
【図２】
0005385740.tif 000005
【図３】
0005385740.tif 000006
【図４】
0005385740.tif 000007
【図５】
0005385740.tif 000008
【図６】
0005385740.tif 000009
【図７】
0005385740.tif 000010
【図８】
0005385740.tif 000011
【図９】
0005385740.tif 000012
【図１０】
0005385740.tif 000013
【図１１】
0005385740.tif 000014
【図１２】
0005385740.tif 000015
【図１３】
0005385740.tif 000016
【図１４】
0005385740.tif 000017
【図１５】
0005385740.tif 000018
【図１６】
0005385740.tif 000019
【図１７】
0005385740.tif 000020