(57)【要約】【課題】  倍率色収差補正等の幾何学補正およびシェーディング補正を、従来よりも短時間かつ低コストで効率よく行うことができるようにする。【解決手段】  画像補正装置１は、撮像素子１１ｂからの画像出力が入力され、この画像出力および演算して得た画像座標データを出力する撮像素子画像出力入力部１２、ならびに、この撮像素子画像出力入力部１２から出力される画像座標データ、レンズパラメータ取得部１３から出力されるレンズパラメータ、および記憶部１４、１５からの各補正データが入力され、演算して得た統合補正データを出力するデータ演算部１６、およびデータ演算部１６からの統合補正データとともに撮像素子画像出力入力部１２からの画像データが入力されて、補正処理が終了した映像信号を外部に出力する信号処理部１７を備えている。【選択図】図１
2016005190.tif 000002
【特許請求の範囲】
【請求項１】
撮像用のレンズ系の絞り値、このレンズ系の焦点距離、およびこのレンズ系のフォーカス値の３つのレンズパラメータのうち少なくとも１つを入力されるレンズパラメータ入力手段と、
カメラの撮像素子からの画像出力を入力される画像出力入力手段と、
前記レンズ系が所定のレンズパラメータ値を有する場合に出現する収差を補正するための幾何学補正データを該レンズパラメータ値との対応関係で記憶する幾何学補正データ対応関係記憶手段と、
前記レンズ系が所定のレンズパラメータ値を有する場合に出現するシェーディングを補正するためのシェーディング補正データを該レンズパラメータ値との対応関係で記憶するシェーディング補正データ対応関係記憶手段と、
前記レンズパラメータ入力手段からの入力に応じて、前記幾何学補正データ対応関係記憶手段から出力された幾何学補正データ値と、前記レンズパラメータ入力手段からの入力に応じて、前記シェーディング補正データ対応関係記憶手段から出力されたシェーディング補正データ値とを統合して統合補正データを出力する補正データ統合演算手段と、
前記補正データ統合演算手段から出力された統合補正データを用いて、前記画像出力入力手段からの画像出力について幾何学補正処理とシェーディング補正処理を一括して実行する信号処理手段と、を備えたことを特徴とする画像補正装置。
【請求項２】
前記幾何学補正データ対応関係記憶手段およびシェーディング補正データ対応関係記憶手段は、撮像素子からの画像データ上の同一の画素サンプル点に対応した幾何学補正データおよびシェーディング補正データを格納することを特徴とする請求項１に記載の画像補正装置。
【請求項３】
前記補正データ統合演算手段は、前記レンズパラメータの入力に基づき、幾何学補正のための、画素のサブピクセル単位のシフトを行うための幾何学補正データであるフィルタ係数に、シェーディング補正のためのシェーディング補正データであるゲイン値を乗じた値を出力することを特徴とする請求項１または２に記載の画像補正装置。
【請求項４】
前記幾何学補正データ対応関係記憶手段および前記シェーディング補正データ対応関係記憶手段は、撮像素子からの画像データによる画像を水平方向にＮ個に分割するとともに、垂直方向にＭ個に分割して、これら２方向の分割線により形成される各分割領域の各対応点をサンプリング点として選択し、この選択された各サンプリング点における幾何学補正データおよびシェーディング補正データを格納され、
前記補正データ統合演算手段は、前記サンプリング点に対応した、離散的に分布する幾何学補正データおよびシェーディング補正データを補間することで、任意のサンプル点に対応する補正係数を求めることを特徴とする請求項３に記載の画像補正装置。
【請求項５】
前記幾何学補正データ対応関係記憶手段および前記シェーディング補正データ対応関係記憶手段は、前記レンズパラメータの連続的な値のうち、少なくとも最大値および最小値を含む複数の値の各々に対応する複数の離散的な補正データを記憶し、
前記補正データ統合演算手段は、記憶された前記離散的な補正データを用いて任意のレンズパラメータに対応する補正データを補間演算により生成することを特徴とする請求項１〜４に記載の画像補正装置。
【請求項６】
請求項１〜５のうちいずれか１項に記載の画像補正装置、前記レンズ系、および該レンズ系を光軸に沿って移動せしめるレンズ系駆動制御手段を備えたことを特徴とする光学補正装置。
【請求項７】
撮像用のレンズ系の絞り値、このレンズ系の焦点距離、およびこのレンズ系のフォーカス値の３つのレンズパラメータのうち少なくとも１つをレンズパラメータ入力手段に入力せしめるレンズパラメータ入力ステップと、
カメラの撮像素子からの画像出力を画像出力入力手段に入力せしめる画像出力入力ステップと、
前記レンズ系が所定のレンズパラメータ値を有する場合に出現する収差を補正するための幾何学補正データを該レンズパラメータ値との対応関係で幾何学補正データ対応関係記憶手段に記憶せしめる幾何学補正データ対応関係記憶ステップと、
前記レンズ系が所定のレンズパラメータ値を有する場合に出現するシェーディングを補正するためのシェーディング補正データを該レンズパラメータ値との対応関係でシェーディング補正データ対応関係記憶手段に記憶せしめるシェーディング補正データ対応関係記憶ステップと、
前記レンズパラメータ入力手段からの入力に応じて、前記幾何学補正データ対応関係記憶手段から出力された幾何学補正データ値と、前記レンズパラメータ入力手段からの入力に応じて、前記シェーディング補正データ対応関係記憶手段から出力されたシェーディング補正データ値とを統合して統合補正データを出力する補正データ統合演算ステップと、
前記補正データ統合演算ステップにおいて出力された統合補正データを用いて、前記画像出力入力手段から出力された信号の幾何学補正処理とシェーディング補正処理を一括して実行する信号処理ステップと、をコンピュータにおいて実行せしめることを特徴とする画像補正用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラにより撮像された画像の、レンズによる複数の収差を補正する画像補正装置、光学補正装置および画像補正用プログラムに関し、特に、絞り値、焦点距離、フォーカス位置等のレンズパラメータに応じて、シェーディングを含めた各種収差を補正する画像補正装置、光学補正装置および画像補正用プログラムに関する。
【背景技術】
【０００２】
一般に、カメラなどの撮像レンズによっては、ディストーション等のザイデル収差や光波長による屈折率の違いに応じて生じる色にじみ（倍率色収差）等の色収差が生じる。
これらは、撮影された画像や映像の画質劣化につながるため、光学的手段で補正しきれない部分については、電気的な信号処理によって補正することが肝要である。
一方、入射光線の入射角が撮像素子の入射画素位置に応じて異なることによって生じる明るさのムラ（レンズシェーディング）も画質劣化を引き起こす大きな要因となっている。
【０００３】
倍率色収差については、下記特許文献１に示されるように、補正データをメモリに保存し、この補正データを用いた画像の幾何学補正によって倍率色収差や歪みを補正する手法が知られている。また、下記特許文献２に示されるように、複数の代表的なレンズパラメータ値に各々対応する幾何学補正データをメモリに保存し、各幾何学補正データの間の値となるレンズパラメータ値に対しては、線形補間等を用いて補正値を算出する手法が知られている。
【０００４】
レンズシェーディングについては、放送用カメラなどに搭載されているシェーディング補正回路を用いて、シーンに応じて手動でシェーディングを補正する手法が広く採用されている。
また、下記特許文献３等に示されるように、レンズパラメータの値に応じたシェーディング補正データを予めメモリに記憶しておき、パラメータ値に応じたシェーディング補正データに基づくゲイン値を画素値に乗算することでシェーディングを補正する手段が知られている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平６−２９２２０７号公報
【特許文献２】特開２００６−１３５８０５号公報
【特許文献３】特開２０００−０４１１７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、一般のカメラにおいては、仮に、倍率色収差補正等の幾何学補正とシェーディング補正の双方について電気的な信号処理が行なわれるように構成したとしても、信号処理部は各補正処理毎に設けられることが想定される。
しかしながら、このように補正処理毎に各々信号処理部を設けた場合、特にカメラの高精細化などが進むにしたがって、演算量や必要なメモリの量が増大し、ハードウェアのコスト増大につながる。また、各信号処理部から出力された信号に対して、信号処理を各々について行うことになるので、処理時間が増大し、リアルタイムで信号再生を行うことが困難となる虞がある。
【０００７】
本発明はこのような事情に鑑みてなされたものであり、倍率色収差補正等の幾何学補正、およびシェーディング補正の双方を、従来よりも短時間かつ低コストで効率よく行うことができる画像補正装置、光学補正装置および画像補正用プログラムを提供することを目的とするものである。
【課題を解決するための手段】
【０００８】
本発明の画像補正装置は、
撮像用のレンズ系の絞り値、このレンズ系の焦点距離、およびこのレンズ系のフォーカス値の３つのレンズパラメータのうち少なくとも１つを入力されるレンズパラメータ入力手段と、
カメラの撮像素子からの画像出力を入力される画像出力入力手段と、
前記レンズ系が所定のレンズパラメータ値を有する場合に出現する収差を補正するための幾何学補正データを該レンズパラメータ値との対応関係で記憶する幾何学補正データ対応関係記憶手段と、
前記レンズ系が所定のレンズパラメータ値を有する場合に出現するシェーディングを補正するためのシェーディング補正データを該レンズパラメータ値との対応関係で記憶するシェーディング補正データ対応関係記憶手段と、
前記レンズパラメータ入力手段からの入力に応じて、前記幾何学補正データ対応関係記憶手段から出力された幾何学補正データ値と、前記レンズパラメータ入力手段からの入力に応じて、前記シェーディング補正データ対応関係記憶手段から出力されたシェーディング補正データ値とを統合して統合補正データを出力する補正データ統合演算手段と、
前記補正データ統合演算手段から出力された統合補正データを用いて、前記画像出力入力手段からの画像出力について幾何学補正処理とシェーディング補正処理を一括して同時に実行する信号処理手段と、を備えたことを特徴とするものである。
【０００９】
ここで、上記「統合」とは、「複数の異なる係数を互いに演算して、各係数を互いに関連させた数式等として表す」ことを言うものとする。
また、上記「収差」には、単色で生じるザイデル収差と倍率色収差等の色収差の双方を含むものとする。
また、上記「幾何学補正」とは、上記収差が低減するように行われる補正をいうものとする。
【００１０】
また、前記幾何学補正データ対応関係記憶手段およびシェーディング補正データ対応関係記憶手段は、撮像素子からの画像データ上の同一の画素サンプル点に対応した幾何学補正データおよびシェーディング補正データを格納することが好ましい。
【００１１】
また、前記補正データ統合演算手段は、前記レンズパラメータの入力に基づき、幾何学補正のための、画素のサブピクセル単位のシフトを行うための幾何学補正データであるフィルタ係数に、シェーディング補正のためのシェーディング補正データであるゲイン値を乗じた値を出力することが好ましい。
【００１２】
また、前記幾何学補正データ対応関係記憶手段および前記シェーディング補正データ対応関係記憶手段は、撮像素子からの画像データによる画像を水平方向にＮ個に分割するとともに、垂直方向にＭ個に分割して、これら２方向の分割線により形成される各分割領域の各対応点をサンプリング点として選択し、この選択された各サンプリング点に対応した幾何学補正データおよびシェーディング補正データを格納し、
前記補正データ統合演算手段は、前記サンプリング点に対応した、離散的に分布する幾何学補正データおよびシェーディング補正データを補間することで、任意のサンプル点に対応する補正係数を求めることが好ましい。
【００１３】
また、前記幾何学補正データ対応関係記憶手段および前記シェーディング補正データ対応関係記憶手段は、前記レンズパラメータの連続的な値のうち、少なくとも最大値および最小値を含む複数の値の各々に対応する複数の離散的な補正データを記憶し、
前記補正データ統合演算手段は、記憶された前記離散的な補正データを用いて任意のレンズパラメータに対応する補正データを補間演算により生成することが好ましい。
【００１４】
また、本発明の光学補正装置は、
上記いずれかの画像補正装置、前記レンズ系、および該レンズ系を光軸に沿って移動せしめるレンズ系駆動制御手段を備えてなることを特徴とするものである。
【００１５】
また、本発明の画像補正プログラムは、
撮像用のレンズ系の絞り値、このレンズ系の焦点距離、およびこのレンズ系のフォーカス値の３つのレンズパラメータのうち少なくとも１つをレンズパラメータ入力手段に入力せしめるレンズパラメータ入力ステップと、
カメラの撮像素子からの画像出力を画像出力入力手段に入力せしめる画像出力入力ステップと、
前記レンズ系が所定のレンズパラメータ値を有する場合に出現する収差を補正するための幾何学補正データを該レンズパラメータ値との対応関係で幾何学補正データ対応関係記憶手段に記憶せしめる幾何学補正データ対応関係記憶ステップと、
前記レンズ系が所定のレンズパラメータ値を有する場合に出現するシェーディングを補正するためのシェーディング補正データを該レンズパラメータ値との対応関係でシェーディング補正データ対応関係記憶手段に記憶せしめるシェーディング補正データ対応関係記憶ステップと、
前記レンズパラメータ入力手段からの入力に応じて、前記幾何学補正データ対応関係記憶手段から出力された幾何学補正データ値と、前記レンズパラメータ入力手段からの入力に応じて、前記シェーディング補正データ対応関係記憶手段から出力されたシェーディング補正データ値とを統合して統合補正データを出力する補正データ統合演算ステップと、
前記補正データ統合演算ステップにおいて出力された統合補正データを用いて、前記画像出力入力手段から出力された信号の幾何学補正処理とシェーディング補正処理を一括して実行する信号処理ステップと、をコンピュータにおいて実行せしめることを特徴とするものである。
【発明の効果】
【００１６】
本発明の画像補正装置、光学補正装置および画像補正用プログラムによれば、倍率色収差補正等の幾何学補正およびシェーディング補正における、各々の補正データの値を、乗算等の演算を用いて統合しておき、この統合された統合補正データの値に基づき、各補正処理を一括して行うようにしている。すなわち、入力されたレンズパラメータに応じ、倍率色収差補正等の幾何学補正とレンズシェーディング補正を一括して行うことができるため、補正処理を行なうハードウェアのコンパクト化を図ることができるとともに、この補正処理を短時間かつ低コストで効率よく行うことができる。
【００１７】
なお、補正データの統合は、それぞれの補正処理に含まれる乗算成分を互いに乗算することにより行なうことができるという本願発明者の知見によって可能となったものである。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施形態に係る画像補正装置（撮像装置）における幾何学補正およびシェーディング補正を一括して行う処理部を表すブロック図である。
【図２】本発明の実施形態に係る画像補正装置（撮像装置）において用いられる補正データの座標を表す概念図である。
【図３】図１の実施形態に係る補正処理に用いられる補正データのサンプル点配置の一例を示す概念図である。
【図４】図１の実施形態に係る画像補正装置（撮像装置）のデータ演算部の構成を示すブロック図である。
【図５】図４に示す画像補正装置（撮像装置）における信号処理部の構成を示すブロック図である。
【発明を実施するための形態】
【００１９】
以下、本発明の実施形態について、上記図面を参照しながら説明する。
まず、実施形態の構成を図1を用いて説明する。
図１に示すように、本実施形態に係る画像補正装置１は、レンズ部１１ａおよび撮像素子１１ｂと組み合わせられて本実施形態に係る撮像装置１０を構成するものであり、レンズ部１１ａから出力されたレンズパラメータの値を入力されるレンズパラメータ取得部１３と、予め記憶されていた幾何学補正データのうち、このレンズパラメータ取得部１３からのレンズパラメータの値に応じた幾何学補正データを出力する、幾何学補正データ記憶部１４、および予め記憶されていたシェーディング補正データのうち、このレンズパラメータ取得部１３からのレンズパラメータの値に応じたシェーディング補正データを出力する、シェーディング補正データ記憶部１５を備えている。
【００２０】
さらに、本実施形態に係る画像補正装置１は、撮像素子１１ｂからの画像出力が入力され、この画像出力および演算して得た画像座標データを出力する撮像素子画像出力入力部１２、ならびに、この撮像素子画像出力入力部１２から出力される画像座標データ、レンズパラメータ取得部１３から出力されるレンズパラメータ、および、これらの記憶部１４、１５からの各補正データを入力され、演算して得た統合補正データを出力するデータ演算部１６、およびこのデータ演算部１６からの統合補正データとともに撮像素子画像出力入力部１２からの画像出力を入力されて映像信号を外部に出力する信号処理部１７を備えている。
【００２１】
ところで、レンズ部１１ａの位置等を検出する位置センサ等（レンズ部１１ａを駆動制御するサーボコントローラ等に設けられている）から、レンズ部１１ａの絞り値（アイリス値）、レンズ部１１ａの焦点距離（ズーム値；変倍量）、あるいはレンズ部１１ａのフォーカス値などのレンズパラメータの値がレンズパラメータ取得部１３に入力されるように構成する。
【００２２】
また、上記幾何学補正データ記憶部１４とシェーディング補正データ記憶部１５には、各レンズパラメータである、所定間隔毎の絞り値（Ｙ１〜Ｙｎ）、焦点距離（Ｚ１〜Ｚｎ）およびフォーカス値（Ｘ１〜Ｘｎ）に対応する補正データを予め計算し、補正テーブルとして格納しておく。
【００２３】
ただし、上記幾何学補正データおよび上記シェーディング補正データとしては、図２に示すような３次元座標の格子点すべてに対応する位置での補正データの取得が好ましいことから、例えば、レンズパラメータである、絞り値を５通り（ｎ＝５）、焦点距離を４通り（ｎ＝４）およびフォーカス値を３通り（ｎ＝３）とした場合には、5×4×3=60通りの補正データが存在することになる。
【００２４】
上述したように、これら２つの補正データはデータ演算部１６において統合される。データ演算部１６では統合された補正データを信号処理部（映像処理部）１７に出力し、この信号処理部１７において、撮像素子１１ｂから撮像素子画像出力入力部１２を介して入力された画像データに対して収差の補正処理およびシェーディングの補正処理を一括して行なう。
【００２５】
補正データの統合は、それぞれの補正処理に含まれる乗算成分に着目し、幾何学補正の乗算値とレンズシェーディング補正の乗算値をかけ合わせた値を新たな乗算値として信号処理部１７に与えることで実現できる。これにより、通常の幾何学補正処理と同じ信号処理によってレンズシェーディングについても一括して補正できる。
【００２６】
なお、採用する各レンズパラメータの間隔を細かくすることで補正精度を高めることができるが、その一方、それに応じて補正データ量が増大していくため、適宜、重要度の低いデータを間引きする等して、データ量が大幅に増大することを阻止するデータ間引き処理を行なうことも肝要である（例えば特開2011-182071号公報を参照）。
【００２７】
また、補正データは、必ずしも画像の全画素に対して設定する必要はなく、代表的な画素のみをサンプル的に選択して保存するようにしてもよい。例えば、図３に示すように、画像（画面）をＮ×Ｍ（水平方向にＮ分割、垂直方向にＭ分割（但し、Ｎ、Ｍは２以上の整数））のブロックに分割した際の、各ブロックの中心座標に対応した補正データのみを保存するようにしてもよい。
また、上記幾何学補正データ記憶部１４とシェーディング補正データ記憶部１５は、レンズパラメータ取得部１３からの各レンズパラメータ値を入力されると、予め格納されていた補正テーブルに基づき、補正処理に有効な補正データをデータ演算部１６に出力する。
【００２８】
次に、図４を用いてデータ演算部１６の構成について説明する。
このデータ演算部１６は、幾何学補正データ記憶部１４からの幾何学補正データおよびレンズパラメータ取得部１３からのレンズパラメータ値を入力される幾何学補正データ補間部２１、およびシェーディング補正データ記憶部１５からのシェーディング補正データおよびレンズパラメータ取得部１３からのレンズパラメータ値を入力されるシェーディング補正データ補間部２４を備えている。
【００２９】
さらに、水平用幾何学補正フィルタ係数とシェーディング補正のためのゲイン倍率を掛け合わせる水平用フィルタ係数乗算部２５ａ、およびこの掛け算の結果に応じて新たなフィルタ係数を作成する水平用統合フィルタ係数生成部２６ａ、ならびに、垂直用幾何学補正フィルタ係数とシェーディング補正のためのゲイン倍率を掛け合わせる垂直用フィルタ係数乗算部２５ｂ、およびこの掛け算の結果に応じて新たなフィルタ係数を作成する垂直用統合フィルタ係数生成部２６ｂとを備えてなる。これにより、幾何学補正とシェーディング補正を一括して実行できる統合フィルタ係数を生成できる。
【００３０】
上述したように、データ演算部１６では、幾何学補正データ記憶部１４とシェーディング補正データ記憶部１５に個別に保存された幾何学補正データとシェーディング補正データを統合する処理を行って統合補正データを生成する。
【００３１】
次に、幾何学補正フィルタバンク２２は少なくとも数種類の幾何学補正フィルタを予め記憶してなり、各幾何学補正フィルタ係数生成部２３ａ，２３ｂでは幾何学補正フィルタバンク２２から最適な補正フィルタ係数を選択する。各幾何学補正フィルタ係数生成部２３ａ，２３ｂでは２次元方向の補正処理が必要となるため、水平用と垂直用の２つのフィルタ係数を互いに独立して選択することが必要となる。
【００３２】
なお、本発明の実施形態に係る画像補正用プログラムは、上記画像補正装置１において、各手段を機能させるための、図示されないＣＰＵにおいて実行されるものであって、その内容は以下のようになっている。
【００３３】
すなわち、本実施形態に係る画像補正プログラムは、
撮像用のレンズ系の絞り値、このレンズ系の焦点距離、およびこのレンズ系のフォーカス値の３つのレンズパラメータのうち少なくとも１つをレンズパラメータ取得部１３に入力せしめるレンズパラメータ入力ステップと、
カメラの撮像素子１１ｂからの画像出力を撮像素子画像出力入力部１２に入力せしめる画像出力入力ステップと、
上記レンズ系が所定のレンズパラメータ値を有する場合に出現する収差を補正するための幾何学補正データを該レンズパラメータ値との対応関係で幾何学補正データ記憶部１４に記憶せしめる幾何学補正データ記憶ステップと、
上記レンズ系が所定のレンズパラメータ値を有する場合に出現するシェーディングを補正するためのシェーディング補正データを該レンズパラメータ値との対応関係でシェーディング補正データ記憶部１５に記憶せしめるシェーディング補正データ記憶ステップと、
上記レンズパラメータ取得部１３からの入力に応じ、データ演算部１６において、上記幾何学補正データ記憶部１４から出力された幾何学補正データ値と、上記レンズパラメータ取得部１３からのレンズパラメータ値に応じて、上記シェーディング補正データ記憶部１５から出力されたシェーディング補正データ値とを統合して統合補正データを出力する補正データ統合演算ステップと、
データ演算部１６から出力された統合補正データを用いて、上記撮像素子画像出力入力部１２からの画像出力の幾何学補正処理とシェーディング補正処理を一括して実行する信号処理ステップと、をコンピュータにおいて実行せしめるように構成されている。
【００３４】
以下、図４を用い、データ演算部１６の信号処理について説明する。なお、レンズパラメータは、フォーカス値ｆ、絞り値（アイリス値Ｉ）、および焦点距離（ズーム値ｚ）、の３つのパラメータからなるものとする。
【００３５】
幾何学補正データ記憶部１４およびシェーディング補正データ記憶部１５に、レンズパラメータ取得部１３からのレンズパラメータが入力されると、記憶されている補正データの値は有限であるから、下式（１）、（２）、（３）を満足するレンズパラメータを取り囲む近傍８点の幾何学補正データ（４）およびシェーディング補正データ（５）を出力するように構成されている。
【００３６】
【数１】
2016005190.tif 000003
【００３７】
また、幾何学補正データ補間部２１では、まず、上記６つの幾何学補正データ（４）から、レンズパラメータ(z,I,f)に対応する幾何学補正データG(z,I,f)を得る。
【００３８】
例えば、上述したように、図３に示すごとく、幾何学補正データが、画像の縦方向にＭ分割されるとともに、その横方向にＮ分割されて得られる各ブロック領域の中心点のみの値を持つ場合には、信号処理の対象となっている画像の座標(x,y)に応じて幾何学補正データを内挿または外挿した幾何学補正量gV(x,y),gH(x,y)を算出する。これにより、任意の点の座標(x,y)における水平方向および垂直方向の幾何学補正量を算出することができる。
【００３９】
同様に、シェーディング補正データ補間部２４では、上記６つのシェーディング補正データ（５）から、レンズパラメータ(z,I,f)に対応するシェーディング補正データS(z,I,f)を線形補間により得る。これにより、上記任意の点の座標(x,y)に応じてシェーディング補正データを内挿または外挿してシェーディング補正量s(x,y)を算出する。
【００４０】
また、幾何学補正フィルタバンク２２には、サブピクセル単位で画素の位置をシフトさせるためのフィルタ係数を予めセットしておくことが可能である。このフィルタ係数は、ＦＩＲ（有限インパルス応答）フィルタの位相特性を変化させることで実現している。例えば、1/8画素単位でサブピクセルシフトさせる場合は、位相を１／８づつずらした８種類のフィルタ係数セットが設定される。
【００４１】
また、幾何学補正フィルタバンク２２は、幾何学補正データ補間部２１から受け取った幾何学補正量gV(x,y),gH(x,y)の小数部の値を検出して、この値に最も近いサブピクセルシフトに対応するKタップのフィルタ係数cB ={cb1,cb2,…,cbK }を選択し、整数シフト量とともに水平用幾何学補正フィルタ係数生成部２３ａおよび垂直用幾何学補正フィルタ係数生成部２３ｂに出力する。
【００４２】
垂直用幾何学補正フィルタ係数生成部２３ｂが出力するフィルタ係数をcV、幾何学補正量の整数部の値をA、幾何学補正量の最大値をLとすると、cVはK+2Lタップ分のフィルタとなり、フィルタ係数のi番目の係数値をcViとすると、係数値はフィルタ係数cBの係数値を用いて、下式（６）で表される。
【数２】
2016005190.tif 000004
【００４３】
最後に、各フィルタ係数乗算部２５ａ、２５ｂにおいて、幾何学補正フィルタ係数cV，cHに、シェーディング補正データ補間部２４からのシェーディング補正データs(x,y)を乗算することで、下式（７）に示すように水平方向および垂直方向にそれぞれの統合フィルタ係数が得られ、この統合フィルタ係数は信号処理部１７に出力される。
【数３】
2016005190.tif 000005
【００４４】
次に、図５を用いて信号処理部１７について説明する。
信号処理部１７においては、データ演算部１６で生成された水平用、垂直用の各統合フィルタ係数を用い、撮像素子画像出力入力部１２からの撮像素子映像信号に対して、水平方向と垂直方向にフィルタ係数を畳み込む。
【００４５】
また、水平方向にはＤフリップフロップ（DFF）３１ａ，３１ｂ，３１ｃ・・・３１ｚを、垂直方向にはラインメモリ３４ａ，３４ｂ，３４ｃ・・・３４ｚを、各々フィルタ係数生成部２６ａ，２６ｂからのフィルタ係数のタップ数に応じた数だけ設けられて、演算が行われる。
この場合に、フィルタ係数をシェーディング補正と統合した統合係数とすることにより幾何学補正と一括してシェーディング補正も行うことができる。
【００４６】
また、信号処理部１７の構成をより具体的に説明すれば、フィルタ係数のタップ数に応じて設けられたK+2L個の遅延素子（DFF）３１ａ〜３１ｚと、水平用フィルタ係数生成部２６ａからの各フィルタ係数（ｃH1'〜ｃH（K+2L）'）に対して、順次大きくなる遅延量を各々乗算するための乗算部３２ａ〜３２ｚと、これら乗算部３２ａ〜３２ｚからの出力を総和する総和部３３と、総和部３３からのフィルタ係数総和値を順次移動させるように直列的に接続された、K+2Lライン分のラインメモリ３４ａ〜３４ｚとを備えている。
【００４７】
また、各ラインメモリ３４ａ〜３４ｚからの出力を、垂直用統合フィルタ係数生成部２６ｂからの、垂直用統合フィルタ係数（ｃV1'〜ｃV（K+2L）'）と逐次掛け合わせる乗算部３５ａ〜３５ｚと、これら乗算部３５ａ〜３５ｚからの出力を総和し、外部へ映像信号を出力する総和部３６と、を備えている。このような構成によってフィルタ係数を畳み込むことで、所望の幾何学補正とシェーディング補正を一括して行うことができる。
【００４８】
なお、本発明の画像補正装置、光学補正装置および画像補正用プログラムとしては、上記実施形態のものに限られるものではなく、その他の種々の態様のものを採用し得る。例えば、上記実施形態においては、幾何学補正処理とシェーディング補正処理とを一括して行う場合に適用しているが、この幾何学補正処理は、ザイデルの各収差および色収差（倍率色収差、軸上色収差）のうちの１つの収差または、２つ以上の収差とすることができる。すなわち、シェーディングの他、例えば、倍率色収差とディストーションを一括して補正する場合に適用させることができる。
【００４９】
また、図１、４、および５に表されるブロック図としてもこれに限られるものではなく、要は、シェーディング補正を含む２つ以上の補正係数を統合して信号処理を行うことができる構成を有するものであればよい。
また、レンズパラメータは、上述したレンズ絞り値（アイリス値Ｉ）、レンズ焦点距離（ズーム値ｚ）、およびレンズフォーカス値（ｆ）の３つのパラメータの他に、例えば、レンズの曲率（Ｒ）、レンズの間隔（Ｄ）、レンズ材料の屈折率（Ｎ）、あるいはレンズ材料のアッベ数（ν）等の中から適宜追加することが可能である。
また、レンズパラメータは、レンズ絞り値（アイリス値Ｉ）、レンズ焦点距離（ズーム値ｚ）、およびレンズフォーカス値（ｆ）の３つのパラメータのうち、少なくとも一つを有していればよい。
【符号の説明】
【００５０】
１      画像補正装置
１０      撮像装置（光学補正装置）
１１ａ    レンズ部
１１ｂ    撮像素子
１２      撮像素子画像出力入力部
１３      レンズパラメータ取得部
１４      幾何学補正データ記憶部
１５      シェーディング補正データ記憶部
１６      データ演算部
１７      信号処理部
２１      幾何学補正データ補間部
２２      幾何学補正フィルタバンク
２４      シェーディング補正データ補間部
２３ａ、２３ｂ、２６ａ、２６ｂ      フィルタ係数生成部
２５ａ、２５ｂ、３２ａ〜３２ｚ、３５ａ〜３５ｚ    乗算部
３３、３６      総和部
３４ａ〜３４ｚ      ラインメモリ
【図１】
2016005190.tif 000006
【図４】
2016005190.tif 000007
【図５】
2016005190.tif 000008
【図２】
2016005190.tif 000009
【図３】
2016005190.tif 000010