(57)【要約】【課題】  離散的なデータから光学的な要因による画質劣化を補正するための補正量を算出する際、動画撮像時と静止画撮像時のそれぞれに適した補正量の算出を可能とする。【解決手段】  光学補正データベースに、撮像光学系の複数の光学パラメータの値の複数の組み合わせについて、像高に対する撮像光学系に起因する画質劣化を補正するための補正量を離散的に保持しておく。そして、撮像装置の撮像モードが動画モードであれば、静止画モードの場合よりも、像高の数より光学パラメータの組み合わせの数を優先して複数の補正量を選択する。【選択図】  図４
2011130381.tif 000002
【特許請求の範囲】
【請求項１】
動画モードと静止画モードとを含む撮像モードを有する撮像装置であって、
撮像光学系により結像された被写体像を撮像し、画像データを生成する撮像手段と、
前記撮像光学系の複数の光学パラメータの値の複数の組み合わせについて、像高に対する前記撮像光学系に起因する画質劣化を補正するための補正量を離散的に保持する補正量記憶手段と、
前記撮像装置の撮像モードが前記動画モードであるか前記静止画モードであるかに応じて前記補正量記憶手段に保持された複数の補正量を選択し、出力する選択手段と、
前記選択手段が選択した複数の補正量を補間して、前記撮像手段が撮像した時点における前記撮像光学系の前記複数の光学パラメータの値の組み合わせについて、前記画像データの各画素に対する補正量を求める補正量生成手段と、
前記補正量生成手段が生成した補正量を前記画像データの各画素に対して適用する補正手段とを有し、
前記選択手段は、前記撮像装置の撮像モードが動画モードである場合には、前記撮像装置の撮像モードが静止画モードである場合よりも、像高の数よりも光学パラメータの組み合わせの数を優先して前記複数の補正量を選択することを特徴とする撮像装置。
【請求項２】
前記撮像光学系の前記複数の光学パラメータの値の履歴を保持する履歴記憶手段と、
前記撮像手段が撮像した時点における前記撮像光学系の前記複数の光学パラメータの値と、前記履歴記憶手段が保持する前記複数の光学パラメータの値との変動の大きさが予め定めた閾値以下か否かを判定する変動量判定手段とをさらに有し、
前記選択手段は、前記撮像装置の撮像モードが前記動画モードであると、前記変動量判定手段によって前記変動の大きさが予め定めた閾値以下であると判定された場合には、前記変動の大きさが予め定めた閾値より大きいと判定された場合よりも、光学パラメータの組み合わせの数よりも像高の数を優先して前記複数の補正量を選択することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記補正手段で補正する画像データと、前記撮像手段が過去に撮像した画像データとから、前記補正手段で補正する画像データの動きベクトルを算出し、当該動きベクトルの大きさが予め定めた閾値以下か否かを判定する動き判定手段とをさらに有し、
前記選択手段は、前記撮像装置の撮像モードが前記動画モードであると、前記動き判定手段によって前記動きベクトルの大きさが予め定めた閾値以下であると判定された場合には、前記動きベクトルの大きさが予め定めた閾値より大きいと判定された場合よりも、光学パラメータの組み合わせの数よりも像高の数を優先して前記複数の補正量を選択することを特徴とする請求項１記載の撮像装置。
【請求項４】
前記選択手段が、前記撮像装置の撮像モードが前記動画モードであっても前記静止画モードであっても、等しい数の補正量を選択することを特徴とする請求項１乃至請求項３のいずれか１項に記載の撮像装置。
【請求項５】
前記複数の光学パラメータが、前記撮像光学系の画角、フォーカス位置、及び絞り値であり、前記撮像光学系に起因する画質劣化が倍率色収差、歪曲収差、及び周辺光量落ちのいずれかであることを特徴とする請求項１乃至請求項４のいずれか１項に記載の撮像装置。
【請求項６】
動画モードと静止画モードとを含む撮像モードを有し、
撮像光学系により結像された被写体像を撮像し、画像データを生成する撮像手段と、
前記撮像光学系の複数の光学パラメータの値の複数の組み合わせについて、像高に対する前記撮像光学系に起因する画質劣化を補正するための補正量を離散的に保持する補正量記憶手段とを備える撮像装置の制御方法であって、
前記撮像装置の撮像モードが前記動画モードであるか前記静止画モードであるかに応じて前記補正量記憶手段に保持された複数の補正量を選択し、出力する選択ステップと、
前記選択ステップで選択された複数の補正量を補間して、前記撮像手段が撮像した時点における前記撮像光学系の前記複数の光学パラメータの値の組み合わせについて、前記画像データの各画素に対する補正量を求める補正量生成ステップと、
前記補正量生成ステップで生成された補正量を前記画像データの各画素に対して適用する補正ステップとを有し、
前記選択ステップは、前記撮像装置の撮像モードが動画モードである場合には、前記撮像装置の撮像モードが静止画モードである場合よりも、像高の数よりも光学パラメータの組み合わせの数を優先して前記複数の補正量を選択することを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置及びその制御方法に関し、特に光学系の特性に起因する画質劣化を補正する機能を有する撮像装置及びその制御方法に関する。
【背景技術】
【０００２】
近年、小型かつ高画素数の撮像素子が普及し、小型のデジタルビデオカメラ、デジタルカメラでも高画素数の画像を得ることが可能である。一方で、画素の微細化や、小型レンズの光学設計の困難さなどの要因で、像円周辺部の光量低下や、倍率色収差、軸上色収差など、光学系が原理的に引き起こしてしまう画質劣化が顕在化するようになってきている。
【０００３】
このような問題に対し、光学系のパラメータ情報から画質劣化を補正する技術が知られている。特許文献１には、画像を撮像したレンズの特性と、画像の位置情報とから、倍率色収差、歪曲収差、周辺光量、および画像ボケの少なくとも一つを補正することが開示されている。また、特許文献２には、離散的な複数のズーム位置に対して歪み補正用のパラメータを保持し、現在のズーム位置情報に対応する補正パラメータを、保持したパラメータを補間して生成して歪み補正を行うことが開示されている。
【０００４】
また、現在のデジタルビデオカメラ、デジタルカメラは、動画と静止画の両方を撮像可能なものがほとんどであるが、動画の各フレームに対して静止画と同様の補正処理を適用した場合、装置の処理能力によってはリアルタイムに補正することが難しい。そのため、特許文献３では、静止画撮像モードでは処理速度よりも補正精度を優先した精密演算用テーブルを用いて補正し、動画撮像モードでは補正精度よりも処理速度を優先した近似演算用テーブルを用いて補正することが開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平11-225270号公報
【特許文献２】特開2005-057605号公報
【特許文献３】特開2004-128565号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特に、動画撮像のような、焦点距離、絞り、フォーカス位置を代表とする光学パラメータが撮像中に常に変動するような撮像において、光学的要因による画質劣化の大きさも光学パラメータの変化によって逐次変動している。
【０００７】
光学パラメータの全ての組み合わせについて、像高（光軸からの距離）と補正量との関係を予め求めて記憶しておけば、どのような組み合わせに対しても適切な補正が可能であろう。しかし、光学パラメータの組み合わせは膨大な数になるため、全ての組み合わせに対する補正量を撮像装置に記憶しておくことは現実的でない。
【０００８】
そのため、特許文献１では、近似関数を用いて補正特性を生成するとともに、要求される補正精度やフォトプリンタに要求される処理能力等に応じて、近似関数の次数を決定することが記載されている。
また、特許文献２では、離散的な複数のズーム位置に対して保持したパラメータを補間して、現在のズーム位置に対応する補正パラメータを生成している。
【０００９】
パラメータの組み合わせ毎の画質劣化の変化を単純なモデルで近似できれば、少ないデータ量で多くのパラメータの組み合わせに対する補正量を求めることは比較的容易である。しかし、実際には光学要因の画質劣化の補正特性は非線形かつ複雑に変動するため、画質劣化の変化を単純なモデルで近似するのは困難である。そのため、特許文献１に記載されるような近似関数の利用や、特許文献２に記載されるような離散データの単純な補間では、様々なパラメータの組み合わせに対して適切な補正を実現することは困難である。
【００１０】
また、動画の場合には撮像中に光学パラメータが変動するため、像高の変動に対する補正精度よりも光学パラメータの組み合わせに関する補正精度を優先すべきである。また、１枚ごとに鑑賞される静止画の場合には、光学パラメータの組み合わせに関する補正精度よりも１枚の画像内の像高の変動に対する補正精度を優先すべきである。従って、特に限られた時間並びに処理能力で効果的に動画と静止画とを補正するには、補正量の算出方法をそれぞれに適した方法とすることが望ましい。
【００１１】
しかし、特許文献１，２では、動画撮像時の処理について言及がない。特許文献３には、動画撮像モードと静止画撮像モードとで補正量の算出に用いるテーブルを異ならせることが開示されている。しかし、特許文献３ではリアルタイム処理を実現するために動画の補正精度を静止画の補正精度より低下させているに過ぎず、動画に適した補正を行っている訳ではない。
【００１２】
本発明はこのような従来技術の課題に鑑みなされたものであり、離散的なデータから光学的な要因による画質劣化を補正するための補正量を算出する撮像装置及びその制御方法において、動画撮像時と静止画撮像時のそれぞれに適した補正量の算出を可能とする。
【課題を解決するための手段】
【００１３】
上記課題を解決するため、本発明は、動画モードと静止画モードとを含む撮像モードを有する撮像装置であって、撮像光学系により結像された被写体像を撮像し、画像データを生成する撮像手段と、撮像光学系の複数の光学パラメータの値の複数の組み合わせについて、像高に対する撮像光学系に起因する画質劣化を補正するための補正量を離散的に保持する補正量記憶手段と、撮像装置の撮像モードが動画モードであるか静止画モードであるかに応じて補正量記憶手段に保持された複数の補正量を選択し、出力する選択手段と、選択手段が選択した複数の補正量を補間して、撮像手段が撮像した時点における撮像光学系の複数の光学パラメータの値の組み合わせについて、画像データの各画素に対する補正量を求める補正量生成手段と、補正量生成手段が生成した補正量を画像データの各画素に対して適用する補正手段とを有している。さらに、この撮像装置の選択手段は、撮像装置の撮像モードが動画モードである場合には、撮像装置の撮像モードが静止画モードである場合よりも、像高の数よりも光学パラメータの組み合わせの数を優先して複数の補正量を選択する。
【発明の効果】
【００１４】
このような構成により、本発明によれば、離散的なデータから光学的な要因による画質劣化を補正するための補正量を算出する際、動画撮像時と静止画撮像時のそれぞれに適した補正量の算出が可能となる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施形態に係る撮像装置の一例としてのデジタルビデオカメラの構成例を示すブロック図。
【図２】（ａ）は光学補正特性の例を示す図、（ｂ）〜（ｄ）は動画モードでの補正量プロットデータの選択と補正量の算出方法を説明する図。
【図３】（ａ）ＴＧ１１が生成する水平同期信号ＨＤ、垂直同期信号ＶＤの例を示す図、（ｂ）は画素座標生成回路１２の構成例を示すブロック図、（ｃ）は像高を説明する図である。
【図４】本発明の第１の実施形態における、補正量プロットデータセットＣｍの読み出し制御処理動作の例を示すフローチャート。
【図５】静止画モードでの補正量プロットデータの選択と補正量の算出方法を説明する図。
【図６】係数生成回路１４の構成例を示すブロック図。
【図７】（ａ）は光学補正回路６の一例としての周辺光量落ち補正回路の構成例を示すブロック図、（ｂ）は光学補正回路６の別の例としての倍率色収差補正回路または歪曲収差補正回路の構成例を示すブロック図。
【図８】倍率色収差補正または歪曲収差補正の原理を説明する模式図。
【図９】本発明の第２の実施形態における、補正量プロットデータセットＣｍの読み出し制御処理動作の例を示すフローチャート。
【図１０】動き検出回路１６の構成例を示すブロック図。
【図１１】動き検出回路の動作を説明するための図。
【図１２】本発明の第３の実施形態における、補正量プロットデータセットＣｍの読み出し制御処理動作の例を示すフローチャート。
【発明を実施するための形態】
【００１６】
以下、添付図面を参照しながら本発明の例示的な実施形態を説明する。
（第１の実施形態）
図１（ａ）は、本発明の第１の実施形態に係る撮像装置の一例としてのデジタルビデオカメラにおいて、本実施形態に関わる構成の例を示すブロック図である。なお、本実施形態では３板式のデジタルビデオカメラに本発明を適用した場合について説明するが、本発明は単板式のデジタルビデオカメラや動画撮像可能なデジタルカメラはもとより、静止画撮像及び動画撮像が可能なカメラを搭載した任意の機器に適用できる。
【００１７】
デジタルビデオカメラ１００は、ズームレンズ及びフォーカスレンズで構成されるレンズユニット１と、絞り２と、ズームレンズ、フォーカスレンズ及び絞り２を駆動するためのアクチュエータ８〜１０とから構成される光学ユニットを有する。また、以下の説明においては、レンズユニット１と絞り２を合わせて撮像光学系と呼ぶ。光学ユニットにより結像された被写体像は、色分離プリズム３で赤（Ｒ）成分、緑（Ｇ）成分、及び青（Ｂ）成分に色分離された後、色成分毎に設けられた撮像素子４１，４２，４３で撮像される。撮像素子４１，４２，４３は例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサであり、被写体像の各色成分画像を画素単位の映像信号に変換する。各色成分の映像信号はアナログフロントエンド（以降ＡＦＥと略す）５で、相関二重サンプリング（ＣＤＳ）、自動利得制御（ＡＧＣ）、アナログ／デジタル変換（ＡＤＣ）などを行い、デジタル映像信号Ｓｒ、Ｓｇ、Ｓｂからなる画像データに変換する。
【００１８】
光学補正回路６は、デジタル映像信号Ｓｒ、Ｓｇ、Ｓｂに対して係数生成回路１４から供給される補正値Ｚｔを画素毎に順次適用し、レンズユニット１、絞り２の光学的特性によって生じた画質劣化を補正する。そして光学補正回路６はデジタル映像信号Ｓｒ’、Ｓｇ’、Ｓｂ’からなる補正後の画像データを出力する。
【００１９】
次に、補正値Ｚｔの生成に関わる、制御部７、タイミングジェネレータ（以降ＴＧと略す）１１、画素座標生成回路１２、光学補正データベース１３、係数生成回路１４について、詳細に説明する。なお、メモリ１５は本実施形態では使用しない。
【００２０】
デジタルビデオカメラ１００の光学パラメータは、ズーミング操作や被写体の移動、撮像対象の変更、周囲の明るさの環境変化や撮像者の意図する撮像効果などの様々な要因により変動する。ここで、光学パラメータとは、撮像光学系に起因する画質劣化に対して影響を与えるパラメータであり、本明細書において以後、焦点距離（画角）、フォーカス位置（画面内で焦点検出する位置）、絞り値を総称して光学パラメータと呼ぶ。ただし、本発明において、光学パラメータの種類や数に制限はなく、焦点距離、フォーカス位置、絞り値は光学パラメータの例示的な組み合わせを示すに過ぎない。
【００２１】
撮像光学系に起因して生じる画質劣化の要因としては、倍率色収差、歪曲収差及び周辺光量落ちが例示できるが、これら画質劣化の程度は像高（光軸中心からの距離）に応じて変動することが知られている。従って、画質劣化を補正するための補正量もまた同様に像高に応じて変動する。
【００２２】
図２（ａ）は、像高と補正量の関係（補正特性）の例を示している。図２（ａ）には複数の補正特性が示されているが、個々の補正特性は光学パラメータの具体的な値の組み合わせの１つに対応する。このように、パラメータの値の組み合わせにより、補正特性（換言すれば、画質劣化の程度と像高との関係）は像高に応じて大きく変動する。
【００２３】
図１（ａ）に戻り、制御部７は例えばマイクロコンピュータであり、メモリ１５や図示しないメモリ又は記憶装置に記憶されたプログラムを実行することにより本実施形態に係る補正方法はもとより、露出制御や焦点検出も行う。なお、自動露出制御や焦点検出の方法は本発明に直接関係せず、かつ公知の任意の方法を使用可能であるため、その具体的な手法や必要な構成についての説明は省略する。
【００２４】
制御部７は、例えば図示しない操作部材を通じて与えられるズーム指示に応じて駆動パルス位置ＣＬを出力し、レンズユニット１のズームレンズ用アクチュエータ８を駆動する。これにより、レンズユニット１の画角が変化する。
【００２５】
また、制御部７は、所定の焦点距離を実現するための駆動パルス位置ＣＦを出力し、レンズユニット１のフォーカスレンズ用アクチュエータ９を駆動する。さらに制御部７は、所定の絞り値を実現するための駆動パルス位置Ｃｆを出力し、絞り２のアクチュエータ１０を駆動する。
【００２６】
ＴＧ１１は、デジタルビデオカメラ１００が使用する撮像素子４１，４２，４３の駆動仕様に合わせて、図３（ａ）に示すような水平同期信号ＨＤ、垂直同期信号ＶＤを発生し、ＡＦＥ５は駆動波形を生成して撮像素子４１，４２，４３に入力する。
【００２７】
水平同期信号ＨＤの周期は、撮像素子４１，４２，４３が出力する映像信号の１ラインの期間であり、垂直同期信号ＶＤの周期は、１フレームの期間である。
この水平同期信号ＨＤ、垂直同期信号ＶＤは、制御部７から出力される光軸中心位置情報Ｃｘ、Ｃｙとともに、画素座標生成回路１２に入力される。
【００２８】
画素座標生成回路１２の構成例を図３（ｂ）に示す。画素座標生成回路１２では、水平同期信号ＨＤの立ち下りでリセットされるＨカウンタ１２１が水平カウンタ値Ｘｔを出力し、垂直同期信号ＶＤの立ち下がりでリセットされるＶカウンタ１２２垂直カウンタ値Ｙｔを出力する。
【００２９】
水平カウンタ値Ｘｔ及び垂直カウンタ値Ｙｔは、撮像素子４１，４２，４３の左上隅の出力画素を原点とし、走査方向（図面右方向）に増加する水平軸と、走査方向に直交する方向に増加する垂直軸で規定される二次元直交座標系（図３（ｃ））の座標を表す。
【００３０】
画素座標生成回路１２に入力される光軸中心位置情報Ｃｘ、Ｃｙは、レンズユニット１、絞り２で構成される撮像光学系の光軸中心位置ｃに対応する図３（ｃ）の直交座標系の座標である。
【００３１】
ここで、着目画素ｔの座標を（Ｘｔ，Ｙｔ）とすると、着目画素ｔの像高Ｒｔは、光軸中心位置ｃからの距離であるため、
【数１】
2011130381.tif 000003
と表すことができるので、像高算出回路１２３は、上記式の演算を行い、像高Ｒｔを出力する。像高を求める際の開平演算は、二分法、開平法などの既知の手法を有限語長精度で表現することにより、ハードウェアで実現可能である。もちろん、ＣＰＵがソフトウェアを実行して実現してもよい。
【００３２】
制御部７は、アクチュエータ８〜１０に駆動パルス位置ＣＬ、ＣＦ、Ｃｆを出力する際、例えば不揮発性メモリに記憶された光学補正データベース１３にアクセスし、係数生成回路１４に与える補正量プロットデータセットＣｍを出力する。補正量記憶手段としての光学補正データベース１３は、複数の光学パラメータの値の複数の組み合わせについて、像高に対する前記撮像光学系に起因する画質劣化を補正するための補正量を離散的に保持している。以下、光学補正データベース１３が保持する個々の離散的な補正量を補正量プロットデータと呼ぶ。
【００３３】
動画像の各フレームにリアルタイムで補正を適用するには、補正処理を垂直同期信号ＶＤの１周期（１フレーム期間）内に終わらせる必要がある。従って制御部７は、光学補正データベース１３に記憶された離散的な補正量のうち、現在のデジタルビデオカメラ１００の光学パラメータ値の組み合わせに合致するもの、あるいは最も近い組み合わせに対応するものを取得して係数生成回路１４に供給する。
【００３４】
この際、本実施形態では、デジタルビデオカメラ１００の撮像モードが動画モードか静止画モードかに応じて、同じ光学パラメータ値の組み合わせであっても、少なくとも一部が異なるデータセットを係数生成回路１４に供給する。また、制御部７は、動画モードか静止画モードかを表す撮像モード情報も係数生成回路１４に供給する。
【００３５】
動画撮像の場合、光学パラメータの変動による光学収差または周辺光量落ちの変化が連続して記録される。このため、撮像光学系に起因する画像劣化を適切に補正するには、光学補正データベース１３から、光学パラメータの変化（異なる値の組み合わせ）に対して精度よい補正量の算出が必要である。従って、像高の数よりも光学パラメータの組み合わせの数を優先して補正量プロットデータを選択した補正量プロットデータセットを係数生成回路１４に提供することが適切である。
【００３６】
一方、静止画撮像の場合、撮像中に光学パラメータが大きく変動することはないが、変動像高位置による光学収差または周辺光量落ちの細かい変化が記録される。このため、撮像光学系に起因する画像劣化を適切に補正するには、光学補正データベース１３から、像高の変化方向において精度よい補正量の算出が必要である。従って、光学パラメータの組み合わせの数よりも像高の数を優先して補正量プロットデータを選択した補正量プロットデータセットを係数生成回路１４に提供することが適切である。
【００３７】
制御部７による、補正量プロットデータセットＣｍの読み出し制御処理動作の例を、図４のフローチャートを用いて説明する。
まず、Ｓ９０１で、制御部７は、現在の（撮像時点の）撮像モードが動画モードか静止画モードかを判断し、動画モードであればＳ９０２へ、静止画モードであればＳ９０３へ進む。
【００３８】
補正量プロットデータセットは、撮像の時点の光学パラメータの近傍（合致するものがあればそれを含む）に対応する複数の補正特性に対応したデータ系列から、複数の像高に対応したデータを選択することによって構成する。
【００３９】
動画モードの場合は、Ｓ９０２で制御部７は、ｍ種類の補正特性（図中Ｏｐと略す）の各々から、ｎ種類の像高（図中Ｄｐと略す）に対応する補正量プロットデータを選択する。そして、Ｓ９０４で制御部７は、選択したｍ×ｎ個の補正量プロットデータを光学補正データベース１３から読み出し、補正量プロットデータセットＣｍを構成する。
【００４０】
図２（ｂ）は、動画モードで構成される補正量プロットデータセットＣｍに含まれる補正量プロットデータの例を示している。この例では、現在の光学パラメータ近傍の８種類の光学パラメータに対応する補正特性の各々から、光軸から等間隔に４つの像高における補正量プロットデータを選択して補正量プロットデータセットＣｍを構成している。
【００４１】
一方、静止画モードの場合、Ｓ９０３で制御部は、ｕ種類の補正特性の各々から、ｖ種類の像高（図中Ｄｐと略す）に対応する補正量プロットデータを選択する。そして、Ｓ９０４で制御部７は、選択したｕ×ｖ個の補正量プロットデータを光学補正データベース１３から読み出し、補正量プロットデータセットＣｍを構成する。
【００４２】
図５（ａ）は、静止画モードで構成される補正量プロットデータセットＣｍに含まれる補正量プロットデータの例を示している。この例では、現在の光学パラメータ近傍の２種類の光学パラメータに対応する補正特性の各々から、光軸から等間隔に１６の像高における補正量プロットデータを選択して補正量プロットデータセットＣｍを構成している。
【００４３】
このように、動画モード、静止画モードで読み出される補正量プロットデータセットＣｍを構成する補正量プロットデータの総数は等しい（ｍ×ｎ＝ｕ×ｖ）が、ｍ＞ｕかつｎ＜ｖの関係を有する。
【００４４】
このようにして、制御部７は、動画モードでは補正特性（光学パラメータ）の数を像高の数より多く、静止画モードでは補正特性（光学パラメータ）の数よりも像高の数を多く、光学補正データベース１３から補正量プロットデータセットＣｍを読み出す。
【００４５】
なお、ここでは、光学補正データベース１３が光学補正量を直接示すプロットデータを保持している場合を説明した。しかし、補正特性を近似した関数の係数項を保持していてもよく、その場合は、補正量プロットデータとして近似関数の次数を同様に選択すればよい。
【００４６】
図６は、補正量生成手段としての係数生成回路１４の構成例を示す図である。画素座標生成回路１２から出力された現在の着目画素の像高Ｒｔと、制御部７から出力された補正量プロットデータセットＣｍ（この例では３２点の補正量プロットデータＣｍ０〜Ｃｍ３１で構成されている）は、関数係数算出回路１４１に入力される。
関数係数算出回路１４１は、制御部７から出力された撮像モード情報ｍｏｄｅによって、補正量プロットデータセットＣｍの処理を変更する。
【００４７】
撮像モード情報ｍｏｄｅが動画モードを示している場合、関数係数算出回路１４１は、図２（ｂ）に示した３２個の補正量プロットデータ（８個／像高×４）を、像高毎に補間して、図２（ｃ）に示すような４つの補正プロットデータを算出する。
【００４８】
次に、関数係数算出回路１４１は、図２（ｄ）に示すように、現在の着目画素の像高Ｒｔが属するプロット区間を求め（黒線区間）、プロット区間に対応する近似関数の係数ａ、ｂ、ｃを出力する。
【００４９】
一方、撮像モード情報ｍｏｄｅが静止画モードを示している場合、関数係数算出回路１４１は、図５（ａ）に示した３２個の補正量プロットデータ（２個／像高×１６）を、像高毎に補間して、図５（ｂ）に示すような１６個の補正プロットデータを算出する。
【００５０】
次に、関数係数算出回路１４１は、図５（ｃ）に示すように、現在の注目画素の像高Ｒｔが属するプロット区間を求め（黒線区間）、プロット区間に対応する近似関数の係数ａ、ｂ、ｃを出力する。
【００５１】
本実施形態において、プロット区間の近似関数は、
【数２】
2011130381.tif 000004
という２次関数であるが、１次関数（折れ線近似）や３次以上の高次関数で近似するように構成してもよい。
【００５２】
そして、補正値算出回路１４２は、近似関数に基づいて、現在の注目画素の像高Ｒｔから、補正量Ｚｔを算出する。
周辺光量落ち補正の場合、補正量Ｚｔはデジタル映像信号Ｓｒ、Ｓｇ、Ｓｂに共通のゲインとなる。
倍率色収差補正や歪曲収差補正の場合、補正量Ｚｔはデジタル映像信号Ｓｒ、Ｓｇ、Ｓｂの各々に対して独立で、水平、垂直方向の位置ずれ成分を表す位置ずれ量ＺｔＨｒ，ＺｔＶｒである。
【００５３】
次に、光学補正回路６について詳細に説明する。
図７（ａ）は、光学補正回路６が周辺光量落ち補正回路である場合の構成例を示す。周辺光量落ちの場合、係数生成回路１４から出力される補正量Ｚｔは、着目画素位置における光量落ち量（低下割合）の逆数で表されるゲイン値となる。
【００５４】
光学補正回路６は、デジタル映像信号Ｓｒ、Ｓｇ、Ｓｂに対して補正量Ｚｔを乗算器７０１、７０２、７０３で乗じ、光学補正処理されたデジタル映像信号Ｓｒ’、Ｓｇ’、Ｓｂ’からなる補正後の画像データを出力する。
【００５５】
図７（ｂ）は、光学補正回路６が倍率色収差補正回路または歪曲収差補正回路である場合の構成例を示す。
倍率色収差補正や歪曲収差補正の場合、光学補正値は、着目画素位置における歪み量を水平、垂直方向の位置ずれ成分として表した位置ずれ量である。
【００５６】
この位置ずれ量から収差を補正する原理について、図８（ａ）〜（ｃ）を参照して説明する。
図８（ａ）の黒画素は、着目画素Ｓが本来あるべき位置を示しており、グレー画素は、着目画素Ｓが倍率色収差や歪曲収差の影響で、位置ずれして撮像された位置を示す仮想画素Ｓ’である。倍率色収差や歪曲収差を補正するには、水平方向にＨｐ、垂直方向にＶｐ位置がずれてしまった仮想画素Ｓ’を求め、着目画素Ｓが本来あるべき位置に再配置すればよい。
【００５７】
仮想画素Ｓ’は、図８（ｂ）のように、近傍に存在する実際に撮像した画素Ｓ１、Ｓ２、Ｓ３、Ｓ４の値から、画素Ｓ１、Ｓ２、Ｓ３、Ｓ４と仮想画素Ｓ’との画素間距離ｃ１、ｃ２、ｃ３、ｃ４に応じた重み付け補間演算により生成することができる。例えば、距離が短いほど大きな重みを付加することができる。図８（ｃ）に示すように、生成された仮想画素Ｓ’で、着目画素Ｓを置き換えることで倍率色収差や歪曲収差が補正される。
【００５８】
光学補正回路６に入力された補正量ＺｔＨｒ、ＺｔＶｒは、Ｒ，Ｇ，Ｂ成分毎に設けられた３つの補間制御回路６０１，６０８，６１５に入力される。補間制御回路６０１，６０８，６１５は、仮想画素Ｓ’の整数の水平ずれ成分Ｈｐと垂直ずれ成分Ｖｐ（図８（ａ）参照）の各色成分Ｈｒｐ，Ｈｇｐ，ＨｂｐとＶｒｐ，Ｖｇｐ，Ｖｂｐを出力する。
【００５９】
ここで、Ｒ成分の処理に着目すると、補間制御回路６０１は、仮想画素Ｓ’の小数の位置ずれ成分として、参照画素Ｓｒ１、Ｓｒ２、Ｓｒ３、Ｓｒ４から仮想画素Ｓｒ’を求めるための重み付け係数ｃｒ１、ｃｒ２、ｃｒ３、ｃｒ４を出力する。重み付け係数は、上述のように、参照画素と仮想画素との距離に応じた値を有する。
【００６０】
バッファメモリ６０２は、デジタル映像信号Ｓｒ（画像データの赤色成分）を、例えば１フレーム分保持している。そして、バッファメモリ６０２は、Ｈｒｐ、Ｖｒｐで画素毎に指示された位置に保持されている画素を含む複数の画素を、仮想画素Ｓｒ’近傍の参照画素ｓｒ１、ｓｒ２、ｓｒ３、ｓｒ４として順次出力する。
【００６１】
仮想画素Ｓｒ’の値、すなわち補正後の画素値は、
【数３】
2011130381.tif 000005
で表され、参照画素ｓｒ１、ｓｒ２、ｓｒ３、ｓｒ４は、乗算器６０３、６０４、６０５、６０６で、補間係数ｃｒ１、ｃｒ２、ｃｒ３、ｃｒ４とそれぞれ乗じられ、平均値化回路６０７で平均されて補正後のデジタル映像信号Ｓｒ’として出力される。
【００６２】
Ｇ成分、Ｂ成分についても同様にしてバッファメモリ６０９，６１６、乗算器６１０〜６１３、６１７〜６２０、並びに平均値化回路６１４、６２１で処理され、補正後のデジタル映像信号Ｓｇ’、Ｓｂ’として出力される。
【００６３】
以上説明したように、本実施形態では、離散的な光学パラメータ値の組み合わせ毎に複数の離散的な像高に対応した補正データを保存するので、補正量の保存に必要な記憶容量を節約することができる。さらに、光学パラメータが常に変化する動画モードでは像高の数よりも光学パラメータの組み合わせの数を優先し、静止画モードでは光学パラメータの組み合わせの数よりも像高の数を優先して離散的な補正量を選択する。そのため、例えば選択する補正値の総数が等しい場合でも、動画に適切な補正量と静止画に適切な補正量を算出することが可能になる。このように、少ない記憶容量で、動画に適切な補正量と静止画に適切な補正量を算出することが可能になるという顕著な効果が実現できる。
【００６４】
（第２の実施形態）
次に、本発明の第２の実施形態について説明をする。本実施形態は、制御部７に、光学パラメータの履歴を保持する履歴記憶手段としてのメモリ１５が接続されていることを除き、第１の実施形態と共通である。従って、メモリ１５に関してのみ説明し、第１の実施形態と重複する説明は省略する。
【００６５】
制御部７は、光学パラメータの制御単位時間である１フレーム期間毎に、
・ズームレンズ用アクチュエータ８を駆動するための駆動パルス位置ＣＬ、
・フォーカスレンズ用アクチュエータ９を駆動するための駆動パルス位置ＣＦ、
・絞り２のアクチュエータ１０を駆動するための駆動パルス位置Ｃｆ、
を出力している。
【００６６】
また、制御部７は、光学ユニット１及び絞り２に駆動パルス位置ＣＬ、ＣＦ、Ｃｆを出力する際に、光学補正データベース１３にアクセスし、係数生成回路１４に与える補正量プロットデータセットＣｍを出力する。また、制御部７は、動画モードか静止画モードかを表す撮像モード情報ｍｏｄｅも出力する。
【００６７】
上述の通り、動画モードの場合、光学パラメータが常時変動するため、像高の数よりも光学パラメータの組み合わせの数を優先して補正量プロットデータを選択した方が適切な補正を行うことができる。しかし、動画撮像中でも光学パラメータがほとんど変動をしていない場合は、像高位置による光学収差または周辺光量落ちの細かい変化を補正した方が画質の向上に寄与する。
【００６８】
そのため、本実施形態では、過去に出力した駆動パルス位置をメモリ１５に記憶しておき、光学パラメータの変動が大きい場合は動画モードの補正制御を、変動が小さい場合には静止画モードの補正制御を行う。
【００６９】
本実施形態における、制御部７による補正量プロットデータセットＣｍの読み出し制御処理動作の例を、図９のフローチャートを用いて説明する。
まず、Ｓ１５０１で、制御部７は、現在の撮像モードが動画モードか静止画モードかを判断し、動画モードであればＳ１５０２へ、静止画モードであればＳ１５０３へ進む。動画モードの場合は、Ｓ１５０２でメモリ１５にアクセスし、光学パラメータの各々について保持されている、直近の過去の複数フレーム期間に出力した駆動パルス位置ＣＬ，ＣＦ，Ｃｆの値を、履歴情報として読み出す。
【００７０】
次にＳ１５０４で制御部７は、現在のフレーム期間で設定された駆動パルス位置を、メモリ１５に光学パラメータ毎の履歴として記録する。そして、Ｓ１５０５で、変動量判定手段としての制御部７は、メモリ１５から読み出した駆動パルス位置の履歴情報と、現在の駆動パルス位置を比較し、パラメータ変動の大きさが所定の閾値以下か否か判定する。そして、制御部７は、パラメータ変動の大きさが所定の閾値以下と判定されればＳ９０３に、閾値を超えていると判定されればＳ９０２に処理を進める。
【００７１】
履歴情報との比較方法は、例えば直近の駆動パルス位置や複数フレームでの中央値との差分、あるいは複数フレームでの差分の積算値を見れば良い。また、光学パラメータの種類が複数である場合、いずれか１つでも対応する閾値を超えて変動していればＳ９０２へ進む。また、所定の閾値は、例えば光学補正データベース１３が保持している光学パラメータの駆動パルス間隔を目安とし、間隔が非常に荒い場合などは、適宜閾値を小さく設定するなどすれば良い。
以下は、第１の実施形態と同様の処理であるため、説明を省略する。
【００７２】
なお、ここでは、説明及び理解を容易にするため、パラメータ変動が所定の閾値以下であれば静止画モードと同様の制御を行うものとして説明した。しかし、閾値を段階的に複数設定し、パラメータ変動量が小さくなるにつれて光学パラメータの組み合わせをｍからｕに徐々に少なくし、同時に補正プロットデータの個数をｎからｖに徐々に多くする段階的な制御も可能である。このような段階的な制御により、動画モードでの補正制御から静止画モードでの補正制御に滑らかに移行することができる。
【００７３】
本実施形態によれば、第１の実施形態の効果に加え、動画モードでも光学パラメータの変動が小さい場合には静止画モードと同様の補正を適用することにより、動画の画質をより適切に補正することが可能になるという効果を実現できる。
【００７４】
（第３の実施形態）
次に、本発明の第３の実施形態について説明をする。図１（ｂ）は、本実施形態に係る撮像装置の一例としてのデジタルビデオカメラの構成例を示すブロック図であり、第１の実施形態と同じ構成には同じ参照数字を付してある。本実施形態のデジタルビデオカメラ１００’は、光学補正回路６の前段に、画像内部の動き検出を行う動き検出回路１６を備え、動きベクトルＭｖを制御部７が取得していること以外は第１の実施形態と同一の構成である。
【００７５】
そのため、以下では、動き検出回路１６に関わることのみ説明を行い、第１の実施形態と重複する説明は省略する。本実施形態は、第２の実施形態と同様、動画モードであってもある条件を満たす場合には静止画モードで補正制御するものである。第２の実施形態では光学パラメータの変動量の大きさが条件であったが、本実施形態では画像の動きの大きさが条件である。すなわち、動画モードであっても、動きが小さい場合には静止画モードと同様の補正制御を行うことを特徴とする。そのため、本実施形態では動き検出回路１６により、画像の動きを検出する。
【００７６】
図１０は、動き検出回路１６の構成例を示すブロック図である。本実施形態の動き検出回路１６は、これは代表点によるマッチング演算により動きを検出する一般的な構成を有する。
【００７７】
輝度信号生成回路１６１は、デジタル映像信号Ｓｒ、Ｓｇ、Ｓｂを、例えば
ｙ＝０．２９９Ｓｒ＋０．５８７Ｓｇ＋０．１４４Ｓｂ
のような、一般的な輝度生成式で混合し、輝度信号Ｙを出力する。
【００７８】
フレームメモリ１６２は少なくとも２フレーム分の輝度代表点画像データを保持する容量を有する。輝度代表点画像データとは、輝度信号Ｙを所定の画素間隔をもって水平、垂直方向に再サンプリングした代表点の輝度信号からなる画像データである。また、同様の輝度代表点画像データを、バッファメモリ１６３にも保持する。
【００７９】
代表点マッチング回路１６４は、図１１（ａ）に示す矩形領域のように、所定の大きさの代表点画素群Ｙｓを、フレームメモリ１６２の左上から右下まで所定の画素数単位で位置をずらしながら順次読み出す。
【００８０】
一方、代表点マッチング回路１６４は、バッファメモリ１６３からは、図１１（ｂ）の矩形領域のように、輝度代表点フレーム画像データを所定の大きさで区画分けして、各区画の代表点画素群Ｙｔを区画番号１から１２まで順に読み出す。
【００８１】
そして、代表点マッチング回路１６４は、代表点画素群Ｙｔと代表点画素群Ｙｓとの差分が最も小さかったときのフレームメモリ１６２からのＹｓの読み出し位置と、代表点画素群Ｙｔの区画番号１の位置から、区画番号１の動きベクトルＭｖを出力する。
【００８２】
区画番号１のマッチング演算が終了すると、代表点マッチング回路１６４は、バッファメモリ１６３から区画番号２の代表点画素群Ｙｔを読み出す。また、代表点マッチング回路１６４は、フレームメモリ１６２からは、区画番号１のときと同様に、代表点画素群Ｙｓをフレームメモリ１６２の左上から右下まで順次更新しながら読み出す。
以降マッチング演算を繰り返すことで、動き検出回路１６は、区画番号１から１２の各々について、動きベクトルＭｖを出力する。
【００８３】
上述の通り、一般的な動画撮像時に光学収差または周辺光量落ちの補正処理を適切に行うには、像高の数よりも光学パラメータの組み合わせの数を優先して補正量プロットデータを選択した方が適切な補正を行うことができる。しかし、実際には撮像されている画像がほとんど動いていない場合には、たとえ動画撮像中であっても、像高位置による光学収差または周辺光量落ちの細かい変化を補正した方が画質の向上に寄与する。
【００８４】
本実施形態における、制御部７による補正量プロットデータセットＣｍの読み出し制御処理動作の例を、図１２のフローチャートを用いて説明する。
まず、Ｓ１８０１で、制御部７は、現在の撮像モードが動画モードか静止画モードかを判断し、動画モードであればＳ１８０２へ、静止画モードであればＳ９０３へ進む。
【００８５】
動画モードの場合、制御部７は、Ｓ１８０２で動き検出回路１６の出力である動きベクトルＭｖを全区画分取得する。次に、制御部７はＳ１８０４で、全区画分の動きベクトルＭｖを統計処理し、現在のフレーム期間における代表動きベクトルＭを算出する。
【００８６】
代表動きベクトルＭを求めるための統計処理の例としては、全ての区画の動きベクトルＭｖの平均値や中央値を代表ベクトルＭとする処理がある。また、動きベクトルＭｖの中で小さいもの、大きいものを所定数削除し、残りの動きベクトルの平均値や中央値を代表ベクトルＭとしてもよい。また、画面中央部分の区画（図１１（ｂ）の例であれば例えば区画６，７）で検出された動きベクトルの平均値や中央値を代表ベクトルＭとしてもよい。
【００８７】
Ｓ１８０５で、動き判定手段としての制御部７は、代表動きベクトルＭの大きさが所定の閾値以下か否か判定する。そして、制御部７は、代表動きベクトルＭの大きさが所定の閾値以下と判定されればＳ９０３に、閾値を超えていると判定されればＳ９０２に処理を進める。所定の閾値は、例えば代表動きベクトルＭが主観的に動き検知できる値を目安とすれば良い。
以下は、第１の実施形態と同様の処理であるため、説明を省略する。
【００８８】
なお、ここでは、説明及び理解を容易にするため、代表ベクトルＭの大きさが所定の閾値以下であれば静止画モードと同様の制御を行うものとして説明した。しかし、閾値を段階的に複数設定し、代表ベクトルＭの大きさが小さくなるにつれて光学パラメータの組み合わせをｍからｕに徐々に少なくし、同時に補正プロットデータの個数をｎからｖに徐々に多くする段階的な制御も可能である。このような段階的な制御により、動画モードでの補正制御から静止画モードでの補正制御に滑らかに移行することができる。
【００８９】
本実施形態によれば、第１の実施形態の効果に加え、動画モードでも画像の動きが小さい場合には静止画モードと同様の補正を適用することにより、動画の画質をより適切に補正することが可能になるという効果を実現できる。
【００９０】
（他の実施形態）
上述の実施形態では、本発明の特徴の理解を容易にするため、動画モード、静止画モードで読み出される補正量プロットデータセットＣｍを構成する補正量プロットデータの総数は等しく（ｍ×ｎ＝ｕ×ｖ）、ｍ＞ｕかつｎ＜ｖの関係を有するものとした。しかし、補正量プロットデータの総数は動画モードと静止画モードで異なっていてもよい。本発明の本質は、離散的な補正量プロットデータを選択する際、動画モードでは像高の数より光学パラメータの組み合わせの数を、静止画モードでは光学パラメータの組み合わせの数を像高の数よりも優先することにある。従って、より一般的な定義として、（ｍ／ｎ）＞（ｕ／ｖ）の関係を満たせばよい。
【００９１】
また、より一般的には、像高の数と光学パラメータの組み合わせの数との優先度が動画モードと静止画モードとで相対的なものであってもよい。具体的には、動画モードの場合には、静止画モードの場合に対して像高の数より光学パラメータの組み合わせの数が優先されれば、本願発明の効果を実現できる。同様に、光学パラメータの変動量の大きさや、画像の動きの大きさによって像高の数と光学パラメータの組み合わせの数の優先度を変える場合についても、条件間の相対的な関係であってよい。つまり、動画モードの場合、光学パラメータの変動が閾値以下の場合には、閾値より大きい場合に対して相対的に、光学パラメータの数よりも像高の数を優先する。また、動画モードの場合、画像の動きの大きさが閾値以下の場合には、閾値より大きい場合に対して相対的に、光学パラメータの数よりも像高の数を優先する。
【００９２】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2011130381.tif 000006
【図２】
2011130381.tif 000007
【図３】
2011130381.tif 000008
【図４】
2011130381.tif 000009
【図５】
2011130381.tif 000010
【図６】
2011130381.tif 000011
【図７】
2011130381.tif 000012
【図８】
2011130381.tif 000013
【図９】
2011130381.tif 000014
【図１０】
2011130381.tif 000015
【図１１】
2011130381.tif 000016
【図１２】
2011130381.tif 000017