(57)【特許請求の範囲】
【請求項１】
光学系によって投影された被写体像を撮像素子によって変換した画像信号に対して、前記光学系に起因する複数種類の収差を補正する補正手段と、
前記光学系に関する複数種類の光学パラメータの変動を判定する判定手段と、
前記複数種類の収差の全ての補正データの生成処理にかかる時間として予め計算された第２の時間が予め設定された第１の時間を超える場合に、前記判定手段の判定結果に応じて、前記複数種類の収差のそれぞれに対して、前記補正手段に供給する補正データの生成処理についての優先順位を決定する決定手段と、
前記決定手段により決定された優先順位に従って、前記補正手段に供給するための補正データの生成処理を行う生成手段と、
を有することを特徴とする画像信号の処理装置。
【請求項２】
前記第１の時間は、前記複数種類の収差の全ての補正データの生成処理にかけることができる時間であることを特徴とする請求項１に記載の画像信号の処理装置。
【請求項３】
前記生成手段は、前記優先順位に従って、前記複数種類の収差から、前記第１の時間内で補正が実行可能なだけの収差を決定し、決定した収差に対応する補正データの生成を行うことを特徴とする請求項１又は２に記載の画像信号の処理装置。
【請求項４】
前記決定手段は、前記判定手段の判定結果に応じて、前記複数種類の光学パラメータの各々の変動から受ける前記複数種類の収差の各々の相対的な影響度に従い、前記優先順位を決定することを特徴とする請求項１乃至３のいずれか１項に記載の画像信号の処理装置。
【請求項５】
前記複数種類の光学パラメータの各々の変動速度を取得する変動速度取得手段を更に有し、
前記決定手段は、前記判定手段の判定結果及び前記変動速度取得手段により取得された前記複数種類の光学パラメータの各々の変動速度に応じて、前記複数種類の光学パラメータの各々の変動から受ける前記複数種類の収差の各々の相対的な影響度に従い、前記補正手段に供給する補正データの生成処理についての優先順位を決定することを特徴とする請求項１乃至４のいずれか１項に記載の画像信号の処理装置。
【請求項６】
前記決定手段は、前記複数種類の収差のうち、連続して所定回数以上、前記生成手段において補正データが生成されなかった収差がある場合には、該収差に供給する補正データの生成処理についての優先順位を繰り上げることを特徴とする請求項１乃至５のいずれか１項に記載の画像信号の処理装置。
【請求項７】
前記生成手段は、前記補正手段に供給する各補正データの生成処理を、前記決定手段により決定された優先順位に応じた精度に切り替えて実行することを特徴とする請求項１乃至６のいずれか１項に記載の画像信号の処理装置。
【請求項８】
前記複数種類の収差は、周辺光量落ち、倍率色収差、歪曲収差を含むことを特徴とする請求項１乃至７のいずれか１項に記載の画像信号の処理装置。
【請求項９】
前記光学系は、ズームレンズ、フォーカスレンズ、及び絞りのうちの少なくともいずれか１つを含むことを特徴とする請求項１乃至８のいずれか１項に記載の画像信号の処理装置。
【請求項１０】
前記光学パラメータは、焦点距離、絞り、フォーカス位置のうちの少なくともいずれか１つを含むことを特徴とする請求項９に記載の画像信号の処理装置。
【請求項１１】
請求項１乃至１０のいずれか１項に記載の画像信号の処理装置と、前記光学系と、前記撮像素子を有することを特徴とする撮像装置。
【請求項１２】
光学系によって投影された被写体像を撮像素子によって変換した画像信号に対して、前記光学系に起因する複数種類の収差を補正する補正手段を有する画像信号の処理装置の制御方法であって、
前記光学系に関する複数種類の光学パラメータの変動を判定する判定ステップと、
前記判定ステップでの判定結果に応じて、前記複数種類の収差のそれぞれに対して、前記補正手段に供給する補正データの生成処理についての優先順位を決定する決定ステップと、
前記複数種類の収差の全ての補正データの生成処理にかかる時間として予め計算された第２の時間が予め設定された第１の時間を超える場合に、前記決定ステップで決定された優先順位に従って、前記補正手段に供給するための補正データの生成処理を行う生成ステップと、
を有することを特徴とする画像信号の処理装置の制御方法。
【請求項１３】
コンピュータに、請求項１２に記載の画像信号の処理装置の制御方法の各ステップを実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像信号の処理装置及びその制御方法、並びに撮像装置に関する。
【背景技術】
【０００２】
撮像装置のレンズにおいては、そのレンズ性能に起因する色収差、歪曲収差、周辺光量落ち、ボケ等の各種収差があり、これらは画質を劣化させる要因となっている。また、これら各種収差は、焦点距離、絞り、フォーカス位置（以下、光学パラメータと呼ぶ）と、光軸中心からの距離に応じて変化することが知られている。
【０００３】
特許文献１は、光学パラメータごとに、それぞれのレンズの特性を記憶したメモリを有する撮像装置を開示する。この撮像装置は、メモリから、設定された光学パラメータに対応するレンズ特性を読み出す。設定された光学パラメータに対応するレンズ特性がメモリに記憶されていなければ、その近傍のレンズ特性を読み出し補間してレンズ特性を生成する。その後、撮像装置は、その読み出された又は生成されたレンズ特性に基づき、画像の補正を行う。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−２２５２７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、複数の光学補正のための補正データ生成は演算負荷が高く、ＣＰＵにかかる負荷が高い。リアルタイム処理に適用すると、他の処理がＣＰＵにかける負荷が低い場合には、それぞれの収差の補正データ生成処理は可能である。しかし、他の処理がＣＰＵにかける負荷が高い場合には、光学補正用の補正データ生成にかけられる時間が短くなる可能性があり、全ての補正データ生成処理が完了するとは限らない。例えば、固定的な順番で補正データの生成処理を行っていると、一部の光学補正処理についてのみ補正データが生成され、他の光学補正処理については補正データが生成されない状況が続いてしまうため、期待する補正効果が得られないという可能性があった。
【０００６】
そこで、本発明は、リアルタイム処理の枠内でより効果的な光学補正を実現することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一側面によれば、光学系によって投影された被写体像を撮像素子によって変換した画像信号に対して、前記光学系に起因する複数種類の収差を補正する補正手段と、前記光学系に関する複数種類の光学パラメータの変動を判定する判定手段と、前記判定手段の判定結果に応じて、前記複数種類の収差のそれぞれに対して、前記補正手段に供給する補正データの生成処理についての優先順位を決定する決定手段と、前記複数種類の収差の全ての補正データの生成処理にかかる時間として予め計算された第２の時間が予め設定された第１の時間を超える場合に、前記決定手段により決定された優先順位に従って、前記補正手段に供給するための補正データの生成処理を行う生成手段とを有することを特徴とする画像信号の処理装置が提供される。
【発明の効果】
【０００８】
本発明によれば、リアルタイム処理の枠内でより効果的な光学補正を実現することができる。
【図面の簡単な説明】
【０００９】
【図１】実施形態１に関わる撮像装置の構成を示すブロック図。
【図２】実施形態１に関わる光学補正調停部の制御を示すフローチャート。
【図３】実施形態１に関わる光学補正調停部の優先順位付けを示す図。
【図４】実施形態２に関わる光学補正調停部の制御を示すフローチャート。
【図５】実施形態２に関わる光学補正調停部の優先順位付けを示す図。
【図６】実施形態３に関わる撮像装置の構成を示すブロック図。
【図７】実施形態３に関わる光学補正調停部の制御を示すフローチャート。
【図８】実施形態４に関わる光学補正調停部の制御を示すフローチャート。
【図９】実施形態４に関わる光学補正調停部の優先順位付けを示す図。
【発明を実施するための形態】
【００１０】
以下、図面を参照して本発明の好適な実施形態について詳細に説明する。なお、本発明は以下の実施形態に限定されるものではなく、本発明の実施に有利な具体例を示すにすぎない。また、以下の実施形態の中で説明されている特徴の組み合わせの全てが本発明の課題解決のために必須のものであるとは限らない。
【００１１】
＜実施形態１＞
図１は、本発明の実施形態１に関わる撮像装置の構成を示すブロック図である。図１において、光学系１は、ズームレンズ、フォーカスレンズ、絞りのうちの少なくともいずれか１つを含み、光学系駆動部２の制御によって駆動される。撮像素子３は、撮像素子駆動部４によって駆動され、光学系１によって投影された被写体像を光電変換により電気信号に変換して、画像信号として出力する。
【００１２】
像高演算部５は、光学中心からの距離を算出する。この撮像装置は、それぞれが、画像信号に対して光学系１に起因する複数種類の収差のうちの相異なる１つを補正する、複数の補正部を備えている。複数種類の収差としては、例えば、周辺光量落ち、倍率色収差、歪曲収差が想定され、本実施形態では、これに対応して複数の補正部として、光量落ち補正部６、倍率色収差補正部８、歪曲収差補正部１０を有する。光量落ち補正部６は、光量落ち補正制御部７によって制御され、周辺光量落ちを補正する。倍率色収差補正部８は、倍率色収差補正制御部９によって制御され、倍率色収差を補正する。歪曲収差補正部１０は、歪曲収差補正制御部１１によって制御され、歪曲収差を補正する。
【００１３】
光学補正調停部１２は、予め計算してあるそれぞれの補正データ生成にかかる時間とシステム制御部１４から取得した補正データ生成にかけられる時間の情報とに基づき、どの制御部の補正データ生成処理をさせるかを決定する。その決定した補正制御部に対し、光学補正調停部１２は、動作指示を表すフラグ、補正量、及び、現在の光学パラメータを出力する。
【００１４】
光学データベース１３は、あらかじめ像高及び光学パラメータから算出した周辺光量落ち、倍率色収差、歪曲収差のそれぞれの補正量を光学パラメータごとに保持する。システム制御部１４は、光学系駆動部２、撮像素子駆動部４、像高演算部５、光学補正調停部１２を制御する。システム制御部１４はまた、光学データベース１３より光学パラメータに応じた周辺光量落ち、倍率色収差、歪曲収差の補正量を読み出して、現在の光学パラメータとともに光学補正調停部１２へ出力する。なお、システム制御部１４は、現在の光学パラメータにおける補正量が光学データベース１３に記憶されていない場合には、その近傍の補正量を読み出し、現在の光学パラメータとともに光学補正調停部１２へ出力することができる。なお、本明細書において、光学パラメータとは、焦点距離、絞り、フォーカス位置のうちの少なくともいずれか１つを含むパラメータをいうものとする。
【００１５】
以下、この撮像装置による撮影動作を詳しく説明する。まず、光学系１は、システム制御部１４からの制御信号を受けた光学系駆動部２の制御により、絞りとレンズを駆動して、適切な明るさに設定された被写体像を撮像素子３上に結像させる。撮像素子３は、システム制御部１４からの制御信号を受けた撮像素子駆動部４により制御される駆動パルスで駆動され、被写体像を光電変換により電気信号に変換して画像信号として出力する。
【００１６】
像高演算部５は、システム制御部１４からの制御信号を受けて、着目画素の座標位置と光学中心の座標位置から、例えば次式に従う演算によって像高hgtを求め、光量落ち補正部６、倍率色収差補正部８、歪曲収差補正部１０へ出力する。
【００１７】
【数１】
0005825869.tif 000002
ただし、xadrは着目画素の水平方向の座標を示し、yadrは着目画素の垂直方向の座標を示す。また、Hcは光学中心の水平方向の座標を示し、Vcは光学中心の水平方向の座標を示す。
【００１８】
光量落ち補正部６は、光量落ち補正制御部７からの補正量と像高演算部５からの像高を用いて周辺光量落ちの補正を行う。倍率色収差補正部８は倍率色収差補正制御部９からの補正量と像高演算部５からの像高を用いて倍率色収差の補正を行う。歪曲収差補正部１０は歪曲収差補正制御部１１からの補正量と像高演算部５からの像高を用いて歪曲収差の補正を行う。
【００１９】
光量落ち補正制御部７は、光学補正調停部１２からの動作フラグがＯＦＦだった場合には動作しない。動作フラグがＯＮで、かつ、近傍の補正量が読み出されてきた場合には、光量落ち補正制御部７は、近傍の補正量と現在の光学パラメータを用いて補間して補正量を生成する。また、動作フラグがＯＮで、かつ、現在の光学パラメータの補正量が読み出されてきた場合には、光量落ち補正制御部７は、それを補正量として周辺光量落ち補正部６へ出力する。
【００２０】
倍率色収差補正制御部９は、光学補正調停部１２からの動作フラグがＯＦＦだった場合には動作しない。動作フラグがＯＮで、かつ、近傍の補正量が読み出されてきた場合には、倍率色収差補正制御部９は、近傍の補正量と現在の光学パラメータを用いて補間して補正量を生成する。また、動作フラグがＯＮで、かつ、現在の光学パラメータの補正量が読み出されてきた場合には、倍率色収差補正制御部９は、それを補正量として倍率色収差補正部８へ出力する。
【００２１】
歪曲収差補正制御部１１は、光学補正調停部１２からの動作フラグがＯＦＦだった場合には動作しない。動作フラグがＯＮで、かつ、近傍の補正量が読み出されてきた場合には、歪曲収差補正制御部１１は、近傍の補正量と現在の光学パラメータを用いて補間して補正量を生成する。また、動作フラグがＯＮで、かつ、現在の光学パラメータの補正量が読み出されてきた場合には、歪曲収差補正制御部１１は、それを補正量として歪曲収差補正部１０へ出力する。
【００２２】
次に、光学補正調停部１２の制御を、図２に示すフローチャートを参照しながら説明する。システム制御部１４は、現在のシステム負荷の状況を監視しており、１フィールドの画像信号に対する光学補正をリアルタイム処理で行うために、各補正部に供給する全ての補正データの生成処理にかけられる時間を保持している。そこで、光学補正調停部１２はまず、システム制御部１４から、各補正部に供給する全ての補正データの生成処理にかけられる時間を、第１の時間Ｔ１として取得する（Ｓ１０１）。次に、各補正部に供給する全ての補正データの生成処理にかかる時間として予め計算されている第２の時間Ｔ２を取得する（Ｓ１０２）。次に、Ｓ１０３において、Ｓ１０１で得たＴ１とＳ１０２で得たＴ２とを比較し、Ｔ２がＴ１以内の場合は、全ての補正データの生成処理のリアルタイム処理が可能であると判断して、処理はＳ１０４に進む。一方、Ｔ２がＴ１を超える場合は、補正データ生成に優先順位を付ける必要があると判断して、処理はＳ１０５に進む。
【００２３】
Ｓ１０４では、全ての補正データの生成処理のリアルタイム処理が可能であるため、それぞれの補正制御部に対し、補正量と動作フラグＯＮ、現在の光学系１に関する光学パラメータを出力する。
【００２４】
一方、Ｓ１０５では、所定量過去（例えば１フィールド前）の光学パラメータと現在の光学パラメータとを比較し、どの光学パラメータが変動したかを判定し、その判定結果に応じてＳ１０６〜Ｓ１１２のいずれかへ進む。
【００２５】
図３に、光学パラメータの変動から受ける、複数種類の収差の各々、すなわち、周辺光量落ち、倍率色収差、歪曲収差、の相対的な影響度及び優先順位を示す。図３において、優先順位付けＮｏは、図２のＳ１０６〜Ｓ１１２のボックス内に記述された番号と一致している。Ｓ１０５において、焦点距離だけが動いた場合にはＳ１０６へ進み、図３の優先順位付けＮｏ．１に基づいて優先順位付けがされる。
【００２６】
図３においては、影響度と優先順位付けが各現象の項目ごとに示されている。例えば、優先順位付けＮｏ．１においては、焦点距離のみが動くと、周辺光量落ちへの影響は中程度、倍率色収差への影響は中程度、歪曲収差補正への影響は大程度である。また、そのときの優先順位が括弧の中に示されており、歪曲収差、倍率色収差、周辺光量落ちの順になることが示されている。各現象への影響が同程度であった場合には、優先順位が低く、補正データの更新がなされなかった場合に、どちらの補正誤差がより目立つかによって、優先順位付けしている。優先順位付けＮｏ．１では、周辺光量落ち、倍率色収差ともに中程度の影響を受けるが、周辺光量落ちの補正誤差よりも、倍率色収差補正の補正誤差の方が目立つため、倍率色収差、光量落ちの順にしている。このようにして、複数の補正部にそれぞれ供給する補正データの生成処理についての優先順位を決定し、処理はＳ１１３へ進む。
【００２７】
Ｓ１１３では、複数の補正部から、Ｓ１０１で取得した第１の時間内（Ｔ１）で実行可能なだけの補正部を、決定された優先順位に従って選択し、その選択された補正部にそれぞれ供給するための補正データの生成処理を実行する。そして、選択された補正部にそれぞれ対応する補正制御部に対し、動作フラグＯＮ、補正データ、現在の光学パラメータを出力する。
【００２８】
以上説明したように、それぞれの補正データ生成にかかる時間とシステム制御部１４から受信した補正データ生成にかけられる時間に基づいて、優先的に補正データ生成処理をさせる補正制御部が選択される。これにより、一部の光学補正処理のみの補正データが生成される。したがって、従来のように、固定的な順番で、リアルタイム処理に収まる特定の補正データ生成処理だけが行われ、他の光学補正処理の補正データが生成されない状況が続くようなことがなく、効果的な補正を行うことができる。
【００２９】
なお、本実施形態では、それぞれの補正データ生成にかかる時間は同じとして説明してきたが、異なる場合には処理時間の順で優先順位付けをすることも可能である。
【００３０】
＜実施形態２＞
以下、他の実施形態を説明するが、実施形態１と同じ番号を付したものについては説明を省略する。以下に説明する実施形態２では、光学補正調停部１２はシステム制御部１４より光学パラメータの変動速度を取得し、優先順位の決定においては、光学パラメータが変動したかどうかだけでなく、その変動速度を考慮する。
【００３１】
図４に、本実施形態における光学補正調停部１２の制御フローを示す。まず、システム制御部１４から、各補正部に供給する全ての補正データの生成処理にかけられる第１の時間Ｔ１を取得する（Ｓ２０１）。次に、予め計算された、各補正部に供給する全ての補正データの生成処理にかかる第２の時間Ｔ２を取得する（Ｓ２０２）。次に、Ｓ２０３において、Ｓ２０１で得たＴ１とＳ２０２で得たＴ２とを比較し、Ｔ２がＴ１以内の場合は、全ての補正データの生成処理のリアルタイム処理が可能であると判断して、処理はＳ２０４に進む。一方、Ｔ２がＴ１を超える場合は、補正データ生成に優先順位を付ける必要があると判断して、処理はＳ２０５に進む。
【００３２】
Ｓ２０４では、全ての補正データの生成処理のリアルタイム処理が可能であるため、それぞれの補正制御部に対し、補正量と動作フラグＯＮ、現在の光学系１に関する光学パラメータを出力する。
【００３３】
一方、Ｓ２０５では、システム制御部１４から光学パラメータの変動速度を取得する変動速度取得処理を実行する。次に、取得した動作速度に基づき、図５に示すような優先順位の決定を行う（Ｓ２０６）。光学パラメータの変動速度とは、例えば、焦点距離の駆動速度、絞りの駆動速度、フォーカス位置の駆動速度等をいう。
【００３４】
図５は、光学パラメータの変動速度と各現象に与える影響度及び優先順位付けの例を表している。焦点距離、絞り、フォーカス位置の項目にそれぞれ、変動速度（高速／中速／低速）が示されている。また、光量落ち、倍率色収差、歪曲収差の項目に、影響度が示されるとともに、括弧内にそのときの優先順位が示されている。
【００３５】
光学パラメータの変動速度が速いほど、各現象に与える影響が大きいので、それに応じて優先度が決定される。一例として、優先順位Ｎｏ．３４を見てみる。これは、図示のとおり、焦点距離は低速駆動、絞りは高速駆動、フォーカス位置は中速駆動となっている。この場合、絞りの影響を最も受ける周辺光量落ちの優先度を１位、フォーカス位置の影響を最も受ける倍率色収差の優先度を２位、焦点距離の変動に最も影響を受ける歪曲収差の優先順位を３位としている。各現象への影響が同程度であった場合には、優先順位が低く、補正データの更新がなされなかった場合に、どちらの補正誤差がより目立つかによって、優先順位付けしている。このようにして、優先順位を決定し、処理はＳ２０７へ進む。
【００３６】
Ｓ２０７では、複数の補正部から、Ｓ２０１で取得した第１の時間内で実行可能なだけの補正部を、決定された優先順位に従って選択し、その選択された補正部にそれぞれ供給するための補正データの生成処理を実行する。そして、選択された補正部にそれぞれ対応する補正制御部に対し、動作フラグＯＮ、補正データ、現在の光学パラメータを出力する。
【００３７】
以上説明したように、光学パラメータの変動速度を取得し、光学パラメータが変動したかどうかだけでなく、その変動速度をも考慮して優先順位の決定を行う。これにより、光学パラメータが複数動いている場合にも効果的な補正を行うことができる。
【００３８】
＜実施形態３＞
次に実施形態３について説明する。本実施形態では、光学補正調停部１２は、動作フラグの過去の履歴を参照し、補正データ生成処理の頻度の低いものに対し、強制的に優先度を上げる。これにより、長期間優先度が低く、補正データ生成処理がなされないため補正誤差が目立つことがないようにする。
【００３９】
図６に、実施形態３のブロック図を示す。図１と比較すると、図６では、メモリ１５が追加されている。メモリ１５は、光学補正調停部１２によってそれぞれの補正制御部へ出力される動作フラグを保持している。言い換えると、メモリ１５は、過去に入力された画像信号ごとに、各補正部が動作した／しないの履歴を記憶していることになる。
【００４０】
図７に、本実施形態の光学補正調停部１２の制御フローを示す。まず、システム制御部１４から、各補正部に供給する全ての補正データの生成処理にかけられる第１の時間Ｔ１を取得する（Ｓ３０１）。次に、各補正部に供給する全ての補正データの生成処理にかかる時間として予め計算されている第２の時間Ｔ２を取得する（Ｓ３０２）。次に、Ｓ３０３において、Ｓ３０１で得たＴ１とＳ３０２で得たＴ２とを比較し、Ｔ２がＴ１以内の場合は、全ての補正データの生成処理のリアルタイム処理が可能であると判断して、処理はＳ３０４に進む。一方、Ｔ２がＴ１を超える場合は、補正データ生成に優先順位を付ける必要があると判断して、処理はＳ３０５に進む。
【００４１】
Ｓ３０４では、全ての補正データの生成処理のリアルタイム処理が可能であるため、それぞれの補正制御部に対し、補正量と動作フラグＯＮ、現在の光学パラメータを出力する。
【００４２】
一方、Ｓ３０５では、システム制御部１４から、光学パラメータの変動速度（動作速度）を取得する。次に、取得した変動速度に基づき、図５に示したような優先順位の決定を行う（Ｓ３０６）。
【００４３】
次に、メモリ１５に保持してある動作フラグの履歴を読み出す（Ｓ３０７）。そして、Ｓ３０８で、動作フラグの履歴から、複数種類の収差のうち、連続して所定回数Ｎ以上、補正データ生成処理が行われていないものがあるかどうか判定する。連続して所定回数以上、補正データの生成処理が行われていないものがあれば処理はＳ３０９へ進み、なければＳ３１０へ進む。
【００４４】
Ｓ３０９では、連続して所定回数以上、補正データ生成処理が行われていないため、補正誤差が大きくなってしまっている可能性がある。そこで、その補正制御部の補正データ生成処理の優先順位を繰り上げる変更を行い、Ｓ３１０へ進む。
【００４５】
Ｓ３１０では、Ｓ３０１で取得した第１の時間内で実行可能なだけの補正部を、決定された優先順位に従って選択し、その選択された補正部にそれぞれ供給するための補正データの生成処理を実行する。そして、選択された補正部にそれぞれ対応する補正制御部に対し、動作フラグＯＮ、補正データ、現在の光学パラメータを出力する。
【００４６】
以上、説明したように長期間優先度が低い場合には、強制的に優先順位を変更し、補正データ生成処理が行われるようにすることで、補正誤差が大きくなってしまうことを防ぐことができる。
【００４７】
なお、光学パラメータが全く変動していない場合でも、補正データ生成処理の履歴を参照し、現在の光学パラメータに対応していない補正量となっている場合には優先順位を変更し、全ての光学補正の補正データ生成処理が行われるようにしてもよい。
【００４８】
また、光学パラメータが全く変動しておらず、かつ、全ての光学補正の補正データ生成処理がなされている場合には、補正データ生成処理は不要となるため、光学補正以外の処理に、その時間を明け渡してもよい。
【００４９】
なお、以上説明した実施形態３の処理は実施形態２に対しても適用可能である。
【００５０】
＜実施形態４＞
次に実施形態４について説明する。本実施形態では、光量落ち補正制御部７、倍率色収差補正制御部９、歪曲収差補正制御部１１の各補正データの生成処理の精度を可変にする。そして、割り当て時間の中で優先度に応じてその精度を切り替えて、補正データが更新されないために補正誤差が目立つことがないようにする。
【００５１】
図８に、本実施形態の光学補正調停部１２の制御フローを示す。まず、システム制御部１４から、各補正部に供給する全ての補正データの生成処理にかけられる第１の時間Ｔ１を取得する（Ｓ４０１）。次に、各補正部に供給する全ての補正データの生成処理にかかる時間として予め計算されている第２の時間Ｔ２を取得する（Ｓ４０２）。次に、Ｓ４０３において、Ｓ４０１で得たＴ１とＳ４０２で得たＴ２とを比較し、Ｔ２がＴ１以内の場合は、全ての補正データの生成処理のリアルタイム処理が可能であると判断して、処理はＳ４０４に進む。一方、Ｔ２がＴ１を超える場合は、補正データ生成に優先順位を付ける必要があると判断して、処理はＳ４０５に進む。
【００５２】
Ｓ４０４では、全ての補正データの生成処理のリアルタイム処理が可能であるため、それぞれの補正制御部に対し、補正量と動作フラグＯＮ、現在の光学パラメータを出力する。
【００５３】
一方、Ｓ４０５では、システム制御部１４から、光学パラメータの変動速度を取得する。次に、取得した変動速度に基づき、図９に示すような優先順位の決定を行う（Ｓ４０６）。
【００５４】
図９は、光学パラメータの変動速度と各現象に与える影響度及び優先順位付けの例を表している。焦点距離、絞り、フォーカス位置の項目にそれぞれ、変動速度（高速／中速／低速）が示されている。また、光量落ち、倍率色収差、歪曲収差の項目に、影響度が示されるとともに、括弧内にそのときに生成する補正量の精度が示されている。
【００５５】
光学パラメータの変動速度が速いほど、各現象に与える影響が大きいので、それに応じて精度が決定される。一例として、優先順位Ｎｏ．３４を見てみる。これは、図示のとおり、焦点距離は低速駆動、絞りは高速駆動、フォーカス位置は中速駆動となっている。この場合、絞りの影響を最も受ける周辺光量落ちを「高精度」とし、フォーカス位置の影響を最も受ける倍率色収差の精度を「中精度」、焦点距離の変動に最も影響を受ける歪曲収差を「低精度」としている。各現象への影響が同程度であった場合には、優先順位が低く、補正データの更新がなされなかった場合に、どちらの補正誤差がより目立つかによって、精度を判定している。このようにして、精度を判定し、Ｓ４０７へ進む。
【００５６】
Ｓ４０７では、決定された優先順位に従って補正部を選択し、その選択された補正部にそれぞれ供給するための補正データの生成処理を、その優先順位に応じた精度に切り替えて実行する。そして、選択された補正部にそれぞれ対応する補正制御部に対し、動作フラグＯＮ、補正量、現在の光学パラメータを出力する。
【００５７】
以上、説明したように精度判定を行い、与えられた時間内で精度に応じた補正量生成を行うことで、補正データが更新されないために補正誤差が目立つことがないようにすることができる。
【００５８】
なお、以上説明した実施形態４の処理は実施形態１乃至３のいずれに対しても適用可能である。
【００５９】
（他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【図１】
0005825869.tif 000003
【図２】
0005825869.tif 000004
【図３】
0005825869.tif 000005
【図４】
0005825869.tif 000006
【図５】
0005825869.tif 000007
【図６】
0005825869.tif 000008
【図７】
0005825869.tif 000009
【図８】
0005825869.tif 000010
【図９】
0005825869.tif 000011