(57)【要約】フォーカスブリージング及びディストーションの双方を適切に補正できる撮像装置、画像処理装置、画像処理方法及び画像処理プログラムを提供する。フォーカスポジションごとに定められた拡大縮小率によって画像データを拡縮処理して、フォーカスブリージングを補正する。フォーカスブリージングを補正した画像データに対して、画像処理によりディストーションを補正する。ディストーションを補正する際、フォーカスブリージングを補正した後の画像データに現れるディストーションを補正する。
2018159069.tif 000002
【特許請求の範囲】
【請求項１】
フォーカシングレンズを有する撮像レンズと、
前記撮像レンズにより結像された像を撮像するイメージセンサと、
前記イメージセンサから出力される信号を処理して画像データを生成する画像データ生成部と、
フォーカスポジションごとに定められた拡大縮小率によって前記画像データを拡縮処理して、フォーカスブリージングを補正するフォーカスブリージング補正部と、
フォーカスブリージングを補正した後の前記画像データに現れるディストーションを画像処理により補正するディストーション補正部と、
を備えた撮像装置。
【請求項２】
前記拡大縮小率が、前記撮像レンズに起因して前記画像データに生じるディストーションを所定量低減させる値に設定される、
請求項１に記載の撮像装置。
【請求項３】
前記拡大縮小率が、前記撮像レンズに起因して前記画像データに生じるディストーションを最小化させる値に設定される、
請求項２に記載の撮像装置。
【請求項４】
前記拡大縮小率が、ディストーションが最大となる像高におけるディストーションを所定量低減させる値に設定される、
請求項２に記載の撮像装置。
【請求項５】
前記拡大縮小率が、画像中央部分のディストーションを所定量低減させる値に設定される、
請求項２に記載の撮像装置。
【請求項６】
前記ディストーション補正部が、前記画像データを複数の領域に分割し、領域ごとに補正処理する場合において、
前記拡大縮小率が、前記ディストーション補正部において補正可能な値に設定される、
請求項１に記載の撮像装置。
【請求項７】
前記撮像レンズに起因して前記画像データに生じるディストーションが、正又は負のいずれか一方のみである、
請求項１から６のいずれか１項に記載の撮像装置。
【請求項８】
前記ディストーション補正部は、特定の拡大縮小率によってフォーカスブリージングを補正した後の前記画像データに現れるディストーションを画像処理により補正する、
請求項１から７のいずれか１項に記載の撮像装置。
【請求項９】
撮像により得られた画像データを取得する画像データ取得部と、
前記画像データを撮像した時点の撮像レンズのフォーカスポジションの情報を取得するフォーカスポジション情報取得部と、
フォーカスポジションごとに定められた拡大縮小率によって前記画像データを拡縮処理して、フォーカスブリージングを補正するフォーカスブリージング補正部と、
フォーカスブリージングを補正した後の前記画像データに現れるディストーションを画像処理により補正するディストーション補正部と、
を備えた画像処理装置。
【請求項１０】
撮像により得られた画像データを取得するステップと、
前記画像データを撮像した時点の撮像レンズのフォーカスポジションの情報を取得するステップと、
フォーカスポジションごとに定められた拡大縮小率によって前記画像データを拡縮処理して、フォーカスブリージングを補正するステップと、
フォーカスブリージングを補正した後の前記画像データに現れるディストーションを画像処理により補正するステップと、
を含む画像処理方法。
【請求項１１】
撮像により得られた画像データを取得する機能と、
前記画像データを撮像した時点の撮像レンズのフォーカスポジションの情報を取得する機能と、
フォーカスポジションごとに定められた拡大縮小率によって前記画像データを拡縮処理して、フォーカスブリージングを補正する機能と、
フォーカスブリージングを補正した後の前記画像データに現れるディストーションを画像処理により補正する機能と、
をコンピュータに実現させる画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、画像処理装置、画像処理方法及び画像処理プログラムに係り、特にフォーカスブリージング及びディストーションを画像処理により補正する撮像装置、画像処理装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
撮像レンズには、フォーカスブリージングが発生することが知られている。フォーカスブリージングとは、フォーカシングに伴い画角が変動する現象のことである。特許文献１、２には、画像処理によって、フォーカスブリージングを補正する技術が提案されている。【０００３】
また、撮像レンズには、ディストーション（歪曲収差）が発生することが知られている。ディストーションとは、結像した像が歪む現象のことである。特許文献３、４には、画像処理によって、ディストーションを補正する技術が提案されている。【０００４】
従来、画像処理によってフォーカスブリージング及びディストーションを補正する場合、その処理は各々独立して行われていた。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１１−２３９４９号公報
【特許文献２】特開２００８−１６０６２２号公報
【特許文献３】特開２００３−３３３５８８号公報
【特許文献４】特開２００４−６４７１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、フォーカスブリージング及びディストーションの両方を画像処理によって補正する場合において、各々の処理を独立して実施すると、双方の補正の影響が相互に現れ、適切な補正ができない、という欠点がある。【０００７】
本発明は、このような事情に鑑みてなされたもので、フォーカスブリージング及びディストーションの双方を適切に補正できる撮像装置、画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するための手段は、次のとおりである。【０００９】
（１）フォーカシングレンズを有する撮像レンズと、撮像レンズにより結像された像を撮像するイメージセンサと、イメージセンサから出力される信号を処理して画像データを生成する画像データ生成部と、フォーカスポジションごとに定められた拡大縮小率によって画像データを拡縮処理して、フォーカスブリージングを補正するフォーカスブリージング補正部と、フォーカスブリージングを補正した後の画像データに現れるディストーションを画像処理により補正するディストーション補正部と、を備えた撮像装置。【００１０】
本態様によれば、フォーカスブリージング及びディストーションの両方が画像処理によって補正される。フォーカスブリージングについては、フォーカスポジションごとに定められた拡大縮小率によって画像データを拡縮処理することにより補正される。ディストーションについては、フォーカスブリージングを補正した後の画像データに現れるディストーションが画像処理によって補正される。ディストーションは、撮像レンズに起因して画像データに現れるが、画像処理によってフォーカスブリージングを補正することにより、その現れ方が変化する。本態様では、フォーカスブリージングを補正した後の画像データに現れるディストーションを画像処理によって補正する。これにより、フォーカスブリージング及びディストーションの両方を画像処理によって適切に補正できる。【００１１】
（２）拡大縮小率が、撮像レンズに起因して画像データに生じるディストーションを所定量低減させる値に設定される、上記（１）の撮像装置。【００１２】
本態様によれば、フォーカスブリージングを補正する際の画像データの拡大縮小率が、撮像レンズに起因して画像データに生じるディストーションを所定量低減させる値に設定される。これにより、ディストーションの補正量を低減できる。【００１３】
（３）拡大縮小率が、撮像レンズに起因して画像データに生じるディストーションを最小化させる値に設定される、上記（２）の撮像装置。【００１４】
本態様によれば、フォーカスブリージングを補正する際の画像データの拡大縮小率が、撮像レンズに起因して画像データに生じるディストーションを最小化させる値に設定される。これにより、ディストーションの補正量を低減できる。【００１５】
（４）拡大縮小率が、ディストーションが最大となる像高におけるディストーションを所定量低減させる値に設定される、上記（２）の撮像装置。【００１６】
本態様によれば、フォーカスブリージングを補正する際の画像データの拡大縮小率が、ディストーションが最大となる像高におけるディストーションを所定量低減させる値に設定される。これにより、ディストーションの補正量を低減できる。【００１７】
（５）拡大縮小率が、画像中央部分のディストーションを所定量低減させる値に設定される、上記（２）の撮像装置。【００１８】
本態様によれば、フォーカスブリージングを補正する際の画像データの拡大縮小率が、画像中央部分のディストーションを所定量低減させる値に設定される。これにより、ディストーションの補正量を低減できる。【００１９】
（６）ディストーション補正部が、画像データを複数の領域に分割し、領域ごとに補正処理する場合において、拡大縮小率が、ディストーション補正部において補正可能な値に設定される、上記（１）の撮像装置。【００２０】
本態様によれば、フォーカスブリージングを補正する際の画像データの拡大縮小率が、ディストーション補正部において補正可能な値に設定される。これにより、確実にディストーションを補正できる。【００２１】
（７）撮像レンズに起因して画像データに生じるディストーションが、正又は負のいずれか一方のみである、上記（１）から（６）のいずれか一の撮像装置。【００２２】
本態様によれば、ディストーションが、正又は負のいずれか一方のみに現れるように、撮像レンズが構成される。これにより、ディストーション補正の観点からフォーカスブリージングの補正量（拡大縮小率）を設定する際、その拡縮方向を一定に収めることができる。【００２３】
（８）ディストーション補正部は、特定の拡大縮小率によってフォーカスブリージングを補正した後の画像データに現れるディストーションを画像処理により補正する、上記（１）から（７）のいずれか一の撮像装置。【００２４】
本態様によれば、特定の拡大縮小率によってフォーカスブリージングを補正した後の画像データに現れるディストーションを画像処理により補正する構成とされる。すなわち、フォーカスブリージングは、フォーカスポジションごとに補正されるが、ディストーションは、一定の補正量で補正される。これにより、ディストーションの補正の負荷を低減できる。【００２５】
（９）撮像により得られた画像データを取得する画像データ取得部と、画像データを撮像した時点の撮像レンズのフォーカスポジションの情報を取得するフォーカスポジション情報取得部と、フォーカスポジションごとに定められた拡大縮小率によって画像データを拡縮処理して、フォーカスブリージングを補正するフォーカスブリージング補正部と、フォーカスブリージングを補正した後の画像データに現れるディストーションを画像処理により補正するディストーション補正部と、を備えた画像処理装置。【００２６】
本態様によれば、フォーカスブリージング及びディストーションの両方が画像処理によって補正される。フォーカスブリージングについては、フォーカスポジションごとに定められた拡大縮小率によって画像データを拡縮処理することにより補正される。ディストーションについては、フォーカスブリージングを補正した後の画像データに現れるディストーションが画像処理によって補正される。これにより、フォーカスブリージング及びディストーションの両方を画像処理によって適切に補正できる。【００２７】
（１０）撮像により得られた画像データを取得するステップと、画像データを撮像した時点の撮像レンズのフォーカスポジションの情報を取得するステップと、フォーカスポジションごとに定められた拡大縮小率によって画像データを拡縮処理して、フォーカスブリージングを補正するステップと、フォーカスブリージングを補正した後の画像データに現れるディストーションを画像処理により補正するステップと、を含む画像処理方法。【００２８】
本態様によれば、フォーカスブリージング及びディストーションの両方が画像処理によって補正される。フォーカスブリージングについては、フォーカスポジションごとに定められた拡大縮小率によって画像データを拡縮処理することにより補正される。ディストーションについては、フォーカスブリージングを補正した後の画像データに現れるディストーションが画像処理によって補正される。これにより、フォーカスブリージング及びディストーションの両方を画像処理によって適切に補正できる。【００２９】
（１１）撮像により得られた画像データを取得する機能と、画像データを撮像した時点の撮像レンズのフォーカスポジションの情報を取得する機能と、フォーカスポジションごとに定められた拡大縮小率によって画像データを拡縮処理して、フォーカスブリージングを補正する機能と、フォーカスブリージングを補正した後の画像データに現れるディストーションを画像処理により補正する機能と、をコンピュータに実現させる画像処理プログラム。【００３０】
本態様によれば、フォーカスブリージング及びディストーションの両方が画像処理によって補正される。フォーカスブリージングについては、フォーカスポジションごとに定められた拡大縮小率によって画像データを拡縮処理することにより補正される。ディストーションについては、フォーカスブリージングを補正した後の画像データに現れるディストーションが画像処理によって補正される。これにより、フォーカスブリージング及びディストーションの両方を画像処理によって適切に補正できる。
【発明の効果】
【００３１】
本発明によれば、フォーカスブリージング及びディストーションの双方を適切に補正できる。
【図面の簡単な説明】
【００３２】
【図１】本発明が適用された撮像装置の一実施形態を示す概略構成図
【図２】画像信号処理部が提供する機能のブロック図
【図３】フォーカスポジションと画角との関係を示すグラフ
【図４】画像の切り出し及び拡縮処理の説明図
【図５】画像データに現れるディストーションの一例を示す図
【図６】像高とディストーション量との関係（ディストーションカーブ）を示す図
【図７】ディストーション補正部における補正処理の処理順序の説明図
【図８】ディストーション補正部における補正処理の処理順序の他の一例の説明図
【図９】ディストーションが最大となる像高におけるディストーションを所定量低減させる値にフォーカスブリージングの補正量を設定する場合の説明図
【図１０】画像中央部分のディストーションを所定量低減させる値にフォーカスブリージングの補正量を設定する場合の説明図
【図１１】撮像レンズに起因して画像データに生じるディストーションを最小化させる値にフォーカスブリージングの補正量を設定する場合の説明図
【図１２】フォーカスポジションを段階的に変化させる場合のフォーカスポジションと画角との関係を示すグラフ
【図１３】ある撮像レンズを用いて撮像した画像データのディストーションの測定結果を示すグラフ
【図１４】画像処理によってフォーカスブリージングを補正した後の画像データのディストーションカーブ
【図１５】ある撮像レンズを用いて撮像した画像データのディストーションの測定結果を示すグラフ
【図１６】画像処理によってフォーカスブリージングを補正した後の画像データのディストーションカーブ
【発明を実施するための形態】
【００３３】
以下、添付図面に従って本発明を実施するための好ましい形態について詳説する。
【００３４】
◆◆第１の実施の形態◆◆
［装置構成］
図１は、本発明が適用された撮像装置の一実施形態を示す概略構成図である。
【００３５】
同図に示すように、撮像装置１は、主として、撮像レンズ１０と、レンズ駆動部２０と、検出部３０と、イメージセンサ４０と、アナログフロントエンド５０と、画像信号処理部６０と、操作部７０と、制御部８０と、を備えて構成される。
【００３６】
《撮像レンズ》
撮像レンズ１０は、フォーカシング機能を有する４群のズームレンズによって構成され、フォーカシングレンズ１２と、バリエーターレンズ１４Ａと、コンペンセータレンズ１４Ｂと、絞り１６と、リレーレンズ１８と、を備えて構成される。
【００３７】
撮像レンズ１０は、フォーカシングレンズ１２を光軸に沿って移動させることにより、フォーカシングされる。また、バリエーターレンズ１４Ａ及びコンペンセータレンズ１４Ｂによって構成されるズームレンズ１４を光軸に沿って移動させることにより、ズーミングされる。更に、絞り１６を動作させることにより、光量が調整される。
【００３８】
《レンズ駆動部》
レンズ駆動部２０は、フォーカシングレンズ１２を駆動するフォーカシングレンズ駆動部２２と、ズームレンズ１４を駆動するズームレンズ駆動部２４と、絞り１６を駆動する絞り駆動部２６と、を備える。
【００３９】
フォーカシングレンズ駆動部２２は、フォーカシングモータと、その駆動回路と、を備える。フォーカシングレンズ駆動部２２は、制御部８０の指令に応じてフォーカシングモータを駆動することにより、フォーカシングレンズ１２を光軸に沿って移動させる。
【００４０】
ズームレンズ駆動部２４は、ズームモータと、その駆動回路と、を備える。ズームレンズ駆動部２４は、制御部８０の指令に応じてズームモータを駆動することにより、バリエーターレンズ１４Ａ及びコンペンセータレンズ１４Ｂを光軸に沿って移動させる。
【００４１】
絞り駆動部２６は、絞りモータと、その駆動回路と、を備える。絞り駆動部２６は、制御部８０の指令に応じて絞りモータを駆動することにより、絞り１６の駆動環を回転駆動し、絞り羽根を拡縮させる。
【００４２】
《検出部》
検出部３０は、フォーカシングレンズ１２の位置を検出するフォーカシングレンズ位置検出部３２と、ズームレンズ１４の位置を検出するズームレンズ位置検出部３４と、絞り１６の開口量を検出する開口量検出部３６と、を備える。
【００４３】
フォーカシングレンズ位置検出部３２は、フォーカシングレンズ１２の位置をフォーカスポジションとして検出し、その結果を制御部８０に出力する。
【００４４】
ズームレンズ位置検出部３４と、バリエーターレンズ１４Ａの位置をズームポジションとして検出し、その結果を制御部８０に出力する。
【００４５】
開口量検出部３６は、絞り１６を駆動する駆動環の回転位置を検出して、絞り１６の開口量を検出し、その結果を制御部８０に出力する。
【００４６】
《イメージセンサ》
イメージセンサ４０は、撮像レンズ１０により結像された像を撮像する。イメージセンサ４０は、たとえば、所定のカラーフィルタ配列を有するＣＭＯＳ（CMOS: Complementary Metal Oxide Semiconductor）、ＣＣＤ（CCD: Charged Coupled Device）等の固体撮像素子で構成される。
【００４７】
《アナログフロントエンド（ＡＦＥ）》
アナログフロントエンド５０は、イメージセンサ４０から出力されるアナログの画像信号に対して、ＣＤＳ処理（CDS：Correlated Double Sampling／相関二重サンプリング）、ＡＧＣ処理（AGC：Automatic Gain Control／オートゲインコントロール）、クランプ処理等の所定のアナログの信号処理を施し、処理されたアナログの画像信号をデジタルの画像信号に変換して出力する。
【００４８】
《画像信号処理部》
画像信号処理部６０は、アナログフロントエンド５０から出力されるデジタルの画像信号を取り込み、所定の信号処理を施して画像データを生成する。画像信号処理部６０は、生成した画像データにフォーカスブリージング補正処理及びディストーション補正処理を施して出力する。
【００４９】
図２は、画像信号処理部が提供する機能のブロック図である。
【００５０】
画像信号処理部６０は、画像データ生成部６２、フォーカスブリージング補正部６４及びディストーション補正部６６を備える。
【００５１】
〈画像データ生成部〉
画像データ生成部６２は、入力されたデジタルの画像信号に対して、ホワイトバランス調整、ガンマ補正、シャープネス補正等の各種補正処理、同時化処理（Ｒ、Ｇ、Ｂの画像信号に色補間処理を施すことにより、イメージセンサ４０の各画素から出力される一組の画像信号（Ｒ信号、Ｇ信号、Ｂ信号）を生成する処理）、ＹＣｒＣｂ変換処理（同時化処理された画素ごとのＲ、Ｇ、Ｂ信号を輝度信号Ｙと色差信号Ｃｒ、Ｃｂとに変換する処理）等の所定の信号処理を施し、画像データを生成する。
【００５２】
〈フォーカスブリージング補正部〉
フォーカスブリージング補正部６４は、フォーカスポジションごとに定められた拡大縮小率によって画像データを拡縮処理して、フォーカスブリージングを補正する。フォーカスブリージングとは、フォーカシングに伴い画角が変動する現象のことである。
【００５３】
図３は、フォーカスポジションと画角との関係を示すグラフである。同図において、縦軸はフォーカスポジション（フォーカシングレンズの位置）、横軸は画角である。
【００５４】
同図に示すように、フォーカスポジションが変化すると、それに連動して画角が変化する。
【００５５】
なお、図３に示す例では、説明を簡単にするため、フォーカスポジションと画角との関係を直線によって示しているが、フォーカスポジションを変化させた場合に、どのように画角が変化するかは、撮像レンズによって異なる。また、同じ撮像レンズであっても、ズームポジションによって、画角の変化の仕方は異なる。
【００５６】
図３に示すように、画角はフォーカスポジションに応じて変化するので、フォーカスポジションごとに所定の拡大縮小率によって画像データを拡縮処理（電子ズーム、デジタルズームともいう。）することにより、フォーカスブリージングを補正できる。
【００５７】
たとえば、図３に示す例において、点ＦＰ２の位置を基準のフォーカスポジションとする。いま、フォーカスポジションが点ＦＰ２から至近端側の点ＦＰ１に移動したとする。この場合、画角は、ＦＡ２からＦＡ１に変化し、その差分だけ拡大する。すなわち、撮像される範囲が拡大する。したがって、この場合は画角が拡大した分だけ画像データを拡大処理することにより、画角の変動を相殺できる。また、フォーカスポジションが点ＦＰ２から無限遠側の点ＦＰ３に移動したとする。この場合、画角は、ＦＡ２からＦＡ３に変化し、その差分だけ縮小する。すなわち、撮像される範囲が縮小する。したがって、この場合は画角が縮小した分だけ画像データを縮小処理することにより、画角の変動を相殺できる。
【００５８】
このように、フォーカスポジションごとに所定の拡大縮小率によって画像データを拡縮処理することにより、フォーカスブリージングを補正できる。フォーカスブリージング補正部６４は、フォーカスポジションごとに定められた拡大縮小率で画像データを拡縮処理して、フォーカスブリージングを補正する。
【００５９】
なお、フォーカスブリージングは、ズームポジションによって変わるので、フォーカスブリージングの補正量（フォーカスポジションごとに定められる拡大縮小率）は、ズームポジションごとに設定される。
【００６０】
また、画像データを縮小処理してフォーカスブリージングを補正する場合は、イメージセンサ４０により撮像される画像の一部を切り出して出力することが前提となる。すなわち、基準とする画角以上の画角の画像が存在しなければ、縮小処理することはできないので、画像データを縮小処理してフォーカスブリージングを補正する場合は、画像の一部を切り出して出力することが前提となる。
【００６１】
図４は、画像の切り出し及び拡縮処理の説明図である。同図（Ａ）は、基準となる画角において撮像された画像の例を示している。同図（Ｂ）は、撮像画像として出力される画像の例を示している。同図（Ｃ）は、フォーカスブリージングにより撮像される画像の画角が基準となる画角から縮小した場合の例を示している。同図（Ｄ）は、フォーカスブリージングにより撮像される画像の画角が基準となる画角から拡大した場合の例を示している。
【００６２】
図４（Ａ）、（Ｃ）及び（Ｄ）において、破線によって示す枠Ｆが切り出す画像の範囲である。
【００６３】
図４（Ａ）及び（Ｂ）に示すように、基準となる画角において撮像された画像の場合、枠Ｆ内の画像が、そのまま出力される。
【００６４】
一方、図４（Ｃ）に示すように、フォーカスブリージングにより、撮像される画像の画角が、基準となる画角から縮小した場合（テレ側にズームした場合）、縮小処理によって画像が縮小されて出力される。
【００６５】
また、図４（Ｄ）に示すように、フォーカスブリージングにより、撮像される画像の画角が、基準となる画角から拡大した場合（ワイド側にズームした場合）、拡大処理によって画像が拡大されて出力される。
【００６６】
なお、フォーカスブリージングを補正する際に基準とするフォーカスポジション、及び、その画角は、ディストーション補正との関係を考慮して設定される。
【００６７】
なお、本実施の形態の撮像装置１では、フォーカスブリージング補正部６４が、撮像により得られた画像データを画像データ生成部６２から取得するので、フォーカスブリージング補正部６４が画像データ取得部として機能する。
【００６８】
〈ディストーション補正部〉
ディストーション補正部６６は、画像データに対して、画素位置の変換処理、及び、画素位置の移動に伴って欠落した画素を補間する補間処理を行って、画像データに現れるディストーションを補正する。
【００６９】
図５は、画像データに現れるディストーションの一例を示す図である。
【００７０】
画像に現れるディストーションは、画像の角部が外側に伸びる糸巻型と、画像の角部が内側に縮む樽型の２種類に分けられる。図５（Ａ）は、糸巻型のディストーションの例を示している。また、図５（Ｂ）は、樽型のディストーションの例を示している。
【００７１】
ディストーションの大きさ（ディストーション量）は、画像の中心からの距離（像高）に対する百分率によって規定される。
【００７２】
図６は、像高とディストーション量との関係（ディストーションカーブ）を示す図である。
【００７３】
ディストーションには、正と負の2種類がある。負値となるディストーションは、糸巻型のディストーションであり、画像内のどのポイントも中心部からより遠ざかる距離に像を結ぶ。正値となるディストーションは、樽型のディストーションであり、画像内のどのポイントも中心部により近づく距離で像を結ぶ。図６（Ａ）は、糸巻型のディストーションの例を示している。また、図６（Ｂ）は、樽型のディストーションの例を示している。
【００７４】
図６に示すディストーションカーブは、画像の中心からの距離（像高）の多次元関数によって近似表現できる。たとえば、樽型のディストーションのディストーション量は次式（１）によって表現できる。
【００７５】
[数１]
Ｆ（ｄ）＝α+β×ｄ＋γ×ｄ2＋…      （１）
ただし、ｄは画像の中心からの距離であり、α、β、γは係数である。
【００７６】
ディストーションがない状態、すなわち、ディストーション補正後の画像における画素の座標を（ｘ、ｙ）とした場合（ｘ、ｙは整数）、これに対応するディストーション補正前の画像の座標（Ｘ，Ｙ）は、次式（２）で表される。
【００７７】
［数２］
（Ｘ，Ｙ）＝（ｘ×Ｆ（ｄ）、ｙ×Ｆ（ｄ））、ｄ＝（ｘ2＋ｙ2）1/2      （２）
ディストーション補正は、補正後の画像の座標（ｘ、ｙ）に対応する補正前の画像の座標（Ｘ、Ｙ）を求め、その補正前の画像における座標（Ｘ、Ｙ）にある画素データＰを補正後の画像の座標（ｘ、ｙ）に移動することにより行われる。
【００７８】
しかし、通常、上記式（２）により求めた補正前の画像の座標（Ｘ、Ｙ）は整数値にならず、補正前の画像には、対応する画素データが存在しない。このため、求めた補正前の画像の座標（Ｘ、Ｙ）に対応する画素データＰを、補正前の画像の座標（Ｘ、Ｙ）の近傍の実在する画素データから内挿によって求めて補間する必要がある。この場合の補間方法（内挿方法）としては、最近傍補間法（nearest neighbor interpolation）、線形補間法（bi-linear interpolation）を挙げることができる。
【００７９】
いずれの補間方法であっても、補正後の画像における座標（ｘ、ｙ）に対応する補正前の画像の座標（Ｘ，Ｙ）を演算により求め、求めた座標（Ｘ，Ｙ）の近傍の補正前の画像の画素データを用いて、上記補間方法に従って画素データＰを求める。求めた画素データＰを補正後の画像における座標（ｘ、ｙ）の画素データとすることで、ディストーションを補正できる。
【００８０】
本実施の形態の撮像装置１では、ディストーション補正部６６が、画像データを複数の領域に分割し、領域ごとに補正処理する。
【００８１】
図７は、ディストーション補正部における補正処理の処理順序の説明図である。
【００８２】
同図に示すように、ディストーション補正部６６は、画像データをＸ軸方向（水平方向）に沿って複数のブロックに分割し、ブロックごとに補正処理を実施する。すなわち、ブロック単位における画像データを読み出し、補正処理する。この際、ディストーション補正部６６は、ブロック内をＸ軸方向にスキャンして、ラインごとに各画素の画素値を読み出し、補正処理する。
【００８３】
図８は、ディストーション補正部６６における補正処理の処理順序の他の一例の説明図である。
【００８４】
画像データを複数の領域に分割し、領域ごとに補正処理する場合、図８に示すように、画像データを４つの象限Ｑ１〜Ｑ４に分割し、象限Ｑ１〜Ｑ４ごとに補正処理することもできる。各象限Ｑ１〜Ｑ４は、画像の中心Ｏを通り、互いに直交するＸ軸及びＹ軸によって分割される。ディストーション補正部６６は、分割した各象限Ｑ１〜Ｑ４を更に複数のブロックに分割し、ブロックごとに補正処理する。すなわち、各象限Ｑ１〜Ｑ４内をＸ軸方向に沿って複数のブロックに分割し、ブロックごとに補正処理する。この際、実線の矢印ａによって示すように、各ブロックを画像データの外側から内側に向かって順番に処理する。また、各ブロックにおいて、破線の矢印ｂによって示すように、Ｘ軸に近い方から順に各画素の画素値をラインごとに読み出し、補正処理する。
【００８５】
このように、画像データを複数の領域に分割し、領域ごとに補正処理することにより、処理の際使用するバッファメモリの容量を小さくできる。
【００８６】
ところで、ディストーションは、撮像レンズ１０に起因して画像データに現れるが、フォーカスブリージングを画像処理によって補正すると、その現れ方が変化する。
【００８７】
このため、本実施の形態の撮像装置１では、フォーカスブリージングを補正した後の画像データに現れるディストーションを補正するように、ディストーション補正の補正パラメータが設定される。
【００８８】
なお、フォーカスブリージングを画像処理によって補正することにより、画像データに現れるディストーション量を低減できる。したがって、フォーカスブリージングを画像処理によって補正することにより、ディストーション補正の負荷も低減できる。すなわち、ディストーション量を低減できることにより、補正のパラメータ数を低減できるので、その処理負荷を低減できる。
【００８９】
撮像レンズ１０に起因して発生するディストーションは事前に求めることができる。また、ディストーションが発生した画像データに対して、フォーカスブリージングを補正した場合に現れるディストーションも事前に求めることができる。
【００９０】
ディストーション補正部６６は、フォーカスブリージングを補正した後の画像データに現れるディストーションを補正するように設定された補正パラメータを使用して、フォーカスブリージング補正後の画像データのディストーションを補正する。
【００９１】
なお、フォーカスブリージングは、ズームポジション及びフォーカスポジションに応じて補正されるので、ディストーション補正もズームポジション及びフォーカスポジションに応じて実施される。したがって、ズームポジション及びフォーカスポジションごとに補正パラメータが用意される。
【００９２】
ディストーション補正後の画像データが、撮像画像として、出力端子から出力される。出力された画像が、図示しないモニターに表示されたり、ストレージに記録されたりする。
【００９３】
《操作部》
操作部７０は、フォーカスデマンド、ズームデマンド等の各種操作部材と、その操作信号を制御部に出力する操作回路と、を含んで構成される。
【００９４】
《制御部》
制御部８０は、操作部７０の操作に基づいて、撮像装置１の全体の動作を統括制御する。制御部８０は、画像信号処理部６０の各部が画像データを処理する際、必要な情報を各部に提供する。すなわち、フォーカスブリージング補正部６４が、フォーカスブリージング補正する際、フォーカシングレンズ位置検出部３２及びズームレンズ位置検出部３４が検出したフォーカスポジション及びズームポジションの情報を取得し、フォーカスブリージング補正部６４に提供する。また、ディストーション補正部６６が、ディストーション補正する際、フォーカシングレンズ位置検出部３２及びズームレンズ位置検出部３４が検出したフォーカスポジション及びズームポジションの情報を取得し、ディストーション補正部６６に提供する。したがって、本実施の形態の撮像装置１では、制御部８０は、フォーカスポジション情報取得部として機能する。
【００９５】
［作用］
次に、上記のように構成される本実施の形態の撮像装置１の作用（画像処理方法）について説明する。
【００９６】
操作部７０によって撮像が指示されると、撮像レンズ１０によって結像された像がイメージセンサ４０によって撮像される。
【００９７】
イメージセンサ４０から出力された画像信号は、まず、アナログフロントエンド５０に加えられ、所定のアナログの信号処理が施された後、デジタルの画像信号に変換されて出力される。アナログフロントエンド５０から出力された画像信号は、画像信号処理部６０に入力される。
【００９８】
画像信号処理部６０に入力された画像信号は、まず、画像データ生成部６２にて所定の信号処理が施され、画像データが生成される。
【００９９】
生成された画像データは、フォーカスブリージング補正部６４に加えられ、フォーカスブリージングが補正される。フォーカスブリージング補正部６４は、制御部８０を介して、画像データが撮像された時点の撮像レンズ１０のフォーカスポジション及びズームポジションの情報を取得し、フォーカスポジション及びズームポジションごとに定められた拡大縮小率によって画像データを拡縮処理して、フォーカスブリージングを補正する。
【０１００】
フォーカスブリージングが補正された画像データは、ディストーション補正部６６に加えられ、ディストーションが補正される。ディストーション補正部６６は、フォーカスブリージングを補正した後の画像データに現れるディストーションを画像処理により補正する。ディストーション補正部６６は、画像データが撮像された時点の撮像レンズ１０のフォーカスポジション及びズームポジションの情報を取得し、フォーカスポジション及びズームポジションごとに定められた補正パラメータで画像データを画像処理して、フォーカスブリージング補正後の画像データに現れるディストーションを補正する。
【０１０１】
ディストーション補正後の画像データが、撮像画像として出力端子から出力される。出力された画像が、図示しないモニターに表示されたり、ストレージに記録されたりする。
【０１０２】
このように、本実施の形態の撮像装置１では、フォーカスブリージング及びディストーションの両方が画像処理によって補正される。ディストーションを補正する際には、フォーカスブリージング補正後の画像データに現れるディストーションが補正される。これにより、フォーカスブリージング及びディストーションの両方を画像処理によって適切に補正できる。
【０１０３】
また、フォーカスブリージングを画像処理によって補正することにより、画像データに現れるディストーション量を低減できる。これにより、ディストーション補正の処理負荷を低減できる。
【０１０４】
◆◆第２の実施の形態◆◆
上記のように、フォーカスブリージングを画像処理によって補正することによりディストーション量を低減でき、ディストーション補正の処理負荷を低減できる。
【０１０５】
したがって、ディストーション補正の観点からフォーカスブリージングの補正量（拡大縮小率）を決定すれば、ディストーション補正する際の処理負荷をより低減できる。すなわち、撮像レンズに起因して画像データに生じるディストーションを所定量低減させるように、フォーカスブリージングの補正量を設定することにより、ディストーション補正する際の処理負荷をより低減できる。
【０１０６】
ディストーション補正の観点からフォーカスブリージングの補正量を決定する方法としては、次の３通りの方法が考えられる。
【０１０７】
（Ａ）ディストーションが最大となる像高におけるディストーションを所定量低減させる値に設定する；
（Ｂ）画像中央部分のディストーションを所定量低減させる値に設定する；
（Ｃ）撮像レンズに起因して画像データに生じるディストーションを最小化させる値に設定する。
以下、各方法によって設定例について説明する。
【０１０８】
（Ａ）ディストーションが最大となる像高におけるディストーションを所定量低減させる値に設定する場合
図９は、ディストーションが最大となる像高におけるディストーションを所定量低減させる値にフォーカスブリージングの補正量を設定する場合の説明図である。同図（Ａ）は、フォーカスブリージングを補正する前の画像データのディストーションを示しており、同図（Ｂ）は、フォーカスブリージングを補正した後の画像データのディストーションを示している。
【０１０９】
図９（Ａ）に示すように、ディストーション量が最大となるのは、通常、像高（画像の中心からの距離）が１の点である。この点は画像の四隅の対角端である。
【０１１０】
図９（Ｂ）に示すように、フォーカスブリージングを補正した結果、ディストーションが最大となる像高におけるディストーションが、所定量低減するように、フォーカスブリージングの補正量、すなわち、画像の拡大縮小率を設定する。
【０１１１】
これにより、ディストーションを大幅に低減でき、ディストーション補正時の処理負荷を大幅に低減できる。
【０１１２】
（Ｂ）画像中央部分のディストーションを所定量低減させる値に設定する場合
図１０は、画像中央部分のディストーションを所定量低減させる値にフォーカスブリージングの補正量を設定する場合の説明図である。同図（Ａ）は、フォーカスブリージングを補正する前の画像データのディストーションを示しており、同図（Ｂ）は、フォーカスブリージングを補正した後の画像データのディストーションを示している。
【０１１３】
一般に画像中央部分には重要な被写体が配置される。したがって、画像中央部分のディストーションを所定量低減させるように、フォーカスブリージングの補正量を設定することにより、画像中央部分の画像品質を向上できる。
【０１１４】
本方法の場合、ディストーションカーブの立ち上がりの傾きを基準にフォーカスブリージングの補正量を設定する。
【０１１５】
（Ｃ）撮像レンズに起因して画像データに生じるディストーションを最小化させる値に設定する場合
図１１は、撮像レンズに起因して画像データに生じるディストーションを最小化させる値にフォーカスブリージングの補正量を設定する場合の説明図である。同図（Ａ）は、フォーカスブリージングを補正する前の画像データのディストーションを示しており、同図（Ｂ）は、フォーカスブリージングを補正した後の画像データのディストーションを示している。
【０１１６】
ディストーションを最小化させるとは、ディストーションを補正する際の画素の移動量を最小化させることと同義である。
【０１１７】
この場合、ディストーション補正量の絶対値の積分量が最小になるように、フォーカスブリージングの補正量を設定する。
【０１１８】
これにより、フォーカスブリージング補正後の画像データをディストーション補正する際、その処理負荷を低減できる。
【０１１９】
いずれの方法を採用するかは、フォーカスブリージングの補正とディストーションの補正のバランスを考慮して決定する。すなわち、ディストーションの低減効果を高めすぎると、フォーカスブリージングの補正効果が低減する場合があるので、両者のバランスを考慮して、フォーカスブリージングの補正量を決定する。
【０１２０】
（Ｄ）その他の設定方法
画像データを複数の領域に分割してディストーションを補正する場合、分割した各領域を超えてディストーションが発生していると、その補正は適切に実施することができない。すなわち、処理単位であるブロックのＸ軸方向の幅を超えてディストーションが発生している場合、その補正はできない。
【０１２１】
よって、ディストーション補正部が、画像データを複数の領域に分割して補正処理する場合は、ディストーション補正部が補正可能な値に設定することが好ましい。すなわち、フォーカスブリージングを補正した後の画像データに現れるディストーションが、ディストーション補正部での処理単位であるブロックのＸ軸方向の幅以内の範囲に収まるように、フォーカスブリージングの補正量を設定する。これにより、画像データをディストーション補正部で適切に補正処理できる。
【０１２２】
なお、ディストーション補正の観点からフォーカスブリージングの補正量を設定する場合、その拡縮の方向が一定に収まることが望ましい。このためには、撮像レンズに起因するディストーションが、正又は負のいずれか一方のみに現れるように撮像レンズを構成する。すなわち、光学設計によって、ディストーションの現れ方を調整する。
【０１２３】
◆◆第３の実施の形態◆◆
上記のように、画像処理によってフォーカスブリージングを補正することにより、画像データに現れるディストーションが変化する。
【０１２４】
したがって、適切にディストーションを補正するためには、画像データに施したフォーカスブリージングの補正に応じて、ディストーションを補正することが好ましい。
【０１２５】
フォーカスブリージングの補正は、フォーカスポジションごとに実施される。したがって、適切にディストーションを補正するためには、フォーカスポジションごとにディストーションの補正パラメータを設定し、補正することが好ましい。
【０１２６】
しかし、フォーカスポジションごとにディストーションの補正パラメータを設定すると、保持すべき補正パラメータのデータ量が大きくなり、また、補正の処理負荷を大きくなる。ズームレンズの場合は、ズームポジションごとに補正パラメータを設定する必要があるので、更にデータ量が大きくなる。
【０１２７】
このため、ディストーション補正については、フォーカスポジションによらずに同一の補正パラメータで補正処理する構成にする。この場合、特定の拡大縮小率によってフォーカスブリージングを補正した後の画像データに現れるディストーションを補正するように、各ズームポジションでのディストーションの補正パラメータを設定する。
【０１２８】
ディストーション補正部は、フォーカスポジションによらずに、各ズームポジションに設定された補正パラメータでディストーションの補正処理を実施する。
【０１２９】
このように、ディストーション補正については、フォーカスポジションによらずに同一の補正パラメータで補正処理することにより、保持すべき補正パラメータのデータ量を削減できる。また、ディストーション補正の処理負荷も低減できる。
【０１３０】
◆◆その他の実施の形態◆◆
《撮像レンズの構成》
撮像レンズは、光学的なズームレンズ機能のない単焦点の撮像レンズで構成されていてもよい。また、撮像レンズは、固定されていてもよいし、交換可能な構成としてもよい。交換可能な構成の場合は、撮像レンズごとにブリージング補正及びディストーション補正の補正パラメータが用意される。
【０１３１】
《画像信号処理部における処理の順番》
上記実施の形態では、フォーカスブリージングを補正した後にディストーションを補正する構成としているが、補正量は既知なので、ディストーションを補正した後にフォーカスブリージングを補正する構成とすることもできる。
【０１３２】
《フォーカスブリージング補正及びディストーション補正》
フォーカスブリージング及びディストーションの補正は、上記以外の他の公知の手法を採用して実施することもできる。
【０１３３】
《フォーカシング》
フォーカシングの方式として、フォーカスポジションを段階的に変化させる方式を採用することもできる。
【０１３４】
図１２は、フォーカスポジションを段階的に変化させる場合のフォーカスポジションと画角との関係を示すグラフである。
【０１３５】
フォーカスポジションを段階的に変化させる場合、画角も段階的に変化する。フォーカスブリージング補正部６４は、フォーカスポジションごとに定められた拡大縮小率によって画像データを拡縮処理して、フォーカスブリージングを補正する。
【０１３６】
《画像処理装置としての構成》
上記実施の形態では、撮像装置としての例で説明したが、撮像により得られた画像データを取得して処理する画像処理装置として構成することもできる。この場合、上記実施の形態の撮像装置１におけるフォーカスブリージング補正部６４、ディストーション補正部６６及び制御部８０によって、画像処理装置が構成される。また、この場合、コンピュータに所定の画像処理プログラムを実行させて、画像処理装置としての機能を提供させることもできる。すなわち、コンピュータにフォーカスブリージング補正部６４、ディストーション補正部６６及び制御部８０としての機能を実現させて、画像処理装置として機能させることもできる。
【０１３７】
《処理部の構成》
上記実施の形態において、画像信号処理部６０（画像データ生成部６２、フォーカスブリージング補正部６４及びディストーション補正部６６）、制御部８０といった各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して、各種処理部として機能する汎用的なプロセッサであるＣＰＵ（CPU：Central Processing Unit）、ＦＰＧＡ（FPGA：Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（PLD：Programmable Logic Device）、ＡＳＩＣ（ASIC：Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
【０１３８】
１つの処理部は、上記各種プロセッサのうちの１つによって構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（たとえば、複数のＦＰＧＡあるいはＣＰＵとＦＰＧＡの組み合わせ）によって構成されてもよい。
【０１３９】
また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントまたはサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せによって１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（SoC：System On Chip）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（IC：Integrated Circuit）チップによって実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
【０１４０】
更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
【０１４１】
ＣＰＵによって処理部を構成する場合、ＣＰＵは、所定の画像処理プログラムを実行することにより、画像信号処理部６０（画像データ生成部６２、フォーカスブリージング補正部６４及びディストーション補正部６６）、制御部８０として機能する。この際、作業領域としてのメモリ（たとえば、ＲＡＭ（RAM：Random Access Memory））、及び、各種の処理に必要なデータ（補正パラメータ等）を記憶する記憶部としてのメモリ（たとえば、ＲＯＭ（ROM：Read Only Memory））が備えられる。
【実施例】
【０１４２】
フォーカスブリージングを画像処理で補正することによって、画像データに現れるディストーションが変動することを確認する実験を行った。【０１４３】
《実施例１》
図１３は、ある撮像レンズ（撮像レンズＡ）を用いて撮像した画像データのディストーションの測定結果を示すグラフ（ディストーションカーブ）である。【０１４４】
同図は、フォーカスポジションを示す物体距離が、無限遠端（ＩＮＦ：infinity）の場合、５００ｍｍの場合、及び、１００ｍｍの場合のディストーションを示している。このディストーションは、撮像レンズＡに起因して発生する。【０１４５】
図１４は、画像処理によってフォーカスブリージングを補正した後の画像データのディストーションカーブである。【０１４６】
なお、フォーカスブリージングは、次の条件によって補正した。すなわち、いずれの物体距離においても拡大縮小率を５．８％に設定して、フォーカスブリージングを補正した。【０１４７】
図１３及び図１４の対比によって分かるように、画像処理によってフォーカスブリージングを補正することにより、画像データに現れるディストーションが変動する。また、図１３及び図１４の対比によって分かるように、ディストーションは減少する方向に変動する。【０１４８】
《実施例２》
図１５は、ある撮像レンズ（撮像レンズＢ）を用いて撮像した画像データのディストーションの測定結果を示すグラフ（ディストーションカーブ）である。【０１４９】
同図は、フォーカスポジションを示す物体距離が、無限遠端（ＩＮＦ）の場合、５００ｍｍの場合、及び、１２０ｍｍの場合のディストーションを示している。このディストーションは、撮像レンズＢに起因して発生する。【０１５０】
図１６は、画像処理によってフォーカスブリージングを補正した後の画像データのディストーションカーブである。【０１５１】
なお、フォーカスブリージングは、次の条件によって補正した。物体距離が無限遠端の場合、拡大縮小率を０．０１％に設定し、物体距離が５００ｍｍの場合、拡大縮小率を０．３％に設定し、物体距離が１２０ｍｍの場合、拡大縮小率を０．７％に設定して、フォーカスブリージングを補正した。【０１５２】
図１５及び図１６の対比によって分かるように、画像処理によってフォーカスブリージング補正することにより、画像データに現れるディストーションが変動する。また、図１５及び図１６の対比によって分かるように、ディストーションは減少する方向に変動する。【０１５３】
このように、ディストーションを含む画像データに対して、画像処理によってフォーカスブリージングを補正すると、ディストーションが減少する方向に変動することが確認できる。【０１５４】
ディストーション補正は、このフォーカスブリージングを補正した後の画像データに現れるディストーションを補正するように、補正パラメータを設定し、補正処理を実施する。
【符号の説明】
【０１５５】
１  撮像装置
１０  撮像レンズ
１２  フォーカシングレンズ
１４  ズームレンズ
１４Ａ  バリエーターレンズ
１４Ｂ  コンペンセータレンズ
１６  絞り
１８  リレーレンズ
２０  レンズ駆動部
２２  フォーカシングレンズ駆動部
２４  ズームレンズ駆動部
２６  絞り駆動部
３０  検出部
３２  フォーカシングレンズ位置検出部
３４  ズームレンズ位置検出部
３６  開口量検出部
４０  イメージセンサ
５０  アナログフロントエンド（ＡＦＥ）
６０  画像信号処理部
６２  画像データ生成部
６４  フォーカスブリージング補正部
６６  ディストーション補正部
７０  操作部
８０  制御部
Ｆ  画像を切り出す範囲を示す枠
Ｏ  画像の中心（光軸）
Ｑ１  象限
Ｑ２  象限
Ｑ３  象限
Ｑ４  象限
【図１】
2018159069.tif 000003
【図２】
2018159069.tif 000004
【図３】
2018159069.tif 000005
【図４】
2018159069.tif 000006
【図５】
2018159069.tif 000007
【図６】
2018159069.tif 000008
【図７】
2018159069.tif 000009
【図８】
2018159069.tif 000010
【図９】
2018159069.tif 000011
【図１０】
2018159069.tif 000012
【図１１】
2018159069.tif 000013
【図１２】
2018159069.tif 000014
【図１３】
2018159069.tif 000015
【図１４】
2018159069.tif 000016
【図１５】
2018159069.tif 000017
【図１６】
2018159069.tif 000018
【国際調査報告】
2018159069.tif 000019
2018159069.tif 000020
2018159069.tif 000021