(57)【要約】【課題】レンズの製造誤差による色ずれを含む、画像データの色ずれを良好に補正可能な画像処理装置、撮像装置、画像処理方法、およびプログラムを提供すること。【解決手段】光学系により結像された光学像から生成される画像データのサジタル方向の色ずれ成分を検出する検出部と、サジタル方向の色ずれ成分に基づいて、画像データに含まれ、同一方向を向いた複数の第１色ずれ成分を決定する決定部と、複数の第１色ずれ成分を補正する第１補正部と、画像データに含まれ、画像データの中心から放射方向を向いた複数の第２色ずれ成分を補正する第２補正部と、を有する。【選択図】図４
2018160850.tif 000002
【特許請求の範囲】
【請求項１】
光学系により結像された光学像から生成される画像データのサジタル方向の色ずれ成分を検出する検出部と、
前記サジタル方向の色ずれ成分に基づいて、前記画像データに含まれ、同一方向を向いた複数の第１色ずれ成分を決定する決定部と、
前記複数の第１色ずれ成分を補正する第１補正部と、
前記画像データに含まれ、前記画像データの中心から放射方向を向いた複数の第２色ずれ成分を補正する第２補正部と、を有することを特徴とする画像処理装置。
【請求項２】
前記決定部は、前記サジタル方向の色ずれ成分の色ずれ量が最大となる場合の方向を、前記複数の第１色ずれ成分の方向として決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記複数の第１色ずれ成分は、それぞれが同一の色ずれ量を有し、
前記第１補正部は、同一の補正成分を用いて、前記複数の第１色ずれ成分を補正することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記第２補正部は、前記光学系の倍率色収差の情報に基づいて、前記複数の第２色ずれ成分を補正することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記画像データのメリディオナル方向の色ずれ成分を検出する第２検出部と、
前記メリディオナル方向の色ずれ成分に基づいて、前記複数の第２色ずれ成分を決定する第２決定部と、を更に有することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項６】
前記第２決定部は、前記メリディオナル方向の色ずれ成分を、像高の関数として多項式フィッティングすることで、前記複数の第２色ずれ成分を決定することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記複数の第１色ずれ成分および前記複数の第２色ずれ成分は、Ｇチャンネルに対するＲチャンネルおよびＢチャンネルのそれぞれのベクトル情報であることを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
【請求項８】
光学系により結像された光学像を撮像することで画像データを生成する撮像素子と、
請求項１から７のいずれか１項に記載の画像処理装置と、を有することを特徴とする撮像システム。
【請求項９】
光学系により結像された光学像から生成される画像データのサジタル方向の色ずれ成分を検出するステップと、
前記サジタル方向の色ずれ成分に基づいて、前記画像データに含まれ、同一方向を向いた複数の第１色ずれ成分を決定するステップと、
前記複数の第１色ずれ成分を補正するステップと、
前記画像データに含まれ、前記画像データの中心から放射方向を向いた複数の第２色ずれ成分を補正するステップと、を有することを特徴とする画像処理方法。
【請求項１０】
コンピュータを、請求項１から７のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像システム、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
光学系の収差として、レンズ中心から放射する方向へ発生する倍率色収差が知られている。従来、画像解析により取得したエッジにおける色ずれ量に基づいて、倍率色収差を補正する方法が知られている。しかしながら、上記方法では、倍率色収差が発生しているように見える被写体を誤って検出し、処理してしまう弊害が発生し得る。そこで、特許文献１では、画像データの中心から放射する方向の色ずれを像高の多項式にフィッティングすることで、誤検出の影響を極小化してから倍率色収差を補正する方法が開示されている。すなわち、特許文献１では、各位置で検出した色ずれをそのまま使用するのではなく、画像データ全体での検出量全てを見渡して、光学的な倍率色収差として矛盾がないように予測してから補正量を確定している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−１９１６０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
光学系は、製造誤差により、光軸からの偏芯が生じ得る。例えば、高分散材料を使用したレンズ素子の偏芯により、画像データの中心から色ずれが発生する場合がある。このような色ずれは、特許文献１に開示された方法を用いても、正確に検出することができないため、色ずれの補正残りが生じてしまう。
【０００５】
このような課題に鑑みて、本発明は、レンズの製造誤差による色ずれを含む、画像データの色ずれを良好に補正可能な画像処理装置、撮像装置、画像処理方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一側面としての画像処理装置は、光学系により結像された光学像から生成される画像データのサジタル方向の色ずれ成分を検出する検出部と、前記サジタル方向の色ずれ成分に基づいて、前記画像データに含まれ、同一方向を向いた複数の第１色ずれ成分を決定する決定部と、前記複数の第１色ずれ成分を補正する第１補正部と、前記画像データに含まれ、前記画像データの中心から放射方向を向いた複数の第２色ずれ成分を補正する第２補正部と、を有することを特徴とする。
【０００７】
また、本発明の他の側面としての画像処理方法は、光学系により結像された光学像から生成される画像データのサジタル方向の色ずれ成分を検出するステップと、前記サジタル方向の色ずれ成分に基づいて、前記画像データに含まれ、同一方向を向いた複数の第１色ずれ成分を決定するステップと、前記複数の第１色ずれ成分を補正するステップと、前記画像データに含まれ、前記画像データの中心から放射方向を向いた複数の第２色ずれ成分を補正するステップと、を有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、レンズの製造誤差による色ずれを含む、画像データの色ずれを良好に補正可能な画像処理装置、撮像システム、画像処理方法、およびプログラムを提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態に係る画像処理装置を備える撮像システムの概略図である。
【図２】レンズ素子の偏芯に起因する色ずれ成分の補正方法の説明図である。
【図３】実施例１の画像処理装置のブロック図である。
【図４】実施例１の画像処理方法を示すフローチャートである。
【図５】実施例２の画像処理装置のブロック図である。
【図６】実施例２の画像処理方法を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
【００１１】
図１は、本発明の実施形態に係る画像処理装置を備える撮像システム１の概略図である。撮像システム１は、レンズ鏡筒２およびレンズ鏡筒２を着脱可能なカメラ本体（撮像装置）３を備える。レンズ鏡筒２は、レンズＣＰＵ２００、撮像光学系（結像光学系）２０１、およびレンズ側通信部２０２を備える。カメラ本体３は、カメラＣＰＵ３００、撮像素子３０１、カメラ側通信部３０２、および記憶部３０３を備える。レンズ鏡筒２とカメラ本体３は、レンズ側通信部２０２およびカメラ側通信部３０２を介して、互いに通信可能である。なお、本実施形態では、レンズ鏡筒２は、カメラ本体３に着脱可能に構成されているが、カメラ本体３と一体的に構成されてもよい。
【００１２】
撮像光学系２０１は、被写体からの光を撮像素子３０１上に結像させる。レンズＣＰＵ２００は、カメラＣＰＵ３００からの指示に応じて、撮像光学系２０１の制御を行う。
【００１３】
カメラＣＰＵ３００は、記憶部３０３に記憶された所定のプログラムを読み出して実行することにより、カメラ本体３の各種回路を駆動し、焦点検出（ＡＦ）、撮影、画像処理、または記録などの一連の動作を制御する。撮像素子３０１は、撮像光学系２０１により結像された光学像を撮像することで、画像データを生成する。
【００１４】
本実施形態では、カメラＣＰＵ３００は、レンズ素子（光学素子）の製造誤差に起因する色ずれを補正する画像処理装置として機能する。カメラＣＰＵ３００は、誤検出の弊害を極小化するために、画像データ全体での検出量全てを見渡して、光学的な矛盾がないように予測してから、レンズ素子の製造誤差に起因する色ずれを確定する。
【００１５】
以下、レンズ素子の製造誤差によりレンズ素子が偏芯することで、画像データの中心から色ずれが発生するメカニズムについて説明する。
【００１６】
パワーを持つレンズ素子が光軸に対して垂直方向へ偏芯した場合、物体面を基準とすると、像面が光軸に対して垂直方向へシフトする。このことは、一部のレンズ群を垂直方向へシフトすることで、防振を行う光学系を考えると自明である。防振レンズ群は偏芯した場合の収差変動が極小になるように設計されているが、通常の光学素子は偏芯することで偏芯収差を発生させる。例えば、高分散材料を使用したパワーの強いレンズ素子が偏芯した場合、波長ごとに像面の垂直方向へのシフト量が変わってくる。これは、高分散材料は、波長によって屈折率が異なるため、波長ごとにパワーが異なり、偏芯敏感度が変わってくるためである。
【００１７】
したがって、レンズ素子の偏芯に起因する色ずれ成分は、画像データの中心だけでなく、画像データ全体において同一方向へ一律の量で発生する。そのため、全光学系で生じる色ずれ量は、単純に各素子での色ずれベクトルの総和で表すことができる。よって、レンズ素子の偏芯に起因する画像データ全域での色ずれ量は、Ｇ（緑）チャンネルに対するＲ（赤）チャンネルおよびＢ（青）チャンネルのベクトルのそれぞれについて、像高によらず１つのベクトル情報で、概ね表せることになる。
【００１８】
同一方向へ一律の量で色ずれが発生するということは、理想的な光学系では本来発生し得ない、サジタル方向の色ずれが生じるということである。そこで、本実施形態では、カメラＣＰＵ３００は、レンズ素子の偏芯に起因する色ずれの影響によってのみ発生するサジタル方向の色ずれ成分に基づいて、各色チャンネルの中心から生じる色ずれベクトルだけを検出し、検出した同一方向の色ずれ成分を補正する。
【００１９】
以下、図２を参照して、レンズ素子の偏芯に起因する色ずれ成分（以下、一律方位成分という）の補正方法について説明する。図２は、一律方位成分の補正方法の説明図である。
【００２０】
図２（Ａ）は、撮像素子３０１から取得した画像データの色ずれ成分を示している。カメラＣＰＵ３００は、まず、図２（Ｂ）に示されるサジタル方向の色ずれ成分を検出する。
【００２１】
前述したように、一律方位成分はそれぞれ、同一方向へ一律の量で発生するため、検出されたサジタル方向の色ずれ成分は、同位相であれば像高に依存しない一定の量になる。サジタル方向の色ずれ成分のうち、発生量（色ずれ量）が最大となる色ずれ成分の方向が、一律方位成分の方向となる。また、一律方位成分の方向に対して所定角度だけずれている色ずれ成分の発生量は、一律方位成分のベクトルの余弦成分に相当する量になる。すなわち、一律方位成分の方向に対して９０度ずれている色ずれ成分の発生量は０である。
【００２２】
一律方位成分のベクトルおよび各像高でのサジタル方向の色ずれ成分をそれぞれ極座標表記で（ｒ、θ）、（Ｒ、Θ）と表した場合、以下の式が成り立つ。
【００２３】
ｒ＝Ｒ／ｃｏｓ（Θ−θ）
カメラＣＰＵ３００は、偏角Θにおける動径Ｒが全て等しいことを前提として、著しく乖離する検出量を排除したり、平均化したりするフィルタリング処理により、偏角Θでの動径Ｒを決定する。各偏角に対応する動径を決定した後、カメラＣＰＵ３００は、複数の偏角とそれぞれが各偏角に対応する複数の動径Ｒを右辺に代入し、左辺のばらつきが最小になる偏角θを決定する。また、カメラＣＰＵ３００は、このときの各像高での左辺の平均を動径ｒとして決定する。
【００２４】
このように、本実施形態では、画像データ全域の検出情報を平均化させて高精度化させることで、誤検出による補正エラーの弊害を軽減させることができる。
【００２５】
カメラＣＰＵ３００は、次に、図２（Ｃ）に示される、上記方法により決定された一律方位成分を補正する。図２（Ｄ）は、一律方位成分を補正した後の画像データを示している。図２（Ｄ）に示されるように、一律方位成分を補正した後の画像データには、画像データの中心から放射する方向（放射方向）の色ずれ、すなわち倍率色収差が残っている。
【００２６】
カメラＣＰＵ３００は、最後に、倍率色収差成分（以下、放射成分という）を補正することで、図２（Ｅ）に示されるように、レンズ素子の製造誤差による色ずれを含む、画像データの色ずれが良好に補正された画像データを取得することができる。なお、放射成分は、Ｇチャンネルに対するＲチャンネルおよびＢチャンネルのベクトルのそれぞれについて、像高によらず１つのベクトル情報で、概ね表すことができる。
【実施例１】
【００２７】
図３は、本実施例のカメラＣＰＵ３００のブロック図である。カメラＣＰＵ３００は、第１検出部３００ａ、第１決定部３００ｂ、第１補正部３００ｃ、取得部３００ｄ、および第２補正部３００ｅを有する。
【００２８】
以下、図４を参照して、カメラＣＰＵ３００により実行される本実施例の画像処理方法について説明する。図４は、本実施例の画像処理方法を示すフローチャートである。本実施例の画像処理方法は、ソフトウエアおよびハードウエア上で動作するコンピュータプログラムとしての画像処理プログラムにしたがって実行される。画像処理プログラムは、例えば、記憶部３０３に格納されていてもよいし、コンピュータが読み取り可能な記録媒体に記録されていてもよい。また、本実施例ではカメラＣＰＵ３００が画像処理方法を実行するが、パーソナルコンピュータ（ＰＣ）や専用の装置が画像処理装置として本実施例の画像処理方法を実行してもよい。また、本実施例の画像処理プログラムに対応する回路を設け、回路を動作させることで本実施例の画像処理方法を実行してもよい。
【００２９】
本実施例では、サジタル方向の色ずれに基づいて一律方位成分（第１色ずれ成分）を決定後、一律方位成分を補正し、その後、撮像光学系２０１の倍率色収差の設計値情報に基づいて放射成分（第２色ずれ成分）を補正する。
【００３０】
ステップＳ１０１では、第１検出部３００ａは、サジタル方向の色ずれ成分を検出する。
【００３１】
ステップＳ１０２では、第１決定部３００ｂは、偏角Θごとにフィルタリング処理を行うことで、動径Ｒを決定する。
【００３２】
ステップＳ１０３では、第１決定部３００ｂは、複数の偏角Θとそれぞれが各偏角に対応する複数の動径Ｒに基づいて、一律方位成分のベクトル（ｒ、θ）を決定する。
【００３３】
ステップＳ１０４では、第１補正部３００ｃは、画像データ全域で、一律方位成分を補正する。一律方位成分はそれぞれ、同一方向で一律の量であるため、第１補正部３００は、同一の補正成分を用いて一律方位成分を補正する。
【００３４】
ステップＳ１０５では、取得部３００ｄは、記憶部３０３が保持する撮像光学系２０１の倍率色収差の設計値情報を取得する。なお、設計値情報は、カメラＣＰＵ３００があらかじめ保持していてもよいし、カメラ本体外部から取得されてもよい。
【００３５】
ステップＳ１０６では、第２補正部３００ｅは、取得部３００ｄが取得した設計値情報に基づいて放射成分を補正する。
【００３６】
以上より、本実施例では、レンズ素子の製造誤差による色ずれを含む、画像データの色ずれを良好に補正することができる。
【実施例２】
【００３７】
図５は、本実施例のカメラＣＰＵ３００のブロック図である。カメラＣＰＵ３００は、第１検出部３００ａ、第１決定部３００ｂ、第１補正部３００ｃ、第２検出部３００ｆ、第２決定部３００ｇ、および第２補正部３００ｅを有する。
【００３８】
以下、図６を参照して、カメラＣＰＵ３００により実行される本実施例の画像処理方法について説明する。図６は、本実施例の画像処理方法を示すフローチャートである。本実施例の画像処理方法は、ソフトウエアおよびハードウエア上で動作するコンピュータプログラムとしての画像処理プログラムにしたがって実行される。画像処理プログラムは、例えば、記憶部３０３に格納されていてもよいし、コンピュータが読み取り可能な記録媒体に記録されていてもよい。また、本実施例ではカメラＣＰＵ３００が画像処理方法を実行するが、パーソナルコンピュータ（ＰＣ）や専用の装置が画像処理装置として本実施例の画像処理方法を実行してもよい。また、本実施例の画像処理プログラムに対応する回路を設け、回路を動作させることで本実施例の画像処理方法を実行してもよい。
【００３９】
本実施例では、サジタル方向の色ずれに基づいて一律方位成分（第１色ずれ成分）を決定後、一律方位成分を補正し、その後、メリディオナル方向の色ずれに基づいて放射成分（第２色ずれ成分）を決定後、放射成分を補正する。
【００４０】
ステップＳ２０１〜ステップＳ２０４の処理は、図４のステップＳ１０１〜ステップＳ１０４の処理と同様であるため、詳細な説明は省略する。
【００４１】
ステップＳ２０５では、第２検出部３００ｆは、メリディオナル成分の色ずれ成分を検出する。
【００４２】
ステップＳ２０６では、第２決定部３００ｇは、全像高でのメリディオナル成分の色ずれ成分を、画像データの中心からの像高の関数として多項式フィッティングすることで、放射成分を決定する。
【００４３】
ステップＳ２０７では、第２補正部３００ｅは、放射成分を補正する。
【００４４】
以上より、本実施例では、レンズ素子の製造誤差による色ずれを含む、画像データの色ずれを良好に補正することができる。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００４５】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００４６】
２００    撮像光学系（光学系）
３００    カメラＣＰＵ（画像処理装置）
３００ａ  第１検出部（検出部）
３００ｂ  第１決定部（決定部）
３００ｃ  第１補正部
３００ｄ  第２補正部
【図１】
2018160850.tif 000003
【図２】
2018160850.tif 000004
【図３】
2018160850.tif 000005
【図４】
2018160850.tif 000006
【図５】
2018160850.tif 000007
【図６】
2018160850.tif 000008