(57)【要約】【課題】撮像光学系の製造誤差を考慮してカラー画像における色にじみを効果的に低減可能な画像処理装置を提供する。【解決手段】画像処理装置１００は、撮像光学系を介して形成された画像の倍率色収差に関する情報を取得する取得部１０１と、倍率色収差に関する情報に応じて、撮像光学系の色にじみに関する光学情報を用いて色にじみを低減するように画像を修正するか否かを判定する判定部１０４とを有する。【選択図】図１Ｂ
2017092800.tif 000002
【特許請求の範囲】
【請求項１】
撮像光学系を介して形成された画像の倍率色収差に関する情報を取得する取得部と、
前記倍率色収差に関する情報に応じて、前記撮像光学系の色にじみに関する光学情報を用いて該色にじみを低減するように前記画像を修正するか否かを判定する判定部と、を有することを特徴とする画像処理装置。
【請求項２】
複数のカラーフィルタを備えた撮像素子から得られた前記画像の少なくとも一つのカラーフィルタに対応する色プレーンの信号レベル、または、該画像から生成される輝度プレーンの信号レベルが、所定の区間において第１の方向に単調増加または単調減少している第１の領域を検出する検出部と、
前記光学情報と前記第１の領域に関する情報とに基づいて、該色にじみが発生している第２の領域を決定する決定部と、
前記倍率色収差に関する情報に応じて、前記色にじみを低減するように前記画像を修正する修正部と、を更に有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記光学情報と前記撮像光学系の倍率色収差に関する情報とを記憶する記憶部を更に有し、
前記修正部は、前記画像から取得された前記倍率色収差に関する情報と前記記憶部に記憶された前記倍率色収差に関する情報との差異が所定の閾値を超えない場合、前記光学情報を用いて前記画像を修正することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記修正部は、前記差異が前記所定の閾値を超えた場合、前記画像の前記第１の領域を修正することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記決定部は、前記差異が前記所定の閾値を超えた場合、前記画像から取得された前記倍率色収差に関する情報に応じて前記光学情報を補正し、補正後の光学情報と前記第１の領域に関する情報とに基づいて、前記第２の領域を決定することを特徴とする請求項３に記載の画像処理装置。
【請求項６】
前記修正部は、前記差異が前記所定の閾値を超えた場合、前記画像を修正しないことを特徴とする請求項３に記載の画像処理装置。
【請求項７】
前記光学情報を記憶する記憶部を更に有し、
前記修正部は、前記画像の中心に対して対称な位置における倍率色収差の差が所定の閾値を超えない場合、前記光学情報を用いて前記画像を修正する、ことを特徴とする請求項２に記載の画像処理装置。
【請求項８】
前記修正部は、前記差が前記所定の閾値を超えた場合、前記画像の前記第１の領域を修正することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記決定部は、前記差が前記所定の閾値を超えた場合、前記画像から取得された前記倍率色収差に関する情報に応じて前記光学情報を補正し、補正後の光学情報と前記第１の領域に関する情報とに基づいて、前記第２の領域を決定することを特徴とする請求項７に記載の画像処理装置。
【請求項１０】
前記修正部は、前記差が前記所定の閾値を超えた場合、前記画像を修正しないことを特徴とする請求項７に記載の画像処理装置。
【請求項１１】
前記記憶部は、撮影条件ごとに前記光学情報を記憶していることを特徴とする請求項３乃至１０のいずれか１項に記載の画像処理装置。
【請求項１２】
前記撮影条件は、前記撮像光学系の焦点距離、被写体距離、および、絞り値の少なくとも一つを含むことを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記光学情報は、前記撮像光学系の前記色にじみが発生する第２の方向に関する情報であることを特徴とする請求項２乃至１２のいずれか１項に記載の画像処理装置。
【請求項１４】
前記決定部は、前記第１の方向と前記第２の方向とを比較することにより前記第２の領域を決定することを特徴とする請求項１３に記載の画像処理装置。
【請求項１５】
前記決定部は、前記第１の方向と前記第２の方向とが互いに一致する場合、前記第１の領域が前記第２の領域であると決定することを特徴とする請求項１４に記載の画像処理装置。
【請求項１６】
前記光学情報は、前記撮像光学系の前記色にじみの強度に関する情報であることを特徴とする請求項２乃至１５のいずれか１項に記載の画像処理装置。
【請求項１７】
前記修正部は、前記色にじみの前記強度に関する情報に基づいて、前記画像を修正する強度を変更することを特徴とする請求項１６に記載の画像処理装置。
【請求項１８】
前記修正部は、前記第１の方向と前記第２の方向とが複数の方向において互いに一致する場合、該複数の方向における色にじみの強度に関する情報を演算して前記画像を修正することを特徴とする請求項１５に記載の画像処理装置。
【請求項１９】
前記修正部は、前記第１の方向と前記第２の方向とが複数の方向において互いに一致する場合、該複数の方向の重心方向における色にじみの強度に関する情報を用いて前記画像を修正することを特徴とする請求項１５に記載の画像処理装置。
【請求項２０】
前記光学情報は、前記撮像光学系の光学設計値に関する情報であることを特徴とする請求項１乃至１９のいずれか１項に記載の画像処理装置。
【請求項２１】
撮像光学系を介して形成された光学像を光電変換して画像を出力する撮像素子と、
前記画像の倍率色収差に関する情報を取得する取得部と、
前記倍率色収差に関する情報に応じて、前記撮像光学系の色にじみに関する光学情報を用いて該色にじみを低減するように前記画像を修正するか否かを判定する判定部と、を有することを特徴とする撮像装置。
【請求項２２】
撮像光学系を介して形成された画像の倍率色収差に関する情報を取得するステップと、
前記倍率色収差に関する情報に応じて、前記撮像光学系の色にじみに関する光学情報を用いて該色にじみを低減するように前記画像を修正するか否かを判定するステップと、を有することを特徴とする画像処理方法。
【請求項２３】
撮像光学系を介して形成された画像の倍率色収差に関する情報を取得するステップと、
前記倍率色収差に関する情報に応じて、前記撮像光学系の色にじみに関する光学情報を用いて該色にじみを低減するように前記画像を修正するか否かを判定するステップと、をコンピュータに実行させるように構成されていることを特徴とする画像処理プログラム。
【請求項２４】
請求項２３に記載の画像処理プログラムを記憶していることを特徴とする記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カラー画像における色にじみを低減する画像処理装置に関する。
【背景技術】
【０００２】
従来から、撮像光学系の色収差により、カラー画像の明るい部分の周囲に本来存在しない色が色にじみとして生じる場合がある。撮像光学系の色収差は、異なる分散を有する材料からなる複数のレンズを組み合わせることにより、ある程度光学的に低減することができる。しかし近年では、撮像装置の小型化が進み、撮像素子に用いられるセンサの高解像度化および撮像光学系の小型化が要求され、撮像光学系の構成により色収差を十分に抑制することは困難である。
【０００３】
色収差は、横色収差（倍率色収差）と縦色収差（軸上色収差）に大別される。横色収差は、結像位置が波長により像面に沿う方向にずれる現象である。縦色収差は、結像位置が波長により光軸に沿う方向にずれる現象である。特許文献１には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各色プレーンに対して幾何変換処理を行うことにより、横色収差を補正する方法が開示されている。このように横収差は、幾何変換処理により補正することができる。一方、縦色収差は、上記の幾何変換処理では補正できない。
【０００４】
特許文献２には、色にじみが主に白とび（予め設定した信号の飽和領域）周辺に生じる特性を利用して、Ｇ（緑）プレーンの飽和している領域を探索し、その周辺の領域の画素を積分して補正量を算出する方法が開示されている。特許文献３には、カラー画像における色プレーンの画素値が単調増加または単調減少している領域を色にじみ発生領域と判定し、色にじみを除去する方法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許第６７２４７０２号
【特許文献２】特開２００７−１３３５９２号公報
【特許文献３】特開２００９−２６８０３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献２に開示されている方法では、白とびしていない領域にも観察者にとって違和感のある色にじみが生じるため、色にじみの補正は不十分である。また特許文献３に開示されている方法によれば、白とびしていない領域の色にじみも補正が可能である。しかしながら、色にじみは、撮像光学系の収差により発生するため、コマ収差などの非対称な収差を有する撮像光学系では、被写体に対して色にじみが発生する方向や発生しない方向が存在する。被写体の色が色にじみと同系色の場合、本来は色にじみが発生しない方向でも被写体の色を色にじみとして誤判定し、被写体の本来の色を除去してしまう可能性がある。また、色にじみに関する誤判定を更に低減するには、撮像光学系の製造ばらつき（製造誤差）を考慮する必要がある。
【０００７】
そこで本発明は、撮像光学系の製造誤差を考慮してカラー画像における色にじみを効果的に低減可能な画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供する。
【課題を解決するための手段】
【０００８】
本発明の一側面としての画像処理装置は、撮像光学系を介して形成された画像の倍率色収差に関する情報を取得する取得部と、前記倍率色収差に関する情報に応じて、前記撮像光学系の色にじみに関する光学情報を用いて該色にじみを低減するように前記画像を修正するか否かを判定する判定部とを有する。
【０００９】
本発明の他の側面としての撮像装置は、撮像光学系を介して形成された光学像を光電変換して画像を出力する撮像素子と、前記画像の倍率色収差に関する情報を取得する取得部と、前記倍率色収差に関する情報に応じて、前記撮像光学系の色にじみに関する光学情報を用いて該色にじみを低減するように前記画像を修正するか否かを判定する判定部とを有する。
【００１０】
本発明の他の側面としての画像処理方法は、撮像光学系を介して形成された画像の倍率色収差に関する情報を取得するステップと、前記倍率色収差に関する情報に応じて、前記撮像光学系の色にじみに関する光学情報を用いて該色にじみを低減するように前記画像を修正するか否かを判定するステップとを有する。
【００１１】
本発明の他の側面としての画像処理プログラムは、撮像光学系を介して形成された画像の倍率色収差に関する情報を取得するステップと、前記倍率色収差に関する情報に応じて、前記撮像光学系の色にじみに関する光学情報を用いて該色にじみを低減するように前記画像を修正するか否かを判定するステップと、をコンピュータに実行させるように構成されている。
【００１２】
本発明の他の側面としての記憶媒体は、前記画像処理プログラムを記憶している。
【００１３】
本発明の他の目的及び特徴は、以下の実施形態において説明される。
【発明の効果】
【００１４】
本発明によれば、撮像光学系の製造誤差を考慮してカラー画像における色にじみを効果的に低減可能な画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供することができる。
【図面の簡単な説明】
【００１５】
【図１Ａ】本実施形態における画像処理装置のブロック図である。
【図１Ｂ】本実施形態における画像処理方法を示すフローチャートである。
【図２】倍率色収差（色ずれ）の説明図である。
【図３】本実施形態における倍率色収差の補正処理を示すフローチャートである。
【図４】本実施形態における倍率色収差の補正データの作成手順の説明図である。
【図５】本実施形態における単調増減判定処理を示すフローチャートである。
【図６】本実施形態において、単調増減判定対象の画素区間が単調増減特性を有する場合の一例を示す図である。
【図７】本実施形態において、単調増減判定対象の画素区間が単調増減特性を有しない場合の一例を示す図である。
【図８】本実施形態において、注目画素を中心とした単調増減判定用の画素区間を示す図である。
【図９】本実施形態において、注目画素を端の点とした単調増減判定用の画素区間を示す図である。
【図１０】本実施形態において、画像内の３×３画素の領域を示す図、および、各画素に対してローパスフィルタを適用した結果を示す図である。
【図１１】本実施形態において、各画素に対してローパスフィルタを適用した場合の入力信号の変化の例を示す図である。
【図１２】本実施形態において、対称な収差を有する撮像光学系の単調増減検出の例を示す図である。
【図１３】本実施形態において、非対称な収差を有する撮像光学系の単調増減検出の例を示す図である。
【図１４】本実施形態における光学情報の説明図である。
【図１５】本実施形態において、光学情報および単調増減検出結果に基づいて色にじみ領域を判定する例を示す図である。
【図１６】本実施形態における２次元の光学情報の説明図である。
【図１７】本実施形態において、光学情報を用いた色にじみ判定処理を示す図である。
【図１８】本実施形態における光学情報の算出方法の説明図である。
【図１９】本実施形態において、青色にじみの典型的な画素値変化を示す図である。
【図２０】本実施形態において、Ｂプレーンの画素値に対する非線形変換の特性図である。
【図２１】本実施形態における色度座標ａｂ面を示す図である。
【図２２】本実施形態において、単調増減判定結果によるＢプレーン内の３×３画素の領域を示す図である。
【図２３】本実施形態における別の画像処理方法を示すフローチャートである。
【図２４】本実施形態における色にじみ補正データ（色にじみに関する光学情報）の補正の説明図である。
【図２５】実施例１における撮像装置の構成図である。
【図２６】実施例２における画像処理システムの構成図である。
【発明を実施するための形態】
【００１６】
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
【００１７】
まず、図１Ａおよび図１Ｂを参照して、本実施形態における画像処理装置および画像処理方法について説明する。ここで説明される画像処理装置および画像処理方法は、後述の各実施例において適宜用いられる。図１Ａは、本実施形態における画像処理装置１００のブロック図である。図１Ｂは、本実施形態における画像処理方法（画像処理プログラム）のフローチャートである。図１Ｂの各ステップは、例えば、記憶部（メモリ）に記憶された画像処理プログラムを実行するコンピュータ（プロセッサ）の指令に基づいて、画像処理装置１００の各手段により実現される。メモリまたはプロセッサは、画像処理装置１００の内部または外部のいずれに設けられていてもよい。
【００１８】
図１Ａに示されるように、画像処理装置１００は、取得部１０１、検出部１０２、修正部１０３、判定部１０４、決定部１０５、記憶部１０６、および、出力部１０７を備えている。まず、図１ＢのステップＳ１０１において、画像処理装置１００（取得部１０１）は、撮影画像を入力画像として取得する。入力画像は、撮像光学系を介して撮像素子で受光することにより得られたデジタル画像（撮影画像）であり、レンズと各種の光学フィルタ類を含む撮像光学系の収差により劣化している。なお撮像光学系は、レンズだけでなく曲率を有するミラー（反射面）を用いて構成することもできる。
【００１９】
入力画像の色成分は、例えばＲＧＢ色成分の情報を有する。色成分としては、これ以外にもＬＣＨで表現される明度、色相、彩度や、ＹＣｂＣｒで表現される輝度、色差信号など一般に用いられている色空間を選択して用いることができる。その他の色空間として、ＸＹＺ、Ｌａｂ、Ｙｕｖ、ＪＣｈを用いることが可能である。また、色温度を用いてもよい。撮影画像は、撮像装置と画像処理装置とを有線または無線で接続して取得することができる。また撮影画像は、記憶媒体を介して取得することもできる。
【００２０】
続いてステップＳ１０２において、画像処理装置１００（取得部１０１）は、撮像光学系の撮影条件（撮影条件情報）を取得する。撮影条件とは、焦点距離、絞り値、および、撮影距離（フォーカスレンズの位置）などの撮像光学系の状態である。撮影条件は、例えばＥｘｉｆ情報のように画像に付加された情報から取得することができる。
【００２１】
続いてステップＳ１０３において、画像処理装置１００（取得部１０１）は、撮影条件に対応する倍率色収差の補正データを取得する。倍率色収差の補正データは、撮像光学系の設計値や製造工程で測定したデータに基づいて、撮像装置や画像処理装置の記憶部（メモリ）が予め保持しているデータ（記憶部に記憶されている倍率色収差に関する情報）である。例えば、撮像装置が補正データを保持しており画像処理装置が補正データを保持していない場合、通信により撮像装置から画像処理装置へ伝送するか、または、補正データを画像データに付加することにより間接的に伝送することができる。
【００２２】
続いてステップＳ１０４において、画像処理装置１００（検出部１０２）は、ステップＳ１０１にて取得した入力画像（撮影画像）から倍率色収差（色ずれ）に関する情報を検出する。そしてステップＳ１０５において、画像処理装置１００（修正部１０３）は、ステップＳ１０４にて検出された倍率色収差に関する情報に基づいて、画像の倍率色収差を補正（修正）する。本実施形態において、この倍率色収差の補正は、ステップＳ１０４にて検出された倍率色収差に関する情報と、ステップＳ１０３にて取得した倍率色収差の補正データとを比較して修正することができる。画像から検出された倍率色収差と、予め保持されている補正データとを比較することにより、誤検出による誤った補正が行われないように制限することができる。なお、ステップＳ１０５の倍率色収差の補正は、後述するステップＳ１１１の色にじみ補正よりも前の工程で行われる。以下、その理由について説明する。
【００２３】
図２は倍率色収差（色ずれ）の説明図であり、図２（ａ）は倍率色収差が残存する入力画像の模擬図、図２（ｂ）は図２（ａ）の水平方向の断面図をそれぞれ示している。図２（ａ）中の横軸はｘ軸（水平方向の軸）、縦軸はｙ軸（垂直方向の軸）をそれぞれ示す。図２（ｂ）中の横軸はｘ軸、縦軸は画素値をそれぞれ示す。なお、ｘ軸とｙ軸の交点は画像の中心である。図２（ａ）、（ｂ）において、実線はＧプレーン、点線はＲプレーン、一点鎖線はＢプレーンをそれぞれ表している。また、図２において、撮像光学系は共軸系であり、倍率色収差以外の収差については補正されており、元の像の強度の形状はＲＧＢにおいて互いに一致し、倍率色収差の分だけずれているものとする。
【００２４】
このような場合、図２に示されるように、低像高側（ｘ軸とｙ軸の交点側）では、ＲプレーンやＧプレーンよりもＢプレーンの画素値が高くなる。このため、低像高側の領域は青くにじんで見える。一方、高像高側では、ＧプレーンやＢプレーンよりもＲプレーンの画素値が高くなる。このため、高像高側の領域は赤くにじんで見える。このような状態で色にじみ補正を行うと、図２に示されるように、倍率色収差で各色のプレーンがずれているだけの状態であっても色にじみが発生しているとして処理されるため、正しく補正することができず、本来の色に戻すことができない可能性がある。
【００２５】
例えば、図２のような場合、ＲＧＢの形状が揃うように色にじみ補正をしようとすると、ＲＧＢが重なっている部分は内側の一部であるため、元の像の形状よりもエッジ部が削られてしまうということある。または、エッジ部が削れないようＧプレーンに合わせようとすると、低像高側ではＲプレーンの画素値、高像高側ではＢプレーンの画素値がそれぞれ低くなり、色抜けが発生するという問題も生じうる。そこで本実施形態では、先に倍率色収差を補正してから後述の色にじみ補正処理を行うことにより、このような弊害を発生させることなく、高精度に撮像光学系により発生する被写体の色にじみを適切に補正する。
【００２６】
ここで、図３を参照して、本実施形態における倍率色収差の補正処理（図１ＢのステップＳ１０４、Ｓ１０５）について説明する。図３は、倍率色収差の補正処理を示すフローチャートである。
【００２７】
まず、ステップＳ２０１において、画像処理装置１００（取得部１０１）は、撮影画像を入力画像として取得する。続いてステップＳ２０２において、画像処理装置１００（検出部１０２）は、倍率色収差による色ずれが顕著に現れるエッジを画像（撮影画像）から検出する。エッジの検出には、Ｙ（輝度）プレーンが用いられるが、これに限定されるものではない。ここで検出されるエッジは、光学中心からの動径方向に大きく画素値の変化するエッジに限定することにより、高精度な色ずれ量の取得が可能となる。また、Ｙプレーンにおいて、倍率色収差による色ずれは、一つに混じり合って現れる。このため、画素値が単調増加または単調減少が複数画素で続くような、ある程度幅のあるエッジを対象とすることが好ましい。
【００２８】
続いてステップＳ２０３において、画像処理装置１００（取得部１０１）は、ステップＳ２０２にて検出された各エッジにおける色ずれ量を取得する。色ずれの方向として、光学中心と各エッジの位置関係により、上／下方向、左／右方向、右斜め上／左斜め下方向、左斜め上／右斜め下方向のいずれかを適用することにより、補正処理の簡略化が可能である。そして、各エッジにおける色ずれ量の取得には、色成分間の相関を用いる。例えば、色成分間の差分絶対値の和を判定して色ずれ量を取得することができる。Ｇプレーンに対しＲプレーン（またはＢプレーン）を色ずれ方向に移動させながら、検出されたエッジ付近の画素において、色成分間の差分絶対値和が最小となる場所を探索する。ここで検出された差分絶対値和が最小となる位置から、Ｇプレーンに対するＲプレーン（またはＢプレーン）の色ずれ量を判定することが可能である。ステップＳ２０３にて取得された色ずれ量は、例えば、Ｇプレーンに対してＲプレーン（またはＢプレーン）が光学中心方向へずれている場合に負の値とし、Ｇプレーンに対しＲプレーン（またはＢプレーン）が光学中心とは逆方向へずれている場合に正の値とする。
【００２９】
続いてステップＳ２０４において、画像処理装置１００（修正部１０３）は、ステップＳ２０２にて検出された各エッジの像高と、ステップＳ２０３にて取得した各エッジの色ずれ量とに基づいて、像高と色ずれとの関係を求めて補正データを作成する。ここで像高とは、光学中心に相当する画素（以降、単に「光学中心」という）からの距離である。以下、図４を参照して、補正データの作成手順について具体的に説明する。図４は本実施形態における倍率色収差の補正データの作成手順の説明図であり、図４（ａ）は画像を像高ごとに領域ｈ１〜ｈ８に分割した図、図４（ｂ）は像高と色ずれ率との関係をそれぞれ示している。
【００３０】
まず、図３のステップＳ２０２にて検出されたエッジの像高をＬ、ステップＳ２０３にて取得された色ずれ量をＤとすると、像高に対する色ずれ率Ｍは、Ｍ＝Ｌ／（Ｌ＋Ｄ）のように表される。続いて、図４（ａ）に示されるように、画像を像高ごとに８つの領域ｈ１〜ｈ８に分割し、エッジが属する領域を選定する。続いて、画像内で検出された複数のエッジのそれぞれに関して、色ずれ率Ｍの算出およびエッジがぞくする領域の選定を行う。そして、像高に応じて分割した８つの領域ごとに色ずれ率Ｍを集計し、領域ごとに色ずれ率Ｍの平均値を求め、各領域の色ずれ率を決定する。
【００３１】
続いて、図４（ｂ）に示されるように、像高と色ずれ率とを用いて、像高と色ずれ率との関係を表す近似曲線として高次の多項近似式Ｆ（Ｌ）を算出し、これを補正データとする。図４（ｂ）は、三次の多項式により補正データを算出した例であるが、これに限定されるものではない。なお、エッジの検出および色ずれ量の取得は、画面内の全エッジに対して行ってもよい。ただし、像高に応じて分割した８つの領域ごとに、所定の閾値以上の数の色ずれ率が集計された段階でエッジ検出と色ずれ量取得を終了するなど、信頼度を保ちつつ処理の効率化を図ることが可能である。また、像高ごとに分割した８つの領域のうち、該当するエッジが見つかった領域のみを高次の多項近似式算出に使用することにより、該当するエッジが見つからない領域がある場合でも補正データの作成が可能となる。
【００３２】
続いてステップＳ２０５において、画像処理装置１００（修正部１０３）は、ステップＳ２０４にて作成された補正データを用いて、画像の色ずれを補正する。まず、補正対象となるプレーン（Ｒプレーン、Ｂプレーン）の画素（Ｘ，Ｙ）において、Ｍ＝Ｆ（Ｌ）の関係を用いて、画素（Ｘ，Ｙ）の像高Ｌから色ずれ率Ｍを求める。なお、光学中心の位置が（０，０）の座標系とする。
【００３３】
続いて、画像処理装置１００は、Ｘ１＝Ｍ×Ｘ、Ｙ１＝Ｍ×Ｙの関係を用いて、色ずれ補正により生成する画素の座標（Ｘ１，Ｙ１）を求める。補正対象となるプレーンにおいて、座標（Ｘ１，Ｙ１）に相当する画素値を、一般的な補間処理により生成し、画素（Ｘ，Ｙ）の画素値とする。これらを全画素について行うことにより色ずれ補正を行う。そして、ステップＳ２０６において、画像処理装置１００は、補正画像を出力する。
【００３４】
次に、図１に戻り、ステップＳ１０６において、画像処理装置１００（判定部１０４）は、製造誤差判定を行う。本実施形態において、画像処理装置１００は、ステップＳ１０３にて取得した倍率色収差の補正データと、ステップＳ１０４（Ｓ２０４）にて作成した補正データとを比較して、撮像光学系の製造誤差（の程度）を判定する。ここで、ステップＳ１０３にて取得した倍率色収差の補正データを第１の補正データ、ステップＳ２０４にて作成した補正データを第２の補正データと呼ぶ。第１の補正データは、撮像光学系の設計値または製造工程で測定したデータ（撮像光学系の設計値に基づく倍率色収差に関する情報、すなわち記憶部に記憶された倍率色収差に関する情報）である。一方、第２の補正データは、撮影時に発生した倍率色収差（撮影画像から検出された倍率色収差）の補正データ（画像の倍率色収差に関する情報）である。
【００３５】
第１の補正データが撮像光学系の設計値に基づいて作成されており、第１の補正データと第２の補正データとが互いに一致する場合、撮像光学系の製造誤差は発生していない。逆に、第１の補正データと第２の補正データとが互いに一致しない場合、撮像光学系の製造誤差が発生している。本実施形態において、画像処理装置１００（判定部１０４）は、第１の補正データと第２の補正データとが互いに一致するか否かを、第１の補正データと第２の補正データとの差が所定の範囲内であるか否かにより判定する。
【００３６】
一方、第１の補正データが撮像光学系の製造工程での測定に基づいて作成されており、第１の補正データと第２の補正データとが互いに一致する場合、撮影時の誤差が製造工程での測定時と変化していないということになる。逆に、第１の補正データと第２の補正データとが互いに一致しない場合、製造工程での測定後に誤差が発生したということになる。このように画像処理装置１００（判定部１０４）は、製造工程での測定後に誤差が発生していない場合、製造誤差がないと判定する。一方、画像処理装置１００は、製造工程での測定後に誤差が発生した場合、製造誤差があると判定する。また、製造誤差は広義の誤差を意味し、例えば、防振レンズによる収差変動、撮像装置の姿勢差による収差変動、環境温度による収差変動などの撮影時の状態に依存する誤差を含む。
【００３７】
そして、画像処理装置１００（記憶部１０６）は、ステップＳ１０６の製造誤差判定の結果を記憶する。例えば、製造誤差の有無の判定フラグとして、製造誤差がある場合には「１」、製造誤差がない場合には「０」を保持する。なお、ステップＳ１０６の製造誤差判定は、ステップＳ１０３にて取得した倍率色収差の補正データと、ステップＳ１０４にて作成した補正データとを比較して行われるため、ステップＳ１０５の倍率色収差補正の前に行ってもよい。
【００３８】
続いてステップＳ１０７において、画像処理装置１００（検出部１０２）は、カラー画像を構成する複数の色プレーンのうちいずれかの色プレーンの画素値（信号レベル）が単調増加または単調減少している領域を検出する。そして画像処理装置１００（検出部１０２）は、検出した領域を色にじみ発生領域と仮判定する（単調増減検出工程）。単調増減検出工程において色にじみ発生領域を判定する方法としては、いくつかの方法が考えられる。本実施形態では、一定の画素区間（所定の区間）の色にじみの画素値の変化特性に基づいて判定を行う。
【００３９】
色にじみは、結像位置が波長により光軸に沿う方向にずれることで発生するため、例えば青色のにじみの場合、青色プレーン（Ｂプレーン）の焦点が合わない（ピンボケしている）ことになる。ピンボケによる色にじみは、一定の画素区間に渡って存在し、その際の色にじみの画素値変化は、画像のハイライト部からシャドウ部にかけて緩やかに減少する特性を有する。従って、一定の画素区間の色にじみの画素値変化が単調増加または単調減少の特性を有する場合、色にじみが発生している可能性があるため、色にじみ発生領域として仮判定する。
【００４０】
このように本実施形態において、撮像素子は、複数のカラーフィルタを備えている。そして検出部１０２は、撮像素子から得られた画像の少なくとも一つのカラーフィルタに対応する色プレーンの信号レベル（画素値）が、所定の区間においていずれかの方向（第１の方向）に単調増加または単調減少している領域（第１の領域）を検出する。ただし本実施形態はこれに限定されるものではなく、色プレーンの信号レベルに代えて、例えば、撮像素子から得られた画像から生成される輝度プレーン（Ｙプレーン）の信号レベルが単調増加または単調減少している領域を検出するように構成してもよい。
【００４１】
ところで、実際には、撮像光学系がコマ収差などの光軸（中心軸）に関して非対称（回転非対称）な収差を有する場合、撮像光学系により発生する色にじみは、被写体に対して発生する方向と発生しない方向が存在する。このため、単調増減のみから色にじみ発生領域を判定すると、被写体が色にじみと同系色である場合、被写体の色を色にじみと誤判定する可能性がある。従って、単調増減検出のみでは色にじみ発生領域を正しく判定することができない。
【００４２】
本実施形態において、単調増加または単調減少を検出する領域は、カラー画像の注目画素を中心とした水平方向、垂直方向、または、斜め方向の画素区間、注目画素を端の点とした水平方向、垂直方向、または、斜め方向の画素区間、のいずれかを含む。
【００４３】
単調増減の検出は、まず、色プレーンの画素値傾斜を計算することにより行われる。入力画像が、例えば、Ｇプレーン、Ｂプレーン、Ｒプレーンの３色の色プレーンで構成されている場合、Ｂプレーンを色にじみ除去対象とし、基準プレーンとしてＧプレーンを用いる。Ｂプレーン、Ｇプレーンに対するそれぞれの輝度傾斜Ｂｌｅａ、Ｇｌｅａは、以下の式（１）で表されるように算出される。
【００４４】
【数１】
2017092800.tif 000003
【００４５】
式（１）において、Ｇ（ｘ＋１，ｙ）、Ｂ（ｘ＋１，ｙ）は、それぞれ、Ｇプレーン、Ｂプレーンにおける注目画素の右隣の画素値である。Ｇ（ｘ−１，ｙ）、Ｂ（ｘ−１，ｙ）は、それぞれ、Ｇプレーン、Ｂプレーンにおける注目画素の左隣の画素値である。Ｇ（ｘ，ｙ＋１）、Ｂ（ｘ，ｙ＋１）は、それぞれ、Ｇプレーン、Ｂプレーンにおける注目画素の下隣の画素値である。Ｇ（ｘ，ｙ−１）、Ｂ（ｘ，ｙ−１）は、それぞれ、Ｇプレーン、Ｂプレーンにおける注目画素の上隣の画素値である。本実施形態は、３色の色プレーンで説明するが、画像を構成する色プレーン数により任意の色プレーンで処理を行うことが可能である。
【００４６】
次に、図５乃至図７を参照して、単調増減検出工程の色にじみ発生領域の判定方法について説明する。図５は、本実施形態における単調増減判定処理（単調増減検出工程：ステップＳ１０７）を示すフローチャートである。図５の各ステップは、主に、画像処理装置１００（検出部１０２）により実行される。まずステップＳ１５２０において、画像処理装置１００は、ＩＳＯ感度が高いか否か（ＩＳＯ感度が所定の感度よりも高いか否か）を判定する。ＩＳＯ感度が高い場合、ステップＳ１５２１に移行する。一方、ＩＳＯ感度が高くない場合、ステップＳ１５２２に移行する。
【００４７】
ステップＳ１５２２において、画像処理装置１００は、入力画像の注目画素を中心とした時の縦・横・斜めの画素区間（所定の区間）に対して、入力信号の画素値変化を解析する。そしてステップＳ１５２３において、画像処理装置１００は、上記画素区間の入力信号の画素値変化が単調増減の特性を有するか否かを判定（検出）する。その判定の結果、上記の画素区間の入力信号の画素値変化が単調増減の特性を有さない場合、ステップＳ１５２４において、画像処理装置１００は、注目画素を端の点とした時の縦・横・斜めの画素区間に対して入力信号の画素値変化を解析する。そしてステップＳ１５２５において、画像処理装置１００は、上記の画素区間の入力信号の画素値変化が単調増減の特性を有するか否かを判定する。
【００４８】
図６は、単調増減判定対象の画素区間が単調増減特性を有する場合の一例を示す図であり、縦軸は画素値、横軸は距離をそれぞれ示している。図７は、単調増減判定対象の画素区間が単調増減特性を有しない場合の一例を示す図であり、縦軸は画素値、横軸は距離をそれぞれ示している。図６および図７に示されるような画素値変化を有する入力信号に対して、画像処理装置１００は単調増減判定を行う。図６および図７のそれぞれ示される白い四角は注目画素である。
【００４９】
図６に示されるように、入力信号の画素値変化が単調増減の特性を有する画像は、単調増減判定を行う画素区間内において単調増減の特性を有する。このためステップＳ１５２２またはＳ１５２４の解析の結果、ステップＳ１５２３またはＳ１５２５において、画像処理装置１００は、画素区間内において単調増減の特性を有すると判定する。一方、図７に示されるような入力信号の画素値変化の特性を有する画像に対しては、単調増減の特性を有さないと判定する。
【００５０】
上記の画素区間の入力信号の画素値変化が単調増減の特性（単調増加の特性または単調減少の特性）を有している場合、ステップＳ１５２７において、画像処理装置１００は単調増減フラグを立てる。一方、上記の画素区間の入力信号の画素値変化が単調増減の特性（単調増加の特性または単調減少の特性）を有していない場合、ステップＳ１５２６において、画像処理装置１００は単調増減フラグを立てない。
【００５１】
上述した単調増減判定を、Ｂプレーンの各画素に対して適用する。その結果、各画素において単調増減フラグが立っていれば「１」、単調増減フラグが立っていなければ「０」をそれぞれ対応させ、単調増減判定結果プレーンとして生成して保持し、後述の色にじみ判定（図１ＢのステップＳ１１０）で利用する。単調増減判定結果プレーンの利用方法の詳細については後述する。
【００５２】
次に、図８および図９を参照して、注目画素に対する単調増減判定を行う画素区間の設定方法について説明する。図８（ａ）〜（ｄ）は、注目画素を中心とした単調増減判定用の画素区間を示す図である。図９（ａ）〜（ｈ）は、注目画素を端の点とした単調増減判定用の画素区間を示す図である。注目画素を中心とした画素区間の設定方法および注目画素を端の点とした画素区間の設定方法のうち、注目画素を中心とした画素区間の設定方法としては、図８（ａ）、（ｂ）のように注目画素を中心として水平方向および垂直方向に設定する方法が考えられる。
【００５３】
また、注目画素を中心とした画素区間の設定方法としては、図８（ｃ）、（ｄ）に示されるように注目画素を中心として斜め方向に設定する方法が考えられる。すなわち、斜め方向についても水平方向または垂直方向と同程度の距離の画素区間を設定すれば、等方性を持たせることができる。この場合、斜め方向の角度は、図８（ｃ）、（ｄ）に示されるように水平方向または垂直方向に対して４５度の設定に限定される。ただし本実施形態はこれに限定されるものではなく、４５度以外の任意の角度を設定することができる。その際の画素区間の距離ｄは、以下の式（２）を用いて算出される。
【００５４】
【数２】
2017092800.tif 000004
【００５５】
式（２）において、ｘは水平方向、θは水平からの角度をそれぞれ示す。
【００５６】
一方、画像におけるハイライト部周辺の色にじみやシャドウ部周辺の色にじみは、それぞれ、飽和やノイズの影響を受けることにより、色にじみが存在するにも関わらず、判定対象の画素区間内では単調増減の特性を持たず正しく判定できない場合がある。その場合、図９に示されるように、注目画素を端の点として画素区間を設定する方法が効果的である。以上のような方法で単調増減判定を行い、図８および図９に示される画素区間のいずれか１つでも単調増減の特性を有する画素区間が存在する場合、注目画素は単調増減の特性を有する画素であると判定される。
【００５７】
本実施形態では、単調増減判定を行う対象として入力信号の画素値を利用しているが、輝度傾斜を利用しても構わない。この場合、例えば、一定の画素区間において輝度傾斜の変化が１回だけ反転する特性を有する場合が色にじみであると判定する。画素区間の画素数の適正値は、撮像装置のある撮影条件にて発生する色にじみのうち、最小の色にじみのにじみ幅に合わせるのが効果的である。
【００５８】
色にじみのにじみ幅は、撮像装置の撮影条件（絞り値、焦点距離、フォーカシング精度、画像面内におけるフォーカス位置、撮像素子上の座標など）により様々である。このため、画素区間の画素数の適正値を、各種の撮影条件により発生する様々な色にじみの最小幅の色にじみに合わせることで、最小幅の色にじみを検出することが可能となる。最大幅の色にじみに関しては、最小幅の色にじみ用に合わせた画素区間を利用しても検出は可能である。
【００５９】
以上のように単調増減判定を行うことにより、検出したい色にじみを抽出することが可能となる。ただし、高いＩＳＯ感度などの撮影条件によっては、入力信号にノイズが含まれることによりＳ／Ｎ比が低下し、その結果、色にじみが単調増減の特性を有しなくなることが考えられる。その場合、図５のステップＳ１５２１において、入力信号に対してデジタルフィルタによるフィルタリング処理を行うことが有効である。本実施形態では、デジタルフィルタをローパスフィルタとした場合について説明するが、これに限定されるものではない。
【００６０】
入力信号にローパスフィルタを適用する方法としては、いくつかの方法が考えられる。例えば、注目画素の重み係数を隣接する画素の２倍の係数とする［１  ２  １］のローパスフィルタを適用する場合について説明する。図１０（ａ）は、画像内の３×３画素の領域を示す図である。図７に示されるように画像内の３×３画素のある領域においてｐを注目画素としたとき、まず、［１  ２  １］のローパスフィルタを水平方向に適用する。このとき、注目画素Ｐ’は以下の式（３）のように表される。
【００６１】
【数３】
2017092800.tif 000005
【００６２】
隣接する画素も同様に計算すると、図１０（ｂ）に示されるようになる。図１０（ｂ）は、画像内の３×３画素の領域の各画素に対してローパスフィルタを適用した結果を示す図である。続いて、［１  ２  １］のローパスフィルタを垂直方向に適用すると、注目画素Ｐ’’は以下の式（４）のように表される。
【００６３】
【数４】
2017092800.tif 000006
【００６４】
図１１を参照して、ローパスフィルタを適用したときの入力信号の変化の一例について説明する。図１１は、各画素に対してローパスフィルタを適用した場合の入力信号の変化の例を示す図である。図１１において、横軸は距離（画像上の断面、すなわち注目画素からの画素区間）、縦軸はプレーンの画素値をそれぞれ示している。
【００６５】
図１１中の実線はローパスフィルタを適用しない場合、細かい破線は［１  ２  １］のローパスフィルタを適用した場合、粗い破線は［１  ４  ６  ４  １］のローパスフィルタを適用した場合をそれぞれ示している。ここで、［１  ４  ６  ４  １］は、注目画素と隣接する画素と更にもう１画素分離れた画素にも重み係数をかけてローパスフィルタを適用することを意味する。このようにローパスフィルタを適用して入力信号を滑らかにすることで、色にじみが本来持つ単調増減の特性を際立たせることが可能となる。なお本実施形態では、ローパスフィルタを水平方向、垂直方向の順番で適用しているが、これに限定されるものではない。ローパスフィルタを逆の順番、すなわち垂直方向、水平方向の順番で適用しても構わない。また、２次元のローパスフィルタ係数を算出してローパスフィルタを水平方向および垂直方向に同時に適用することもできる。
【００６６】
続いて、図１のステップＳ１０８において、ステップＳ１０６の製造誤差判定の結果に応じて、以降の処理を分岐する。まず、ステップＳ１０６にて製造誤差がないと判定された場合について説明する。このときステップＳ１０９へ進み、画像処理装置１００（取得部１０１）は、ステップＳ１０２にて取得した撮影条件に応じた色にじみ補正データ（撮像光学系の色にじみに関する光学情報）を取得する。
【００６７】
続いてステップＳ１１０において、画像処理装置１００（決定部１０５）は、ステップＳ１０７の単調増減検出結果とステップＳ１０９にて取得した色にじみ補正データとを比較して、色にじみ補正を行うか否かを判定する。すなわち画像処理装置１００（決定部１０５）は、ステップＳ１０７にて検出部１０２により色にじみ発生領域と仮判定された領域（第１の領域）が、色にじみ発生領域（第２の領域）であるか否かを判定する（色にじみ判定工程）。換言すると、画像処理装置１００（決定部１０５）は、撮像光学系の色にじみに関する光学情報と、第１の領域に関する情報とに基づいて、色にじみが発生している領域（第２の領域）を決定する。ここで光学情報は、撮像光学系の光学設計値に関する情報である。
【００６８】
本実施形態において、画像処理装置１００（決定部１０５）は、第１の方向（信号レベルが単調増加または単調減少する方向）と第２の方向（撮像光学系の色にじみが発生する方向）とを比較することにより第２の領域を決定する。決定部１０５は、例えば第１の方向と第２の方向とが互いに一致する場合（または、略一致と評価される所定の範囲にある場合）、第１の領域（ステップＳ１０７にて検出された領域）が第２の領域（色にじみが発生している領域）であると決定する。
【００６９】
ここで、図１２および図１３を参照して、単調増減検出工程のみから色にじみ領域を判定した場合の弊害について説明する。デジタルカメラなどの撮像装置により被写体を撮像して得られた画像には、撮像光学系の球面収差、コマ収差、像面湾曲、非点収差などに起因する画像劣化成分としてのぼけ成分が含まれる。このようなぼけ成分は、無収差で回折の影響もない場合に被写体の一点から出た光束が撮像面上で再度一点に集まるべきものが、ある広がりをもって像を結ぶことで発生する。
【００７０】
ぼけ成分は、光学的には、点像分布関数（Ｐｏｉｎｔ  Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ：ＰＳＦ）により表され、ピントのずれによるぼけとは異なる。また、カラー画像での色にじみも、光学系の軸上色収差、色の球面収差、色のコマ収差が原因であるものに関しては、光の波長ごとのぼけ方の相違ということができる。さらに、横方向の色ずれも、光学系の倍率色収差が原因であるものに関しては、光の波長ごとの撮像倍率の相違による位置ずれまたは位相ずれということができる。
【００７１】
点像分布関数（ＰＳＦ）をフーリエ変換して得られる光学伝達関数（Ｏｐｔｉｃａｌ  ＴｒａｎｓｆｅｒＦｕｎｃｔｉｏｎ：ＯＴＦ）は、収差の周波数成分情報であり、複素数で表される。光学伝達関数（ＯＴＦ）の絶対値、すなわち振幅成分を、ＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）といい、位相成分をＰＴＦ（Ｐｈａｓｅ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）という。ＭＴＦおよびＰＴＦはそれぞれ、収差による画像劣化の振幅成分および位相成分の周波数特性である。ここでは、位相成分を位相角として、以下の式（５）のように表される。
【００７２】
ＰＴＦ＝ｔａｎ−１（Ｉｍ（ＯＴＦ）／Ｒｅ（ＯＴＦ））  …  （５）
式（５）において、Ｒｅ（ＯＴＦ）およびＩｍ（ＯＴＦ）はそれぞれ、ＯＴＦの実部および虚部である。
【００７３】
このように、光学系の光学伝達関数（ＯＴＦ）は、画像の振幅成分と位相成分に対して劣化を与えるため、劣化画像は被写体の各点がコマ収差のように光軸に関して非対称にぼけた状態になる。
【００７４】
図１２は、被写体の各点が球面収差のような光軸に関して対称（回転対称）にぼける光学特性の状態で撮影された画像に対し、単調増減検出を行う場合を説明した図である。図１２（ａ）は被写体の画素値断面、図１２（ｂ）は撮像光学系のＰＳＦ断面、図１２（ｃ）は撮像光学系で撮影された被写体の画素値断面を示している。なお、図１２はＲプレーンまたはＢプレーンを想定している。図１２（ｂ）に示されるように、撮像光学系が光軸に関して対称（回転対称）な収差特性を有しＰＳＦが対称である場合、被写体の両側のエッジ断面は、両方とも劣化した画像として図１２（ｃ）の実線のように撮影される。図１２（ｃ）では、比較のため、図１２（ａ）に示される被写体の輝度断面を点線で示している。図１２（ｃ）の白い四角を注目画素として、単調増減判定を行うとすると、両エッジとも単調増減領域として判定される。また、色のにじみも実際に発生するため、色にじみ発生領域の判定としては正しく判定される。
【００７５】
図１３は、被写体の各点がコマ収差のような光軸に関して非対称（回転非対称）にぼける光学特性の状態で撮影された画像に対し、単調増減検出を行う場合を説明した図である。図１３（ａ）は被写体の画素値断面、図１３（ｂ）は撮像光学系のＰＳＦ断面、図１３（ｃ）は撮像光学系で撮影された被写体の画素値断面である。図１３（ｂ）に示されるように、撮像光学系が光軸に関して非対称な収差特性を有しＰＳＦが非対称な場合、特に片側のエッジのみ大きく劣化する光学特性では、被写体のエッジ断面は、片側のみ大きく劣化した画像として図１３（ｃ）の実線のように撮影される。このような撮影画像に対し単調増減検出を行うと、両エッジとも単調増減領域として判定されるが、実際に撮像光学系により発生する色にじみは片側のみであるため、被写体本来の色を色にじみとして判定してしまう弊害が発生する。単調増減のみで色にじみ補正を行うと被写体本来の色を除去することになり、不自然な画像となる場合がある。これを回避しようとすると補正が弱くなってしまう。
【００７６】
そこで本実施形態において、画像処理装置１００は、図１２（ｂ）や図１３（ｂ）に示されるような撮像光学系の色にじみ発生方向に関する光学情報を保持または取得する。そして画像処理装置１００は、単調増減検出の単調増減方向と色にじみ発生方向が一致した場合、色にじみ発生領域である判定する。ここで一致とは、厳密に一致する場合だけでなく実質的に一致である場合も含む意味である。
【００７７】
ここで図１４を参照して、光学情報について説明する。図１４は、本実施形態における光学情報の説明図であり、撮像光学系のＰＳＦ断面および光学情報を示している。図１４（ａ）は、図１２（ｂ）に示される、撮像光学系のＰＳＦが光軸に関して対称な場合の光学情報である。図１４（ｂ）は、図１３（ｂ）に示される、撮像光学系のＰＳＦが光軸に関して非対称な場合の光学情報である。例えば、撮像光学系の収差により色にじみが発生する方向には１を持ち、発生しない場合は０を持つ。図１４（ａ）は、色にじみが対称に両側で発生するため光学情報は両側とも１の値を持つ。図１４（ｂ）では、色にじみが非対称に発生しており、左側エッジでは色にじみが発生しないため０、右側エッジでは色にじみが発生するため１の値を持つ。
【００７８】
図１５は、光学情報および単調増減検出結果に基づいて色にじみ領域を判定する例を示す図である。図１５（ａ）に示されるように、単調増減検出により、例えば、単調減少が検出された場合、その単調減少方向の光学情報を参照し、１を有していれば色にじみ補正領域と判定する。また、図１５（ｂ）に示されるように、単調減少方向の光学情報を参照し、０を有していれば被写体の色であると判定する。このように、撮像光学系の収差として色収差が発生する方向と、発生しない方向の情報を有することで、被写体の色と色にじみを正しく判定することができるため、色にじみ補正の精度を向上させることが可能となる。なお、色にじみの発生方向を１、発生しない方向を０としたが、発生の方向がわかればよく、０と１である必要はない。撮像光学系の収差は、像高により変化するため、複数の像高での光学情報を有しておくことで、高精度に補正を行うことが可能となる。補正値を持たない像高では、近傍の補正値より補間生成してもよい。また、撮像光学系の収差は、撮影条件（撮像光学系の焦点距離、被写体距離（撮影距離）、絞り値（Ｆｎｏ））でも変化するため、撮影条件ごとに光学情報を記憶または取得することにより、高精度に補正を行うことが可能となる。
【００７９】
図１４および図１５では、光学情報を１次元の情報として説明したが、撮影画像が２次元配列のデータの場合、光学情報も２次元のデータとして保持してもよい。図１６は、光学情報が２次元である場合の説明図である。図１６（ｃ）は、光学情報を画面上下左右、斜め４５度、１３５度の８方向のデータとして保持する場合の例を示している。図１６では、撮像光学系の色のコマ収差が画面上方向に発生しており、その発生方向に１の光学情報を保持する。色にじみの発生しない方向には０を保持する。単調増減検出を前記８方向で行い、単調減少が検出された方向に光学情報の１が保持されていた場合に色にじみと判定される。単調減少が検出されても、検出された方向に光学情報の１が保持されていなければ被写体の色と判定を行う。
【００８０】
以上のように、画像処理装置１００は、撮像光学系の色にじみが発生する方向に関する光学情報を保持または取得する。好ましくは、画像処理装置１００は、光学情報を記憶する記憶部１０６を有する。より好ましくは、記憶部１０６は、撮影条件ごとに光学情報を記憶する。撮影条件は、撮像光学系の焦点距離、被写体距離（撮影距離）、および、絞り値の少なくとも一つを含む。なお、記憶部１０６は、画像処理装置１００の外部に設けられていてもよい。例えば、後述の記憶部２０８に各光学情報を記憶させておくことができる。
【００８１】
そして、画像処理装置１００は、単調増減検出時に検出方向と光学情報とを参照することにより、高精度に色にじみ領域を判定することが可能となる。なお本実施形態では、単調増減判定を単調減少方向で説明したが、単調増加方向を使用して色にじみ判定を行ってもよい。また、単調増減判定と光学情報の補正値を８方向で説明したが、８方向に限定されるものではない。精度を向上させるため、検出方向の数を増加させてもよい。または、光学情報に関するデータ量を削減するため、検出方向の数を減少させてもよい。
【００８２】
また画像処理装置１００は、光学情報として、色にじみ発生方向に加え、色にじみの強度に関する情報（色にじみの強度情報）を保持または取得するように構成してもよい。この場合、更に高精度に補正を行うことが可能となる。図１６（ｂ）に示されるように、一般に撮像光学系の収差による色にじみの発生量は方向により異なる。そこで、図１６（ｄ）に示されるように、色にじみの発生する方向に色にじみの発生量に関する色にじみの強度情報を追加してもよい。
【００８３】
続いて、図１７を参照して、色にじみ強度情報を用いた場合の色にじみ判定について説明する。図１７は、光学情報を用いた色にじみ判定処理を示す図であり、光学情報に色にじみ発生方向のみを持つ場合の例を示している。図中の四角で囲まれた注目画素１について色にじみ発生領域の判定を行う場合、まず、注目画素を中心に上下左右、斜め４５度、斜め１３５度の８方向について単調減少判定を行う。図１７（ａ）の場合、高輝度被写体が注目画素の下側に位置するため、注目画素１の単調減少が検出される方向は、上と右上、左上の３箇所が判定される。その３方向の光学情報は色にじみ発生方向を示す「１」であるため、この注目画素１は色にじみ発生領域と判定される。また、同様に注目画素２についても検出を行うと、単調減少方向は上、右上、右、右下が判定される。しかしながら、光学情報の色にじみ発生方向は、右下に発生しない方向を表す「０」を保持しているため、単調減少と光学情報より、最終的な注目画素２の色にじみ検出方向は、上、右上、右の３方向となる。注目画素１、注目画素２共に色にじみ発生が素と判定されるが、図１６（ｂ）に示されるように、撮像光学系の色にじみ発生量は方向により異なるため、注目画素１と注目画素２では、色にじみの発生量が異なっている。光学情報に強度情報を持たない場合、色にじみ量を判定できないため、このあとの色にじみ補正工程において補正の強さを変えて補正を行うことができない。よって、注目画素１にあわせて色にじみ補正を強くすると注目画素２では過補正となり、注目画素２にあわせて色にじみ補正を弱くすると注目画素１では、補正不足となってしまう。
【００８４】
そこで、図１６（ｄ）のように、光学情報に色にじみの発生方向と、その方向の色にじみ強度情報を追加することが好ましい。図１７（ａ）、（ｂ）は、光学情報に色にじみ強度情報も付加した場合の色にじみ領域の判定方法を示している。図１７（ｂ）の注目画素３では、単調減少判定にて上、左上、右上の３方向が判定されるが、光学情報の色にじみ強度もそれぞれ２、３、２と強い色にじみ強度と検出することができる。図１７（ｃ）の注目画素４においては、上、右上、左下の３方向が判定されるが、その方向の光学情報の色にじみ強度はそれぞれ３、２、１と注目画素３に対して弱い色にじみ強度が検出される。よって、例えば、検出された方向の色にじみ強度の平均値により、この後の色にじみ補正処理の補正の強さ（画像を修正する強度）を変更することで、色にじみの発生量が方向で異なる場合でもより正確な補正が可能となる。
【００８５】
注目画素３では色にじみ強度の平均値が約２．３であり、また、注目画素４では色にじみ強度の平均値が２．０となり、この値を使って補正の強さを変えることが可能となる。なお本実施形態では、色にじみ強度の平均値を使用する説明を行ったが、これに限定されるものではない。例えば、色にじみ方向と検出された複数の方向の重心方向の色にじみ強度値を使用して色にじみ補正係数を変えてもよい。注目画素３では重心方向が上となるため色にじみ強度は３、注目画素４では重心方向が右上となるため色にじみ強度は２となり、この値を使って補正の強さを変えることが可能となる。重心方向を採用する場合、例えば上、右上、右、右下の４方向の重心を計算すると、重心方向に最も近い方向は右上、右の２方向となる場合がある。この場合、２方向の平均値、２方向のうち大きい方の色にじみ強度、または、２方向のうち小さいほうの色にじみ強度を用いるなどが考えられる。なお本実施形態において、平均値、重心方向を利用することについて説明したが、光学情報の色にじみ強度情報を任意に演算して色にじみ補正時の補正の強さを変えてもよい。
【００８６】
好ましくは、修正部１０３は、第１の方向（信号レベルが単調増加または単調減少する方向）と第２の方向（色にじみが発生する方向）とが複数の方向において互いに一致する場合、複数の方向における色にじみの強度に関する情報を演算して画像を修正する。より好ましくは、修正部１０３は、第１の方向と第２の方向とが複数の方向において互いに一致する場合、複数の方向の重心方向における色にじみの強度に関する情報または平均値を用いて画像を修正する。
【００８７】
続いて、図１８を参照して、光学情報の算出方法について説明する。図１８は、光学情報の算出方法の説明図であり、光学情報として保持する任意の方向での、撮像光学系のＧプレーンのＰＳＦ断面（実線）とＢプレーンのＰＳＦ断面（点線）を示している。ここでは、Ｇプレーンを基準プレーンとし、Ｂプレーンの色にじみに関して光学情報を算出する方法について説明する。
【００８８】
撮像光学系の色収差により、Ｇプレーン、Ｂプレーンは、それぞれの波長帯での収差により、異なったＰＳＦ形状となる。また、倍率色収差が残存する場合、Ｇプレーン、Ｂプレーンは、それぞれ、ずれた位置に結像するため、それぞれのＰＳＦのピーク位置も図１８（ａ）に示されるように、ずれた位置で算出される。倍率色収差による各色プレーンのずれは、従来から行われている、各色プレーンに対し異なる歪曲を加える幾何学変換により補正することができる。そのため、図１８（ｂ）に示されるように、Ｇプレーン、ＢプレーンのそれぞれのＰＳＦのピーク位置を一致させて、図の斜線部にあたる基準であるＧプレーンとＢプレーンのＰＳＦ面積差を色にじみ強度として採用する方法が考えられる。
【００８９】
図１８（ｂ）では、ピークよりも左側エッジの面積差よりも右側エッジの面積差が大きいため、右側エッジで大きく色にじみが発生することがわかる。この面積が小さければ色にじみは目立たないため、面積が小さい場合を色にじみが発生しない方向とすることができる。また、面積比より、色にじみ強度を決定することが可能となる。以上により、光学情報の色にじみが発生する方向や色にじみ強度を算出できるが、算出方法としてＰＳＦの面積差を使用する方法に限定されるものではない。例えば、図１８（ｂ）において、ＧプレーンとＢプレーンのエッジの傾き差を使用する方法が考えられる。色にじみが発生する場合、エッジの傾きは緩くなる傾向にあるため、傾き差などを利用することにより、光学情報を決定するなどしてもよい。
【００９０】
本実施例では、色にじみ強度を計算する際にピーク値を一致させる方法で説明しているが、ピーク値ではなくＰＳＦの重心が一致をさせて色にじみ強度を算出してもよい。このように本実施形態によれば、光学情報の色にじみ発生方向と、色にじみ強度情報を算出することができる。また、単調増減判定を行う方向や、像高、撮影条件ごとに光学補正値を算出することができる。
【００９１】
図１Ｂに戻り、ステップＳ１１１において、画像処理装置１００（修正部１０３）は、ステップＳ１１０にて判定部１０４により色にじみ領域と判定された領域（第２の領域）に対し、色にじみを補正する処理（画像を修正する処理）を行う（色にじみ補正工程）。すなわち修正部１０３は、色にじみを低減させるように画像を修正する。
【００９２】
図１９は、青色にじみの典型的な画素値変化を示す図である。図１９において、横軸は距離（画像上の断面）であり、縦軸はＢプレーン及びＧプレーンの画素値である。図１９では、左端に飽和輝度を超える高輝度被写体が存在するものとする。そして、本来明るくない高輝度被写体の周囲も、収差やフレアにより、画素値変化の裾が黒レベルに漸近するように拡がる。基準プレーンであるＧプレーンでもにじみは無いわけではなく、ある程度の拡がりが存在する。しかし、それは色にじみ除去対象のＢプレーンに比べると小さい。また、撮像素子は一定の飽和レベル以上の画素値を測定することはできない。このような画素値変化において、色にじみ除去対象のＢプレーンの強度が基準プレーンであるＧプレーンの強度を上回ると、青色にじみとなる。
【００９３】
本実施形態では、画像処理装置１００は、色にじみ除去対象のＢプレーンの画素値変化の傾きによりＢプレーンのにじみ量を推定する。そこで、Ｂプレーンの輝度傾斜Ｂｌｅａの絶対値に係数ｋ１を乗じることにより、以下の式（６）で表されるように第１の推定にじみ量Ｅ１とする。
【００９４】
Ｅ１＝ｋ１｜Ｂｌｅａ｜  …  （６）
式（６）において、ｋ１は正値である。ただし、Ｂプレーンが飽和している領域Ａ１では画素値傾斜は０になってしまい飽和前の輝度傾斜が得られない。
【００９５】
そこで、Ｂプレーンが飽和している領域Ａ１に対する推定にじみ量Ｅ２を、以下の式（７）に示されるように、Ｇプレーンの画素値変化の輝度傾斜Ｇｌｅａに基づいて推定する。
【００９６】
Ｅ２＝ｋ２｜Ｇｌｅａ｜  …  （７）
式（７）において、ｋ２は正値である。
【００９７】
次に、Ｂプレーンの画素値に対する非線形変換を行い、飽和度Ｓを生成する。この非線形変換は、Ｂプレーンが飽和しているか否かを示すものであり、Ｂプレーンの強度が飽和している領域では飽和度Ｓが１となり、Ｂプレーンの強度が小さい領域では飽和度Ｓは０となる。飽和度Ｓは０、１の２値でもよいが、図２０に示されるように、飽和度Ｓは０〜１にかけて連続的に変化する値としてもよい。図２０は、Ｂプレーンの画素値に対する非線形変換の特性図である。
【００９８】
そして、上記の生成した飽和度Ｓにより、上記のように算出した推定にじみ量Ｅ１または推定にじみ量Ｅ２を選択する。すなわち、飽和度Ｓが０、１の２値であれば新たな推定にじみ量Ｅを、
Ｅ＝Ｅ１  （Ｓ＝０の場合）
Ｅ＝Ｅ２  （Ｓ＝１の場合）
とする。また、飽和度Ｓが０〜１にかけて連続的に変化する値であれば、新たな推定にじみ量Ｅを、
Ｅ＝（１−Ｓ）Ｅ１＋ＳＥ２
とする。
【００９９】
次に、上記の推定にじみ量Ｅを修正し、実際に除去する量Ｅ’を決定する。推定にじみ量（除去量）は、一定のモデルに沿ったものであり、実際のにじみ量とは必ずしも一致しない。例えば、同じＢプレーンに検出される光であっても、波長４５０ｎｍの光と波長４００ｎｍの光ではにじみ方が変化するが、ステップＳ１１０（色にじみ判定工程）では、これを考慮していない。推定にじみ量（除去量）が過小である場合、青色にじみの除去後も若干の青みが残る。一方、推定にじみ量（除去量）が過大である場合、灰色の背景に対してＢプレーンを減らし過ぎ、黄緑色になる場合がある。
【０１００】
特に後者（黄緑色になる場合）は、不自然で観察者に大きな違和感を与える。そこで、ステップＳ１１１（色にじみ補正工程）では、一定の色相範囲内でのみ、にじみ除去が作用するよう制限する。このため、まずステップＳ１１１において、画素の色度を計算する。Ｒ、Ｇ、Ｂの各プレーンの強度に対し、以下の式（８）が成立する。
【０１０１】
【数５】
2017092800.tif 000007
【０１０２】
図２１は、式（８）のａを横軸とし、ｂを縦軸とする色度座標ａｂ面である。図２１に示されるように、青色は色度座標ａｂ面の斜線で示す第４象限にある（尚、赤、黄、紫は第１象限、緑、白は第２象限、青緑は第３象限にある）。Ｂプレーンの強度から推定にじみ量Ｅを除去すると、Ｂ＝Ｂ−Ｅとなり、色度座標ａｂ面上では点線矢印のように左上方向へ移動する。矢印の始点が推定にじみ量Ｅの除去前の色度であり、終点が推定にじみ量Ｅの除去後の色度である。このことから、作用する色相範囲をａ＞０かつｂ＜０に制限すると、以下の式（９）が成立する。
【０１０３】
Ｂ＞０．２２Ｒ＋０．６８Ｇ  かつ  Ｂ＞−１．８４Ｒ＋３．３０Ｇ  …  （９）
このため、式（９）を満たさない画素に対し、実際に除去する除去量Ｅ’＝０とし、色にじみ除去対象から外す。これにより、式（９）を満たさない画素は、画素値が影響を受けることがない。図２１では、斜線で示す第４象限の領域のみが除去対象となる。
【０１０４】
更に、式（９）を満たす画素に対しても、除去量Ｅ’を、以下の式（１０）を満たすように設定する。
【０１０５】
Ｅ’＝ｍｉｎ（Ｅ，Ｂ−（０．２２Ｒ＋０．６８Ｇ），Ｂ−（−１．８４Ｒ＋３．３０Ｇ））  …  （１０）
これにより、除去量Ｅ’の除去による色度変化は、図２１中の実線矢印で示されるように、第４象限内に留まるようになる。
【０１０６】
なお本実施形態において、色度座標ａｂ面の第４象限で制限したが、これに限定されるものではなく、任意の角度で制限してもよい。このとき、以下の式（１１）を満たす必要がある。
【０１０７】
Ｂ＞ｒ１・Ｇ＋ｒ２・Ｒ  かつ  Ｂ＞ｒ３・Ｇ＋ｒ４・Ｒ  …  （１１）
式（１１）において、ｒ１〜ｒ４は制限角θを用いて、以下の式（１２）のように算出される。色相制限は、色度座標ａｂ面の原点を通る２本の直線で定義され、θ１、θ２はその２本の直線を表す角度である。
【０１０８】
【数６】
2017092800.tif 000008
【０１０９】
これにより、色相制限範囲を超えてＢプレーンが減少するのを防ぐことができる。以上のようにして算出した、色にじみの除去対象とする色プレーンの除去量Ｅ’を除去量プレーンとして保持し、色にじみ補正処理を行う。除去量プレーンに対しては、上記のローパスフィルタを適用する。なお本実施形態では、色相制限に簡易的なａ＊ｂ＊平面を用いているが、これに限定されるものではなく、３×３のＲＧＢ→ＹＵＶマトリクスを用いてｕｖ平面にて色相制限処理を行っても構わない。
【０１１０】
上記の除去量Ｅ’をＢプレーンの強度から差し引くことにより、新たなＢプレーンを作成する。色にじみ除去対象としては、色にじみ判定ステップＳ４にて色にじみ領域と判定された画素のみとする。従って、新たなＢプレーンの強度は、単調増減判定フラグが「１」である場合、Ｂ＝Ｂ−Ｅ’となる。一方、単調増減判定フラグが「０」である場合、Ｂ＝Ｂとなる。このように、図１ＢのステップＳ１１２において、画像処理装置１００（出力部１０７）は、Ｂプレーンを修正したカラー画像を出力画像として出力する。
【０１１１】
ここで、図１０（ａ）に示される画像内の３×３画素の領域における単調増減判定結果が、図２２に示されるように隣接する画素で単調増減判定フラグの値が切り替わる場合を考える。このような場合、画素の境界部では除去量がばたつき（隣接する画素で除去される場合と除去されない場合が混在すること）、画素値の変化が急峻になり、不自然で観察者に違和感を与える場合がある。そこで、生成した除去量プレーンに対してローパスフィルタを適用する方法が有効である。
【０１１２】
また、以下の式（１３）により、単調増減判定結果プレーンを用いて色プレーンの各画素のゲインを算出し、除去量に乗算することで、境界部（単調増減判定結果プレーン）に対するスムージング処理を行ってもよい。
【０１１３】
【数７】
2017092800.tif 000009
【０１１４】
図２２に示される例において、画素ｐの除去量Ｅ’’は、以下の式（１４）のように表される。
【０１１５】
【数８】
2017092800.tif 000010
【０１１６】
以上の方法で、色にじみのみを違和感なく除去することが可能となる。
【０１１７】
続いて、ステップＳ１０６の製造誤差判定で製造誤差がると判定された場合について説明する。この場合、画像処理装置１００は、ステップＳ１０９、Ｓ１１０をスキップし、直接にステップＳ１１１を実行する。すなわち、ステップＳ１１１において、画像処理装置１００（修正部１０３）は、ステップＳ１０７にて検出部１０２により色にじみ発生領域と仮判定された領域（第１の領域）に対して、色にじみを補正する処理（画像を修正する処理）を行う（色にじみ補正工程）。すなわち修正部１０３はステップＳ１０７の単調増減検出工程で検出された領域に対して、色にじみを低減させるように画像を修正する。
【０１１８】
これは、撮像光学系に製造誤差がある場合、ステップＳ１０９の色にじみ補正データ（撮像光学系の色にじみに関する光学情報、すなわち光学設計値）の信頼性が低下するためである。色にじみ補正データは、前述のように撮像光学系の収差情報であり、色フレアの方向や強度の情報である。製造誤差によりその方向や強度が変化した場合、ステップＳ１０７の単調増減検出工程で色収差による色にじみが検出されても、ステップＳ１１０の色にじみ判定で補正対象から外される可能性がある。逆に、被写体色であっても色にじみであると判定され誤補正が行われる可能性がある。
【０１１９】
次に、図２３を参照して、本実施形態における別の画像処理方法について説明する。図２３は、本実施形態における別の画像処理方法を示すフローチャートである。図２３のステップＳ３０１〜Ｓ３０７は、図１のステップＳ１０１〜Ｓ１０７とそれぞれ同様である。
【０１２０】
続いてステップＳ３０８において、画像処理装置１００（取得部１０１）は、色にじみ補正データ（撮像光学系の色にじみに関する光学情報）を取得する。続いて、ステップＳ３０９において、ステップＳ３０６の製造誤差判定の結果に応じて、以降の処理を分岐する。ステップＳ３０６にて製造誤差があると判定された場合、ステップＳ３１３へ進み、画像処理装置１００（修正部１０３）は、ステップＳ３０８にて取得した色にじみ補正データ（撮像光学系の色にじみに関する光学情報）を補正（修正）する。例えば、画像処理装置１００（検出部１０２）は、ステップＳ１０４にて検出された倍率色収差と、ステップＳ１０３にて取得した倍率色収差の補正データとを比較する際に、倍率色収差が撮像光学系の製造誤差によりどのようにずれているかを検出する。そして画像処理装置１００（修正部１０３）は、倍率色収差のずれ（ずれ量、ずれ方向）に基づいて、ステップＳ３０８にて取得した色にじみ補正データ（撮像光学系の色にじみに関する光学情報）を補正する。
【０１２１】
図２４は、ステップＳ３０８における色にじみ補正データ（色にじみに関する光学情報）の補正の説明図である。例えば、図２４（ｂ）に示される矢印の方向（下方向）に画面全体の倍率色収差がシフトしている（ずれている）場合、図２４（ａ）に示される補正データ（光学情報）を、図２４（ｃ）に示される補正データ（光学情報）に補正する。すなわち、補正データ（光学情報）を倍率色収差のシフト方向（ずれ方向）へシフトさせる。補正データの補正（補正量、補正方向）は、撮像光学系に依存する。このため、予め計算された倍率色収差と色にじみとの関係をテーブルデータや関数として例えば記憶部１０６に保持しておくことが好ましい。
【０１２２】
続いて、図２３のステップＳ３１０において、画像処理装置１００（判定部１０４）は、ステップＳ３１３にて補正された色にじみ補正データ（補正後の光学情報）を用いて色にじみ判定を行う。一方、ステップＳ３０６にて撮像光学系が製造誤差を有しない判定された場合、ステップＳ３１３は実行されない。
【０１２３】
続いてステップＳ３１１において、画像処理装置１００（修正部１０３）は、ステップＳ３０８で取得した色にじみ補正データまたはステップＳ３１１にて補正された色にじみ補正データを用いて、色にじみ補正を行う。そしてステップＳ３１２において、画像処理装置１００（出力部１０７）は、色にじみを低減するように修正（補正）した画像を出力する。
【０１２４】
このように本実施形態において、画像処理装置１００は、撮像光学系の色にじみに関する光学情報と撮像光学系の倍率色収差に関する情報とを記憶する記憶部１０６を有する。修正部１０３は、画像（撮影画像）から取得された倍率色収差と記憶部１０６に記憶された倍率色収差との差異が所定の閾値を超えない場合、その光学情報を用いて画像を修正する。
【０１２５】
なお製造誤差は、画像から検出した倍率色収差のみに基づいて判定することができる。すなわち、製造誤差がない場合、画面中心からの距離が同じで、画像の右上、左下のように方向の異なる位置での倍率色収差は画面中心に対して対称に同じ量で発生する。一方、製造誤差により偏芯の倍率色収差が発生すると、画面全体に１方向の色ズレが発生するため、倍率色収差の出方が非対称となる。このため、画面中心に対して対角方向の位置での倍率色収差の発生方向、発生量を比較すれば設計値が無くても製造誤差を見積もることが可能である。そこで画像処理装置１００は、光学情報を記憶する記憶部１０６を有していてもよい。修正部１０３は、画像の中心に対して対称な位置における倍率色収差の差が所定の閾値を超えない場合、その光学情報を用いて画像を修正する。
【０１２６】
一方、修正部１０３は、その差異が所定の閾値を超えた場合、画像の第１の領域を修正する。また、変形例として、画像処理装置１００（決定部１０５）は、差異が所定の閾値を超えた場合、画像から取得された倍率色収差に応じて光学情報を補正し、補正後の光学情報と第１の領域に関する情報とに基づいて、第２の領域を決定する。ただし本実施形態は、これらに限定されるものではない。例えば、修正部１０３は、差異が所定の閾値を超えた場合、画像を修正しない（すなわち、画像の色にじみ補正を行わない）ようにしてもよい。
【０１２７】
本実施形態の画像処理方法によれば、製造ばらつきやレンズの偏芯調整などによる製造誤差に応じて、撮像光学系の色にじみに関する光学情報を用いて色にじみ補正を行う否かを判定する。このため本実施形態によれば、撮像光学系の製造誤差を考慮してカラー画像における色にじみを効果的に低減可能な画像処理方法を提供することができる。
【実施例１】
【０１２８】
次に、図２５を参照して、本発明の実施例１における撮像装置について説明する。図２５は、本実施例における撮像装置２００の構成図である。撮像装置２００には、撮影画像の色にじみ補正処理（上述の画像処理方法）を行う画像処理プログラムがインストールされており、この色にじみ補正処理は撮像装置２００の内部の画像処理部２０４（画像処理装置）により実行される。
【０１２９】
撮像装置２００は、撮像光学系２０１（レンズ）および撮像装置本体（カメラ本体）を備えて構成されている。撮像光学系２０１は、絞り２０１ａおよびフォーカスレンズ２０１ｂを備え、撮像装置本体（カメラ本体）と一体的に構成されている。ただし本実施例はこれに限定されるものではなく、撮像光学系２０１が撮像装置本体に対して交換可能に装着される撮像装置にも適用可能である。
【０１３０】
撮像素子２０２は、撮像光学系２０１を介して形成された被写体像（光学像）を光電変換して画像（撮影画像）を得る。すなわち被写体像は、撮像素子２０２により光電変換が行われてアナログ信号（電気信号）に変換される。そして、このアナログ信号はＡ／Ｄコンバータ２０３によりデジタル信号に変換され、このデジタル信号は画像処理部２０４に入力される。
【０１３１】
画像処理部２０４（画像処理装置）は、このデジタル信号に対して所定の処理を行うとともに、上述の色にじみ補正処理を行う。まず画像処理部２０４（取得部１０１）は、状態検知部２０７から撮像装置２００（撮像光学系２０１）の撮像条件情報を取得する。撮像条件情報とは、絞り値、撮影距離（被写体距離）、または、ズームレンズの焦点距離などに関する情報である。状態検知部２０７は、システムコントローラ２１０から直接に撮像条件情報を取得することができるが、これに限定されるものではない。例えば撮像光学系２０１に関する撮像条件情報は、光学系制御部２０６から取得することもできる。なお、本実施例の色にじみ補正処理（画像処理方法）は、図１Ｂを参照して説明したとおりである。
【０１３２】
撮像光学系２０１の倍率色収差に関する補正データは、記憶部２０８に保持されている。倍率色収差に関する補正データは、撮像光学系の設計値や製造工程で測定したデータに基づいて、撮像装置や画像処理装置が予め保持しているデータである。画像処理部２０４は、記憶部２０８から、上記の撮影条件情報に対応する倍率色収差に関する補正データを取得する。そして画像処理部２０４は、この補正データと、画像から検出した倍率色収差（補正量）とを比較し、その比較結果に基づいて製造誤差判定を行う。画像処理部２０４は、製造誤差があると判定した場合、判定フラグ「１」を記憶部２０８に格納する。一方、製造誤差がないと判定した場合、判定フラグ「０」を記憶部２０８に格納する。
【０１３３】
また、撮像光学系２０１の色にじみに関する補正データも、記憶部２０８に保持されている。画像処理部２０４は、記憶部２０８から、上記の撮影条件情報に対応する色にじみに関する補正データを取得し、色にじみ補正処理を行う。補正後の出力画像は、画像記録媒体２０９に所定のフォーマットで保存される。表示部２０５には、本実施例の色にじみ補正処理を行った画像に表示用の所定の処理を行った画像が表示される。ただし本実施例はこれに限定されるものではなく、高速表示のために簡易処理を行った画像を表示部２０５に表示するように構成してもよい。
【０１３４】
本実施例における一連の制御はシステムコントローラ２１０により行われ、撮像光学系２０１の機械的な駆動はシステムコントローラ２１０の指示に基づいて光学系制御部２０６により行われる。光学系制御部２０６は、Ｆナンバーの撮影状態設定として、絞り２０１ａの開口径を制御する。また光学系制御部２０６は、被写体距離に応じてピント調整を行うため、不図示のオートフォーカス（ＡＦ）機構や手動のマニュアルフォーカス機構により、フォーカスレンズ２０１ｂの位置を制御する。なお、絞り２０１ａの開口径制御やマニュアルフォーカスなどの機能は、撮像装置２００の仕様に応じて実行しなくてもよい。また、撮像光学系２０１には、ローパスフィルタや赤外線カットフィルタなどの光学素子を設けることができる。
【実施例２】
【０１３５】
次に、図２６を参照して、本発明の実施例２における画像処理システムについて説明する。図２６は、本実施例における画像処理システム３００の構成図である。なお、本実施例の色にじみ補正処理（画像処理方法）は、図１Ｂを参照して説明したとおりであるため、その説明は省略する。
【０１３６】
図２６において、画像処理装置３０１は、本実施例の画像処理方法をコンピュータに実行させるための画像処理ソフトウエア３０６を搭載したコンピュータ機器である。撮像機器３０２は、カメラ、顕微鏡、内視鏡、または、スキャナなどの撮像装置である。記憶媒体３０３は、半導体メモリ、ハードディスク、または、ネットワーク上のサーバなど、撮影画像を記憶した記憶手段である。
【０１３７】
画像処理装置３０１は、撮像機器３０２または記憶媒体３０３から撮影画像データを取得し、所定の画像処理を行った画像データを出力機器３０５、撮像機器３０２、記憶媒体３０３のいずれか一つまたは複数に出力する。また、その出力先を画像処理装置３０１に内蔵された記憶部に保存することもできる。出力機器３０５は、例えばプリンタである。また、ネットワークまたはＣＤ−ＲＯＭ３０７などの記憶媒体から画像処理ソフトウエア３０６を画像処理装置３０１にインストールすることもできる。
【０１３８】
画像処理装置３０１には、モニタである表示機器３０４が接続されている。このため、ユーザは表示機器３０４を通して画像処理作業を行うとともに、補正された画像を評価することができる。画像処理ソフトウエア３０６は、本実施例の色にじみ補正処理（画像処理方法）を行うほか、必要に応じて現像やその他の画像処理を行う。
【０１３９】
なお、本実施例における画像処理を行うためのデータの内容や機器間での受け渡しなどに関する情報（補正情報）については、個々の画像データに付帯させることが好ましい。必要な補正情報を画像データに付帯させることで、本実施例の画像処理装置を搭載した機器であれば、適切に本実施例の補正処理を行うことが可能である。
【０１４０】
なお、撮像光学系の色にじみ発生方向に関する光学情報は、本実施例の画像処理装置を搭載した機器の記録部から読み出す方法だけでなく、ネットワークを介して取得してもよいし、ＰＣやカメラ、レンズ等から情報を取得してもよい。
【０１４１】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【０１４２】
各実施例によれば、撮像光学系の製造誤差を考慮してカラー画像における色にじみを効果的に低減可能な画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供することができる。
【０１４３】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【０１４４】
１００  画像処理装置
１０１  取得部
１０４  判定部
【図１Ａ】
2017092800.tif 000011
【図１Ｂ】
2017092800.tif 000012
【図２】
2017092800.tif 000013
【図３】
2017092800.tif 000014
【図４】
2017092800.tif 000015
【図５】
2017092800.tif 000016
【図６】
2017092800.tif 000017
【図７】
2017092800.tif 000018
【図８】
2017092800.tif 000019
【図９】
2017092800.tif 000020
【図１０】
2017092800.tif 000021
【図１１】
2017092800.tif 000022
【図１２】
2017092800.tif 000023
【図１３】
2017092800.tif 000024
【図１４】
2017092800.tif 000025
【図１５】
2017092800.tif 000026
【図１６】
2017092800.tif 000027
【図１７】
2017092800.tif 000028
【図１８】
2017092800.tif 000029
【図１９】
2017092800.tif 000030
【図２０】
2017092800.tif 000031
【図２１】
2017092800.tif 000032
【図２２】
2017092800.tif 000033
【図２３】
2017092800.tif 000034
【図２４】
2017092800.tif 000035
【図２５】
2017092800.tif 000036
【図２６】
2017092800.tif 000037