(57)【要約】【課題】立体被写体のように被写体距離に応じて色にじみ特性が異なる場合でも、カラー画像における色にじみを効果的に低減可能な画像処理装置を提供する。【解決手段】画像処理装置は、撮像光学系を介して形成された画像のデフォーカス量に関する情報を取得する取得部（１０４ａ）と、デフォーカス量に関する情報と撮像光学系の色にじみに関する光学情報とを用いて、色にじみを低減するように画像を修正するか否かを判定する判定部（１０４ｂ）とを有する。【選択図】図１
2017118293.tif 000002
【特許請求の範囲】
【請求項１】
撮像光学系を介して形成された画像のデフォーカス量に関する情報を取得する取得部と、
前記デフォーカス量に関する情報と前記撮像光学系の色にじみに関する光学情報とを用いて、該色にじみを低減するように前記画像を修正するか否かを判定する判定部と、を有することを特徴とする画像処理装置。
【請求項２】
前記判定部は、前記デフォーカス量に関する情報に応じて異なる色の前記色にじみを低減するように前記画像を修正するか否かを判定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記光学情報は、前記デフォーカス量に応じて異なる前記色の前記色にじみに関する光学情報であることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記取得部は、前記デフォーカス量に関する情報に基づいて前記画像のデフォーカスマップを生成し、
前記判定部は、前記デフォーカスマップと前記光学情報とに基づいて、前記色にじみを低減する対象の前記色を決定することを特徴とする請求項２または３に記載の画像処理装置。
【請求項５】
前記判定部は、
前記デフォーカスマップに基づいて、前記画像を前記デフォーカス量に関する情報に応じて複数の領域に分割し、
前記画像の前記領域ごとに設定された前記色の前記色にじみを低減するように、前記画像を修正するか否かを判定することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記デフォーカス量に応じた前記色の信号レベルが、所定の区間において第１の方向に単調増加または単調減少している第１の領域を検出する検出部と、
前記色にじみを低減するように前記画像を修正する修正部と、を更に有し、
前記判定部は、前記光学情報と前記第１の領域に関する情報とに基づいて、前記色にじみが発生している第２の領域を決定することを特徴とする請求項２乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記光学情報は、前記色にじみが発生する第２の方向に関する情報であることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記判定部は、前記第１の方向と前記第２の方向とを比較することにより前記第２の領域を決定することを特徴とする請求項６または７に記載の画像処理装置。
【請求項９】
前記判定部は、前記第１の方向と前記第２の方向とが互いに一致する場合、前記第１の領域が前記第２の領域であると決定することを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記光学情報は、前記色にじみの強度に関する情報であることを特徴とする請求項６乃至９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記修正部は、前記色にじみの前記強度に関する情報に基づいて、前記画像を修正する強度を変更することを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記修正部は、前記第１の方向と前記第２の方向とが複数の方向において互いに一致する場合、該複数の方向における色にじみの強度に関する情報を演算して前記画像を修正することを特徴とする請求項９に記載の画像処理装置。
【請求項１３】
前記修正部は、前記第１の方向と前記第２の方向とが複数の方向において互いに一致する場合、該複数の方向の重心方向における色にじみの強度に関する情報を用いて前記画像を修正することを特徴とする請求項９に記載の画像処理装置。
【請求項１４】
前記光学情報は、前記撮像光学系の光学設計値に関する情報であることを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。
【請求項１５】
撮像光学系を介して形成された光学像を光電変換して画像を出力する撮像素子と、
前記画像のデフォーカス量に関する情報を取得する取得部と、
前記デフォーカス量に関する情報と前記撮像光学系の色にじみに関する光学情報とを用いて、該色にじみを低減するように前記画像を修正するか否かを判定する判定部と、を有することを特徴とする撮像装置。
【請求項１６】
撮像光学系を介して形成された画像のデフォーカス量に関する情報を取得するステップと、
前記デフォーカス量に関する情報と前記撮像光学系の色にじみに関する光学情報とを用いて、該色にじみを低減するように前記画像を修正するか否かを判定するステップと、を有することを特徴とする画像処理方法。
【請求項１７】
撮像光学系を介して形成された画像のデフォーカス量に関する情報を取得するステップと、
前記デフォーカス量に関する情報と前記撮像光学系の色にじみに関する光学情報とを用いて、該色にじみを低減するように前記画像を修正するか否かを判定するステップと、をコンピュータに実行させるように構成されていることを特徴とする画像処理プログラム。
【請求項１８】
請求項１７に記載の画像処理プログラムを記憶していることを特徴とする記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カラー画像における色にじみを低減する画像処理装置に関する。
【背景技術】
【０００２】
従来から、撮像光学系の色収差により、カラー画像の明るい部分の周囲に本来存在しない色が色にじみとして生じる場合がある。撮像装置による可視光カラー撮像では、撮像光学系の中心波長である緑から離れた部分で色にじみが起きやすく、青や赤または双方が混じった紫色のアーチファクトがにじみ状に生じ、これは色にじみやパープルフリンジなどと呼ばれる。
【０００３】
撮像光学系の色収差は、異なる分散を有する材料からなる複数のレンズを組み合わせることにより、ある程度光学的に低減することができる。しかし近年では、撮像装置の小型化が進み、撮像素子に用いられるセンサの高解像度化および撮像光学系の小型化が要求され、撮像光学系の構成により色収差を十分に抑制することは困難である。
【０００４】
色収差は、横色収差（倍率色収差）と縦色収差（軸上色収差）に大別される。横色収差は、結像位置が波長により像面に沿う方向にずれる現象である。縦色収差は、結像位置が波長により光軸に沿う方向にずれる現象である。特許文献１には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各色プレーンに対して異なる歪曲を加える幾何変換処理を行うことにより、横色収差を補正する方法が開示されている。一方、縦色収差は、例えば可視光域の中心波長を担うＧ（緑）プレーンで合焦した画像においては、可視光域端部となるＲ（赤）プレーンやＢ（青）プレーンでは被写体に焦点が合わず、不鮮明な画像（ピンボケ画像）となる。このため、縦色収差は、幾何変換を用いて補正することができない。
【０００５】
特許文献２には、色にじみが主に白とび（予め設定した信号の飽和領域）周辺に生じる特性を利用して、Ｇ（緑）プレーンの飽和している領域を探索し、その周辺の領域の画素を積分して補正量を算出する方法が開示されている。特許文献３には、カラー画像における色プレーンの画素値が単調増加または単調減少している領域を色にじみ発生領域と判定し、色にじみを除去する方法が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】米国特許第６７２４７０２号明細書
【特許文献２】特開２００７−１３３５９２号公報
【特許文献３】特開２００９−２６８０３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献２に開示されている方法では、白とびしていない領域にも観察者にとって違和感のある色にじみが生じるため、色にじみの補正は不十分である。また特許文献３に開示されている方法によれば、白とびしていない領域の色にじみも補正が可能である。しかしながら、色にじみは、撮像光学系の収差により発生するため、コマ収差などの非対称な収差を有する撮像光学系では、被写体に対して色にじみが発生する方向や発生しない方向が存在する。被写体の色が色にじみと同系色の場合、本来は色にじみが発生しない方向でも被写体の色を色にじみとして誤判定し、被写体の本来の色を除去してしまう可能性がある。
【０００８】
また、立体被写体においては、合焦距離からのずれ量（デフォーカス量）に応じて色にじみの色味（色にじみ特性）が異なる。これは、デフォーカス量に応じて波長ごとの結像位置が異なるためである。このため、合焦距離（ピントが合った被写体）と非合焦距離（ピントがぼけた被写体）に関して、色にじみ補正の対象とすべき色は異なる。この点、特許文献２、３に開示されている方法では、ピントが合った被写体とぼけた被写体のそれぞれの色にじみを補正することができない。
【０００９】
そこで本発明は、立体被写体のように被写体距離に応じて色にじみ特性が異なる場合でも、カラー画像における色にじみを効果的に低減可能な画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供する。
【課題を解決するための手段】
【００１０】
本発明の一側面としての画像処理装置は、撮像光学系を介して形成された画像のデフォーカス量に関する情報を取得する取得部と、前記デフォーカス量に関する情報と前記撮像光学系の色にじみに関する光学情報とを用いて、該色にじみを低減するように前記画像を修正するか否かを判定する判定部とを有する。
【００１１】
本発明の他の側面としての撮像装置は、撮像光学系を介して形成された光学像を光電変換して画像を出力する撮像素子と、前記画像のデフォーカス量に関する情報を取得する取得部と、前記デフォーカス量に関する情報と前記撮像光学系の色にじみに関する光学情報とを用いて、該色にじみを低減するように前記画像を修正するか否かを判定する判定部とを有する。
【００１２】
本発明の他の側面としての画像処理方法は、撮像光学系を介して形成された画像のデフォーカス量に関する情報を取得するステップと、前記デフォーカス量に関する情報と前記撮像光学系の色にじみに関する光学情報とを用いて、該色にじみを低減するように前記画像を修正するか否かを判定するステップとを有する。
【００１３】
本発明の他の側面としての画像処理プログラムは、撮像光学系を介して形成された画像のデフォーカス量に関する情報を取得するステップと、前記デフォーカス量に関する情報と前記撮像光学系の色にじみに関する光学情報とを用いて、該色にじみを低減するように前記画像を修正するか否かを判定するステップと、をコンピュータに実行させるように構成されている。
【００１４】
本発明の他の側面としての記憶媒体は、前記画像処理プログラムを記憶している。
【００１５】
本発明の他の目的及び特徴は、以下の実施形態において説明される。
【発明の効果】
【００１６】
本発明によれば、立体被写体のように被写体距離に応じて色にじみ特性が異なる場合でも、カラー画像における色にじみを効果的に低減可能な画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供することができる。
【図面の簡単な説明】
【００１７】
【図１】本実施形態における画像処理方法を示すフローチャートである。
【図２】本実施形態において、単調増減判定対象の画素区間が単調増減特性を有する場合の一例を示す図である。
【図３】本実施形態において、単調増減判定対象の画素区間が単調増減特性を有しない場合の一例を示す図である。
【図４】本実施形態において、注目画素を中心とした単調増減判定用の画素区間を示す図である。
【図５】本実施形態において、注目画素を端の点とした単調増減判定用の画素区間を示す図である。
【図６】本実施形態において、画像内の３×３画素の領域を示す図、および、各画素に対してローパスフィルタを適用した結果を示す図である。
【図７】本実施形態において、各画素に対してローパスフィルタを適用した場合の入力信号の変化の例を示す図である。
【図８】本実施形態において、対称な収差を有する撮像光学系の単調増減検出の例を示す図である。
【図９】本実施形態において、非対称な収差を有する撮像光学系の単調増減検出の例を示す図である。
【図１０】本実施形態における光学情報の説明図である。
【図１１】本実施形態において、光学情報および単調増減検出結果に基づいて色にじみ領域を判定する例を示す図である。
【図１２】本実施形態における２次元の光学情報の説明図である。
【図１３】本実施形態において、光学情報を用いた色にじみ判定処理を示す図である。
【図１４】本実施形態における光学情報の算出方法の説明図である。
【図１５】本実施形態において、青色にじみの典型的な画素値変化を示す図である。
【図１６】本実施形態において、Ｂプレーンの画素値に対する非線形変換の特性図である。
【図１７】本実施形態における色度座標ａｂ面を示す図である。
【図１８】本実施形態において、単調増減判定結果によるＢプレーン内の３×３画素の領域を示す図である。
【図１９】本実施形態において、デフォーカス量に応じた色にじみ補正データの一例である。
【図２０】実施例１における撮像装置の構成図である。
【図２１】実施例１における撮像系の模式図である。
【図２２】実施例１における撮像系を示す図である。
【図２３】実施例１における撮像系を示す図である。
【図２４】実施例１における撮像系を示す図である。
【図２５】従来の撮像素子を示す図である。
【図２６】図２２の撮像系により得られた画像を示す図である。
【図２７】図２３および図２４の撮像系により得られた画像を示す図である。
【図２８】実施例１における撮像装置の例を示す図である。
【図２９】実施例１における撮像装置の例を示す図である。
【図３０】実施例２における画像処理システムの構成図である。
【図３１】被写体距離に応じた縦色収差の説明図である。
【図３２】被写体距離に応じた縦色収差の説明図である。
【図３３】被写体距離に応じた縦色収差の説明図である。
【図３４】被写体距離に応じた縦色収差の説明図である。
【図３５】本実施形態におけるデフォーカスマップの説明図である。
【発明を実施するための形態】
【００１８】
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
【００１９】
まず、図１を参照して、本実施形態における画像処理方法について説明する。ここで説明される画像処理方法は、例えば、後述の各実施例の画像処理装置（画像処理部１０４、画像処理装置２０１）の各部により実行される。図１は、本実施形態における画像処理方法（画像処理プログラム）のフローチャートである。図１の各ステップは、例えば、記憶部（メモリ）に記憶された画像処理プログラムを実行するコンピュータ（プロセッサ）の指令に基づいて、画像処理装置の各手段により実現される。メモリまたはプロセッサは、画像処理装置の内部または外部のいずれに設けられていてもよい。
【００２０】
まず、ステップＳ１０１において、画像処理装置（取得部）は、撮影画像を入力画像として取得する。入力画像は、撮像光学系を介して撮像素子で受光することにより得られたデジタル画像（撮影画像）であり、レンズと各種の光学フィルタ類を含む撮像光学系の収差により劣化している。なお撮像光学系は、レンズだけでなく曲率を有するミラー（反射面）を用いて構成することもできる。
【００２１】
入力画像の色成分は、例えばＲＧＢ色成分の情報を有する。色成分としては、これ以外にもＬＣＨで表現される明度、色相、彩度や、ＹＣｂＣｒで表現される輝度、色差信号など一般に用いられている色空間を選択して用いることができる。その他の色空間として、ＸＹＺ、Ｌａｂ、Ｙｕｖ、ＪＣｈを用いることが可能である。また、色温度を用いてもよい。撮影画像は、撮像装置と画像処理装置とを有線または無線で接続して取得することができる。また撮影画像は、記憶媒体を介して取得することもできる。
【００２２】
続いてステップＳ１０２において、画像処理装置（取得部）は、撮像光学系の撮影条件（撮影条件情報）を取得する。撮影条件とは、焦点距離、絞り値、および、撮影距離（フォーカスレンズの位置）などの撮像光学系の状態である。撮影条件は、例えばＥｘｉｆ情報のように画像に付加された情報から取得することができる。
【００２３】
続いてステップＳ１０３において、画像処理装置（取得部）は、デフォーカスマップを生成する。デフォーカスマップの生成方法については後述する。デフォーカスマップは、撮像光学系の合焦距離からの画角内の各被写体距離のずれ量に関するデータである。デフォーカスマップは、各被写体までの距離に変換した被写体距離マップでもよい。
【００２４】
ステップＳ１１３において、画像処理装置（取得部）は、撮影条件に対応する色にじみに関する光学情報を取得する。光学情報は、撮像光学系の光学設計値に関する情報であって、色にじみの補正データである。また光学情報は、撮像光学系の設計値や製造工程で測定したデータに基づいて、撮像装置や画像処理装置の記憶部（メモリ）により予め保持されているデータである。例えば、撮像装置が補正データを保持しており画像処理装置が補正データを保持していない場合、通信により撮像装置から画像処理装置へ伝送するか、または、補正データを画像データに付加することにより間接的に伝送することができる。
【００２５】
続いてステップＳ１０４において、画像処理装置（判定部）は、デフォーカス量（デフォーカスマップ）に応じて画像を複数の領域に分割する。例えば、合焦被写体と背景の計２つや、合焦距離に対して前側、後側の計３つや、さらに細かく分割する。そしてステップＳ１０５において、画像処理装置（判定部）は、デフォーカス量（デフォーカスマップ）に応じてステップＳ１０４にて分割した複数の領域ごとの基準色を設定（決定）する。基準色としては、例えばＲＧＢのいずれかが用いられる。そして判定部は、デフォーカス量に関する情報（デフォーカスマップなど）に応じて異なる色（基準色以外の色）の色にじみを低減するように画像を修正するか否かを判定する。なお光学情報は、好ましくは、デフォーカス量に応じて異なる色の色にじみに関する光学情報である。
【００２６】
ここで、図３１乃至図３４を参照して、デフォーカス量に応じて色にじみの色味が異なることについて説明する。図３１乃至図３４は、被写体距離に応じた縦色収差の説明図である。
【００２７】
図３１は、近点から遠点に向かって斜めに配置された黒い棒（被写体６１１〜６１５）を撮像装置６０１で撮像している状況を示している。ピントは被写体６１３に合焦している。図３２は、図３１の状態で撮像された画像を示している。図３３は、図３２中の被写体６１１、６１３、６１５の矢印の部分の断面図である。図３３に示されるように、被写体６１３は合焦距離に位置し、被写体６１１は合焦距離より近距離に位置し、被写体６１５は合焦距離より遠距離に位置している。図３３中の合焦距離被写体６１３の断面図はＧ成分に合焦しているため、Ｇ成分のエッジのぼけが最も少ない。Ｒ成分およびＢ成分は、略同じ量であり、Ｇ成分に比べてぼけている。
【００２８】
図３４は、図３３の状況における撮像光学系の模式的な光路図である。図３４は、各被写体距離における、撮像素子１０２への入射光を示している。前述の合焦距離の場合、Ｇ成分は撮像素子上で結像しているが、Ｒ成分およびＢ成分は撮像素子上で広がりを有する。また、遠距離の場合、Ｒ成分およびＢ成分は撮像素子上で結像しているが、Ｇ成分は撮像素子上では広がりを有する。また、遠距離の場合、ＲＧＢ成分共に広がりを有し、特にＲ成分およびＢ成分はＧ成分よりも大きな広がりを有する。図３４は、軸上色収差に関して説明しているが、画角のついた位置においても基本の結像特性に非対称性が発生するものの、色の変動については同様の現象が発生する。
【００２９】
次に、図３５を参照して、デフォーカスマップについて説明する。図３５は、本実施形態におけるデフォーカスマップの説明図である。図３５（ａ）は、被写体としての人物に合焦して撮影した画像である。図３５（ｂ）〜（ｄ）は、デフォーカス量に応じて分割された領域を示している。各図において、白い領域は、同一距離として分割された領域である。また、デフォーカス量に応じて撮像光学系の色にじみ特性（色収差）が変化するため、各デフォーカス量での最も合焦している色プレーンを基準色（基準色プレーン）としている。
【００３０】
続いてステップＳ１０６〜Ｓ１１０、Ｓ１１４における単調増減検出工程について説明する。画像処理装置（検出部）は、カラー画像を構成する複数の色プレーンのうちいずれかの色プレーンの画素値（信号レベル）が単調増加または単調減少している領域（第１の領域）を検出する。そして画像処理装置（検出部）は、検出した領域を色にじみ発生領域と仮判定する。単調増減検出工程において色にじみ発生領域を判定する方法としては、いくつかの方法が考えられる。本実施形態では、一定の画素区間（所定の区間）の色にじみの画素値の変化特性に基づいて判定を行う。
【００３１】
色にじみは、結像位置が波長により光軸に沿う方向にずれることで発生するため、例えば青色のにじみの場合、青色プレーン（Ｂプレーン）の焦点が合わない（ピンボケしている）ことになる。ピンボケによる色にじみは、一定の画素区間に渡って存在し、その際の色にじみの画素値変化は、画像のハイライト部からシャドウ部にかけて緩やかに減少する特性を有する。従って、一定の画素区間の色にじみの画素値変化が単調増加または単調減少の特性を有する場合、色にじみが発生している可能性があるため、色にじみ発生領域として仮判定する。
【００３２】
ところで、実際には、撮像光学系がコマ収差などの光軸（中心軸）に関して非対称（回転非対称）な収差を有する場合、撮像光学系により発生する色にじみは、被写体に対して発生する方向と発生しない方向が存在する。このため、単調増減のみから色にじみ発生領域を判定すると、被写体が色にじみと同系色である場合、被写体の色を色にじみと誤判定する可能性がある。従って、単調増減検出のみでは色にじみ発生領域を正しく判定することができない場合があるため、ここでは仮判定としている。
【００３３】
本実施形態において、単調増加または単調減少を検出する領域は、カラー画像の注目画素を中心とした水平方向、垂直方向、または、斜め方向の画素区間、注目画素を端の点とした水平方向、垂直方向、または、斜め方向の画素区間、のいずれかを含む。
【００３４】
単調増減の検出は、まず、色プレーンの画素値傾斜を計算することにより行われる。入力画像が、例えば、Ｇプレーン、Ｂプレーン、Ｒプレーンの３色の色プレーンで構成されている場合、Ｂプレーンを色にじみ除去対象とし、基準プレーン（基準色）としてＧプレーンを用いる。Ｂプレーン、Ｇプレーンに対するそれぞれの輝度傾斜Ｂｌｅａ、Ｇｌｅａは、以下の式（１）のように算出される。
【００３５】
【数１】
2017118293.tif 000003
【００３６】
式（１）において、Ｇ（ｘ＋１，ｙ）、Ｂ（ｘ＋１，ｙ）は、それぞれ、Ｇプレーン、Ｂプレーンにおける注目画素の右隣の画素値である。Ｇ（ｘ−１，ｙ）、Ｂ（ｘ−１，ｙ）は、それぞれ、Ｇプレーン、Ｂプレーンにおける注目画素の左隣の画素値である。Ｇ（ｘ，ｙ＋１）、Ｂ（ｘ，ｙ＋１）は、それぞれ、Ｇプレーン、Ｂプレーンにおける注目画素の下隣の画素値である。Ｇ（ｘ，ｙ−１）、Ｂ（ｘ，ｙ−１）は、それぞれ、Ｇプレーン、Ｂプレーンにおける注目画素の上隣の画素値である。本実施形態は、３色の色プレーンで説明するが、画像を構成する色プレーン数により任意の色プレーンで処理を行うことが可能である。
【００３７】
まず、図１のステップＳ１０６において、画像処理装置は、入力画像の注目画素を中心とした時の縦・横・斜めの画素区間に対して入力信号の画素値変化を解析する。続いてステップＳ１０７において、画像処理装置（判定部）は、前記画素区間の入力信号の画素値変化が単調増減の特性を有するか否かを判定する。
【００３８】
ステップＳ１０７の判定の結果、前記画素区間の入力信号の画素値変化が単調増減の特性を有さない場合、ステップＳ１０８において、画像処理装置は、注目画素を端の点とした時の縦・横・斜めの画素区間に対して入力信号の画素値変化を解析する。続いてステップＳ１０９において、前記画素区間の入力信号の画素値変化が単調増減の特性を有するか否かを判定する。
【００３９】
図２は、単調増減判定対象の画素区間が単調増減特性を有する場合の一例を示す図であり、縦軸は画素値、横軸は距離をそれぞれ示している。図３は、単調増減判定対象の画素区間が単調増減特性を有しない場合の一例を示す図であり、縦軸は画素値、横軸は距離をそれぞれ示している。図２および図３に示されるような画素値変化を有する入力信号に対して、画像処理装置は単調増減判定を行う。図２および図３のそれぞれ示される白い四角は注目画素である。
【００４０】
図２に示されるように、入力信号の画素値変化が単調増減の特性を有する画像は、単調増減判定を行う画素区間内において単調増減の特性を有する。このためステップＳ１０６の解析の結果、ステップＳ１０７において、画像処理装置は、画素区間内において単調増減の特性を有すると判定する。一方、図３に示されるような入力信号の画素値変化の特性を有する画像に対しては、単調増減の特性を有さないと判定する。
【００４１】
前記画素区間の入力信号の画素値変化が単調増減の特性（単調増加の特性または単調減少の特性）を有している場合、ステップＳ１１４において、画像処理装置は単調増減フラグを立てる。一方、前記画素区間の入力信号の画素値変化が単調増減の特性（単調増加の特性または単調減少の特性）を有していない場合、ステップＳ１１０において、画像処理装置は単調増減フラグを立てない。
【００４２】
上述した単調増減判定を、Ｂプレーンの各画素に対して適用する。その結果、各画素において単調増減フラグが立っていれば「１」、単調増減フラグが立っていなければ「０」をそれぞれ対応させ、単調増減判定結果プレーンとして生成して保持し、後述の色にじみ判定（ステップＳ１５）で利用する。単調増減判定結果プレーンの利用方法の詳細については後述する。
【００４３】
次に、図４および図５を参照して、注目画素に対する単調増減判定を行う画素区間の設定方法について説明する。図４（ａ）〜（ｄ）は、注目画素を中心とした単調増減判定用の画素区間を示す図である。図５（ａ）〜（ｈ）は、注目画素を端の点とした単調増減判定用の画素区間を示す図である。注目画素を中心とした画素区間の設定方法および注目画素を端の点とした画素区間の設定方法のうち、注目画素を中心とした画素区間の設定方法としては、図４（ａ）、（ｂ）のように注目画素を中心として水平方向および垂直方向に設定する方法が考えられる。
【００４４】
また、注目画素を中心とした画素区間の設定方法としては、図４（ｃ）、（ｄ）に示されるように注目画素を中心として斜め方向に設定する方法が考えられる。すなわち、斜め方向についても水平方向または垂直方向と同程度の距離の画素区間を設定すれば、等方性を持たせることができる。この場合、斜め方向の角度は、図４（ｃ）、（ｄ）に示されるように水平方向または垂直方向に対して４５度の設定に限定される。ただし本実施形態はこれに限定されるものではなく、４５度以外の任意の角度を設定することができる。その際の画素区間の距離ｄは、以下の式（２）を用いて算出される。
【００４５】
【数２】
2017118293.tif 000004
【００４６】
式（２）において、ｘは水平方向、θは水平からの角度をそれぞれ示す。
【００４７】
一方、画像におけるハイライト部周辺の色にじみやシャドウ部周辺の色にじみは、それぞれ、飽和やノイズの影響を受けることにより、色にじみが存在するにも関わらず、判定対象の画素区間内では単調増減の特性を持たず正しく判定できない場合がある。その場合、図５に示されるように、注目画素を端の点として画素区間を設定する方法が効果的である。以上のような方法で単調増減判定を行い、図４および図５に示される画素区間のいずれか１つでも単調増減の特性を有する画素区間が存在する場合、注目画素は単調増減の特性を有する画素であると判定される。
【００４８】
本実施形態では、単調増減判定を行う対象として入力信号の画素値を利用しているが、輝度傾斜を利用しても構わない。この場合、例えば、一定の画素区間において輝度傾斜の変化が１回だけ反転する特性を有する場合が色にじみであると判定する。画素区間の画素数の適正値は、撮像装置のある撮影条件にて発生する色にじみのうち、最小の色にじみのにじみ幅に合わせるのが効果的である。
【００４９】
色にじみのにじみ幅は、撮像装置の撮影条件（絞り値、焦点距離、フォーカシング精度、画像面内におけるフォーカス位置、撮像素子上の座標など）により様々である。このため、画素区間の画素数の適正値を、各種の撮影条件により発生する様々な色にじみの最小幅の色にじみに合わせることで、最小幅の色にじみを検出することが可能となる。最大幅の色にじみに関しては、最小幅の色にじみ用に合わせた画素区間を利用しても検出は可能である。
【００５０】
以上のように単調増減判定を行うことにより、検出したい色にじみを抽出することが可能となる。ただし、高いＩＳＯ感度などの撮影条件によっては、入力信号にノイズが含まれることによりＳ／Ｎ比が低下し、その結果、色にじみが単調増減の特性を有しなくなることが考えられる。その場合、入力信号に対してデジタルフィルタによるフィルタリング処理を行うことが有効である。なお本実施形態では、デジタルフィルタをローパスフィルタとした場合について説明するが、これに限定されるものではない。
【００５１】
入力信号にローパスフィルタを適用する方法としては、いくつかの方法が考えられる。例えば、注目画素の重み係数を隣接する画素の２倍の係数とする［１  ２  １］のローパスフィルタを適用する場合について説明する。図６（ａ）は、画像内の３×３画素の領域を示す図である。図６に示されるように画像内の３×３画素のある領域においてｐを注目画素とするとき、まず、［１  ２  １］のローパスフィルタを水平方向に適用する。このとき、注目画素Ｐ’は以下の式（３）のように表される。
【００５２】
【数３】
2017118293.tif 000005
【００５３】
隣接する画素も同様に計算すると、図６（ｂ）に示されるようになる。図６（ｂ）は、画像内の３×３画素の領域の各画素に対してローパスフィルタを適用した結果を示す図である。続いて、［１  ２  １］のローパスフィルタを垂直方向に適用すると、注目画素Ｐ’’は以下の式（４）のように表される。
【００５４】
【数４】
2017118293.tif 000006
【００５５】
図７を参照して、ローパスフィルタを適用したときの入力信号の変化の一例について説明する。図７は、各画素に対してローパスフィルタを適用した場合の入力信号の変化の例を示す図である。図７において、横軸は距離（画像上の断面、すなわち注目画素からの画素区間）、縦軸はプレーンの画素値をそれぞれ示している。
【００５６】
図７中の実線はローパスフィルタを適用しない場合、細かい破線は［１  ２  １］のローパスフィルタを適用した場合、粗い破線は［１  ４  ６  ４  １］のローパスフィルタを適用した場合をそれぞれ示している。ここで、［１  ４  ６  ４  １］は、注目画素と隣接する画素と更にもう１画素分離れた画素にも重み係数をかけてローパスフィルタを適用することを意味する。このようにローパスフィルタを適用して入力信号を滑らかにすることで、色にじみが本来持つ単調増減の特性を際立たせることが可能となる。なお本実施形態では、ローパスフィルタを水平方向、垂直方向の順番で適用しているが、これに限定されるものではない。ローパスフィルタを逆の順番、すなわち垂直方向、水平方向の順番で適用しても構わない。また、２次元のローパスフィルタ係数を算出してローパスフィルタを水平方向および垂直方向に同時に適用することもできる。なお本実施形態では、Ｇプレーンを基準色としてＢプレーンの単調増減判定を行う場合について説明したが、これに限定されるものではない。基準色は、ステップＳ１０５にて設定された色プレーンを用いることができる。
【００５７】
続いてステップＳ１１１において、画像処理装置は、単調増減フラグに応じて以降の処理を分岐する。単調増減フラグが立っている場合、ステップＳ１１５に進む。ステップＳ１１５において、画像処理装置（判定部）は、色にじみ判定を行う。すなわち画像処理装置は、色にじみ発生領域と仮判定された領域に対し、ステップＳ１１３にて取得した色にじみ発生方向の光学情報を用いて、色にじみ発生領域であるか否かを判定する。
【００５８】
ここで、図８および図９を参照して、単調増減検出工程のみから色にじみ領域を判定した場合の弊害について説明する。デジタルカメラなどの撮像装置により被写体を撮像して得られた画像には、撮像光学系の球面収差、コマ収差、像面湾曲、非点収差などに起因する画像劣化成分としてのぼけ成分が含まれる。このようなぼけ成分は、無収差で回折の影響もない場合に被写体の一点から出た光束が撮像面上で再度一点に集まるべきものが、ある広がりをもって像を結ぶことで発生する。
【００５９】
ぼけ成分は、光学的には、点像分布関数（Ｐｏｉｎｔ  Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ：ＰＳＦ）により表され、ピントのずれによるぼけとは異なる。また、カラー画像での色にじみも、光学系の軸上色収差、色の球面収差、色のコマ収差が原因であるものに関しては、光の波長ごとのぼけ方の相違ということができる。さらに、横方向の色ずれも、光学系の倍率色収差が原因であるものに関しては、光の波長ごとの撮像倍率の相違による位置ずれまたは位相ずれということができる。
【００６０】
点像分布関数（ＰＳＦ）をフーリエ変換して得られる光学伝達関数（Ｏｐｔｉｃａｌ  ＴｒａｎｓｆｅｒＦｕｎｃｔｉｏｎ：ＯＴＦ）は、収差の周波数成分情報であり、複素数で表される。光学伝達関数（ＯＴＦ）の絶対値、すなわち振幅成分を、ＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）といい、位相成分をＰＴＦ（Ｐｈａｓｅ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）という。ＭＴＦおよびＰＴＦはそれぞれ、収差による画像劣化の振幅成分および位相成分の周波数特性である。ここでは、位相成分を位相角として、以下の式（５）のように表される。
【００６１】
ＰＴＦ＝ｔａｎ−１（Ｉｍ（ＯＴＦ）／Ｒｅ（ＯＴＦ））  …  （５）
式（５）において、Ｒｅ（ＯＴＦ）およびＩｍ（ＯＴＦ）はそれぞれ、ＯＴＦの実部および虚部である。
【００６２】
このように、光学系の光学伝達関数（ＯＴＦ）は、画像の振幅成分と位相成分に対して劣化を与えるため、劣化画像は被写体の各点がコマ収差のように光軸に関して非対称にぼけた状態になる。
【００６３】
図８は、被写体の各点が球面収差のような光軸に関して対称（回転対称）にぼける光学特性の状態で撮影された画像に対し、単調増減検出を行う場合を説明した図である。図８（ａ）は被写体の画素値断面、図８（ｂ）は撮像光学系のＰＳＦ断面、図８（ｃ）は撮像光学系で撮影された被写体の画素値断面を示している。なお、図８はＲプレーンまたはＢプレーンを想定している。図８（ｂ）に示されるように、撮像光学系が光軸に関して対称（回転対称）な収差特性を有しＰＳＦが対称である場合、被写体の両側のエッジ断面は、両方とも劣化した画像として図８（ｃ）の実線のように撮影される。図８（ｃ）では、比較のため、図８（ａ）に示される被写体の輝度断面を点線で示している。図８（ｃ）の白い四角を注目画素として、単調増減判定を行うとすると、両エッジとも単調増減領域として判定される。また、色のにじみも実際に発生するため、色にじみ発生領域の判定としては正しく判定される。
【００６４】
図９は、被写体の各点がコマ収差のような光軸に関して非対称（回転非対称）にぼける光学特性の状態で撮影された画像に対し、単調増減検出を行う場合を説明した図である。図９（ａ）は被写体の画素値断面、図９（ｂ）は撮像光学系のＰＳＦ断面、図９（ｃ）は撮像光学系で撮影された被写体の画素値断面である。図９（ｂ）に示されるように、撮像光学系が光軸に関して非対称な収差特性を有しＰＳＦが非対称な場合、特に片側のエッジのみ大きく劣化する光学特性では、被写体のエッジ断面は、片側のみ大きく劣化した画像として図９（ｃ）の実線のように撮影される。このような撮影画像に対し単調増減検出を行うと、両エッジとも単調増減領域として判定されるが、実際に撮像光学系により発生する色にじみは片側のみであるため、被写体本来の色を色にじみとして判定してしまう弊害が発生する。単調増減のみで色にじみ補正を行うと被写体本来の色を除去することになり、不自然な画像となる場合がある。これを回避しようとすると補正が弱くなってしまう。
【００６５】
そこで本実施形態において、画像処理装置は、図８（ｂ）や図９（ｂ）に示されるような撮像光学系の色にじみ発生方向に関する光学情報を保持または取得する。そして画像処理装置は、単調増減検出の単調増減方向と色にじみ発生方向が一致した場合、色にじみ発生領域である判定する。ここで一致とは、厳密に一致する場合だけでなく実質的に一致である場合も含む意味である。
【００６６】
ここで図１０を参照して、光学情報について説明する。図１０は、本実施形態における光学情報の説明図であり、撮像光学系のＰＳＦ断面および光学情報を示している。図１０（ａ）は、図８（ｂ）に示される、撮像光学系のＰＳＦが光軸に関して対称な場合の光学情報である。図１０（ｂ）は、図９（ｂ）に示される、撮像光学系のＰＳＦが光軸に関して非対称な場合の光学情報である。例えば、撮像光学系の収差により色にじみが発生する方向には１を持ち、発生しない場合は０を持つ。図１０（ａ）は、色にじみが対称に両側で発生するため光学情報は両側とも１の値を持つ。図１０（ｂ）では、色にじみが非対称に発生しており、左側エッジでは色にじみが発生しないため０、右側エッジでは色にじみが発生するため１の値を持つ。
【００６７】
図１１は、光学情報および単調増減検出結果に基づいて色にじみ領域を判定する例を示す図である。図１１（ａ）に示されるように、単調増減検出により、例えば、単調減少が検出された場合、その単調減少方向の光学情報を参照し、１を有していれば色にじみ補正領域と判定する。また、図１１（ｂ）に示されるように、単調減少方向の光学情報を参照し、０を有していれば被写体の色であると判定する。このように、撮像光学系の収差として色収差が発生する方向と、発生しない方向の情報を有することで、被写体の色と色にじみを正しく判定することができるため、色にじみ補正の精度を向上させることが可能となる。なお、色にじみの発生方向を１、発生しない方向を０としたが、発生の方向がわかればよく、０と１である必要はない。撮像光学系の収差は、像高により変化するため、複数の像高での光学情報を有しておくことで、高精度に補正を行うことが可能となる。補正値を持たない像高では、近傍の補正値より補間生成してもよい。また、撮像光学系の収差は、撮影条件（撮像光学系の焦点距離、被写体距離（撮影距離）、絞り値（Ｆｎｏ））でも変化するため、撮影条件ごとに光学情報を記憶または取得することにより、高精度に補正を行うことが可能となる。
【００６８】
図１０および図１１では、光学情報を１次元の情報として説明したが、撮影画像が２次元配列のデータの場合、光学情報も２次元のデータとして保持してもよい。図１２は、光学情報が２次元である場合の説明図である。図１２（ｃ）は、光学情報を画面上下左右、斜め４５度、１３５度の８方向のデータとして保持する場合の例を示している。図１２（ｃ）では、撮像光学系の色のコマ収差が画面上方向に発生しており、その発生方向に１の光学情報を保持する。色にじみの発生しない方向には０を保持する。単調増減検出を前記８方向で行い、単調減少が検出された方向に光学情報の１が保持されていた場合に色にじみと判定される。単調減少が検出されても、検出された方向に光学情報の１が保持されていなければ被写体の色と判定を行う。
【００６９】
以上のように、画像処理装置は、撮像光学系の色にじみが発生する方向に関する光学情報を保持または取得する。好ましくは、画像処理装置は、光学情報を記憶する記憶部を有する。より好ましくは、記憶部は、撮影条件ごとに光学情報を記憶する。撮影条件は、撮像光学系の焦点距離、被写体距離、および、絞り値の少なくとも一つを含む。なお記憶部は、画像処理装置の外部に設けられていてもよい。また、後述の記憶部１０８に各光学情報を記憶させておくことができる。
【００７０】
そして、画像処理装置は、単調増減検出時に検出方向と光学情報とを参照することにより、高精度に色にじみ領域を判定することが可能となる。なお本実施形態では、単調増減判定を単調減少方向で説明したが、単調増加方向を使用して色にじみ判定を行ってもよい。また、単調増減判定と光学情報の補正値を８方向で説明したが、８方向に限定されるものではない。精度を向上させるため、検出方向の数を増加させてもよい。または、光学情報に関するデータ量を削減するため、検出方向の数を減少させてもよい。
【００７１】
また画像処理装置は、光学情報として、色にじみ発生方向に加え、色にじみの強度に関する情報（色にじみの強度情報）を保持または取得するように構成してもよい。この場合、更に高精度に補正を行うことが可能となる。図１２（ｂ）に示されるように、一般に撮像光学系の収差による色にじみの発生量は方向により異なる。そこで、図１２（ｄ）に示されるように、色にじみの発生する方向に色にじみの発生量に関する色にじみの強度情報を追加してもよい。
【００７２】
続いて、図１３を参照して、色にじみ強度情報を用いた場合の色にじみ判定について説明する。図１３は、光学情報を用いた色にじみ判定処理を示す図であり、光学情報に色にじみ発生方向のみを持つ場合の例を示している。図中の四角で囲まれた注目画素１について色にじみ発生領域の判定を行う場合、まず、注目画素を中心に上下左右、斜め４５度、斜め１３５度の８方向について単調減少判定を行う。図１３（ａ）の場合、高輝度被写体が注目画素の下側に位置するため、注目画素１の単調減少が検出される方向は、上と右上、左上の３箇所が判定される。その３方向の光学情報は色にじみ発生方向を示す「１」であるため、この注目画素１は色にじみ発生領域と判定される。また、同様に注目画素２についても検出を行うと、単調減少方向は上、右上、右、右下が判定される。しかしながら、光学情報の色にじみ発生方向は、右下に発生しない方向を表す「０」を保持しているため、単調減少と光学情報より、最終的な注目画素２の色にじみ検出方向は、上、右上、右の３方向となる。注目画素１、注目画素２共に色にじみ発生画素と判定されるが、図１２（ｂ）に示されるように、撮像光学系の色にじみ発生量は方向により異なるため、注目画素１と注目画素２では、色にじみの発生量が異なっている。光学情報に強度情報を持たない場合、色にじみ量を判定できないため、この後の色にじみ補正工程において補正の強さを変えて補正を行うことができない。よって、注目画素１にあわせて色にじみ補正を強くすると注目画素２では過補正となり、注目画素２にあわせて色にじみ補正を弱くすると注目画素１では、補正不足となってしまう。
【００７３】
そこで、図１２（ｄ）のように、光学情報に色にじみの発生方向と、その方向の色にじみ強度情報を追加することが好ましい。図１３（ｂ）、（ｃ）は、光学情報に色にじみ強度情報も付加した場合の色にじみ領域の判定方法を示している。図１３（ｂ）の注目画素３では、単調減少判定にて上、左上、右上の３方向が判定されるが、光学情報の色にじみ強度もそれぞれ２、３、２と強い色にじみ強度と検出することができる。図１３（ｃ）の注目画素４においては、上、右上、左下の３方向が判定されるが、その方向の光学情報の色にじみ強度はそれぞれ３、２、１と注目画素３に対して弱い色にじみ強度が検出される。よって、例えば、検出された方向の色にじみ強度の平均値により、この後の色にじみ補正処理の補正の強さ（画像を修正する強度）を変更することで、色にじみの発生量が方向で異なる場合でもより正確な補正が可能となる。
【００７４】
注目画素３では色にじみ強度の平均値が約２．３であり、また、注目画素４では色にじみ強度の平均値が２．０となり、この値を使って補正の強さを変えることが可能となる。なお本実施形態では、色にじみ強度の平均値を使用する説明を行ったが、これに限定されるものではない。例えば、色にじみ方向と検出された複数の方向の重心方向の色にじみ強度値を使用して色にじみ補正係数を変えてもよい。注目画素３では重心方向が上となるため色にじみ強度は３、注目画素４では重心方向が右上となるため色にじみ強度は２となり、この値を使って補正の強さを変えることが可能となる。重心方向を採用する場合、例えば上、右上、右、右下の４方向の重心を計算すると、重心方向に最も近い方向は右上、右の２方向となる場合がある。この場合、２方向の平均値、２方向のうち大きい方の色にじみ強度、または、２方向のうち小さいほうの色にじみ強度を用いるなどが考えられる。なお本実施形態において、平均値、重心方向を利用することについて説明したが、光学情報の色にじみ強度情報を任意に演算して色にじみ補正時の補正の強さを変えてもよい。
【００７５】
次に、図１４を参照して、光学情報の算出方法について説明する。図１４は、光学情報の算出方法の説明図であり、光学情報として保持する任意の方向での、撮像光学系のＧプレーンのＰＳＦ断面（実線）とＢプレーンのＰＳＦ断面（点線）を示している。ここでは、Ｇプレーンを基準プレーンとし、Ｂプレーンの色にじみに関して光学情報を算出する方法について説明する。
【００７６】
撮像光学系の色収差により、Ｇプレーン、Ｂプレーンは、それぞれの波長帯での収差により、異なったＰＳＦ形状となる。また、倍率色収差が残存する場合、Ｇプレーン、Ｂプレーンは、それぞれ、ずれた位置に結像するため、それぞれのＰＳＦのピーク位置も図１４（ａ）に示されるように、ずれた位置で算出される。倍率色収差による各色プレーンのずれは、従来から行われている、各色プレーンに対し異なる歪曲を加える幾何学変換により補正することができる。そのため、図１４（ｂ）に示されるように、Ｇプレーン、ＢプレーンのそれぞれのＰＳＦのピーク位置を一致させて、図の斜線部にあたる基準であるＧプレーンとＢプレーンのＰＳＦ面積差を色にじみ強度として採用する方法が考えられる。
【００７７】
図１４（ｂ）では、ピークよりも左側エッジの面積差よりも右側エッジの面積差が大きいため、右側エッジで大きく色にじみが発生することがわかる。この面積が小さければ色にじみは目立たないため、面積が小さい場合を色にじみが発生しない方向とすることができる。また、面積比より、色にじみ強度を決定することが可能となる。色にじみ補正を行う画像に倍率色収差が残存していると誤判定をする場合があるため、画像に対して予め倍率色収差補正を行い、前述のように色にじみの補正データを、倍率色収差を除去して生成しておくことが好ましい。
【００７８】
以上により、光学情報の色にじみが発生する方向や色にじみ強度を算出できるが、算出方法としてＰＳＦの面積差を使用する方法に限定されるものではない。例えば、図１４（ｂ）において、ＧプレーンとＢプレーンのエッジの傾き差を使用する方法が考えられる。色にじみが発生する場合、エッジの傾きは緩くなる傾向にあるため、傾き差などを利用することにより、光学情報を決定するなどしてもよい。
【００７９】
本実施形態では、色にじみ強度を計算する際にピーク値を一致させる方法で説明しているが、ピーク値ではなくＰＳＦの重心が一致をさせて色にじみ強度を算出してもよい。このように本実施形態によれば、単調増減判定を行う方向や、像高、撮影条件ごとに光学補正値を算出することができる。
【００８０】
図１に戻り、ステップＳ１１６において、画像処理装置（修正部）は、ステップＳ１１５にて判定部により色にじみ領域と判定された領域（第２の領域）に対し、色にじみを補正する処理（画像を修正する処理）を行う（色にじみ補正工程）。すなわち修正部は、色にじみを低減させるように画像を修正する。
【００８１】
図１５は、青色にじみの典型的な画素値変化を示す図である。図１５において、横軸は距離（画像上の断面）であり、縦軸はＢプレーン及びＧプレーンの画素値である。図１５では、左端に飽和輝度を超える高輝度被写体が存在するものとする。そして、本来明るくない高輝度被写体の周囲も、収差やフレアにより、画素値変化の裾が黒レベルに漸近するように拡がる。基準プレーンであるＧプレーンでもにじみは無いわけではなく、ある程度の拡がりが存在する。しかし、それは色にじみ除去対象のＢプレーンに比べると小さい。また、撮像素子は一定の飽和レベル以上の画素値を測定することはできない。このような画素値変化において、色にじみ除去対象のＢプレーンの強度が基準プレーンであるＧプレーンの強度を上回ると、青色にじみとなる。
【００８２】
本実施形態では、画像処理装置は、色にじみ除去対象のＢプレーンの画素値変化の傾きによりＢプレーンのにじみ量を推定する。そこで、Ｂプレーンの輝度傾斜Ｂｌｅａの絶対値に係数ｋ１を乗じることにより、以下の式（６）で表されるように第１の推定にじみ量Ｅ１とする。
【００８３】
Ｅ１＝ｋ１｜Ｂｌｅａ｜  …  （６）
式（６）において、ｋ１は正値である。ただし、Ｂプレーンが飽和している領域Ａ１では画素値傾斜は０になってしまい飽和前の輝度傾斜が得られない。
【００８４】
そこで、Ｂプレーンが飽和している領域Ａ１に対する推定にじみ量Ｅ２を、以下の式（７）に示されるように、Ｇプレーンの画素値変化の輝度傾斜Ｇｌｅａに基づいて推定する。
【００８５】
Ｅ２＝ｋ２｜Ｇｌｅａ｜  …  （７）
式（７）において、ｋ２は正値である。
【００８６】
次に、Ｂプレーンの画素値に対する非線形変換を行い、飽和度Ｓを生成する。この非線形変換は、Ｂプレーンが飽和しているか否かを示すものであり、Ｂプレーンの強度が飽和している領域では飽和度Ｓが１となり、Ｂプレーンの強度が小さい領域では飽和度Ｓは０となる。飽和度Ｓは０、１の２値でもよいが、図１６に示されるように、飽和度Ｓは０〜１にかけて連続的に変化する値としてもよい。図１６は、Ｂプレーンの画素値に対する非線形変換の特性図である。
【００８７】
そして、飽和度Ｓに応じて推定にじみ量Ｅ１または推定にじみ量Ｅ２を選択する。すなわち、飽和度Ｓが０、１の２値であれば新たな推定にじみ量Ｅを、
Ｅ＝Ｅ１  （Ｓ＝０の場合）
Ｅ＝Ｅ２  （Ｓ＝１の場合）
とする。また、飽和度Ｓが０〜１にかけて連続的に変化する値であれば、新たな推定にじみ量Ｅを、
Ｅ＝（１−Ｓ）Ｅ１＋ＳＥ２
とする。
【００８８】
次に、推定にじみ量Ｅを修正し、実際に除去する量Ｅ’を決定する。推定にじみ量（除去量）は、一定のモデルに沿ったものであり、実際のにじみ量とは必ずしも一致しない。例えば、同じＢプレーンに検出される光であっても、波長４５０ｎｍの光と波長４００ｎｍの光ではにじみ方が変化するが、色にじみ判定工程（ステップＳ１１５）では、これを考慮していない。推定にじみ量（除去量）が過小である場合、青色にじみの除去後も若干の青みが残る。一方、推定にじみ量（除去量）が過大である場合、灰色の背景に対してＢプレーンを減らし過ぎ、黄緑色になる場合がある。
【００８９】
特に後者（黄緑色になる場合）は、不自然で観察者に大きな違和感を与える。そこで、色にじみ補正工程（ステップＳ１１６）では、一定の色相範囲内でのみ、にじみ除去が作用するよう制限する。このため、まずステップＳ１１６において、画素の色度を計算する。Ｒ、Ｇ、Ｂの各プレーンの強度に対し、以下の式（８）が成立する。
【００９０】
【数５】
2017118293.tif 000007
【００９１】
図１７は、式（８）のａを横軸とし、ｂを縦軸とする色度座標ａｂ面である。図１７に示されるように、青色は色度座標ａｂ面の斜線で示す第４象限にある（なお、赤、黄、紫は第１象限、緑、白は第２象限、青緑は第３象限にある）。Ｂプレーンの強度から推定にじみ量Ｅを除去すると、Ｂ＝Ｂ−Ｅとなり、色度座標ａｂ面上では点線矢印のように左上方向へ移動する。矢印の始点が推定にじみ量Ｅの除去前の色度であり、終点が推定にじみ量Ｅの除去後の色度である。このことから、作用する色相範囲をａ＞０かつｂ＜０に制限すると、以下の式（９）が成立する。
【００９２】
Ｂ＞０．２２Ｒ＋０．６８Ｇ  かつ  Ｂ＞−１．８４Ｒ＋３．３０Ｇ  …  （９）
このため、式（９）を満たさない画素に対し、実際に除去する除去量Ｅ’＝０とし、色にじみ除去対象から外す。これにより、式（９）を満たさない画素は、画素値が影響を受けることがない。図１７では、斜線で示す第４象限の領域のみが除去対象となる。
【００９３】
更に、式（９）を満たす画素に対しても、除去量Ｅ’を、以下の式（１０）を満たすように設定する。
【００９４】
Ｅ’＝ｍｉｎ（Ｅ，Ｂ−（０．２２Ｒ＋０．６８Ｇ），Ｂ−（−１．８４Ｒ＋３．３０Ｇ））  …  （１０）
これにより、除去量Ｅ’の除去による色度変化は、図１７中の実線矢印で示されるように、第４象限内に留まるようになる。
【００９５】
なお本実施形態において、色度座標ａｂ面の第４象限で制限したが、これに限定されるものではなく、任意の角度で制限してもよい。このとき、以下の式（１１）を満たす必要がある。
【００９６】
Ｂ＞ｒ１・Ｇ＋ｒ２・Ｒ  かつ  Ｂ＞ｒ３・Ｇ＋ｒ４・Ｒ  …  （１１）
式（１１）において、ｒ１〜ｒ４は制限角θを用いて、以下の式（１２）のように算出される。色相制限は、色度座標ａｂ面の原点を通る２本の直線で定義され、θ１、θ２はその２本の直線を表す角度である。
【００９７】
【数６】
2017118293.tif 000008
【００９８】
これにより、色相制限範囲を超えてＢプレーンが減少するのを防ぐことができる。以上のようにして算出した、色にじみの除去対象とする色プレーンの除去量Ｅ’を除去量プレーンとして保持し、色にじみ補正処理を行う。除去量プレーンに対しては、ローパスフィルタを適用する。なお本実施形態では、色相制限に簡易的なａ＊ｂ＊平面を用いているが、これに限定されるものではなく、３×３のＲＧＢ→ＹＵＶマトリクスを用いてｕｖ平面にて色相制限処理を行っても構わない。
【００９９】
除去量Ｅ’をＢプレーンの強度から差し引くことにより、新たなＢプレーンを作成する。色にじみ除去対象としては、色にじみ判定ステップＳ１１５にて色にじみ領域と判定された画素のみとする。従って、新たなＢプレーンの強度は、単調増減判定フラグが「１」である場合、Ｂ＝Ｂ−Ｅ’となる。一方、単調増減判定フラグが「０」である場合、Ｂ＝Ｂとなる。このように、図１のステップＳ１１２において、画像処理装置は、Ｂプレーンを修正したカラー画像を出力画像として出力する。
【０１００】
ここで、図６（ａ）に示される画像内の３×３画素の領域における単調増減判定結果が、図１８に示されるように隣接する画素で単調増減判定フラグの値が切り替わる場合を考える。このような場合、画素の境界部では除去量がばたつき（隣接する画素で除去される場合と除去されない場合が混在すること）、画素値の変化が急峻になり、不自然で観察者に違和感を与える場合がある。そこで、生成した除去量プレーンに対してローパスフィルタを適用する方法が有効である。
【０１０１】
また、以下の式（１３）により、単調増減判定結果プレーンを用いて色プレーンの各画素のゲインを算出し、除去量に乗算することで、境界部（単調増減判定結果プレーン）に対するスムージング処理を行ってもよい。
【０１０２】
【数７】
2017118293.tif 000009
【０１０３】
図１８に示される例において、画素ｐの除去量Ｅ’’は、以下の式（１４）のように表される。
【０１０４】
【数８】
2017118293.tif 000010
【０１０５】
以上の方法で、色にじみのみを違和感なく除去することが可能となる。
【０１０６】
次に、図１９を参照して、デフォーカス量に応じた色にじみ補正データについて説明する。図１９は、デフォーカス量に応じた色にじみ補正データ（色にじみの光学情報の補正データ）の一例である。
【０１０７】
軸上色収差がある場合、デフォーカス量により色プレーン間の相対的な収差量が変化するため、最もＰＳＦの広がりの少ない色成分を基準色として、他の色のにじみ量から補正データを生成する。図１９の例では、近点距離および合焦距離に関しては最も先鋭なＧ成分を基準とし、遠点距離に関してはＢ成分を基準としている。このように色にじみ補正データは、デフォーカス量に応じて予め保持される。ただし、離散的なデフォーカス量に対して補正データを保持し、補正データを保持していないデフォーカス量である場合、近傍の補正データを補間して用いることにより保持データを削減することが好ましい。
【０１０８】
このように、デフォーカス量に応じて色にじみ補正処理を行うことにより、立体被写体であっても色にじみを違和感なく除去することが可能となる。以上が、本実施形態における画像処理方法の基本的な処理フローである。
【実施例１】
【０１０９】
次に、図２０を参照して、本発明の実施例１における撮像装置について説明する。図２０は、本実施例における撮像装置１００の構成図である。撮像装置１００には、撮影画像の色にじみ補正処理（図１を参照して説明した画像処理方法）を行う画像処理プログラムがインストールされており、この色にじみ補正処理は撮像装置１００の内部の画像処理部１０４（画像処理装置）により実行される。
【０１１０】
撮像装置１００は、撮像光学系１０１（レンズ）および撮像装置本体（カメラ本体）を備えて構成されている。撮像光学系１０１は、絞り１０１ａおよびフォーカスレンズ１０１ｂを備え、撮像装置本体（カメラ本体）と一体的に構成されている。ただし本実施例はこれに限定されるものではなく、撮像光学系１０１が撮像装置本体に対して交換可能に装着される撮像装置にも適用可能である。
【０１１１】
撮像素子１０２は、撮像光学系１０１を介して得られた被写体像（光学像、結像光）を光電変換して撮影画像を生成する。すなわち被写体像は、撮像素子１０２により光電変換が行われてアナログ信号（電気信号）に変換される。そして、このアナログ信号はＡ／Ｄコンバータ１０３によりデジタル信号に変換され、このデジタル信号は画像処理部１０４に入力される。
【０１１２】
ここで、図２１を参照して、デフォーカスマップを生成するための撮像素子１０２について説明する。図２１（ａ）は、本実施例の撮像系における撮像素子の受光部と光学系の瞳との関係を示す図である。図２１（ａ）において、ＭＬはマイクロレンズであり、ＣＦはカラーフィルタである。ＥＸＰは光学系の射出瞳（瞳）であり、Ｐ１、Ｐ２は射出瞳ＥＸＰの領域である。Ｇ１、Ｇ２は画素（受光部）であり、１つの画素Ｇ１と１つの画素Ｇ２とが互いに対をなしている（画素Ｇ１、Ｇ２は１つのマイクロレンズＭＬを共有するように設けられている）。撮像素子には、画素Ｇ１と画素Ｇ２の対（画素対）が複数配列されている。対の画素Ｇ１と画素Ｇ２は、共通の（すなわち、画素対ごとに１つずつ設けられた）マイクロレンズＭＬを介して、射出瞳ＥＸＰと共役な関係を有する。なお、撮像素子に配列された複数の画素Ｇ１、Ｇ２を、それぞれまとめて画素群Ｇ１、Ｇ２という場合がある。
【０１１３】
図２１（ｂ）は、本実施例における撮像系の模式図であり、図２１（ａ）に示されるマイクロレンズＭＬの代わりに、射出瞳ＥＸＰの位置に薄肉レンズが設けられていると仮定した場合の撮像系を示している。画素Ｇ１は、射出瞳ＥＸＰのうち領域Ｐ１を通過した光束を受光する。画素Ｇ２は、射出瞳ＥＸＰのうち領域Ｐ２を通過した光束を受光する。ＯＳＰは、撮像している物点である。物点ＯＳＰには、必ずしも物体が存在している必要はない。物点ＯＳＰを通った光束は、その光束が通過する瞳（射出瞳ＥＸＰ）内での位置（本実施例では領域Ｐ１または領域Ｐ２）に応じて、画素Ｇ１または画素Ｇ２のいずれかの画素に入射する。瞳内の互いに異なる領域を光束が通過することは、物点ＯＳＰからの入射光が角度（視差）によって分離されることに相当する。すなわち、各マイクロレンズＭＬに対して設けられた画素Ｇ１、Ｇ２のうち、画素Ｇ１からの出力信号を用いて生成された画像と、画素Ｇ２からの出力信号を用いて生成された画像とが、互いに視差を有する複数（ここでは一対）の視差画像となる。
【０１１４】
画素群Ｇ１および画素群Ｇ２からなるそれぞれの視差画像は、合焦した被写体に対しては画像の同じ位置に結像するが、非合焦の被写体に対しては画像の異なる位置に結像する。この位置ずれ量は、デフォーカス量に依存するため、位置ずれ量に基づいて合焦距離からの相対的なずれ量であるデフォーカス量を求めることができる。これは、位相差検出方式のオートフォーカス機構にも用いられている原理である。したがって、画像全域に対してデフォーカス量を求めることにより、デフォーカスマップを生成することができる。また、フォーカスレンズ１０１ｂの位置から合焦被写体までの距離を求めれば、各被写体までの距離を現す被写体距離マップを生成することができる。
【０１１５】
図２０において、画像処理部１０４（画像処理装置）は、取得部１０４ａ、判定部１０４ｂ、検出部１０４ｃ、および、修正部１０４ｄを有する。画像処理部１０４（画像処理装置）は、Ａ／Ｄコンバータ１０３から出力されたデジタル信号に対して所定の処理を行うとともに、前述の色にじみ補正処理を行う。
【０１１６】
まず画像処理部１０４（取得部１０４ａ）は、状態検知部１０７から撮像装置１００（撮像光学系１０１）の撮像条件情報を取得する。撮像条件情報とは、絞り値、撮影距離（被写体距離）、および、ズームレンズの焦点距離などに関する情報である。状態検知部１０７は、システムコントローラ１１０から直接に撮像条件情報を取得することができるが、これに限定されるものではない。例えば撮像光学系１０１に関する撮像条件情報は、撮像光学系制御部１０６から取得することもできる。また画像処理部１０４（取得部１０４ａ）は、撮像光学系１０１を介して形成された画像のデフォーカス量に関する情報を取得する。デフォーカス量に関する情報は、デフォーカス量や被写体距離など画像中のデフォーカス情報や距離情報を含むが、これに限定されるものではない。本実施例において、より具体的には、画像処理部１０４（取得部１０４ａ）は、デフォーカス量に関する情報に基づいて画像のデフォーカスマップ（被写体距離マップ）を生成する。
【０１１７】
続いて、画像処理部１０４（判定部１０４ｂ）は、デフォーカス量に関する情報（デフォーカスマップまたは被写体距離マップ）と撮像光学系の色にじみに関する光学情報とを用いて、色にじみを低減するように画像を修正するか否かを判定する。そして画像処理部１０４（判定部１０４ｂ）は、画像を修正すると判定した場合、デフォーカスマップ（被写体距離マップ）を用いて、デフォーカス量（被写体距離）に応じた画像の領域分割を行う。
【０１１８】
続いて、画像処理部１０４（判定部１０４ｂ、検出部１０４ｃ、修正部１０４）は、分割領域ごとにデフォーカス量（または被写体距離）に応じた色にじみの光学情報（補正データ）を用いて色にじみ補正処理を行う。本実施例の色にじみ補正処理（画像処理方法）は、図１を参照して説明したとおりである。より具体的には、検出部１０４ｃは、デフォーカス量に応じた色（基準色以外の色）の信号レベルが、所定の区間において第１の方向に単調増加または単調減少している第１の領域を検出する。判定部１０４ｂは、光学情報と第１の領域に関する情報とに基づいて、色にじみが発生している第２の領域を決定する。修正部１０４ｄは、色にじみを低減するように画像を修正する。
【０１１９】
撮像光学系１０１の色にじみ補正データは、記憶部１０８に保持されている。画像処理部１０４は、記憶部１０８から、撮影条件情報に対応する色にじみ補正データを取得して、色にじみ補正処理を行う。補正後の出力画像は、画像記録媒体１０９に所定のフォーマットで保存される。表示部１０５には、本実施例の色にじみ補正処理を行った画像に表示用の所定の処理を行った画像が表示される。ただし本実施例はこれに限定されるものではなく、高速表示のために簡易処理を行った画像を表示部１０５に表示するように構成してもよい。
【０１２０】
本実施例における一連の制御はシステムコントローラ１１０により行われ、撮像光学系１０１の機械的な駆動はシステムコントローラ１１０の指示に基づいて撮像光学系制御部１０６により行われる。撮像光学系制御部１０６は、Ｆナンバーの撮影状態設定として、絞り１０１ａの開口径を制御する。また撮像光学系制御部１０６は、被写体距離に応じてピント調整を行うため、不図示のオートフォーカス（ＡＦ）機構や手動のマニュアルフォーカス機構により、フォーカスレンズ１０１ｂの位置を制御する。なお、絞り１０１ａの開口径制御やマニュアルフォーカスなどの機能は、撮像装置１００の仕様に応じて実行しなくてもよい。また、撮像光学系１０１には、ローパスフィルタや赤外線カットフィルタなどの光学素子を設けることができる。
【０１２１】
次に、デフォーカスマップまたは被写体距離マップを生成するための光学系の変形例について説明する。第１の変形例は、特開２０１３−６２８０３に開示されている方法であり、互いに撮影条件が異なる２枚の画像から被写体距離を取得する。この方法では、例えば、フォーカスレンズの移動によりピントの異なる２枚の画像を撮影し、その撮影画像のぼけ量の違いから被写体距離を生成する。
【０１２２】
第２の変形例は、図２２に示される構成の撮像系を用いる。Ｒｅｎ．Ｎｇ等の「Ｌｉｇｈｔ  Ｆｉｅｌｄ  Ｐｈｏｔｏｇｒａｐｈｙ  ｗｉｔｈ  ａ  Ｈａｎｄ−ｈｅｌｄ  Ｐｌｅｎｏｐｔｉｃ  Ｃａｍｅｒａ」（Ｓｔａｎｆｏｒｄ  Ｔｅｃｈ  Ｒｅｐｏｒｔ  ＣＴＳＲ  ２００５−２）には、「Ｐｌｅｎｏｐｔｉｃ  Ｃａｍｅｒａ」が提案されている。この「Ｐｌｅｎｏｐｔｉｃ  Ｃａｍｅｒａ」において「Ｌｉｇｈｔ  Ｆｉｅｌｄ  Ｐｈｏｔｏｇｒａｐｈｙ」という手法を用いることで、物体側からの光線の位置と角度の情報を取り込むことができる。光線の角度の情報は視差となるため、複数の視差画像からデフォーカス量または被写体距離マップを生成することができる。
【０１２３】
図２２において、撮像光学系３０１は、主レンズ（撮影レンズ）３０１ｂと開口絞り３０１ａとを備えて構成される。撮像光学系３０１の結像位置には、マイクロレンズアレイ３０１ｃが配置されており、さらにその後方（像側）に撮像素子３０２が配置されている。マイクロレンズアレイ３０１ｃは、例えば点Ａのような被写体空間のある一点を通る光線群と、点Ａの近傍の点を通る光線とが撮像素子３０２上で混ざらないようにセパレータ（分離手段）としての機能を有する。図２２から分かるように、点Ａからの上線、主光線および下線は、それぞれ異なる画素によって受光される。このため、点Ａを通る光線群を光線の角度ごとに分離して取得することができる。
【０１２４】
また、Ｔｏｄｏｒ  Ｇｅｏｒｇｉｖｅ等による「Ｆｕｌｌ  Ｒｅｓｏｌｕｔｉｏｎ  Ｌｉｇｈｔ  Ｆｉｅｌｄ  Ｒｅｎｄｅｒｉｎｇ」（Ａｄｏｂｅ  Ｔｅｃｈｎｉｃａｌ  Ｒｅｐｏｒｔ  Ｊａｎｕａｒｙ  ２００８）が知られている。この文献では、光線の位置と角度の情報（Ｌｉｇｈｔ  Ｆｉｅｌｄ）を取得する方法として、図２３および図２４に示される撮像系を提案している。
【０１２５】
図２３に示される撮像系の構成では、マイクロレンズアレイ３０１ｃを主レンズ３０１ｂの結像位置よりも後方（像側）に配置し、点Ａを通る光線群を撮像素子３０２上に再結像させることで、光線群を光線の角度ごとに分離して取得することができる。また、図２４に示される撮像系の構成では、マイクロレンズアレイ３０１ｃを主レンズ３０１ｂの結像位置よりも前方（物体側）に配置し、点Ａを通る光線群を撮像素子３０２上に結像させることで、光線群を光線の角度ごとに分離して取得することができる。いずれの構成も、撮像光学系３０１の瞳を通過する光束を瞳内での通過領域（通過位置）に応じて分割する点は同じである。そして、これらの構成では、撮像素子３０２は、図２５に示されるように、１つのマイクロレンズＭＬと１つの受光部Ｇ１とカラーフィルタＣＦを介して対になっている従来の撮像素子を用いることができる。
【０１２６】
図２２に示される撮像光学系３０１を用いると、図２６（ａ）に示されるような画像が得られる。図２６（ｂ）は、図２６（ａ）中に多数並んだ円のうち１つを拡大して示している。１つの円は絞りＳＴＰに相当し、その内側は複数の画素Ｐｊ（ｊ＝１、２、３、…）により分割されている。これにより、１つの円内で瞳の強度分布が得られる。また、図２３および図２４に示される撮像光学系３０１を用いると、図２７に示されるような視差画像が得られる。図２２に示される撮像光学系により得られる図２６（ａ）の画像において、瞳内に視差が分布している。このため、視差ごとに画像を分離することにより、図２７に示されるような複数の視差画像が得られる。
【０１２７】
第３の変形例は、図２８に示されるように複数の撮像装置（カメラ）を用いる。複数のカメラを用いて同一被写体を撮像する場合でも、視差画像を得ることができる。第４の変形例は、図２９に示されるように、１つの撮像装置に複数の撮像光学系ＯＳｊ（ｊ＝１，２，３，…）を設けることにより、視差画像を得ることができる。
【実施例２】
【０１２８】
次に、図３０を参照して、本発明の実施例２における画像処理システムについて説明する。図３０は、本実施例における画像処理システム２００の構成図である。なお、本実施例の色にじみ補正処理（画像処理方法）は、図１を参照して説明したとおりであるため、その説明は省略する。
【０１２９】
図３０において、画像処理装置２０１は、本実施例の画像処理方法をコンピュータに実行させるための画像処理ソフトウエア２０６を搭載したコンピュータ機器である。撮像機器２０２は、カメラ、顕微鏡、内視鏡、または、スキャナなどの撮像装置である。記憶媒体２０３は、半導体メモリ、ハードディスク、または、ネットワーク上のサーバなど、撮影画像を記憶した記憶手段である。
【０１３０】
画像処理装置２０１は、撮像機器２０２または記憶媒体２０３から撮影画像データを取得し、所定の画像処理を行った画像データを出力機器２０５、撮像機器２０２、記憶媒体２０３のいずれか一つまたは複数に出力する。また、その出力先を画像処理装置２０１に内蔵された記憶部に保存することもできる。出力機器２０５は、例えばプリンタである。また、ネットワークまたはＣＤ−ＲＯＭ２０７などの記憶媒体から画像処理ソフトウエア２０６を画像処理装置２０１にインストールすることもできる。
【０１３１】
画像処理装置２０１には、モニタである表示機器２０４が接続されている。このため、ユーザは表示機器２０４を通して画像処理作業を行うとともに、補正された画像を評価することができる。画像処理ソフトウエア２０６は、本実施例の色にじみ補正処理（画像処理方法）を行うほか、必要に応じて現像やその他の画像処理を行う。
【０１３２】
なお、本実施例における画像処理を行うためのデータの内容や機器間の受け渡しなどに関する情報（補正情報）については、個々の画像データに付帯させることが好ましい。必要な補正情報を画像データに付帯させることで、本実施例の画像処理装置を搭載した機器であれば、適切に本実施例の補正処理を行うことが可能である。また、撮像光学系の色にじみ発生方向に関する光学情報は、本実施例の画像処理装置を搭載した機器の記録部から読み出す方法だけでなく、ネットワークを介して取得してもよいし、ＰＣやカメラ、レンズ等から情報を取得してもよい。
【０１３３】
（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【０１３４】
各実施例において、被写体のデフォーカス量を考慮して撮像光学系の色にじみに関する光学情報を用いる。このため各実施例によれば、立体被写体のように被写体距離に応じて色にじみ特性が異なる場合でも、カラー画像における色にじみを効果的に低減可能な画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供する。
【０１３５】
以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【０１３６】
１０４    画像処理部（画像処理装置）
１０４ａ  取得部
１０４ｂ  判定部
【図１】
2017118293.tif 000011
【図２】
2017118293.tif 000012
【図３】
2017118293.tif 000013
【図４】
2017118293.tif 000014
【図５】
2017118293.tif 000015
【図６】
2017118293.tif 000016
【図７】
2017118293.tif 000017
【図８】
2017118293.tif 000018
【図９】
2017118293.tif 000019
【図１０】
2017118293.tif 000020
【図１１】
2017118293.tif 000021
【図１２】
2017118293.tif 000022
【図１３】
2017118293.tif 000023
【図１４】
2017118293.tif 000024
【図１５】
2017118293.tif 000025
【図１６】
2017118293.tif 000026
【図１７】
2017118293.tif 000027
【図１８】
2017118293.tif 000028
【図１９】
2017118293.tif 000029
【図２０】
2017118293.tif 000030
【図２１】
2017118293.tif 000031
【図２２】
2017118293.tif 000032
【図２３】
2017118293.tif 000033
【図２４】
2017118293.tif 000034
【図２５】
2017118293.tif 000035
【図２６】
2017118293.tif 000036
【図２７】
2017118293.tif 000037
【図２８】
2017118293.tif 000038
【図２９】
2017118293.tif 000039
【図３０】
2017118293.tif 000040
【図３１】
2017118293.tif 000041
【図３２】
2017118293.tif 000042
【図３３】
2017118293.tif 000043
【図３４】
2017118293.tif 000044
【図３５】
2017118293.tif 000045