(57)【要約】  所望の画質の撮像画像を取得することができる画像処理装置、撮像装置及び画像処理方法を提供する。画像処理装置として機能する画像処理部（３５）は、レンズ（１６）を含むレンズユニット（１２）及び撮像素子（２６）を有する撮像部を用いた被写体の撮像により撮像素子（２６）から取得される画像データに対し、レンズユニット（１２）の点拡がり関数に基づく復元フィルタを用いた点像復元処理を行う点像復元処理部（５１）と、撮像条件により変動するレンズ（１６）の球面収差に基づいて点像復元処理部（５１）による点像復元処理を行うか否かを判別する判別部（５３）と、を備え、点像復元処理部（５１）は、判別部（５３）が点像復元処理を行うと判別した場合のみ点像復元処理を行う。
2017146061.tif 000002
【特許請求の範囲】
【請求項１】
撮像光学系及び撮像素子を有する撮像部を用いた被写体の撮像により前記撮像素子から取得される画像データに対し、前記撮像光学系の点拡がり関数に基づく復元フィルタを用いた点像復元処理を行う点像復元処理部と、
撮像条件により変動する前記撮像光学系の球面収差に基づいて前記点像復元処理部による点像復元処理を行うか否かを判別する判別部と、を備え、
前記点像復元処理部は、前記判別部が点像復元処理を行うと判別した場合のみ前記点像復元処理を行う画像処理装置。
【請求項２】
前記撮像条件は、前記撮像光学系を構成する絞りの絞り値である請求項１に記載の画像処理装置。
【請求項３】
前記判別部は、前記点像復元処理部による点像復元処理を行うか否かを、前記絞りの絞り値に基づいて判別する請求項２に記載の画像処理装置。
【請求項４】
前記判別部は、前記撮像条件により変動する前記撮像光学系の球面収差が第１の閾値以上の場合、前記点像復元処理部による点像復元処理を行うと判別する請求項１又は２に記載の画像処理装置。
【請求項５】
前記第１の閾値は、球面収差を定める波長をλとすると、０．６λである請求項４に記載の画像処理装置。
【請求項６】
前記判別部は、前記撮像光学系を構成する絞りが開放絞りの場合の前記撮像光学系の第１の球面収差に対する、前記撮像条件により変動する前記撮像光学系の第２の球面収差の比が第２の閾値を越えると、前記点像復元処理部による点像復元処理を行うと判別する請求項１又は２に記載の画像処理装置。
【請求項７】
前記第２の閾値は、０．５である請求項６に記載の画像処理装置。
【請求項８】
前記撮像条件は、前記被写体を照明する光源の種類又は前記光源の波長である請求項１から７のいずれか１項に画像処理装置。
【請求項９】
前記判別部は、前記撮像条件により変動する前記撮像光学系の球面収差として、前記被写体を照明する光源の種類又は前記光源の波長に対応する前記球面収差を使用する請求項８に記載の画像処理装置。
【請求項１０】
前記撮像光学系は、前記撮像光学系を構成する絞りが少なくとも開放絞りの場合に、前記判別部により前記点像復元処理を行うと判別される前記球面収差を有する請求項１から９のいずれか１項に記載の画像処理装置。
【請求項１１】
請求項１から１０のいずれか１項に記載の画像処理装置と、前記撮像部とを備える撮像装置。
【請求項１２】
請求項１１に記載の撮像装置は、産業用カメラとして使用される撮像装置。
【請求項１３】
撮像光学系及び撮像素子を有する撮像部を用いた被写体の撮像により前記撮像素子から取得される画像データに対し、前記撮像光学系の点拡がり関数に基づく復元フィルタを用いた点像復元処理を行うステップと、
撮像条件により変動する前記撮像光学系の球面収差に基づいて前記点像復元処理を行うか否かを判別するステップと、を含み、
前記点像復元処理を行うステップは、前記判別するステップが前記点像復元処理を行うと判別した場合のみ前記復元フィルタを用いた点像復元処理を行う画像処理方法。
【請求項１４】
前記撮像条件は、前記撮像光学系を構成する絞りの絞り値である請求項１３に記載の画像処理方法。
【請求項１５】
前記判別するステップは、前記点像復元処理を行うか否かを、前記絞りの絞り値に基づいて判別する請求項１４に記載の画像処理方法。
【請求項１６】
前記判別するステップは、前記撮像条件により変動する前記撮像光学系の球面収差が第１の閾値以上の場合、前記点像復元処理を行うと判別する請求項１３又は１４に記載の画像処理方法。
【請求項１７】
前記第１の閾値は、球面収差を定める波長をλとすると、０．６λである請求項１６に記載の画像処理方法。
【請求項１８】
前記判別するステップは、前記撮像光学系を構成する絞りが開放絞りの場合の前記撮像光学系の第１の球面収差に対する、前記撮像条件により変動する前記撮像光学系の第２の球面収差の比が第２の閾値を越えると、前記点像復元処理を行うと判別する請求項１３又は１４に記載の画像処理方法。
【請求項１９】
前記第２の閾値は、０．５である請求項１８に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置、撮像装置及び画像処理方法に係り、特に撮像光学系の点拡がり関数に基づいて撮像光学系を介して撮像された画像の復元処理を行う技術に関する。
【背景技術】
【０００２】
撮像光学系を介して撮像される被写体像には、撮像光学系に起因する収差及び回折等の影響により、点被写体が微小な広がりを持つ点拡がり現象が見られることがある。撮像光学系の点光源に対する応答を表す関数は、点拡がり関数（ＰＳＦ：Point Spread Function）と呼ばれ、撮像画像の解像度劣化（ボケ）を左右する特性として知られている。【０００３】
点拡がり現象のために画質が劣化した撮像画像に対し、ＰＳＦに基づく点像復元処理を行うことにより、劣化した撮像画像の画質を復元（回復）することが可能である。この点像復元処理は、撮像光学系（レンズ及び絞り）の収差等に起因する劣化特性（点像特性）を予め求めておき、その点像特性に応じた復元フィルタを用いた画像処理によって撮像画像の点拡がりをキャンセルし、又は低減する処理である。【０００４】
従来この種の点像復元処理を行う撮像装置として、特許文献１に記載のものがある。【０００５】
特許文献１には、撮像装置により得られた撮像画像は、撮像光学系の球面収差、コマ収差、像面湾曲、非点収差等の各収差を高精度に補正した場合でも、絞り値（Ｆナンバー）に依存した回折現象により劣化し、また、収差は撮像光学系の結像性能を向上することで改善が可能であるが、回折は避けられない物理現象であるため、回折による画像の劣化を補正することは重要な課題である旨記載されている。【０００６】
また、特許文献１には、Ｆ１６以上のＦナンバーでは絞りによって収差は低減され、回折の影響が支配的となる旨記載されている。【０００７】
そこで、特許文献１に記載の撮像装置は、絞り値が所定値以上（小絞り）の場合に発生する回折（いわゆる小絞りボケ）のみを点像復元処理の対象とし、撮像画像を撮像した際の絞り値が所定値以上の場合、その絞り値に応じた一つの復元フィルタを用いて撮像画像の点像復元処理を行うようにしている。【０００８】
また、小絞りボケは、絞り値と光の波長に依存し、像高（画像の位置）に依存しないため、一つの画像内について一つの復元フィルタを用いて低減することができ、これによりデータ量及び演算量の削減を可能にしている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２０１４−１５０４２３号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
特許文献１に記載の撮像装置は、小絞りボケのみを点像復元処理の対象とするため、撮像光学系の球面収差、特に瞳の外縁付近を通過する光線の持つ大きな球面収差に起因する画質の劣化を回復させることができない。従って、特許文献１に記載の撮像装置に適用される撮像光学系は、球面収差に起因する画質の劣化が少ないものを使用する必要があり、撮像光学系が高価になるという問題がある。【００１１】
本発明はこのような事情に鑑みてなされたもので、所望の画質の撮像画像を取得することができる画像処理装置、撮像装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記目的を達成するために本発明の一の態様に係る画像処理装置は、撮像光学系及び撮像素子を有する撮像部を用いた被写体の撮像により撮像素子から取得される画像データに対し、撮像光学系の点拡がり関数に基づく復元フィルタを用いた点像復元処理を行う点像復元処理部と、撮像条件により変動する撮像光学系の球面収差に基づいて点像復元処理部による点像復元処理を行うか否かを判別する判別部と、を備え、点像復元処理部は、判別部が点像復元処理を行うと判別した場合のみ点像復元処理を行う。【００１３】
撮像される画像の画質は、主として撮像光学系の球面収差に起因するが、撮像光学系の球面収差は、撮像条件により変動する。判別部は、撮像条件により変動する撮像光学系の球面収差に基づいて点像復元処理部による点像復元処理を行うか否かを判別する。そして、点像復元処理部は、判別部が点像復元処理を行うと判別した場合のみ点像復元処理を行うため、劣化した撮像画像を所望の画質の撮像画像に復元（回復）させることができる。また、点像復元処理部は、判別部が点像復元処理を行うと判別した場合のみ点像復元処理を行うため、点像復元処理に使用する復元フィルタ等のデータ量及び点像復元処理の演算コストを削減することができる。【００１４】
本発明の他の態様に係る画像処理装置において、撮像条件は、撮像光学系を構成する絞りの絞り値である。撮像光学系の球面収差は、絞りの絞り値により変化する。従って、絞りの絞り値は、球面収差を変動させる撮像条件の一つである。【００１５】
本発明の更に他の態様に係る画像処理装置において、判別部は、点像復元処理部による点像復元処理を行うか否かを、絞りの絞り値に基づいて判別することが好ましい。判別部は、球面収差を変動させるパラメータの一つである絞りの絞り値により、点像復元処理部による点像復元処理を行うか否かを間接的に判別している。【００１６】
本発明の更に他の態様に係る画像処理装置において、判別部は、撮像条件により変動する撮像光学系の球面収差が第１の閾値以上の場合、点像復元処理部による点像復元処理を行うと判別することが好ましい。【００１７】
本発明の更に他の態様に係る画像処理装置において、第１の閾値は、球面収差を定める波長をλとすると、０．６λであることが好ましい。【００１８】
本発明の更に他の態様に係る画像処理装置において、判別部は、撮像光学系を構成する絞りが開放絞りの場合の撮像光学系の第１の球面収差に対する、撮像条件により変動する撮像光学系の第２の球面収差の比が第２の閾値を越えると、点像復元処理部による点像復元処理を行うと判別することが好ましい。【００１９】
本発明の更に他の態様に係る画像処理装置において、第２の閾値は、０．５であることが好ましい。【００２０】
本発明の更に他の態様に係る画像処理装置において、撮像条件は、被写体を照明する光源の種類又は光源の波長である。撮像光学系の球面収差は、波長により変動するため、被写体を照明する光源の種類等は、球面収差を変動させる撮像条件の一つである。【００２１】
本発明の更に他の態様に係る画像処理装置において、判別部は、撮像条件により変動する撮像光学系の球面収差として、被写体を照明する光源の種類又は光源の波長に対応する球面収差を使用することが好ましい。光源の波長（光源の種類に特定される光源の波長）は、球面収差を変動させるパラメータの一つだからである。【００２２】
本発明の更に他の態様に係る画像処理装置において、撮像光学系は、撮像光学系を構成する絞りが少なくとも開放絞りの場合に、判別部により点像復元処理を行うと判別される球面収差を有することが好ましい。撮像光学系として、絞りが開放絞りの場合、点像復元する必要がある球面収差を有するものを採用することにより、絞りが開放絞りの場合でも点像復元する必要がないように光学設計した撮像光学系に比べて光学設計の自由度が高く、かつ安価なものにすることができる。【００２３】
本発明の更に他の態様に係る撮像装置は、上述したいずれかに記載の画像処理装置と、撮像部とを備える。【００２４】
本発明の更に他の態様に係る撮像装置は、産業用カメラとして使用されることが好ましい。【００２５】
本発明の更に他の態様に係る画像処理方法は、撮像光学系及び撮像素子を有する撮像部を用いた被写体の撮像により撮像素子から取得される画像データに対し、撮像光学系の点拡がり関数に基づく復元フィルタを用いた点像復元処理を行うステップと、撮像条件により変動する撮像光学系の球面収差に基づいて点像復元処理を行うか否かを判別するステップと、を含み、点像復元処理を行うステップは、判別するステップが点像復元処理を行うと判別した場合のみ復元フィルタを用いた点像復元処理を行う。【００２６】
本発明の更に他の態様に係る画像処理方法において、撮像条件は、撮像光学系を構成する絞りの絞り値であることが好ましい。【００２７】
本発明の更に他の態様に係る画像処理方法において、判別するステップは、点像復元処理を行うか否かを、絞りの絞り値に基づいて判別することが好ましい。【００２８】
本発明の更に他の態様に係る画像処理方法において、判別するステップは、撮像条件により変動する撮像光学系の球面収差が第１の閾値以上の場合、点像復元処理を行うと判別することが好ましい。【００２９】
本発明の更に他の態様に係る画像処理方法において、第１の閾値は、球面収差を定める波長をλとすると、０．６λであることが好ましい。【００３０】
本発明の更に他の態様に係る画像処理方法において、判別するステップは、撮像光学系を構成する絞りが開放絞りの場合の撮像光学系の第１の球面収差に対する、撮像条件により変動する撮像光学系の第２の球面収差の比が第２の閾値を越えると、点像復元処理を行うと判別することが好ましい。【００３１】
本発明の更に他の態様に係る画像処理方法において、第２の閾値は、０．５であることが好ましい。
【発明の効果】
【００３２】
本発明によれば、撮像条件により変動する撮像光学系の球面収差に基づいて点像復元処理をすべきか否かを判別し、点像復元処理を行うと判別した場合のみ点像復元処理を行うため、劣化した撮像画像を所望の画質の撮像画像に復元（回復）させることができ、また、点像復元処理を行わないと判別した場合には、所望の画質の撮像画像が取得されているとして点像復元処理を行わないため、点像復元処理に使用する復元フィルタ等のデータ量及び点像復元処理の演算コストを削減することができる。
【図面の簡単な説明】
【００３３】
【図１】コンピュータに接続される撮像装置の機能構成例を示すブロック図
【図２】図１に示したカメラコントローラの構成例を示すブロック図
【図３】図２に示したカメラコントローラ内の画像処理部の第１の実施形態を示すブロック図
【図４】球面収差とＦ値との組み合わせ毎に算出したＭＴＦの一例を示す図表
【図５】球面収差とＦ値との組み合わせ毎に算出したＭＴＦを示す他の例を示す図表
【図６】レンズの球面収差を示す縦収差図
【図７】図４に示した球面収差が異なる各レンズについて計算した、球面収差比の計算結果等を示す図表
【図８】図２に示したカメラコントローラ内の画像処理部の第２の実施形態を示すブロック図
【図９】画像処理方法の第１の実施形態を示すフローチャート
【図１０】画像処理方法の第２の実施形態を示すフローチャート
【図１１】画像処理方法の第３の実施形態を示すフローチャート
【発明を実施するための形態】
【００３４】
以下、添付図面に従って本発明に係る画像処理装置、撮像装置及び画像処理方法の実施形態について説明する。以下の実施形態では、一例として、マシンビジョンシステムに使用される撮像装置に本発明を適用する場合について説明する。
【００３５】
図１は、コンピュータ（ＰＣ：Personal Computer）に接続される撮像装置１０の機能構成例を示すブロック図である。
【００３６】
産業用カメラは、被写界深度を広くとりつつ、なるべく絞りの絞り値（Ｆ値）を小さくする事で、対象範囲のピントが合った画像を高速で取り込むことが求められており、一般的なカメラレンズのような小絞りボケが発生するようなＦ値を使用する機会は少ない。
【００３７】
図１に示す撮像装置１０は、マシンビジョンシステムに使用される産業用カメラであり、主として撮像部を構成するレンズユニット１２及び撮像素子２６と、カメラコントローラ２８と、入出力インターフェース３２と、照明装置４０とから構成されている。
【００３８】
レンズユニット１２は、レンズ１６及び絞り１８から構成される撮像光学系と、この撮像光学系を制御する光学系操作部２０とを具備する。光学系操作部２０は、レンズ１６のフォーカス位置を調整する手動操作部、及びカメラコントローラ２８から加えられる制御信号により絞り１８を駆動する絞り駆動部を含む。
【００３９】
マシンビジョンシステムに使用される撮像装置のレンズは、解像度、明るさなどのレンズ性能が面内均一であることが重要である。それを実現するための設計手段として、絞りの絞り値（Ｆ値）を制限することがあるが、レンズスペックとしてレンズの明るさも求められている。
【００４０】
その一方、マシンビジョンシステムに使用される撮像装置は、被写界深度の必要性から実用上使用する絞りの範囲を、中域の絞り（開放絞りのＦ値よりも大きく、小絞りボケが発生する小絞りのＦ値よりも小さいＦ値の範囲の絞り）を使用するのが一般的である。
【００４１】
従って、この撮像装置１０のレンズ１６は、所定の撮像条件下（実用上使用する絞りのＦ値を含む）において、製品の検査、計測、又は位置決め等に要求される所望の画質の撮像画像が撮像できるように重点化してレンズ設計されたものである。このレンズ１６を使用して撮像された撮像画像は、所定の撮像条件以外の撮像条件では、画質が劣化し、所望の画質を満たさなくなる（劣化した撮像画像となる）が、劣化した撮像画像は、後述する点像復元処理により復元（回復）させることができる。また、本例のレンズ１６の焦点距離（ｆ）は、ｆ＝16ｍｍである。
【００４２】
絞り１８は、複数枚の絞り羽根からなり、Ｆ1.4（開放Ｆ値）からＦ22まで１ＡＶ（Aperture value）刻みで１０段階に絞り制御される。
【００４３】
撮像素子２６は、ＣＭＯＳ(Complementary Metal-Oxide Semiconductor)型のイメージセンサにより構成されている。尚、撮像素子２６は、ＣＭＯＳ型に限らず、ＸＹアドレス型、又はＣＣＤ（Charge Coupled Device）型のイメージセンサでもよい。また、本例の撮像素子２６のサンプリング周波数（ｆｓ）は、９０本／ｍｍである。
【００４４】
照明装置４０は、撮像装置１０による撮像領域の被写体を照明するもので、例えば、水銀ランプ、赤外線光源、及び赤（Ｒ）、緑（Ｇ）、青（Ｂ）のＲＧＢ光源等の複数の光源を備え、発光する光源の種類が選択されることにより、所望の波長の照明光により被写体を照明する。本例では、照明装置４０は、水銀ランプを点灯することによりｅ線のスペクトル（波長λ＝546.070ｎｍ）をピーク波長とする光、又は赤外線光源を点灯することによりｅ線の２倍の波長（1092.14ｎｍ）をピーク波長とする赤外光を適宜選択して発光することができる。また、ＲＧＢ光源から１つの光源を選択し、又は適宜組み合わせて点灯することにより所望のピーク波長を有する光を発光することも可能である。
【００４５】
カメラコントローラ２８は、詳細については後述するが、図２に示すように撮像装置１０の各部を統括的に制御するデバイス制御部３４としての機能と、撮像素子２６から送られてくる画像データの画像処理を行う画像処理部（画像処理装置）３５としての機能とを有する。
【００４６】
カメラコントローラ２８により画像処理された画像データは、入出力インターフェース３２を介してコンピュータ６０等に送られる。カメラコントローラ２８から出力される画像データのフォーマットは特に限定されず、動画の場合にはＭＰＥＧ（Moving Picture Experts Group）、Ｈ．２６４等のフォーマットとし、静止画の場合には、ＪＰＥＧ（Joint Photographic Experts Group）、ＴＩＦＦ（Tagged Image File Format）等のフォーマットとし得る。また、画像処理部３５による画像処理が行われない生データ（ＲＡＷデータ）を出力し得る。更に、カメラコントローラ２８は、いわゆるＥｘｉｆ（Exchangeable Image File Format）のように、ヘッダ情報（撮像日時、機種、画素数、Ｆ値、光源の種類等）、主画像データ及びサムネイル画像データ等の複数の関連データを相互に対応づけて１つの画像ファイルとして構成し、その画像ファイルを出力してもよい。
【００４７】
コンピュータ６０は、各種製品の検査等を行うマシンビジョンシステムの一部を構成する部分であり、撮像装置１０の入出力インターフェース３２及びコンピュータ入出力部６２を介して撮像装置１０に接続され、撮像装置１０から送られてくる画像データ等のデータ類を受信する。コンピュータコントローラ６４は、コンピュータ６０を統括的に制御し、撮像装置１０からの画像データを画像処理し、撮像された製品の検査等を行い、また、ネットワークを介して接続された産業用ロボット等の各種装置（図示せず）との通信を制御する。
【００４８】
コンピュータ６０はディスプレイ６６を有し、コンピュータコントローラ６４における処理内容及び検査結果等が必要に応じてディスプレイ６６に表示される。ユーザは、ディスプレイ６６の表示を確認しながらキーボード等の入力手段（図示省略）を操作することで、コンピュータコントローラ６４にデータやコマンドを入力可能である。これによりユーザは、コンピュータ６０や、コンピュータ６０に接続される撮像装置１０を制御可能である。
【００４９】
各コントローラ（カメラコントローラ２８、コンピュータコントローラ６４）は、制御処理に必要な回路類を有し、例えば、中央処理装置（ＣＰＵ（Central Processing Unit）等）やメモリ等を具備する。
【００５０】
［画像処理装置］
＜画像処理部の第１の実施形態＞
図３は、図２に示したカメラコントローラ２８内の画像処理部３５の第１の実施形態を示すブロック図である。
【００５１】
図３に示す画像処理部３５は、主として点像復元処理部５１と、判別部５３と、切替部（切替スイッチ）５４とから構成されている。尚、画像処理部３５は、点像復元処理部５１の他に、オフセット処理、階調補正処理、及び輪郭強調処理等の各種の処理部を備えているが、図３では省略されている。
【００５２】
撮像素子２６（図１）から読み出され、デジタル信号に変換された画像データは、切替スイッチ５４の第１の入力５４Ａ、及び点像復元処理部５１（復元フィルタ処理部５１Ａ）に加えられる。
【００５３】
点像復元処理部５１は、主として復元フィルタ処理部５１Ａ、復元フィルタ記憶部５１Ｂ及び復元フィルタ選択部５１Ｃから構成されている。
【００５４】
復元フィルタ処理部５１Ａの一方の入力には、復元処理前の画像データであって、レンズ１６の球面収差等により画質が劣化した撮像画像の画像データが加えられ、他方の入力には、復元フィルタ記憶部５１Ｂに記憶されている複数の復元フィルタから復元フィルタ選択部５１Ｃにより適宜選択された復元フィルタが加えられている。
【００５５】
復元フィルタ処理部５１Ａは、入力する画像データに対して、復元フィルタ選択部５１Ｃから加えられる復元フィルタを用いた点像復元処理を行い、点像復元処理された画像データを算出する。即ち、復元フィルタ処理部５１Ａは、入力する画像データのうちの処理対象画素を中心とする所定のカーネルサイズ（復元フィルタと同じカーネルサイズであって、例えば、７×７等）の画像データと、復元フィルタとの畳み込み演算を行い、点像復元処理した画像データを算出する。
【００５６】
復元フィルタ処理部５１Ａにより点像復元処理された画像データは、切替スイッチ５４の第２の入力５４Ｂに加えられる。
【００５７】
判別部５３は、入力する画像データに対して、点像復元処理部５１による点像復元処理を行う必要があるか否かを判別する部分であり、点像復元処理を行う必要がある判別すると、切替スイッチ５４の可動切片５４Ｃを第２の入力５４Ｂに切り替える切替信号（例えば、ハイレベル信号）を出力し、点像復元処理部５１による点像復元処理を行う必要があるか否かを判別する部分であり、点像復元処理を行う必要がない判別すると、切替スイッチ５４の可動切片５４Ｃを第１の入力５４Ａに切り替える切替信号（例えば、ローレベル信号）を出力する。尚、判別部５３の詳細については後述する。
【００５８】
［復元フィルタ］
次に、復元フィルタ記憶部５１Ｂに記憶される復元フィルタについて説明する。
【００５９】
一般に、撮像光学系（レンズ１６、絞り１８）の点光源に対する応答を表す点拡がり関数（ＰＳＦ）によるボケ画像の復元には、コンボリュージョン型のウィナー(Wiener)フィルタを利用することができる。ＰＳＦ(x,y)をフーリエ変換した光学伝達関数(ＯＴＦ：Optical Transfer Function)と信号対雑音比（ＳＮＲ：Signal to Noise Ratio）の情報を参照して、以下の式によって復元フィルタの周波数特性ｄ（ωｘ，ωｙ）を算出することができる。
【００６０】
【数１】
2017146061.tif 000003
【００６１】
ここでＨ（ωｘ，ωｙ）は、ＯＴＦを表し、Ｈ＊（ωｘ，ωｙ）はその複素共役を表す。また、ＳＮＲ（ωｘ，ωｙ）は信号対雑音比を表す。
【００６２】
復元フィルタのフィルタ係数の設計は、フィルタの周波数特性が、所望のウィナー周波数特性に最も近くなるように係数値を選択する最適化問題であり、任意の公知の手法によってフィルタ係数を適宜算出することができる。
【００６３】
尚、ＰＳＦは、Ｆ値、照明光の波長（ピーク波長）、像高及び焦点距離等の撮像条件により変動するため、復元フィルタは、撮像条件に応じて変動するＰＳＦを使用して算出する必要がある。また、ＯＴＦの代わりに、ＯＴＦの振幅成分を示す変調伝達関数（ＭＴＦ：Modulation Transfer Function）を使用して復元フィルタを算出するようにしてもよい。
【００６４】
復元フィルタ記憶部５１Ｂには、複数の撮像条件に対応するＰＳＦに応じて算出された複数の復元フィルタが、撮像条件に関連付けて記憶されている。本例の復元フィルタ記憶部５１Ｂは、絞り１８のＦ値と、照明装置４０の光源の種類又は光源の波長（ピーク波長）とに対応する復元フィルタを記憶しているが、これに限らず、更に像高に対応する復元フィルタを生成し、記憶するようにしてもよい。
【００６５】
復元フィルタ選択部５１Ｃには、カメラコントローラ２８（図１）から絞り１８の現在の絞り値（Ｆ値）を示す情報（Ｆ値情報）と、照明装置４０により使用される複数の光源のうちの撮像時に使用される光源の種類を示す情報（光源情報）とが加えられており、復元フィルタ選択部５１Ｃは、カメラコントローラ２８から入力するＦ値情報及び光源情報に基づいてこれらの情報に対応する復元フィルタを復元フィルタ記憶部５１Ｂから読み出し、読み出した復元フィルタを復元フィルタ処理部５１Ａに出力する。尚、光源情報は、撮像時に使用される光源の種類を示す情報に限らず、撮像時に使用される光源の波長（ピーク波長）を示す情報であってもよい。
【００６６】
判別部５３には、カメラコントローラ２８からＦ値情報及び光源情報が加えられており、判別部５３は、Ｆ値情報及び光源情報に基づいて入力する画像データに対して、点像復元処理部５１による点像復元処理を行う必要があるか否かを判別し、前述したように判別結果に対応する切替信号を切替スイッチ５４に出力する。
【００６７】
次に、撮像された画像データに対して点像復元処理を行う必要があるか否かの具体的な判別方法について説明する。
【００６８】
撮像画像の解像度劣化（ボケ）は、レンズの点拡がり関数（ＰＳＦ）により左右され、また、ＰＳＦは、主としてレンズの球面収差に依存する。
【００６９】
撮像光学系の波面収差を近似する多項式して、極座標を使用したゼルニケ多項式が利用されており、ゼルニケ多項式（フリンジゼルニケ多項式）の９項は、球面収差を表す。
【００７０】
いま、焦点距離ｆが16ｍｍのレンズを使用し、ｅ線のスペクトル（波長λ＝546.070ｎｍ）をピーク波長とする水銀ランプを照明光源とし、球面収差が異なる種々のレンズについて、フリンジゼルニケ多項式の９項により表される球面収差及びＦ値毎にＭＴＦを算出した。
【００７１】
但し、撮像素子２６によるサンプリング周波数（ｆｓ）は、９０本／ｍｍであり、ＭＴＦは、０．２５ｆｓから０．３ｆｓの範囲内の所定の空間周波数（本例では、０．２５ｆｓ）における値である。尚、０．２５ｆｓから０．３ｆｓの範囲内の空間周波数でのＭＴＦを評価の対象とした理由は、この範囲内の空間周波数におけるＭＴＦが画質を評価するのに好適であり、点像復元処理が画質に寄与する空間周波数領域だからである。
【００７２】
図４は、球面収差とＦ値との組み合わせ毎に算出したＭＴＦの一例を示す図表である。
【００７３】
図４には、球面収差が０λ、０．２λ、…、５λの１０種類のレンズと、Ｆ1.4〜Ｆ22の１０段階のＦ値との組み合わせ毎のＭＴＦが示されている。
【００７４】
ここで、図４に示すＭＴＦは、光軸上の所定の空間周波数（０．２５ｆｓ）における値であり、また、撮像素子２６の撮像画面上の所定の領域におけるＭＴＦであるが、それ以外の領域であってもよい。
【００７５】
所定の領域のＭＴＦは、撮像画面における像高が５０％（撮像画面の中心から撮像画面の四隅までの距離を１００％とした場合の５０％）以上の領域のＭＴＦとすることができる。一般にＭＴＦは、像高が高くなるほど低くなり、低くなる領域のＭＴＦを採用することが好ましいからである。
【００７６】
更に、所定の領域のＭＴＦの他の例としては、撮像画面の画面全体のＭＴＦを採用してもよく、また撮像画面の任意の複数点のＭＴＦを採用してもよい。
【００７７】
更にまた、所定の領域のＭＴＦとしては、所定の領域のＭＴＦの代表値（例えば、平均値、中央値、又は最頻値等）が使用される。
【００７８】
図４に示すようにＦ1.4は開放Ｆ値であり、Ｆ値が開放Ｆ値から大きくなる（絞り開口が小さくなる）にしたがってＭＴＦは大きくなり、Ｆ値がＦ5.6以上になると、ＭＴＦは徐々に小さくなる。Ｆ値がＦ5.6以上になると、ＭＴＦが徐々に小さくなるのは、球面収差よりも小絞りボケが支配的になるからである。尚、Ｆ22では、ＭＴＦが低すぎて正しく計算できなかったため、ＭＴＦを０とした。
【００７９】
また、図５は、球面収差とＦ値との組み合わせ毎に算出したＭＴＦを示す他の例を示す図表である。尚、図５に示すＭＴＦは、図４に示した一例とは光源の種類のみが異なり、照明光の光源として、図４に示したｅ線の２倍の波長（1092.14ｎｍ）をピーク波長とする赤外線光源を使用した場合に関して示している。
【００８０】
光源の波長が異なると、レンズでの屈折率が異なり、その結果、ＭＴＦも異なる。図４に示したＭＴＦと図５に示したＭＴＦとの比較からも明らかなように、撮像時の光源としてｅ線の２倍の波長を有する赤外光を使用すると、水銀ランプを光源とするｅ線をピーク波長とする光を使用する場合に比べてＭＴＦが低下する。即ち、球面収差は、球面収差を定める波長により異なり、波長が長くなると、大きくなる。
【００８１】
マシンビジョンシステムに使用される撮像装置１０は、被写界深度の必要性から実用上使用する絞りの範囲を中域の絞りとしており、レンズ１６は、中域の絞りでは点像復元処理を行わなくても製品の検査等に要求される所望の画質の撮像画像が撮像できるように重点化してレンズ設計されている。
【００８２】
その一方、レンズスペックとしてレンズの明るさも求められているため、例えば、開放絞りでも製品の検査等に要求される所望の画質の撮像画像を取得できるようにする必要があり、この場合には点像復元処理により劣化した撮像画像を回復させる。
【００８３】
尚、本例のレンズ１６は、球面収差が２λとなるようにレンズ設計されたものであるが、これに限定されない。また、球面収差が大きいレンズほど、レンズ設計が容易であり、レンズも安価なものとなる。
【００８４】
判別部５３は、撮像条件（Ｆ値、光源の波長）により変動する撮像光学系の球面収差に基づいて点像復元処理部５１による点像復元処理を行うか否かを判別する。ＰＳＦは、球面収差に依存し、ＰＳＦをフーリエ変換したＯＴＦの振幅成分を示すＭＴＦも球面収差に依存するため、球面収差に基づいて撮像画像の解像度劣化（ボケ）を判別することができるからである。
【００８５】
図６は、あるレンズの球面収差を示す縦収差図であり、光線が光軸と交わる位置を横軸にとり、光線が撮像光学系に入射する高さを縦軸にとったグラフである。また、グラフの原点Ｏは、球面収差を定める波長に対する近軸像点をとり、横軸の符号は、レンズから遠ざかる側を正としている。
【００８６】
また、本例では、レンズの球面収差は、近軸の像面位置（絞り径０に相当する位置）から、開放絞りにおける開口の最も縁側を通る光線の像面位置までの差によって定義される量であり、図６における正方向の最大のズレ（収差量）と負方向の最大のズレ（収差量）との総和により評価する。図６において、Ｆ値がＦ1.4（開放Ｆ値）の場合の球面収差（収差量）はＡにより表され、同様にＦ1.8、Ｆ2、及びＦ2.8の場合の球面収差（収差量）はそれぞれＢ１，Ｂ２，Ｂ３により表されている。即ち、球面収差は、Ｆ1.4（開放Ｆ値）の場合に最大になり、Ｆ値が開放Ｆ値から大きくなるにしたがって小さくなる。
【００８７】
判別部５３は、使用するＦ値等により変動する球面収差が、第１の閾値（本例では、球面収差を定める波長をλとすると、０．６λ）以上の場合、点像復元処理部５１による点像復元処理を行うと判別する。第１の閾値を０．６λに設定した理由は、フリンジゼルニケ多項式の９項により表される球面収差を仮定し、図４に示したように撮像素子２６によるサンプリング周波数（ｆｓ）を９０本／ｍｍ、及び照明光源としてｅ線のスペクトル（波長λ＝546.070ｎｍ）をピーク波長とする水銀ランプでＭＴＦを評価した際に、Ｆ1.4のレンズが開放側においてＭＴＦ５０％を下回る条件が、０．６λ以上の球面収差であったからである。尚、ＭＴＦ５０％は、画像データが製品の検査等に要求される所望の画質を満たすか否かの閾値である。
【００８８】
図４に示すように球面収差が開放Ｆ値（Ｆ1.4）で２λのレンズ１６であって、照明装置４０から発光される照明光がｅ線のスペクトルをピーク波長とする光の場合、絞り１８のＦ値をＦ2にすると、球面収差が０．６λ未満になり、かつＭＴＦ５０％を満たす。
【００８９】
また、判別部５３は、上記の条件の場合、絞り１８のＦ値がＦ2以上の場合に球面収差が０．６λ未満となり、かつＭＴＦ５０％（小絞りによる回折起因によるＭＴＦの低下は除く）を満たすため、Ｆ値がＦ2以上の場合には点像復元処理を行わないと判別する。
【００９０】
即ち、判別部５３は、撮像条件（Ｆ値、光源の波長）により変動する球面収差に基づいて点像復元処理部５１による点像復元処理を行うか否かを判別する代わりに、Ｆ値に置き換えて判別することができ、本例ではＦ値がＦ2.0以上の場合は、点像復元処理を行わないと判別し、Ｆ値がＦ2.0よりも小さくなると、点像復元処理を行うと判別する。尚、図４に示す例において、Ｆ11以上でＭＴＦが５０％よりも小さくなっているのは球面収差ではなく小絞りボケに起因するものであるため、今回の判別には考慮しないものとする。
【００９１】
また、判別部５３は、絞り１８が開放絞り（Ｆ1.4）の場合の撮像光学系の球面収差（第１の球面収差）に対する、撮像条件により変動する撮像光学系の球面収差（第２の球面収差）の比（球面収差比）が０．５を越えると、点像復元処理部５１による点像復元処理を行うと判別するようにしてもよい。
【００９２】
図６に示すように開放絞り（Ｆ1.4）の場合の撮像光学系の第１の球面収差をＡとし、撮像時に使用するＦ値（Ｆ1.8、Ｆ2、Ｆ2.8、…）に対応する第２の球面収差をＢ１、Ｂ２、Ｂ３、…とすると、球面収差比は、Ｂ１／Ａ、Ｂ２／Ａ、Ｂ３／Ａ、…により表すことができる。
【００９３】
判別部５３は、撮像時に使用するＦ値により求めることができる球面収差比が閾値（第２の閾値（本例では０．５））を越えると、ＭＴＦが５０％未満になり、点像復元処理部５１による点像復元処理を行うと判別することができる。
【００９４】
次に、ＭＴＦが５０％未満になるか否かの判別基準となる球面収差比の第２の閾値について説明する。
【００９５】
球面収差を示すゼルニケ多項式（フリンジゼルニケ多項式）の９項は、次式により表される。
【００９６】
【数２】
2017146061.tif 000004
【００９７】
尚、［数２］式において、ρは半径、θは回転角を示す。
【００９８】
球面収差は波面収差の微分で近似できるので、ｆを焦点距離として、次式で表すことができる。
【００９９】
【数３】
2017146061.tif 000005
【０１００】
また、絞りの開放時のＦ値をＦ０、撮像時のＦ値をＦとすると、開放時の瞳径Ｌ０は、Ｌ０＝ｆ／Ｆ０、撮像時の瞳径Ｌは、Ｌ＝ｆ／Ｆにより表すことができる。
【０１０１】
そして、瞳径の比をＴとすると、瞳径の比Ｔは、次式により表すことができる。
【０１０２】
【数４】
2017146061.tif 000006
【０１０３】
いま、ｃを焦点距離依存の定数として、［数３］式を近似すると、球面収差は次式により表すことができる。
【０１０４】
【数５】
2017146061.tif 000007
【０１０５】
従って、［数４］式と［数５］とにより、次式が成立する。
【０１０６】
【数６】
2017146061.tif 000008
【０１０７】
つまり、ゼルニケ多項式の９項の球面収差の比（球面収差比）で規定するのは、Ｆ値で規定するのと等価である。
【０１０８】
以上を受けて、ＭＴＦ５０％未満となるようなＴ(開放Ｆ値の場合の球面収差と撮像時のＦ値の場合の球面収差の比である球面収差比)を、図４に示した球面収差が異なる各レンズについて計算した。尚、各レンズについて、ＭＴＦが５０％未満となる球面収差比のうちの最小の球面収差比を計算した。また、小絞りによる回折起因によるＭＴＦが低下し、ＭＴＦが５０％未満になるＦ値は除いて計算した。
【０１０９】
図７は、図４に示した球面収差が異なる各レンズについて計算した、球面収差比の計算結果等を示す図表である。
【０１１０】
図７に示したように撮像素子２６によるサンプリング周波数（ｆｓ）を９０本／ｍｍ、及び照明光源としてｅ線のスペクトル（波長λ＝546.070ｎｍ）をピーク波長とする水銀ランプでＭＴＦを評価した際に、開放Ｆ値での球面収差が２λであるレンズが、ＭＴＦが５０％未満となるときの球面収差比は０.４７である。
【０１１１】
従って、ＭＴＦが５０％未満になるか否かの判別基準となる球面収差比の第２の閾値として、０.４７の小数点第２位を四捨五入した０．５を採用することとした。
【０１１２】
球面収差が２λとなるようにレンズ設計された本例のレンズ１６の場合、ｅ線をピーク波長とする光源を使用し、Ｆ値をＦ２に絞ると、ＭＴＦは閾値５０％以上になるが、ｅ線の２倍の波長を有する赤外光を発光する赤外線光源を使用すると、Ｆ値をＦ２に絞ってもＭＴＦは閾値５０％以上にならず、Ｆ2.8以上に絞る必要がある。
【０１１３】
従って、判別部５３は、撮像条件により変動する撮像光学系の球面収差と第１の閾値とに基づいて点像復元処理を行うか否か判別する場合、又は開放絞りの場合の球面収差（第１の球面収差）と撮像条件により変動する撮像光学系の球面収差（第２の球面収差）との球面収差比と第２の閾値とに基づいて点像復元処理を行うか否か判別する場合、球面収差を定める波長（即ち、照明装置４０から発光される照明光の光源の種類（又は光源の波長））に応じて設定された第１の閾値、又は第２の閾値を使用することが好ましい。また、撮像時のＦ値により点像復元処理を行うか否かを判別する場合も判別基準となるＦ値（閾値）を、球面収差を定める波長に応じて設定することが好ましい。
【０１１４】
＜画像処理部の第２の実施形態＞
図８は、図２に示したカメラコントローラ２８内の画像処理部３５の第２の実施形態を示すブロック図である。尚、図３に示した第１の実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。
【０１１５】
図８に示す第２の実施形態の画像処理部３５は、主として点像復元処理部５２と、判別部５３と、切替スイッチ５４とから構成されている。
【０１１６】
点像復元処理部５２は、第１の実施形態の画像処理部３５の点像復元処理部５１と比較して、点像復元処理部５１の復元フィルタ記憶部５１Ｂ及び復元フィルタ選択部５１Ｃの代わりに、点拡がり関数記憶部５２Ｂ及び復元フィルタ生成部５２Ｃを備えている点で相違する。
【０１１７】
点拡がり関数記憶部５２Ｂは、点像復元処理部５１の復元フィルタ記憶部５１ＢがＦ値等の撮像条件に応じた複数の復元フィルタを記憶しているのに対し、複数の復元フィルタを生成するための元になる、撮像光学系（レンズ１６、絞り１８）の点光源に対する応答を表す点拡がり関数（ＰＳＦ）を記憶している。尚、復元フィルタ記憶部５１Ｂは、点像復元処理すべき撮像条件のみその撮像条件に対応するＰＳＦを記憶していればよく、これにより記憶すべきＰＳＦのデータ量を削減することができる。
【０１１８】
復元フィルタ生成部５２Ｃには、カメラコントローラ２８（図１）から絞り１８の現在のＦ値を示すＦ値情報と、照明装置４０により使用される複数の光源のうちの撮像時に使用される光源の種類を示す光源情報とが加えられており、復元フィルタ生成部５２Ｃは、カメラコントローラ２８から入力するＦ値情報及び光源情報に基づいてこれらの情報に対応するＰＳＦを点拡がり関数記憶部５２Ｂから読み出し、読み出したＰＳＦに基づいて復元フィルタを生成する。
【０１１９】
即ち、復元フィルタ生成部５２Ｃは、読み出したＰＳＦをフーリエ変換したＯＴＦと予め設定されたＳＮＲとに基づいて、例えば［数１］式に示したように復元フィルタの周波数特性ｄ（ωｘ，ωｙ）を求め、これを逆フーリエ変換してコンボリュージョン型のウィナーフィルタ（復元フィルタ）を生成する。
【０１２０】
このようにして作成された復元フィルタは、復元フィルタ処理部５２Ａに加えられ、ここで画像データと復元フィルタとの畳み込み演算が行われる。
【０１２１】
尚、点拡がり関数記憶部５２Ｂは、ＰＳＦを記憶しているが、ＰＳＦの代わりにＰＳＦをフーリエ変換したＯＴＦ、又はＯＴＦの振幅成分を示すＭＴＦを記憶するようにしてもよい。
【０１２２】
［画像処理方法］
＜画像処理方法の第１の実施形態＞
次に、本発明に係る画像処理方法の第１の実施形態について、図９に示したフローチャートにしたがって説明する。
【０１２３】
図９において、画像処理部３５の判別部５３（図３、図８）は、カメラコントローラ２８から撮像条件（絞り１８の現在のＦ値を示すＦ値情報、及び照明装置４０の複数の光源のうちの撮像時に使用される光源の種類を示す光源情報）を取得する（ステップＳ１０）。
【０１２４】
続いて、判別部５３は、取得した撮像条件に対応する撮像光学系（レンズ１６、絞り１８）の球面収差を取得する（ステップＳ１２）。例えば、判別部５３は、図４及び図５に示した撮像時に使用する光源の種類（波長λ＝546.070ｎｍ、λ＝1092.14ｎｍ）毎、及び本例のレンズ１６の球面収差（２λ）に対応するＦ値毎の球面収差を記憶する記憶部を有し、この記憶部から現在の撮像条件に対応する球面収差を読み出すことにより球面収差を取得する。
【０１２５】
判別部５３は、上記のようにして取得した球面収差が第１の閾値（０．６λ）以上か否かを判別し、０．６λ以上の場合（「Yes」の場合）には、点像復元処理部５１又は５２（図３、図８）による点像復元処理を行うと判別し、ステップＳ１６に遷移させる（ステップＳ１４）。即ち、判別部５３は、点像復元処理を行うと判別すると、点像復元処理部５１又は５２を動作可能にし、かつ切替スイッチ５４の可動切片５４Ｃを第２の入力５４Ｂに切り替える切替信号を出力する。
【０１２６】
ステップＳ１６において、点像復元処理部５１又は５２は、判別部５３が点像復元処理を行うと判別した場合のみ点像復元処理を行い、点像復元処理した画像データを切替スイッチ５４の第２の入力５４Ｂに出力する。これにより、点像復元処理された画像データは、切替スイッチ５４を介して出力される。
【０１２７】
一方、判別部５３は、取得した球面収差が第１の閾値（０．６λ）未満の場合（「No」の場合）には、点像復元処理部５１又は５２による点像復元処理を行わないと判別し、本処理を終了させる（ステップＳ１４）。この場合、判別部５３は、切替スイッチ５４の可動切片５４Ｃを第１の入力５４Ａに切り替える切替信号を出力し、第１の入力５４Ａに入力する点像復元処理されていない未処理の画像データを切替スイッチ５４を介して出力させる。また、判別部５３は、点像復元処理を行わないと判別すると、点像復元処理部５１又は５２を動作不能にし、演算コストを作成させることが好ましい。
【０１２８】
＜画像処理方法の第２の実施形態＞
図１０は、本発明に係る画像処理方法の第２の実施形態を示すフローチャートである。尚、図１０において、図９に示した第１の実施形態と共通するステップには同一のステップ番号を付し、その詳細な説明は省略する。
【０１２９】
第１の実施形態は、点像復元処理を行うか否かを球面収差の大きさに基づいて判別するようにしたが、図１０に示す第２の実施形態は、点像復元処理を行うか否かを、球面収差の代わりにステップＳ１０で取得したＦ値に基づいて判別する点で相違する。
【０１３０】
即ち、第２の実施形態の判別部５３は、ステップＳ１０で取得したＦ値が、Ｆ2以上か否かを判別し、Ｆ2以上の場合（「Yes」の場合）には、点像復元処理を行わないと判別し、本処理を終了させる（ステップＳ２０）。
【０１３１】
一方、判別部５３は、ステップＳ１０で取得したＦ値が、Ｆ2未満の場合（「No」の場合）、点像復元処理を行うと判別し、ステップＳ１６に遷移させる（ステップＳ２０）。
【０１３２】
尚、ステップＳ２０において判別されるＦ値は、光源の種類が水銀ランプ（波長λ＝546.070ｎｍ）に対応するもの（図４の２λの球面収差に対応するＦ値参照）であるが、光源の種類が赤外線光源（波長λ＝1092.14ｎｍ）の場合には、ステップＳ２０における閾値として、Ｆ2の代わりにＦ2.8を使用する（図５の２λの球面収差に対応するＦ値参照）。
【０１３３】
＜画像処理方法の第３の実施形態＞
図１１は、本発明に係る画像処理方法の第３の実施形態を示すフローチャートである。尚、図１１において、図９に示した第１の実施形態と共通するステップには同一のステップ番号を付し、その詳細な説明は省略する。
【０１３４】
図１１において、第３の実施形態の判別部５３は、絞りが開放絞り（開放Ｆ値）の場合の撮像光学系の第１の球面収差（ステップＳ１０で取得した光源の種類（波長）により定まる）に対する、撮像時の撮像光学系の第２の球面収差（ステップＳ１０で取得したＦ値及び光源の種類（波長）により定まる）の比である球面収差比を取得する（ステップＳ２２）。
【０１３５】
続いて、判別部５３は、ステップＳ２２で取得した球面収差比が、第２の閾値（０．５）を越えているか否かを判別し、０．５を越えている場合（「Yes」の場合）には、点像復元処理を行うと判別し、ステップＳ１６に遷移させる（ステップＳ２４）。球面収差比が０．５を越えている場合、開放時に２λの球面収差を有するレンズ１６の場合、ＭＴＦは、５０％未満になり、画像データが製品の検査等に要求される所望の画質を満たさなくなるからである。
【０１３６】
一方、判別部５３は、ステップＳ２２で取得した球面収差比が、０．５以下の場合（「No」の場合）には、点像復元処理を行わないと判別し、本処理を終了させる（ステップＳ２４）。球面収差比が０．５以下の場合、開放時に２λの球面収差を有するレンズ１６の場合、ＭＴＦは、５０％以上になり、画像データが所望の画質を満たすため、点像復元処理を行う必要がない。
【０１３７】
［その他］
本実施形態では、マシンビジョンシステムに使用される撮像装置１０について説明したが、撮像装置１０の用途はマシンビジョン用途に限定されない。また、一般のデジタルカメラやデジタルビデオカメラ、監視カメラ等にも適用可能であり、更に小絞りボケが発生しないＦ値の範囲で使用頻度が多いカメラで効果を得やすい。
【０１３８】
また、本実施形態では、撮像装置１０のカメラコントローラ２８内の画像処理部３５（図２、図３、図８）が、本発明に係る画像処理装置として機能するが、これに限らず、撮像装置１０からコンピュータ６０にＲＡＷデータが送信される場合、コンピュータ６０の画像処理部（画像処理装置）が、カメラコントローラ２８内の画像処理部３５と同様の機能を果たすようにコンピュータ６０の画像処理部を構成するようにしてもよい。この場合、コンピュータ６０がカメラコントローラ２８を介して撮像条件を制御しない場合は、カメラコントローラ２８は、ＲＡＷデータとともに、撮像時のＦ値等の撮像条件をコンピュータ６０の画像処理部に送信する必要がある。
【０１３９】
更に、本実施形態の点像復元処理は、復元フィルタとしてコンボリュージョン型のウィナーフィルタを使用しているが、これに限らず、例えば、［数１］式に示した空間周波数領域の復元フィルタを使用してもよい。この場合、入力する画像データをフーリエ変換し、フーリエ変換した空間周波数領域の画像データと空間周波数領域の復元フィルタとを乗算し、乗算結果を逆フーリエ変換する必要がある。
【０１４０】
また、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
【符号の説明】
【０１４１】
１０  撮像装置
１２  レンズユニット
１６  レンズ
１８  絞り
２０  光学系操作部
２６  撮像素子
２８  カメラコントローラ
３２  入出力インターフェース
３４  デバイス制御部
３５  画像処理部
４０  照明装置
５１、５２  点像復元処理部
５１Ａ、５２Ａ  復元フィルタ処理部
５１Ｂ  復元フィルタ記憶部
５１Ｃ  復元フィルタ選択部
５２Ｂ  点拡がり関数記憶部
５２Ｃ  復元フィルタ生成部
５３  判別部
５４  切替スイッチ
５４Ａ  第１の入力
５４Ｂ  第２の入力
５４Ｃ  可動切片
６０  コンピュータ
６２  コンピュータ入出力部
６４  コンピュータコントローラ
６６  ディスプレイ
Ｓ１０〜Ｓ２４  ステップ
ｆ  焦点距離
λ  波長
Ｆ０  開放Ｆ値
Ｆ  撮像時のＦ値
Ｌ０  開放時の瞳径
Ｌ  撮像時の瞳径
Ｔ  瞳径の比
【図１】
2017146061.tif 000009
【図２】
2017146061.tif 000010
【図３】
2017146061.tif 000011
【図４】
2017146061.tif 000012
【図５】
2017146061.tif 000013
【図６】
2017146061.tif 000014
【図７】
2017146061.tif 000015
【図８】
2017146061.tif 000016
【図９】
2017146061.tif 000017
【図１０】
2017146061.tif 000018
【図１１】
2017146061.tif 000019
【手続補正書】
【提出日】平成30年10月25日(2018.10.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮像光学系及び撮像素子を有する撮像部を用いた被写体の撮像により前記撮像素子から取得される画像データに対し、前記撮像光学系の点拡がり関数に基づく復元フィルタを用いた点像復元処理を行う点像復元処理部と、
撮像条件により変動する前記撮像光学系の球面収差に基づいて前記点像復元処理部による点像復元処理を行うか否かを判別する判別部と、を備え、
前記点像復元処理部は、前記判別部が点像復元処理を行うと判別した場合のみ前記点像復元処理を行い、
前記判別部は、前記撮像光学系を構成する絞りが開放絞りの場合の前記撮像光学系の第１の球面収差に対する、前記撮像条件により変動する前記撮像光学系の第２の球面収差の比が第２の閾値を越えると、前記点像復元処理部による点像復元処理を行うと判別する画像処理装置。
【請求項２】
前記撮像条件は、前記撮像光学系を構成する絞りの絞り値である請求項１に記載の画像処理装置。
【請求項３】
前記判別部は、前記点像復元処理部による点像復元処理を行うか否かを、前記絞りの絞り値に基づいて判別する請求項２に記載の画像処理装置。
【請求項４】
前記判別部は、前記撮像条件により変動する前記撮像光学系の球面収差が第１の閾値以上の場合、前記点像復元処理部による点像復元処理を行うと判別する請求項１又は２に記載の画像処理装置。
【請求項５】
前記第１の閾値は、球面収差を定める波長をλとすると、０．６λである請求項４に記載の画像処理装置。
【請求項６】
前記第２の閾値は、０．５である請求項１から５のいずれか１項に記載の画像処理装置。
【請求項７】
前記撮像条件は、前記被写体を照明する光源の種類又は前記光源の波長である請求項１から６のいずれか１項に記載の画像処理装置。
【請求項８】
前記判別部は、前記撮像条件により変動する前記撮像光学系の球面収差として、前記被写体を照明する光源の種類又は前記光源の波長に対応する前記球面収差を使用する請求項７に記載の画像処理装置。
【請求項９】
前記撮像光学系は、前記撮像光学系を構成する絞りが少なくとも開放絞りの場合に、前記判別部により前記点像復元処理を行うと判別される前記球面収差を有する請求項１から８のいずれか１項に記載の画像処理装置。
【請求項１０】
請求項１から９のいずれか１項に記載の画像処理装置と、前記撮像部とを備える撮像装置。
【請求項１１】
請求項１０に記載の撮像装置は、産業用カメラとして使用される撮像装置。
【請求項１２】
撮像光学系及び撮像素子を有する撮像部を用いた被写体の撮像により前記撮像素子から取得される画像データに対し、前記撮像光学系の点拡がり関数に基づく復元フィルタを用いた点像復元処理を行うステップと、
撮像条件により変動する前記撮像光学系の球面収差に基づいて前記点像復元処理を行うか否かを判別するステップと、を含み、
前記点像復元処理を行うステップは、前記判別するステップが前記点像復元処理を行うと判別した場合のみ前記復元フィルタを用いた点像復元処理を行い、
前記判別するステップは、前記撮像光学系を構成する絞りが開放絞りの場合の前記撮像光学系の第１の球面収差に対する、前記撮像条件により変動する前記撮像光学系の第２の球面収差の比が第２の閾値を越えると、前記点像復元処理を行うと判別する画像処理方法。
【請求項１３】
前記撮像条件は、前記撮像光学系を構成する絞りの絞り値である請求項１２に記載の画像処理方法。
【請求項１４】
前記判別するステップは、前記点像復元処理を行うか否かを、前記絞りの絞り値に基づいて判別する請求項１３に記載の画像処理方法。
【請求項１５】
前記判別するステップは、前記撮像条件により変動する前記撮像光学系の球面収差が第１の閾値以上の場合、前記点像復元処理を行うと判別する請求項１２又は１３に記載の画像処理方法。
【請求項１６】
前記第１の閾値は、球面収差を定める波長をλとすると、０．６λである請求項１５に記載の画像処理方法。
【請求項１７】
前記第２の閾値は、０．５である請求項１２から１６のいずれか１項に記載の画像処理方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００５７
【補正方法】変更
【補正の内容】
【００５７】
判別部５３は、入力する画像データに対して、点像復元処理部５１による点像復元処理を行う必要があるか否かを判別する部分であり、点像復元処理を行う必要があると判別すると、切替スイッチ５４の可動切片５４Ｃを第２の入力５４Ｂに切り替える切替信号（例えば、ハイレベル信号）を出力し、点像復元処理を行う必要がないと判別すると、切替スイッチ５４の可動切片５４Ｃを第１の入力５４Ａに切り替える切替信号（例えば、ローレベル信号）を出力する。尚、判別部５３の詳細については後述する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００６９
【補正方法】変更
【補正の内容】
【００６９】
撮像光学系の波面収差を近似する多項式して、極座標を使用したゼルニケ多項式が利用されており、ゼルニケ多項式（フリッツゼルニケ多項式）の９項は、球面収差を表す。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００７０
【補正方法】変更
【補正の内容】
【００７０】
いま、焦点距離ｆが16ｍｍのレンズを使用し、ｅ線のスペクトル（波長λ＝546.070ｎｍ）をピーク波長とする水銀ランプを照明光源とし、球面収差が異なる種々のレンズについて、フリッツゼルニケ多項式の９項により表される球面収差及びＦ値毎にＭＴＦを算出した。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００８７
【補正方法】変更
【補正の内容】
【００８７】
判別部５３は、使用するＦ値等により変動する球面収差が、第１の閾値（本例では、球面収差を定める波長をλとすると、０．６λ）以上の場合、点像復元処理部５１による点像復元処理を行うと判別する。第１の閾値を０．６λに設定した理由は、フリッツゼルニケ多項式の９項により表される球面収差を仮定し、図４に示したように撮像素子２６によるサンプリング周波数（ｆｓ）を９０本／ｍｍ、及び照明光源としてｅ線のスペクトル（波長λ＝546.070ｎｍ）をピーク波長とする水銀ランプでＭＴＦを評価した際に、Ｆ1.4のレンズが開放側においてＭＴＦ５０％を下回る条件が、０．６λ以上の球面収差であったからである。尚、ＭＴＦ５０％は、画像データが製品の検査等に要求される所望の画質を満たすか否かの閾値である。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００９５
【補正方法】変更
【補正の内容】
【００９５】
球面収差を示すゼルニケ多項式（フリッツゼルニケ多項式）の９項は、次式により表される。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】０１２７
【補正方法】変更
【補正の内容】
【０１２７】
一方、判別部５３は、取得した球面収差が第１の閾値（０．６λ）未満の場合（「No」の場合）には、点像復元処理部５１又は５２による点像復元処理を行わないと判別し、本処理を終了させる（ステップＳ１４）。この場合、判別部５３は、切替スイッチ５４の可動切片５４Ｃを第１の入力５４Ａに切り替える切替信号を出力し、第１の入力５４Ａに入力する点像復元処理されていない未処理の画像データを切替スイッチ５４を介して出力させる。また、判別部５３は、点像復元処理を行わないと判別すると、点像復元処理部５１又は５２を動作不能にし、演算コストを削減させることが好ましい。
【国際調査報告】
2017146061.tif 000020
2017146061.tif 000021
2017146061.tif 000022
2017146061.tif 000023