(57)【要約】【課題】レンズの収差による像ぼけを補正する画像信号処理方法を提供する。【解決手段】複数の光電変換素子とレンズとを備える撮像素子から得られた画像信号に対して、処理対象とする着目光電変換素子から得られた着目画像信号に対して、着目光電変換素子の周囲の光電変換素子から得られた画像信号に基づいて着目光電変換素子の周囲からの像ぼけによる補正値を求め、着目画像信号から補正値を引く補正処理を行う。【選択図】図３
2006166087.tif 000002
【特許請求の範囲】
【請求項１】
連続して配置された複数の光電変換素子と、光電変換素子へ外部からの光を集光するレンズと、を備える撮像装置から得られた画像信号を処理する画像信号処理方法であって、
処理対象となる着目光電変換素子から得られた着目画像信号に対して、光電変換素子とレンズとの相対配置関係と、着目光電変換素子の周囲の光電変換素子から得られた画像信号と、に基づいて、着目画像信号の補正処理を行うことを特徴とする画像信号処理方法。
【請求項２】
請求項１に記載の画像信号処理方法において、
着目光電変換素子から所定の距離範囲を処理範囲として、
前記レンズの中心と光電変換素子との距離に応じた補正係数と、前記処理範囲に含まれる各光電変換素子から得られた画像信号と、に基づいて着目画像信号に対する補正値を算出することを特徴とする画像信号処理方法。
【請求項３】
請求項１又は２に記載の画像信号処理方法において、
前記補正係数は、入射光の影響が前記光電変換素子を中心位置とする正規分布であるとして定められることを特徴とする画像信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、固体撮像装置によって得られた画像信号を処理する画像信号処理方法に関する。
【背景技術】
【０００２】
近年、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）固体撮像素子やＣＭＯＳ撮像素子等の固体撮像素子が広く利用されるようになっている。これらの固体撮像素子は、複数の光電変換素子が１次元の列状や２次元のマトリックス状に配置された撮像部を備える。この撮像部に被写体からの光を入射させることによって、入射光の強度に応じて各光電変換素子において発生した電荷を電圧等に変換して画像信号を得る。
【０００３】
このような固体撮像素子の撮像部はレンズを備えている場合がある。レンズは、撮像部の受光面が被写体からの光の結像点となるように配置される。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところが、レンズを使用した場合にはレンズの収差によって受光面内においても像にぼけが生ずる。撮像部は１次元又は２次元的な広がりを有するので、レンズの中心を通って結像される像のぼけは比較的小さいものとなるが、レンズの中心の光路から外れると像のぼけが大きくなる。
【０００５】
収差補正レンズ等を組み合わせて用いることによってレンズの収差による像のぼけを低減することができるが、多数のレンズを用いることが必要となり、撮像装置の小型化が困難となり、製造コストが高くなる問題がある。
【０００６】
本発明は、上記従来技術の問題を鑑み、画像信号の処理によってレンズの収差に基づく像のぼけを修正することを可能とする画像信号処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、連続して配置された複数の光電変換素子と、光電変換素子へ外部からの光を集光するレンズと、を備える撮像装置から得られた画像信号を処理する画像信号処理方法であって、処理対象となる着目光電変換素子から得られた着目画像信号に対して、光電変換素子とレンズとの相対配置関係と、着目光電変換素子の周囲の光電変換素子から得られた画像信号と、に基づいて、着目画像信号の補正処理を行うことを特徴とする。
【０００８】
具体的には、  着目光電変換素子から所定の距離範囲を処理範囲として、前記レンズの中心と光電変換素子との距離に応じた補正係数と、前記処理範囲に含まれる各光電変換素子から得られた画像信号と、に基づいて着目画像信号に対する補正値を算出する。
【０００９】
ここで、前記補正係数は、入射光の影響が前記光電変換素子を中心位置とする正規分布であるとして定めることが好適である。
【発明の効果】
【００１０】
本発明によれば、収差補正レンズを撮像部に設けることなく、画像信号の処理によってレンズの収差に基づく像のぼけを修正することができる。これによって、撮像装置を小型化及び低コスト化することができる。
【発明を実施するための最良の形態】
【００１１】
本実施の形態における画像信号処理方法は、レンズを通して点光源を撮像した場合にレンズの収差に基づく像ぼけの分布がレンズの中心（レンズセンター）からの距離によって決定されることを利用して撮像された画像信号の像のぼけを補正する。
【００１２】
固体撮像装置の撮像部は、１次元の列状に連続に配置された複数の光電変換素子、又は、２次元のマトリックス状に連続に配置された複数の光電変換素子を備える。撮像部がレンズを備える場合、レンズを通して点光源を撮像する際にはレンズの収差による像ぼけがなければ、図１（ａ）に示すように、点光源の結像点Ａとなる光電変換素子ｎのみに像が結像し、結像点Ａの周囲の光電変換素子にまで結像点Ａの像の影響は及ばない。ところが、レンズの収差による像ぼけが発生する場合、図１（ｂ）に示すように、結像点Ａの光電変換素子ｎのみならず結像点Ａを中心として周囲の光電変換素子にまで像ぼけの影響が及ぶ。従って、周囲の光電変換素子においても結像点Ａからの像ぼけの分布に応じた信号が重畳されて画像信号として出力されることとなる。
【００１３】
一般的にレンズの収差による結像点Ａを中心に広がる像ぼけは結像点Ａにあたる結像素子を中心位置とした正規分布関数で表される。すなわち、１次元の列状に連続配置された光電変換素子を備えた撮像部では、像ぼけは以下の数式で表現される。ここで、μは平均値、σは分散である。
【００１４】
【数１】
2006166087.tif 000003
【００１５】
撮像部を用いて撮像を行う場合、図２に示すように、各光電変換素子に結像される像のぼけが周囲の光電変換素子へ相互に影響を及ぼしあう。また、レンズの中心（レンズセンター）から離れるに従ってレンズの収差による像ぼけの広がりは大きくなるので、レンズセンターを通る光が中心の光電変換素子ｎに結像すると仮定すると、光電変換素子ｎへ入射する像のぼけは小さく、周囲の光電変換素子に与える像ぼけの影響は小さい。一方、光電変換素子ｎから離れるにしたがって像ぼけの広がりが大きくなり、周囲の光電変換素子に与える像ぼけの影響も大きくなる。
【００１６】
レンズと撮像部との相対的な配置が固定されているとすると、レンズセンターからの距離に応じて像ぼけの広がりは、レンズセンターから各光電変換素子までの距離に応じた広がりを有する正規分布に基づいて一意的に決定することができる。例えば、図２に示すように列状に配置された９つの光電変換素子ｎ−４〜ｎ＋４を処理対象とすると、図３に示すように、レンズの収差による像ぼけがない場合に各光電変換素子ｎ−４〜ｎ＋４で得られる画像信号Ｘ（ｎ−４）〜Ｘ（ｎ＋４）のそれぞれに対してレンズの収差による像ぼけがある場合に周囲の光電変換素子へ与える影響の割合ａｍ，ｂｍ，ｃｍ（ｍは０〜４の整数）を予め決定しておくことができる。このとき、ａｍ，ｂｍ，ｃｍは撮像部に備えられたレンズの特性によって決定され、各ｍについてａｍ＞ｂｍ＞ｃｍとなるように設定される。なお、光電変換素子ｎ−４及びｎ＋４は撮像部の端部にあたるものとする。
【００１７】
例えば、光電変換素子ｎ−２から出力される画像信号ＸＯＵＴ（ｎ−２）には、図２に記載されているように、光電変換素子ｎ−２に対応する正規分布に基づいた信号ａ２・Ｘ（ｎ−２）の他に、光電変換素子ｎ−３に対応する正規分布に基づいた信号ｂ３・Ｘ（ｎ−３）、光電変換素子ｎ−１に対応する正規分布に基づいた信号ｂ１・Ｘ（ｎ−１）、光電変換素子ｎ−４に対応する正規分布に基づいた信号ｃ４・Ｘ（ｎ−４）及び光電変換素子ｎに対応する正規分布に基づいた信号ｃ０・Ｘ（ｎ）（図示せず）が重畳している。
【００１８】
すなわち、光電変換素子ｎ−２〜ｎ＋２から出力される出力画像信号ＸＯＵＴ（ｎ−２）〜ＸＯＵＴ（ｎ＋２）はそれぞれ以下の数式で表現される。これらを連立方程式としてＸ（ｎ）を算出する。
【００１９】
【数２】
2006166087.tif 000004
【００２０】
まず、数式（２）及び数式（４）にｂ１／ａ１を乗算して以下の数式を得る。
【００２１】
【数３】
2006166087.tif 000005
【００２２】
ここで、ｃ３・ｂ１及びｃ１・ｂ１を０と近似すると、数式（６），（７）は以下の数式となる。
【００２３】
【数４】
2006166087.tif 000006
【００２４】
また、数式（１）及び数式（４）にｃ２／ａ２を乗算して以下の数式を得る。
【００２５】
【数５】
2006166087.tif 000007
【００２６】
ここで、ｂＵ・ｃＶ及びｃＵ・ｃＶ（Ｕ，Ｖは０〜４の整数）を０と近似すると、数式（１０），（１１）は以下の数式となる。
【００２７】
【数６】
2006166087.tif 000008
【００２８】
また、数式（１）及び数式（４）に（ｂ１・ｂ２）／（ａ１・ａ２）を乗算して以下の数式を得る。
【００２９】
【数７】
2006166087.tif 000009
【００３０】
ここで、ｂＵ・ｂＶ・ｂＷ及びｂＵ・ｂＶ・ｃＷ（Ｕ，Ｖ，Ｗは０〜４の整数）を０と近似すると、数式（１４），（１５）は以下の数式となる。
【００３１】
【数８】
2006166087.tif 000010
【００３２】
数式（１６）を数式（８）に代入し、数式（１７）を数式（９）に代入すると以下の数式となる。
【００３３】
【数９】
2006166087.tif 000011
【００３４】
このようにして得られた各数式を用いて、数式（１２），（１８），（１９）及び（１３）を数式（３）に代入すると、ＸＯＵＴ（ｎ−２）〜ＸＯＵＴ（ｎ＋２）とＸ（ｎ）のみで表される方程式を得ることができる。これにより、出力画像信号ＸＯＵＴ（ｎ−２）〜ＸＯＵＴ（ｎ＋２）から像ぼけの影響を取り除いたＸ（ｎ）を算出することができる。
【数１０】
2006166087.tif 000012
【００３５】
同様に、上記連立方程式（１）〜（５）のように、ＸＯＵＴ（ｎ−４）〜ＸＯＵＴ（ｎ＋４）についての連立方程式を解くことによって、光電変換素子ｎ以外の光電変換素子に対しても各光電変換素子から出力される出力画像信号に基づいて像ぼけの補正値を算出し、像ぼけの影響を取り除いた画像信号Ｘ（ｎ−４）〜Ｘ（ｎ＋４）を得ることができる。
【００３６】
本実施の形態では、１次元の列状に９つだけ連続配置された光電変換素子を備えた撮像部から得られた画像信号に対する処理を例に説明を行ったが、異なる数の光電変換素子を備えた撮像部に対しても同様に処理を行うことができる。また、本実施の形態では、各画素から近傍の２つの画素のみに像ぼけの影響が及ぶものとして３つの係数ａｍ，ｂｍ，ｃｍを設定したが、さらに補正を高い精度で行うためにより多くの係数を設定しても良い。
【００３７】
また、レンズセンターからの各光電変換素子までの距離に応じて各光電変換素子毎の係数の数を変更しても良い。例えば、レンズセンターの近くに位置する光電変換素子については結像する像のぼけの広がりは小さいので係数を少なく設定し、レンズセンターから離れるに従って係数の数を増加させることが好適である。
【００３８】
また、２次元のマトリックス状に配置された光電変換素子を備える撮像装置についても同様に処理を行うことができる。なお、２次元に光電変換素子が配列された撮像部においては像ぼけは以下の２次元正規分布関数で表現される。ここで、μxはＸ方向の平均値、μyはＹ方向の平均値、σxはＸ方向の分散、σyはＹ方向の分散、σxyはＸ，Ｙ方向の共分散である。
【００３９】
【数１１】
2006166087.tif 000013
【００４０】
また、撮像部がカラー画像の取得を目的とするものであり、赤（Ｒ），緑（Ｇ），青（Ｂ）の各レイヤーを備える場合には、レイヤー毎に上記処理を行えば良い。このとき、レンズの収差の波長依存性に基づいて、レイヤー毎に異なる係数ａｍ，ｂｍ，ｃｍを設定することが好適である。
【００４１】
以上のように、本実施の形態によれば、撮像部から出力された画像信号を処理することによってレンズの収差に基づく像のぼけを修正することができる。これによって、収差補正レンズを撮像部に設けることなく、撮像装置を小型化及び低コスト化することができる。
【図面の簡単な説明】
【００４２】
【図１】固体撮像装置におけるレンズの収差による像ぼけを示す図である。
【図２】固体撮像装置におけるレンズの収差による像ぼけによる像の重畳を示す図である。
【図３】本発明の実施の形態における画像信号の補正係数を示す図である。
【図１】
2006166087.tif 000014
【図２】
2006166087.tif 000015
【図３】
2006166087.tif 000016