(57)【特許請求の範囲】
【請求項１】
被写体像の撮像により取得された画像信号へのノイズ低減処理を実施するノイズ低減回路を有し、
前記ノイズ低減回路は、ノイズ低減フィルタに設定されている係数に応じて、前記ノイズ低減処理の対象とする注目画素の画素値と、前記注目画素を中心とする画素の行列である画素ブロックに含まれる周辺画素の画素値との加重平均を算出し、
前記ノイズ低減フィルタには、前記画素ブロック内の画素ごとの係数があらかじめ設定され、
前記画素ブロックのうち水平方向に配列された画素からなる行ごとにおいて、前記係数は、前記注目画素から離れるにしたがい小さくなるか同じとされており、
前記画素ブロックのうち垂直方向に配列された画素からなる列のうち、前記注目画素を備える列を含む２以上の列において、前記係数は、ゼロ以外の値であって、かつ列ごとに同じとされていることを特徴とする画像処理装置。
【請求項２】
前記ノイズ低減フィルタのフィルタ強度を調整するフィルタ強度調整部をさらに有し、
前記フィルタ強度調整部は、被写体像の撮像に使用された撮像光学系の光学特性に応じて、前記フィルタ強度を調整することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記ノイズ低減フィルタのフィルタ強度を調整するフィルタ強度調整部をさらに有し、
前記フィルタ強度調整部は、被写体像の撮像の際の照度に応じて、前記フィルタ強度を調整することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
被写体像を撮像するイメージセンサと、
前記被写体像の撮像により取得された画像信号へのノイズ低減処理を実施するノイズ低減回路と、を有し、
前記ノイズ低減回路は、ノイズ低減フィルタに設定されている係数に応じて、前記ノイズ低減処理の対象とする注目画素の画素値と、前記注目画素を中心とする画素の行列である画素ブロックに含まれる周辺画素の画素値との加重平均を算出し、
前記ノイズ低減フィルタには、前記画素ブロック内の画素ごとの係数があらかじめ設定され、
前記画素ブロックのうち水平方向に配列された画素からなる行ごとにおいて、前記係数は、前記注目画素から離れるにしたがい小さくなるか同じとされており、
前記画素ブロックのうち垂直方向に配列された画素からなる列のうち、前記注目画素を備える列を含む２以上の列において、前記係数は、ゼロ以外の値であって、かつ列ごとに同じとされていることを特徴とする固体撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置及び固体撮像装置に関する。
【背景技術】
【０００２】
従来、固体撮像装置は、デジタルイメージに対し、ランダムノイズ等のノイズを低減させるためのノイズ低減回路を備えるものが知られている。ノイズ低減回路の多くは、ノイズ低減処理の対象とする注目画素と、その注目画素の周辺に位置する周辺画素との相関関係を用いて、注目画素の画素値を算出する。ノイズ低減回路は、被写体像に含まれる高周波成分に対して、画素値を平滑化させるものとして作用することがある。このため、ノイズ低減処理によって、画像の解像感を低下させる場合があることが問題となっている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２５８９０９号公報
【特許文献２】特開２００６−６０７４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の一つの実施形態は、ノイズ低減処理に伴う解像感の低下を抑制可能とし、高品質な画像を得るための画像処理装置及び固体撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の一つの実施形態によれば、画像処理装置は、ノイズ低減回路を有する。ノイズ低減回路は、被写体像の撮像により取得された画像信号に対するノイズ低減処理を実施する。ノイズ低減回路は、注目画素の画素値を変換するためのノイズ低減フィルタを、ノイズ低減処理に適用する。ノイズ低減フィルタは、注目画素の画素値と周辺画素の画素値とを使用する演算により、注目画素の画素値を変換する。周辺画素は、注目画素を中心とする画素ブロックに含まれる画素である。ノイズ低減フィルタは、水平周辺画素よりも、垂直周辺画素について、演算における重み付けが大きく設定されている。水平周辺画素は、水平方向において注目画素と並列する周辺画素である。垂直周辺画素は、垂直方向において注目画素と並列する周辺画素である。
【図面の簡単な説明】
【０００６】
【図１】第１の実施形態にかかる固体撮像装置の概略構成を示すブロック図。
【図２】図１に示す固体撮像装置を備えるデジタルカメラの概略構成を示すブロック図。
【図３】ノイズ低減フィルタに設定された重み係数のマトリクスを示す図。
【図４】第１の実施形態におけるノイズ低減フィルタの一例を示す図。
【図５】第１の実施形態の比較例におけるノイズ低減フィルタの一例を示す図。
【図６】ノイズ低減フィルタの変形例を示す図。
【図７】ノイズ低減フィルタの変形例を示す図。
【図８】第２の実施形態にかかる固体撮像装置の概略構成を示すブロック図。
【図９】フィルタ強度調整部による調整を経たノイズ低減フィルタの一例を示す図。
【発明を実施するための形態】
【０００７】
以下に添付図面を参照して、実施形態にかかる画像処理装置及び固体撮像装置を詳細に説明する。なお、これらの実施形態により本発明が限定されるものではない。
【０００８】
（第１の実施形態）
図１は、第１の実施形態にかかる固体撮像装置の概略構成を示すブロック図である。図２は、図１に示す固体撮像装置を備えるデジタルカメラの概略構成を示すブロック図である。
【０００９】
デジタルカメラ１は、カメラモジュール２及び後段処理部３を有する。カメラモジュール２は、撮像光学系４及び固体撮像装置５を有する。後段処理部３は、イメージシグナルプロセッサ（image  signal  processor；ＩＳＰ）６、記憶部７及び表示部８を有する。カメラモジュール２は、デジタルカメラ１以外に、例えばカメラ付き携帯端末等の電子機器に適用される。
【００１０】
撮像光学系４は、被写体からの光を取り込み、被写体像を結像させる。固体撮像装置５は、被写体像を撮像する。ＩＳＰ６は、固体撮像装置５での撮像により得られた画像信号の信号処理を実施する。記憶部７は、ＩＳＰ６での信号処理を経た画像を格納する。記憶部７は、ユーザの操作等に応じて、表示部８へ画像信号を出力する。表示部８は、ＩＳＰ６あるいは記憶部７から入力される画像信号に応じて、画像を表示する。表示部８は、例えば、液晶ディスプレイである。
【００１１】
固体撮像装置５は、例えば、ＣＭＯＳ（complementary  metal  oxide  semiconductor）イメージセンサである。固体撮像装置５は、ＣＭＯＳイメージセンサの他、ＣＣＤ（charge  coupled  device）であっても良い。固体撮像装置５は、イメージセンサ１０、アナログデジタル変換器（ＡＤＣ）１１、ノイズ低減回路１２、信号処理回路１３及びインタフェース（Ｉ／Ｆ）１４を有する。
【００１２】
イメージセンサ１０は、撮像光学系４により取り込まれた光を信号電荷に変換し、被写体像を撮像する。イメージセンサ１０は、ＲＧＢの信号値をベイヤー配列に対応する順序で取り込むことにより、アナログ画像信号を生成する。ＡＤＣ１１は、イメージセンサ１０からの画像信号をアナログ方式からデジタル方式へ変換する。
【００１３】
ノイズ低減回路１２は、ＡＤＣ１１からの画像信号に対するノイズ低減処理を実施する。信号処理回路１３は、ノイズ低減回路１２からの画像信号に対し、キズ補正、シェーディング補正、ホワイトバランス調整等の信号処理を実施する。ノイズ低減回路１２及び信号処理回路１３は、ＡＤＣ１１からのデジタル画像信号に対して種々の画像処理を施す画像処理装置として機能する。
【００１４】
Ｉ／Ｆ１４は、信号処理回路１３での信号処理を経た画像信号を出力する。Ｉ／Ｆ１４は、シリアル入力からパラレル出力への変換や、パラレル入力からシリアル出力への変換を行うこととしても良い。
【００１５】
ノイズ低減回路１２は、注目画素の画素値と、周辺画素の画素値とを使用する演算によって注目画素の画素値を変換するためのノイズ低減フィルタを、ノイズ低減処理に適用する。注目画素は、ノイズ低減処理の対象とする。周辺画素は、注目画素を中心とする画素ブロックに含まれる画素とする。
【００１６】
ノイズ低減フィルタは、例えば、ノイズ低減回路１２へ入力された画像信号のうち、注目画素の画素値と、所定の周辺画素の画素値との平均値を求め、注目画素に適用する画素値とする。ノイズ低減フィルタは、画素ブロック内の画素ごとに重み係数が設定されている。ノイズ低減回路１２は、重み係数に応じた加重平均を算出する。
【００１７】
図３は、ノイズ低減フィルタに設定された重み係数のマトリクスを示す図である。本実施形態では、周辺画素は、注目画素を中心とする５×５の画素ブロックに含まれる画素とする。係数ａ１１〜ａ５５は、それぞれ、画素ブロック中の各画素に適用する重み係数とする。係数ａ３３は、注目画素の重み係数とする。
【００１８】
図４は、第１の実施形態におけるノイズ低減フィルタの一例を示す図である。図５は、第１の実施形態の比較例におけるノイズ低減フィルタの一例を示す図である。各係数ａ１１〜ａ５５は、注目画素の係数ａ３３を１００％とした場合の相対値として表している。
【００１９】
図５に示すノイズ低減フィルタは、水平方向及び垂直方向のいずれについても、注目画素から離れるに従い重み付けが小さくなるように、各係数ａ１１〜ａ５５が設定されている。かかるノイズ低減フィルタを使用する場合、ノイズ低減処理は、水平方向及び垂直方向について同等に施される。周辺画素の係数は、水平方向及び垂直方向については、注目画素から離れるに従い５０％、２５％と低くなるように設定されている。
【００２０】
これに対し、本実施形態のノイズ低減フィルタは、水平周辺画素より垂直周辺画素について、演算における重み付けが大きく設定されている。水平周辺画素は、水平方向において注目画素と並列する周辺画素とする。垂直周辺画素は、垂直方向において注目画素と並列する周辺画素とする。これにより、ノイズ低減回路１２は、水平方向に対し垂直方向について、周辺画素の関与を強めた平滑化処理を実施する。
【００２１】
本実施形態のノイズ低減フィルタは、水平方向に対して垂直方向についての重み付けが大きくなるように、各係数ａ１１〜ａ５５が設定されている。図４に示すノイズ低減フィルタは、周辺画素のうち垂直周辺画素についての係数ａ１３、ａ２３、ａ４３、ａ５３をいずれも１００％とし、水平周辺画素及びその他の周辺画素についての係数をいずれも０％としている。この場合、ノイズ低減回路１２は、注目画素の画素値と、四つの垂直周辺画素の画素値とを加算し、他の周辺画素の画素値は加算対象から除外した上で、平均値を算出する。
【００２２】
一般に、自然界に存在する被写体の多くは、垂直方向に比べ水平方向について、周波数成分を多く含む。人間の視覚特性は、垂直方向に比べ、水平方向についての解像感に敏感であるものとされている。本実施形態のノイズ低減回路１２は、水平方向に対し垂直方向について重み付けを大きくしたノイズ低減処理を実施することで、水平方向及び垂直方向について同等のノイズ低減処理を実施する場合に比べ、解像感の低下を抑制させることができる。これにより、固体撮像装置５は、ノイズ低減処理に伴う解像感の低下を抑制可能とし、高品質な画像を得ることができる。
【００２３】
図６及び図７は、ノイズ低減フィルタの変形例を示す図である。図６に示すノイズ低減フィルタは、垂直周辺画素についての係数ａ１３、ａ２３、ａ４３、ａ５３が、注目画素から離れるに従い５０％、１０％と低くなるように設定されている。水平周辺画素及びその他の周辺画素についての係数は、図４に示すノイズ低減フィルタと同様、いずれも０％としている。
【００２４】
本変形例のノイズ低減フィルタを適用する場合も、ノイズ低減回路１２は、水平方向に対し垂直方向について重み付けを大きくしたノイズ低減処理を実施することで、解像感の低下を抑制させることができる。
【００２５】
図７に示すノイズ低減フィルタは、図４に示すノイズ低減フィルタと同様、垂直周辺画素についての係数ａ１３、ａ２３、ａ４３、ａ５３をいずれも１００％としている。本変形例のノイズ低減フィルタは、さらに、注目画素及び垂直周辺画素の列に対し左側に隣接する画素についての係数ａ１２、ａ２２、ａ３２、ａ４２、ａ５２と、右側に隣接する画素についての係数ａ１４、ａ２４、ａ３４、ａ４４、ａ５４を、いずれも２５％としている。
【００２６】
本変形例のノイズ低減フィルタを適用する場合も、ノイズ低減回路１２は、水平方向に対し垂直方向について重み付けを大きくしたノイズ低減処理を実施する。これにより、本変形例のノイズ低減フィルタを適用する場合も、固体撮像装置５は、解像感の低下を抑制させることができる。
【００２７】
なお、ノイズ低減回路１２は、水平方向に対し垂直方向について重み付けを大きくしたノイズ低減処理を実施するものであれば良い。ノイズ低減回路１２が適用するノイズ低減フィルタは、各係数ａ１１〜ａ５５による重み付けの分布や数値を適宜変更しても良い。
【００２８】
（第２の実施形態）
図８は、第２の実施形態にかかる固体撮像装置の概略構成を示すブロック図である。第１の実施形態と同一の部分には同一の符号を付し、重複する説明を適宜省略する。本実施形態の固体撮像装置２０は、図１に示す固体撮像装置５が備える各部と、フィルタ強度調整部２１とを有する。フィルタ強度調整部２１は、ノイズ低減フィルタのフィルタ強度を調整する。
【００２９】
フィルタ強度調整部２１は、被写体像の撮像に使用された撮像光学系４の光学特性、例えばレンズ特性に応じて、フィルタ強度を調整可能とする。レンズ特性としては、例えば相対照度（relative  illumination）を適用する。カメラモジュール２による撮像の際、画面の中央部に対して周辺部では、レンズ特性に応じて光量が低下することで、ノイズが生じ易くなることがある。
【００３０】
フィルタ強度調整部２１は、個体情報としてカメラモジュール２に予め保持されたレンズ特性を参照し、画面の周辺部における光量の低下に応じてフィルタ強度を強める調整を行う。カメラモジュール２は、この個体情報を、例えば、固体撮像装置２０内のＯＴＰ（one  time  programmable  memory、図示省略）に格納している。
【００３１】
図９は、フィルタ強度調整部による調整を経たノイズ低減フィルタの一例を示す図である。この例において、フィルタ強度調整部２１は、画面の中央部に対しては、図６に示すノイズ低減フィルタを適用する。フィルタ強度調整部２１は、かかるノイズ低減フィルタのフィルタ強度を調整することで、画面の周辺部に対して適用するノイズ低減フィルタとする。
【００３２】
図６に示すノイズ低減フィルタは、垂直周辺画素についての係数ａ１３、ａ２３、ａ４３、ａ５３がそれぞれ１０％、５０％、５０％、１０％と設定されている。これに対し、図９に示す調整後のノイズ低減フィルタは、垂直周辺画素についての係数ａ１３、ａ２３、ａ４３、ａ５３がそれぞれ２５％、７５％、７５％、２５％と設定されている。
【００３３】
このように、フィルタ強度調整部２１は、画面の周辺部において光量が低くなるほど、注目画素に対し周辺画素についての重み付けが大きくなるように、ノイズ低減フィルタのフィルタ強度を調整する。基準とするノイズ低減フィルタは、水平方向に対して垂直方向についての重み付けが大きくなるように、各係数ａ１１〜ａ５５が設定されている。フィルタ強度調整部２１による調整後のノイズ低減フィルタも、例えば、水平方向に対して垂直方向についての重み付けが大きくなるように、各係数ａ１１〜ａ５５が設定されている。なお、フィルタ強度調整部２１は、光量が低いほど、水平方向及び垂直方向について重み付けが同等に近くなるように、フィルタ強度を調整することとしても良い。
【００３４】
フィルタ強度調整部２１によるフィルタ強度の調整により、ノイズ低減回路１２は、撮像光学系４の光学特性に応じたノイズ低減処理を実施可能とする。ノイズ低減回路１２は、画面全体について効果的なノイズ低減処理を実施することができる。これにより、固体撮像装置５は、ノイズ低減処理に伴う解像感の低下を抑制可能とするとともに、画面全体についての効果的なノイズ低減処理により高品質な画像を得ることができる。
【００３５】
フィルタ強度調整部２１は、被写体像の撮像における照度に応じて、フィルタ強度を調整可能とするものであっても良い。フィルタ強度調整部２１は、例えば、被写体像の撮像におけるアナログゲインを参照することにより、撮像時の照度を推定する。フィルタ強度調整部２１は、照度が低いほど、注目画素に対し周辺画素についての重み付けが大きくなるように、ノイズ低減フィルタのフィルタ強度を調整する。
【００３６】
フィルタ強度調整部２１による調整後のノイズ低減フィルタは、例えば、水平方向に対して垂直方向についての重み付けが大きくなるように、各係数ａ１１〜ａ５５が設定されている。なお、フィルタ強度調整部２１は、照度が低いほど、水平方向及び垂直方向について重み付けが同等に近くなるように、フィルタ強度を調整することとしても良い。
【００３７】
この場合、フィルタ強度調整部２１によるフィルタ強度の調整により、ノイズ低減回路１２は、撮像時の照度に応じたノイズ低減処理を実施可能とする。ノイズ低減回路１２は、撮像時の照度に応じた効果的なノイズ低減処理を実施することができる。固体撮像装置２０は、ノイズ低減処理に伴う解像感の低下を抑制可能とするとともに、撮像時の照度に応じた効果的なノイズ低減処理により高品質な画像を得ることができる。
【００３８】
フィルタ強度調整部２１は、撮像光学系４の光学特性及び撮像時の照度の少なくとも一方に応じてフィルタ強度を調整するものであれば良いものとする。フィルタ強度調整部２１は、撮像光学系４の光学特性及び撮像時の照度の双方に応じてフィルタ強度を調整するものとしても良い。
【００３９】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００４０】
４  撮像光学系、５、２０  固体撮像装置、１２  ノイズ低減回路、１３  信号処理回路、２１  フィルタ強度調整部。
【図１】
0005843641.tif 000002
【図２】
0005843641.tif 000003
【図３】
0005843641.tif 000004
【図４】
0005843641.tif 000005
【図５】
0005843641.tif 000006
【図６】
0005843641.tif 000007
【図７】
0005843641.tif 000008
【図８】
0005843641.tif 000009
【図９】
0005843641.tif 000010