(57)【要約】【課題】複数の画素により構成される画像のノイズを効果的に低減すること。【解決手段】単板式撮像装置１は、単板式撮像センサ２０の出力信号のうち、Ｇ信号に対しては、特殊メディアン処理を施し、Ｒ信号およびＢ信号に対しては、平均化処理あるいはメディアンフィルタによる処理を施す。したがって、画像全体にメディアンフィルタによる処理を施す場合に比べ、ノイズ除去の効果を同等としながら、画像の細部の情報を残すことができ、ノイズ除去を行っても、画像中の孤立点を維持することができる。即ち、画質を維持しながら、適切なノイズ除去を行うことが可能となる。【選択図】        図６
2004159176.tif 000002
【特許請求の範囲】
【請求項１】
複数の画素により構成された画像のノイズ除去方法であって、
処理対象画素を含む所定の周囲画素の信号値のメディアンと処理対象画素の信号値との差分と、所定の閾値とを比較し、前記差分が該閾値より大きい場合には、処理対象画素の信号値を用い、前記差分が該閾値以下である場合には、前記メディアンを処理対象画素の信号値として用いる特殊メディアン処理を、前記画像を構成する画素に対して施すことを特徴とするノイズ除去方法。
【請求項２】
前記画素を構成する信号成分のうち、画像の輝度とより高い関係を有する信号成分について、前記特殊メディアン処理を施すことを特徴とする請求項１記載のノイズ除去方法。
【請求項３】
前記画像は、所定方式に基づく異なる成分の色信号を出力する撮像素子を、所定パターンに配列した単板式撮像センサによって撮影されたものであり、該異なる成分の色信号のうち、少なくとも１つの成分の色信号について、前記特殊メディアン処理を施すことを特徴とする請求項１または２記載のノイズ除去方法。
【請求項４】
前記撮像素子は、ＲＧＢ方式に基づく異なる成分の色信号を出力し、
ＲＧＢ方式におけるＧ信号について、前記特殊メディアン処理を施すことを特徴とする請求項１〜３のいずれかに記載のノイズ除去方法。
【請求項５】
前記異なる成分の色信号のうち、前記特殊メディアン処理を施さない成分の色信号について、平均化処理あるいはメディアンフィルタによる処理のいずれかを施すことを特徴とする請求項１〜４のいずれかに記載のノイズ除去方法。
【請求項６】
前記閾値を画像の輝度に関連する情報に基づいて変化させることを特徴とする請求項１〜５のいずれかに記載のノイズ除去方法。
【請求項７】
所定方式に基づく異なる成分の色信号を出力する撮像素子を、所定パターンに配列した単板式撮像センサによって撮影された画像のノイズ除去方法であって、
前記異なる成分の色信号のうち、画像の輝度とより高い関係を有する成分の色信号について、メディアンフィルタによる処理を施し、他の成分の色信号について平均化処理を施すことを特徴とするノイズ除去方法。
【請求項８】
前記撮像素子は、ＲＧＢ方式に基づく異なる成分の色信号を出力し、Ｇ信号について、メディアンフィルタによる処理を施し、Ｒ信号およびＢ信号について、平均化処理を施すことを特徴とする請求項７記載のノイズ除去方法。
【請求項９】
複数の画素により構成された画像のノイズ除去を行う撮像装置であって、
処理対象画素を含む所定の周囲画素の信号値のメディアンと処理対象画素の信号値との差分と、所定の閾値とを比較し、前記差分が該閾値より大きい場合には、処理対象画素の信号値を用い、前記差分が該閾値以下である場合には、前記メディアンを処理対象画素の信号値として用いる特殊メディアン処理を、前記画像を構成する画素に対して施すことを特徴とする撮像装置。
【請求項１０】
所定方式に基づく異なる成分の色信号を出力する撮像素子を、所定パターンに配列した単板式撮像センサを備え、該単板式撮像センサによって撮影された画像のノイズ除去を行う撮像装置であって、
前記異なる成分の色信号のうち、画像の輝度とより高い関係を有する成分の色信号について、メディアンフィルタによる処理を施し、他の成分の色信号について平均化処理を施すことを特徴とする撮像装置。
【請求項１１】
複数の画素により構成された画像のノイズ除去を行うためのノイズ除去プログラムであって、
処理対象画素を含む所定の周囲画素の信号値のメディアンと処理対象画素の信号値との差分と、所定の閾値とを比較し、前記差分が該閾値より大きい場合には、処理対象画素の信号値を用い、前記差分が該閾値以下である場合には、前記メディアンを処理対象画素の信号値として用いる特殊メディアン処理を、前記画像を構成する画素に対して施す機能をコンピュータに実現させることを特徴とするノイズ除去プログラム。
【請求項１２】
所定方式に基づく異なる成分の色信号を出力する撮像素子を、所定パターンに配列した単板式撮像センサによって撮影された画像のノイズ除去を行うノイズ除去プログラムであって、
前記異なる成分の色信号のうち、画像の輝度とより高い関係を有する成分の色信号について、メディアンフィルタによる処理を施し、他の成分の色信号について平均化処理を施す機能をコンピュータに実現させることを特徴とするノイズ除去プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、撮像センサによって撮影された画像のノイズを軽減するためのノイズ除去方法、撮像装置およびノイズ除去プログラムに関する。
【０００２】
【従来の技術】
従来、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等から構成される単板式のカラー撮像センサを備えた撮像装置等において、撮影された画像のノイズを除去するための処理が行われている。
【０００３】
撮影画像のノイズを除去する方法として、例えば、単板式撮像センサの出力信号から生成された画像（色補間等を施した完成画像）に対し、ＬＰＦ（Ｌｏｗ  ＰａｓｓＦｉｌｔｅｒ）を用いて処理する方法や、メディアンフィルタを用いて処理する方法が知られている。
例えば、特開平４−２３５４７２号公報には、メディアンフィルタによってデジタル画像データのノイズ除去を行う技術が開示されている。
【０００４】
また、特開２００１−１４４９６４号公報には、画像の変化を関数近似し、近似データを元の画像データと置換することにより、ノイズを除去する技術が開示されている。
【０００５】
【特許文献１】
特開平４−２３５４７２号公報
【特許文献２】
特開２００１−１４４９６４号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、特開平４−２３５４７２号公報に記載された技術は、メディアンフィルタを用いることから、画像中の孤立点が、フィルタ処理の結果、失われやすいと言う問題があった。
また、特開２００１−１４４９６４号公報に記載された技術は、画像の変化を近似するための関数を取得する必要があるが、その関数を算出する処理が複雑であり、また、モザイク状に情報が配列された画像（例えば、ＲＧＢ方式の各色の画像）に対応していないと言う問題があった。
【０００７】
本発明の課題は、複数の画素により構成される画像のノイズを効果的に低減することである。
【０００８】
【課題を解決するための手段】
以上の課題を解決するため、本発明は、
複数の画素により構成された画像のノイズ除去方法であって、処理対象画素を含む所定の周囲画素（例えば、図２に示す３×３の小行列）の信号値のメディアンと処理対象画素（例えば、図２の小行列中、中央に位置する注目するＧ信号）の信号値との差分（例えば、発明の実施の形態中の「差分ｄｉｆｆ」）と、所定の閾値（例えば、発明の実施の形態中の「閾値ｔｈ」）とを比較し、前記差分が該閾値より大きい場合には、処理対象画素の信号値を用い、前記差分が該閾値以下である場合には、前記メディアンを処理対象画素の信号値として用いる特殊メディアン処理を、前記画像を構成する画素に対して施すことを特徴としている。また、複数の画素により構成された画像のノイズ除去を行う撮像装置であって、処理対象画素を含む所定の周囲画素の信号値のメディアンと処理対象画素の信号値との差分と、所定の閾値とを比較し、前記差分が該閾値より大きい場合には、処理対象画素の信号値を用い、前記差分が該閾値以下である場合には、前記メディアンを処理対象画素の信号値として用いる特殊メディアン処理を、前記画像を構成する画素に対して施すことを特徴としている。
【０００９】
また、複数の画素により構成された画像のノイズ除去を行うためのノイズ除去プログラムであって、処理対象画素を含む所定の周囲画素の信号値のメディアンと処理対象画素の信号値との差分と、所定の閾値とを比較し、前記差分が該閾値より大きい場合には、処理対象画素の信号値を用い、前記差分が該閾値以下である場合には、前記メディアンを処理対象画素の信号値として用いる特殊メディアン処理を、前記画像を構成する画素に対して施す機能をコンピュータに実現させることを特徴としている。
【００１０】
本発明によれば、画像全体に一様にメディアンフィルタを施す場合に比べ、ノイズ除去の効果を同等としながら、画像の細部の情報を残すことができ、ノイズ除去を行っても、画像中の孤立点を維持することができる。即ち、情報量を維持しながら、適切なノイズ除去を行うことが可能となる。
また、前記画素を構成する信号成分のうち、画像の輝度とより高い関係を有する信号成分（例えば、ＲＧＢ方式におけるＧ信号等）について、前記特殊メディアン処理を施すことを特徴としている。
本発明によれば、画像の細部の情報を比較的残しつつ、フィルタリング処理における処理負荷を軽減することが可能となる。
また、前記画像は、所定方式（例えば、ＲＧＢ方式あるいはＣｙＹｅＭｇＧｒ方式等）に基づく異なる成分の色信号（例えば、ＲＧＢ方式におけるＲ信号、Ｇ信号あるいはＢ信号等）を出力する撮像素子を、所定パターンに配列した単板式撮像センサによって撮影されたものであり、該異なる成分の色信号のうち、少なくとも１つの成分の色信号について、前記特殊メディアン処理を施すことを特徴としている。
【００１１】
本発明によれば、単板式撮像センサにより撮影された画像に対し、画像全体にメディアンフィルタによる処理を施す場合に比べ、ノイズ除去の効果を同等としながら、画像の細部の情報を残すことができ、ノイズ除去を行っても、画像中の孤立点を維持することができる。即ち、情報量を維持しながら、適切なノイズ除去を行うことが可能となる。
また、前記撮像素子は、ＲＧＢ方式に基づく異なる成分の色信号を出力し、ＲＧＢ方式におけるＧ信号について、前記特殊メディアン処理を施すことを特徴としている。
【００１２】
本発明によれば、単板式撮像センサによって撮影されたＲＧＢ方式の画像において、輝度に対する影響が大きいＧ信号に特殊メディアン処理が施されるため、効果的にノイズ除去を行うことができる。
また、前記異なる成分の色信号のうち、前記特殊メディアン処理を施さない成分の色信号について、平均化処理あるいはメディアンフィルタによる処理のいずれかを施すことを特徴としている。
【００１３】
本発明によれば、画像の輝度と比較的関係が少ない成分の色信号について、従来用いられているフィルタによる処理を用いるため、実用性を向上させつつ、画質を向上させることが可能となる。
また、前記閾値を画像の輝度に関連する情報に基づいて変化させることを特徴としている。
【００１４】
ここで、「画像の輝度に関連する情報」とは、画像の輝度を表す信号成分を始め、画像の輝度と一定の相関関係を有する信号成分や、輝度を調整するために信号を増幅する際の利得を含むものである。さらに、画像の輝度は、その画像に含まれるノイズ量とも相当の関係を有することから、画像に含まれるノイズを測定等した結果といったものも含まれる。
本発明によれば、輝度に関連する情報に基づいて閾値を動的に変化させることにより、画像に応じた適切なノイズ除去を行うことが可能となる。
【００１５】
また、所定方式に基づく異なる成分の色信号を出力する撮像素子を、所定パターンに配列した単板式撮像センサによって撮影された画像のノイズ除去方法であって、前記異なる成分の色信号のうち、画像の輝度とより高い関係を有する成分の色信号について、メディアンフィルタによる処理を施し、他の成分の色信号について平均化処理を施すことを特徴としている。
また、所定方式に基づく異なる成分の色信号を出力する撮像素子を、所定パターンに配列した単板式撮像センサを備え、該単板式撮像センサによって撮影された画像のノイズ除去を行う撮像装置であって、前記異なる成分の色信号のうち、画像の輝度とより高い関係を有する成分の色信号について、メディアンフィルタによる処理を施し、他の成分の色信号について平均化処理を施すことを特徴としている。
【００１６】
また、所定方式に基づく異なる成分の色信号を出力する撮像素子を、所定パターンに配列した単板式撮像センサによって撮影された画像のノイズ除去を行うノイズ除去プログラムであって、前記異なる成分の色信号のうち、画像の輝度とより高い関係を有する成分の色信号について、メディアンフィルタによる処理を施し、他の成分の色信号について平均化処理を施す機能をコンピュータに実現させることを特徴としている。
本発明によれば、画像の細部の情報を比較的残しつつ、従来のようにメディアンフィルタによる処理のみを行う場合より、処理負荷を軽減することが可能である。
また、前記撮像素子は、ＲＧＢ方式に基づく異なる成分の色信号を出力し、Ｇ信号について、メディアンフィルタによる処理を施し、Ｒ信号およびＢ信号について、平均化処理を施すことを特徴としている。
本発明によれば、単板式撮像センサによって撮影されたＲＧＢ方式に基づく画像において、色補間前のＧ信号にのみメディアンフィルタによる処理を施すことにより画像の細部の情報を比較的残しつつ、Ｇ信号およびＢ信号に対しては平均化処理を施すことにより一定のノイズ除去効果をあげることが可能となる。
【００１７】
【発明の実施の形態】
以下、図を参照して本発明に係る単板式撮像装置の実施の形態を説明する。
初めに、本発明に係るノイズ除去方法について説明する。
本発明に係るノイズ除去方法では、単板式撮像装置に備えられた単板式撮像センサの出力信号に対し、色補間等を行う以前に、所定のノイズ除去処理を施す。なお、このように、単板式撮像センサの出力信号に対してノイズ除去処理を行うことにより、色補間等を行った後の完成画像にフィルタ処理を施す場合に比べ、フィルタ処理に使用するメモリを削減することができる。
【００１８】
以下、具体的な方法について説明する。
単板式撮像センサは、各色信号を出力する撮像素子が、モザイク状に配列された構成である。即ち、単板式撮像センサは、原色フィルタ方式（ＲＧＢ方式）の色信号におけるＲ信号を出力する撮像素子およびＧ信号を出力する撮像素子が交互に所定数配列された行（以下、「ＲＧライン」と言う。）と、同様に、Ｇ信号を出力する撮像素子およびＢ信号を出力する撮像素子が交互に所定数配列された行（以下、「ＧＢライン」と言う。）とが列方向に繰り返し配列されることによって構成されている。
【００１９】
なお、単板式撮像センサは、ＲＧＢ方式の色信号を出力する場合の他、補色フィルタ方式（ＣｙＹｅＭｇＧｒ方式）等の他の色信号を出力する場合であっても本発明が適用可能である。このとき、上述のＲＧラインおよびＧＢラインに相当するラインは、それぞれの方式に対応する色信号の配列となり、例えば、ＣｙＹｅＭｇＧｒ方式の場合、Ｃｙ（シアン）信号を出力する撮像素子およびＹｅ（イエロー）信号を出力する撮像素子が交互に配列されたＣｙＹｅラインと、Ｍｇ（マゼンダ）信号を出力する撮像素子およびＧｒ（グリーン）信号を出力する撮像素子が交互に配列されたＭｇＧｒラインとなる。以下、単板式撮像センサがＲＧＢ方式の色信号を出力するものとして説明する。
【００２０】
このとき、ＲＧＢ方式の単板式撮像センサの出力として、各ＲＧラインおよびＧＢラインにおける撮像素子それぞれの出力信号値からなる配列（以下、「センサ出力行列」と言う。）が得られる。図１は、センサ出力行列を示す概念図である。
図１において、各行列要素（以下、適宜「撮像画素」と言う。）は、Ｒ，Ｇ，Ｂいずれかの信号値のみを含むものである。そして、Ｇ信号は、輝度信号に近い分光分布特性を持ち、かつ人間の目は輝度に対する空間周波数特性が良いので、Ｇ信号の空間的な変化を的確に捉えると解像度の良い画像が復元できる。そこで、Ｇ信号は、Ｒ，Ｂ信号の２倍の画素数が出力されるように構成されている。
【００２１】
したがって、Ｇ信号については、フィルタ処理を行うことによっても、可能な限り情報が残されつつ、一定レベルのノイズ除去が行われることが望ましい。
そこで、本方法においては、Ｇ信号に対して、細部の情報が比較的残りやすいメディアンフィルタを基本とする処理（以下、「特殊メディアン処理」と言う。）を用いてノイズ除去を行うこととする。
【００２２】
メディアンフィルタを用いた場合、エッジ情報等は残されるものの、孤立点の情報が失われやすいと言う特徴がある。そのため、特殊メディアン処理においては、このような弊害を防止すべく、孤立点がノイズであるか、あるいは、本来の画像情報であるかを判定し、ノイズであると判定した場合に、その孤立点をメディアンフィルタによって処理し、本来の画像情報であると判定した場合には、その孤立点をそのまま保持することとする。
【００２３】
なお、撮像素子の画素欠陥等による孤立点については、従来行われている画素欠陥補正によって処理することとする。
続いて、特殊メディアン処理において、孤立点をノイズであるか、あるいは、本来の画像情報であるかを判定する方法について説明する。
本判定方法においては、センサ出力行列のうち、Ｇ信号のみを要素とする行列（以下、「Ｇ行列」と言う。）において、注目するＧ信号を中心として、図２に示すような３×３の小行列を抽出する。そして、その小行列に含まれる５つのＧ信号のメディアンと、注目するＧ信号との差分が閾値より大である場合には、本来の画像情報であると判定し、閾値以下である場合には、ノイズであると判定することとする。
【００２４】
例えば、図２の５つのＧ信号の信号値が、（ｄ１，ｄ２，ｄ３，ｄ４，ｄ５）であり、注目するＧ信号の信号値がｄ３であるとする。このとき、メディアンフィルタの出力値がｄｍであるとすると、差分ｄｉｆｆ＝｜ｄ３−ｄｍ｜であり、このときの差分ｄｉｆｆが閾値ｔｈより大（ｄｉｆｆ＞ｔｈ）である場合には、ｄ３をフィルタ処理後の出力値とし、差分ｄｉｆｆが閾値ｔｈ以下（ｄｉｆｆ≦ｔｈ）である場合には、ｄ３に代えて、メディアンｄｍをフィルタ処理後の出力値とする。
【００２５】
ここで、閾値ｔｈは、以下のような検討結果に基づいて決定されるものである。
画像情報に含まれるノイズの分布を、ガウス分布で近似できると仮定すると、このガウス分布は、輝度の関数となる標準偏差σによって一意に決定できる。
そこで、ガウス分布を用いて閾値ｔｈを決定することとし、標準偏差σに対する係数ａの適切な値を求めることで、閾値ｔｈを定める。閾値ｔｈを小さくするとノイズ除去性能が低下し、閾値ｔｈを大きくすると、画像情報が失われやすくなるという傾向が見られるので、適切な閾値ｔｈを決定することが重要である。
【００２６】
図３は、ノイズの分布がガウス分布である場合の種々の閾値ｔｈ（ａ・σ）と、ノイズ全体に対して除去が行われるノイズの割合との関係を示す図である（実際にノイズの分布の多くは、ガウス分布に近い）。なお、図３においては、ＣＩＦ（Ｃｏｍｍｏｎ  Ｉｎｔｅｒｍｅｄｉａｔｅ  Ｆｏｒｍａｔ）画像の場合のエラー画素数およびエラーの発生頻度も併せて示している。
【００２７】
一般に、そのある値がエラーであるか否かの判断基準として、３σの値を用いている場合が多い。しかし、画像においては、図３に示すように、閾値ｔｈを３σとした場合、ＣＩＦサイズである３５２×２８８画素の画像において、２８２のノイズエラーが発生することとなり、ノイズ除去性能として不十分である（即ち、視覚的にノイズエラーが目に付く画像となる）。
【００２８】
したがって、ここでは、閾値ｔｈとして４σを採用することとする。
ただし、使用する撮像素子やシステムの構成によって、データの値に応じて、画像情報に含まれるノイズ量が変化することが多い。図４は、センサ出力によりノイズ量が増加する例を示す図である。そこで、輝度値を読み取り、その値に応じて閾値を変化させることによって、適切なノイズ除去を行うことが可能である。即ち、輝度値に応じて閾値を動的に変化させること等が可能である。さらに、単板式撮像センサの出力信号を一定範囲の値に増幅する目的で接続されているアナログアンプの利得をパラメータとして参照し、閾値ｔｈを決定することも可能である。
【００２９】
次に、本発明に係るノイズ除去方法において、Ｒ信号およびＢ信号についてのノイズ除去方法を説明する。
Ｒ信号およびＢ信号については、実用性を重視し、平均化処理（ローパスフィルタによる処理）を行うこととする。
ここで、平均化処理は、メディアンフィルタによる処理に比べ、ハードウェア的な負担が少なく、ソフトウェア的に見ても、処理時間が短いという特徴を有する。
【００３０】
一方、平均化処理は、ノイズ低減の効果が大きいが、画像の細部の情報が失われ易いという特徴を有する。
しかし、Ｒ信号およびＢ信号は、Ｇ信号に比べて画素数が半分であり、また、輝度情報に対する影響が少ないことから、細部の情報が多少失われることとなっても、完成画像の画質には大きな影響を与えない。
【００３１】
なお、Ｒ信号およびＢ信号について、上述したＧ信号に対する処理と同様の処理やメディアンフィルタによる処理を行うことも可能である。
Ｒ信号およびＢ信号について、上記したＧに対する処理と同様の処理やフィルタ処理を行う場合には、センサ出力行列のうち、Ｒ信号のみを要素とする行列（以下、「Ｒ行列」と言う。）およびＢ信号のみを要素とする行列（以下、「Ｂ行列」と言う。）において、注目する画素を中心として、図５に示すような１×５の小行列を抽出する。そして、その小行列に含まれる３つのＲ信号あるいはＢ信号の平均をとることにより、注目画素についてのフィルタ出力値とする。
【００３２】
このように、本発明に係るフィルタ除去方法においては、センサ出力行列のうち、Ｇ行列に対しては、メディアンフィルタを基本とする特殊メディアン処理を施し、センサ出力行列のうち、Ｒ行列およびＢ行列に対しては、ローパスフィルタによる処理（平均化処理）もしくはメディアンフィルタによる処理を施す。
ここで、画質を、基準となる画像の画素とのばらつき（標準偏差）によって表すこととすると、本発明に係るノイズ除去方法を用いることにより、基準となる画像（例えば、マクベスチャートの２番目に明るいパッチの画像等）に対する標準偏差は、以下のようになる。
【００３３】
即ち、▲１▼意図的なノイズを加える前は  “１．９７”、▲２▼シミュレーションにより発生させたノイズを付加した場合は“２．８３”、▲３▼メディアンフィルタによるノイズ除去を施した場合は“２．１２”、▲４▼平均化処理を施した場合は“１．９４”、▲５▼特殊メディアン処理を施した場合は“２．１３”となる。
ただし、ここに示す標準偏差は、３×３のＧ信号の小行列に対してフィルタ処理を行った場合の例である。
【００３４】
また、ここに示す標準偏差は、値が小さいほどノイズが少ないことを意味し、上述の結果においては、▲３▼メディアンフィルタによるノイズ除去を施した場合と、▲５▼特殊メディアン処理を施した場合とでは、ほぼ同等のノイズ除去効果が得られている。一方、特殊メディアン処理を施す場合には、メディアンフィルタによるノイズ除去処理を施す場合より、画像中の孤立点が失われ難いという利点があるため、特殊メディアン処理によるフィルタ処理は、より適切にノイズ除去を行うことができると言える。
【００３５】
次に、本方法を使用した単板式撮像装置１の構成を説明する。
図６は、本実施の形態に係る単板式撮像装置１の構成を示すブロック図である。図６において、単板式撮像装置１は、被写体からの光を収束させるレンズ１０と、レンズ１０によって収束された光を検出する単板式撮像センサ２０と、単板式撮像センサ２０によって出力された色信号（ＲＧＢ信号）に対し、ノイズ除去処理を行うノイズ除去部３０とを含んで構成される。なお、単板式撮像装置１は、色補間、色空間変換等を行う他の機能部を適宜含むものであるが、これらの機能部については従来と同様であるため説明を省略する。
【００３６】
単板式撮像センサ２０は、ＲＧラインおよびＧＢラインが列方向に繰り返し配列された構成を有している。
ノイズ除去部３０は、単板式撮像センサ２０から出力される信号のうち、Ｇ行列、Ｒ行列およびＢ行列を保持し、Ｇ行列については特殊メディアン処理を施し、Ｒ行列およびＢ行列については、平均化処理あるいはメディアンフィルタによる処理を施す。
【００３７】
また、ノイズ除去部３０は、このような処理を行うために、ラインメモリ４０を必要とする。本処理に対しては、Ｇ信号は３×３の小行列、Ｒ信号およびＢ信号は１×５の小行列にて処理する場合、ラインメモリ４０は、単板式撮像センサ２０の出力信号を２ライン分記憶する容量を有していればよい。
次に、動作を説明する。
【００３８】
単板式撮像センサ２０は、ラスタスキャン方式によって撮像画素を順次出力する。即ち、単板式撮像センサ２０は、センサ出力行列の各行の撮像画素を一定方向に順に出力する。
すると、ノイズ除去部３０は、ラインメモリ４０に記憶している一ライン前と二ライン前のデータと単板式撮像センサ２０の出力信号を用いて、Ｒ行列およびＢ行列に対しては、平均化処理（あるいはメディアンフィルタによる処理）を施して、ノイズ処理したＲ信号およびＢ信号を生成し、Ｇ行列に対しては、特殊メディアン処理を施し、ノイズ処理したＧ信号の画素を生成する。そして、処理が終わった不要なラインメモリ４０上のデータにかわり、単板式撮像センサ２０の出力信号をラインメモリ４０に記憶していく。
【００３９】
次いで、ノイズ除去処理が行われたＲＧＢ信号を用いて、色補間などの画像処理が次段の機能部において行われ、完成画像が生成される。
以上のように、本実施の形態に係る単板式撮像装置１は、単板式撮像センサ２０の出力信号のうち、Ｇ信号に対しては、特殊メディアン処理を施し、Ｒ信号およびＢ信号に対しては、平均化処理あるいはメディアンフィルタによる処理を施す。
【００４０】
したがって、画像全体にメディアンフィルタによる処理を施す場合に比べ、ノイズ除去の効果を同等としながら、画像の細部の情報を残すことができ、ノイズ除去を行っても、画像中の孤立点を維持することができる。即ち、情報量を維持しながら、適切なノイズ除去を行うことが可能となる。
また、単板式撮像装置１は、単板式撮像センサ２０の出力信号にフィルタ処理を行うため、色補間等を行った後の完成画像にフィルタ処理を施す（Ｒ、Ｇ，Ｂ信号それぞれについてラインメモリ４０と同容量を要する）場合に比べ、必要となるメモリを大幅に削減することができる。
【００４１】
なお、本実施の形態においては、主にＲＧＢ方式の色信号を対象として説明したが、補色フィルタ方式等、他の方式の色信号を対象とすることも可能であり、この場合、輝度に高い相関関係を有する信号成分については特殊メディアン処理を行い、他の信号成分については、平均化処理あるいはメディアンフィルタによる処理を行うことによって、本発明の効果を奏するものとなる。
また、Ｇ信号に対して３×３、ＲとＢ信号に対して１×５の範囲を参照する例で示したが、この参照範囲に限らず、例えばより広い参照範囲を用いることができる。
【００４２】
単板式センサの画素配列に対して処理する例を示したが、一般の画像データに対して、上述の処理を適応することにより、同様の効果を得ることができる。
また、本実施の形態において、Ｒ信号およびＢ信号に対して平均化処理を施し、Ｇ信号に対して特殊メディアン処理を施す場合について説明したが、Ｇ信号に対して特殊メディアン処理を施す代わりに、通常のメディアンフィルタによる処理を施すことのみでも、処理負荷の軽減という効果を奏することとなる。即ち、従来、色補間を行ったＲ，Ｇ，Ｂ信号成分の画像（３原色の画像）それぞれに対してメディアンフィルタによる処理を施すノイズ除去方法が利用されているが、色補間前の信号（単板式撮像センサ２０の出力信号）に対して、Ｇ信号にメディアンフィルタによる処理を施し、Ｒ信号およびＢ信号に対して平均化処理を施すことが可能である。つまり、輝度に影響を与えやすいＧ信号にのみ、処理負荷が比較的大きいメディアンフィルタによる処理を行い、Ｒ信号およびＢ信号には、処理負荷が小さい平均化処理を行うことで、画像の細部の情報を比較的残しつつ、メディアンフィルタによる処理のみを行う場合より、処理負荷を軽減することが可能である。
【図面の簡単な説明】
【図１】センサ出力行列を示す概念図である。
【図２】Ｇ信号の小行列を示す図である。
【図３】種々の閾値ｔｈと、ノイズ全体に対して除去が行われるノイズの割合との関係を示す図である。
【図４】輝度値と、画像情報に含まれるノイズ量との関係を示す図である。
【図５】Ｂ信号の小行列を示す図である。
【図６】本実施の形態に係る単板式撮像装置１の構成を示すブロック図である。
【符号の説明】
１  単板式撮像装置，１０  レンズ，２０  単板式撮像センサ，３０  ノイズ除去部，４０  ラインメモリ
【図１】
2004159176.tif 000003
【図２】
2004159176.tif 000004
【図３】
2004159176.tif 000005
【図４】
2004159176.tif 000006
【図５】
2004159176.tif 000007
【図６】
2004159176.tif 000008