(57)【要約】【課題】被写体のエッジなどの必要な情報を劣化させることなく、ゲイン調整では補正しきれず発生していたチャンネル間のばらつきに起因する縞ノイズを、画質を劣化させることなく、縞ノイズのみを軽減可能な画像処理装置及び画像処理方法を提供する。【解決手段】入力された画像データに対して信号処理を施す画像処理装置において、固定パターン検出手段（１）は処理対象となる画素データとその周辺画素のデータを用いて、所定の固定パターンを検出し、固定パターン補正手段（２，３）は前記固定パターン検出手段（１）によって固定パターンが検出された画素に対してのみ、補正処理（すなわちゲイン調整）を行う。被写体のエッジなどの必要な情報を劣化させることなく、例えばチャンネル間ばらつきに起因する縞ノイズ（固定パターン）を、画質を劣化させることなく、縞ノイズのみを軽減可能である。【選択図】    図１
2004171156.tif 000002
【特許請求の範囲】
【請求項１】
入力された画像データに対して信号処理を施す画像処理装置において、
処理対象となる画素データとその周辺画素のデータを用いて、所定の固定パターンを検出する固定パターン検出手段と、
前記固定パターン検出手段によって固定パターンが検出された画素に対してのみ、補正処理を行う固定パターン補正手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
入力された画像データに対して信号処理を施す画像処理装置において、
処理対象となる画素データとその周辺画素のデータを用いて、所定の固定パターンを検出する固定パターン検出手段と、
前記固定パターン検出手段によって固定パターンが検出された画素に対してのみ、補正処理を行う固定パターン補正手段と、
を撮像素子のチャンネル間ばらつきを補正するための手段の後段に設けたことを特徴とする画像処理装置。
【請求項３】
入力された画像データに対して信号処理を施す画像処理装置において、
処理対象となる画素データとその周辺画素のデータを用いて、所定の固定パターンを検出する固定パターン検出手段と、
前記固定パターン検出手段によって固定パターンが検出された画素に対してのみ、補正処理を行う固定パターン補正手段と、
を拡大処理手段の前段に設けたことを特徴とする画像処理装置。
【請求項４】
前記固定パターン検出手段は、注目画素と注目画素に隣接する画案の信号レベル情報に基づいて固定パターンを検出することを特徴とする請求項１〜３のいずれか１つに記載の画像処理装置。
【請求項５】
前記固定パターン検出手段は、注目画素と注目画素に隣接する画素との信号レベルの差によって固定パターンを検出することを特徴とする請求項４記載の画像処理装置。
【請求項６】
前記固定パターン検出手段は、注目画素の信号レベルが注目画素に隣接する画素の信号レベルよりも高い、または低い場合に固定パターンであると判断することを特徴とする請求項５記載の画像処理装置。
【請求項７】
前記固定パターン検出手段は、注目画素の信号レベルが注目画素に隣接する画素の信号レベルよりも高い、または低い場合に仮に固定パターンであると判断し、かつ、隣接する画素も同様にして仮に固定パターンであると判断された場合に固定パターンであると判断することを特徴とする請求項６記載の画像処理装置。
【請求項８】
前記固定パターン補正手段は、注目画素の信号レベルを調整することによって補正を行うことを特徴とする請求項１〜７のいずれか１つに記載の画像処理装置。
【請求項９】
前記固定パターン補正手段は、注目画素の信号レベルを注目画素と注目画素に隣接する画素の情報に基づいて調整することを特徴とする請求項８記載の画像処理装置。
【請求項１０】
前記固定パターン補正手段は、注目画素の信号レベルを注目画素と注目画素に隣接する画素の信号レベルの差に基づいて調整することを特徴とする請求項９記載の画像処理装置。
【請求項１１】
入力された画像データに対して信号処理を施す画像処理方法において、
処理対象となる画素データとその周辺画素のデータを用いて、所定の固定パターンを検出するステッブと、
前記ステップにて所定の固定パターンが検出された画素に対して補正処理を行うステップと、
を含んだことを特徴とする画像処理方法。
【請求項１２】
入力された画像データに対して信号処理を施す画像処理方法において、
処理対象となる画素データとその周辺画素のデータを用いて、所定の固定パターンを検出するステップと、
前記ステップにて所定の固定パターンが検出された画素に対して補正処理を行うステップと、
を撮像素子のチャンネル間ばらつきを補正するステップの後段に設けたことを特徴とする画像処理方法。
【請求項１３】
入力された画像データに対して信号処理を施す画像処理方法において、
処理対象となる画素データとその周辺画素のデータを用いて、所定の固定パターンを検出するステップと、
前記ステップにて所定の固定パターンが検出された画素に対して補正処理を行うステップと、
を拡大処理を行うステップの前段に設けたことを特徴とする画像処理方法。
【請求項１４】
前記固定パターンを検出するステップは、注目画素と注目画素に隣接する画素の信号レベル情報に基づいて固定パターンを検出するステップであることを特徴とする請求項１１〜１３のいずれか１つに記載の画像処理方法。
【請求項１５】
前記固定パターンを検出するステップは、注目画素と注目画素に隣接する画素との信号レベルの差によって固定パターンを検出するステップであることを特徴とする請求項１４記載の画像処理方法。
【請求項１６】
前記固定パターンを検出するステップは、注目画素の信号レベルが注目画素に隣接する画素の信号レベルよりも高い、または低い場合に固定パターンであると判断することを特徴とする請求項１５記載の画像処理方法。
【請求項１７】
前記固定パターンを検出するステップは、注目画素の信号レベルが注目画素に隣接する画素の信号レベルよりも高い、または低い場合に仮に固定パターンであると判断し、かつ、隣接する画素も同様にして仮に固定パターンであると判断された場合に固定パターンであると判断することを特徴とする請求項１６記載の画像処理方法。
【請求項１８】
前記補正処理を行うステップは、注目画素の信号レベルを調整することによって補正を行うことを特徴とする請求項１１〜１７のいずれか１つに記載の画像処理方法。
【請求項１９】
前記補正処理を行うステップは、注目画素の信号レベルを注目画素と注目画素に隣接する画素の情報に基づいて調整することを特徴とする請求項１８記載の画像処理方法。
【請求項２０】
前記補正処理を行うステップは、注目画素の信号レベルを注目画素と注目画素に隣接する画素の信号レベルの差に基づいて調整することを特徴とする請求項１９記載の画像処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、被写体像を複数のチャンネル出力として読み出した撮像画像を信号処理する場合に、チャンネル間のゲイン調整で補正しきれない縞ノイズを軽減できるようにした画像処理装置及び画像処理方法に関する。
【０００２】
【従来の技術】
従来、全画素読み出し方式のＣＣＤ（電荷結合素子、Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅの略）のように、複数のチャンネル出力を持つ撮像素子がある。例えば、２チャンネル読み出し型のＣＣＤは、駆動周波数を低くするために水平転送レジスタを２本有し、奇数ラインの信号電荷と偶数ラインの信号電荷とを別々の水平転送レジスタにて同時に転送し、１水平転送期間内に２ライン分の信号電荷を読み出すものである。
【０００３】
複数のチャンネル出力を持つＣＣＤにおいては、チャンネル間のゲインばらつきが発生した場合、そのばらつきがチャンネル間の出力信号のレベル差となって、画像に縞ノイズとして現れることとなる。従って、チャンネル間のゲインばらつきを補正するために、特開平１０−２７６９７６号公報に記載されているように、それぞれのチャンネルの出力をサンプリングし、その平均値を比較するなどして、チャンネル間の出力のゲイン調整を行い、チャンネル間のゲインのマッチングをとることが行われている。しかし、複数チャンネル間において、異なる様相のシェーデイングが発生しているような場合、チャンネル間のばらつきが補正しきれず、その結果、画像に縞ノイズが残ってしまう場合がある。
【０００４】
また、他の先行技術として、特開昭６２−２９６６６８号公報には、画像信号中の注目画素信号の前後左右に位置する画素信号に基づいて当該注目画素信号の補正を行う際に、注目画素信号と前後左右に位置する画素信号との濃度差が夫々所定範囲の場合に補正を行わないように制御し、それ以外の時に補正値を出力するように制御する画像補正回路が開示されている。
【０００５】
また、特開平４−２３９８８６号公報には、複数の走査線から構成される画像信号より、注目画素及び注目画素の周囲に２次元的に近接する近接画素群の画素値を出力する画素値群抽出手段と、近接画素値群に対し注目画素の画素値が所定の閾値以上差があるかを検出することにより注目画素にノイズが含まれているか否かを判定するノイズ判定手段と、ノイズ判定手段による判定結果を元に注目画素及び近接画素群の画素値のうち何れか一つの画素値を選択し出力する画素値選択手段とを有する画像雑音装置が開示されている。
【０００６】
さらに、特開平９−２１８９４０号公報には、画像内の不良画像を補間する画面処理装置であって、複数の画素からなる有効画像領域が複数散在する画像を入力する画像入力手段と、不良画像が存在する有効画像領域を特定する領域特定手段と、前記不良画像が存在する有効画像領域の周辺にある少なくとも１つの有効画像領域を含む周辺領域から得られる画像をもって前記不良画像を補間する補間手段とを備えた画像処理装置が開示されている。これにより、不良画像が複数の画素に跨って存在する画像における当該不良画像を補間することにより、良好な出力画像を得ることができるようにしている。
【０００７】
またさらに、特開平１１−３０８６２５号公報には、デジタル変換された入力信号から映像信号を形成するカメラ信号処理回路を備えてなる撮像装置であって、カメラ信号処理回路は、入力信号のエッジを検出するエッジ検出部と、入力信号の輝度情報を抽出する輝度信号処理部と、入力信号の色情報を抽出する色差信号処理部とを具備しており、画像の水平方向に沿って連続した３つの画素それぞれの信号量Ｄ１，Ｄ２，Ｄ３と予め定められた設定値Ａとが、｜Ｄ１−Ｄ２｜＞Ａかつ｜Ｄ１−Ｄ３｜＞Ａまたは｜Ｄ１−Ｄ３｜＞Ａかつ｜Ｄ２−Ｄ３｜＞Ａとなる条件がエッジ検出部で満たされているときには、色差信号処理部で色差信号を抑圧する撮像装置が開示されている。
【０００８】
しかし、上記特開昭６２−２９６６６８号公報、特開平４−２３９８８６号公報、特開平９−２１８９４０号公報、特開平１１−３０８６２５号公報のいずれの公報にも、複数のチャンネル出力を持つ撮像素子からの複数チャンネルの画像を信号処理する場合に、チャンネル間のゲイン調整では補正しきれず、画像に縞ノイズが残ってしまう課題を解決する手段については記載されていない。
【０００９】
【特許文献１】
特開平１０−２７６９７６号公報（第１−２頁、図１）
【００１０】
【特許文献２】
特開昭６２−２９６６６８号公報（第１−２頁、第１図）
【００１１】
【特許文献３】
特開平４−２３９８８６号公報（第１−３頁、図１）
【００１２】
【特許文献４】
特開平９−２１８９４０号公報（第１−３頁、図１）
【００１３】
【特許文献５】
特開平１１−３０８６２５号公報（第１−３頁、図１）
【００１４】
【発明が解決しようとする課題】
上記特開平１０−２７６９７６号公報に記載されている縞ノイズを補正する方法としては、画像全体に対して平滑化処理を行って補正する方法があるが、被写体のエッジなどの必要な情報もぼかしてしまい、画質が劣化してしまうという問題があった。
【００１５】
本発明は上記の問題に鑑み、被写体のエッジなどの必要な情報を劣化させることなく、ゲイン調整では補正しきれず発生していたチャンネル間のばらつきに起因する縞ノイズを、画質を劣化させることなく、縞ノイズのみを軽減可能な画像処理装置及び画像処理方法を提供することを目的とする。
【００１６】
【課題を解決するための手段】
請求項１の本発明の画像処理装置は、入力された画像データに対して信号処理を施す画像処理装置において、処理対象となる画素データとその周辺画素のデータを用いて、所定の固定パターンを検出する固定パターン検出手段と、前記固定パターン検出手段によって固定パターンが検出された画素に対してのみ、補正処理を行う固定パターン補正手段と、を備えたことを特徴とする。
【００１７】
この構成によれば、処理対象となる画素のデータとその周辺画素のデータを用いて、縞ノイズに対応する所定の固定パターンを検出した画素に対してのみ、補正処理（すなわちゲイン調整）を行うため、被写体のエッジなどの必要な情報を劣化させることなく、チャンネル間の出力のゲイン調整では補正しきれず発生していたチャンネル間ばらつきに起因する縞ノイズを、画質を劣化させることなく、縞ノイズのみを軽減可能である。
【００１８】
また、請求項２の本発明の画像処理装置は、入力された画像データに対して信号処理を施す画像処理装置において、処理対象となる画素データとその周辺画素のデータを用いて、所定の固定パターンを検出する固定パターン検出手段と、前記固定パターン検出手段によって固定パターンが検出された画素に対してのみ、補正処理を行う固定パターン補正手段と、を撮像素子のチャンネル間ばらつきを補正するための手段の後段に設けたことを特徴とする。
【００１９】
この構成によれば、チャンネル間ばらつきを補正し切れなかった為、発生する縞ノイズを低減することが出来る。
【００２０】
さらに、請求項３の本発明の画像処理装置は、入力された画像データに対して信号処理を施す画像処理装置において、処理対象となる画素データとその周辺画素のデータを用いて、所定の固定パターンを検出する固定パターン検出手段と、前記固定パターン検出手段によって固定パターンが検出された画素に対してのみ、補正処理を行う固定パターン補正手段と、を拡大処理手段の前段に設けたことを特徴とする。
【００２１】
この構成によれば、１ドット又は１ラインごとに発生したノイズを補正すればよいので、構成が容易になる。
【００２２】
請求項１１の本発明の画像処理方法は、入力された画像データに対して信号処理を施す画像処理方法において、処理対象となる画素データとその周辺画素のデータを用いて、所定の固定パターンを検出するステッブと、前記ステップにて所定の固定パターンが検出された画素に対して補正処理を行うステップと、を含んだことを特徴とする。
【００２３】
この方法によれば、処理対象となる画素のデータとその周辺画素のデータを用いて、縞ノイズに対応する所定の固定パターンを検出した画素に対してのみ、補正処理（すなわちゲイン調整）を行うため、被写体のエッジなどの必要な情報を劣化させることなく、チャンネル間の出力のゲイン調整では補正しきれず発生していたチャンネル間ばらつきに起因する縞ノイズを、画質を劣化させることなく、縞ノイズのみを軽減可能である。
【００２４】
また、請求項１２の本発明の画像処理方法は、入力された画像データに対して信号処理を施す画像処理方法において、処理対象となる画素データとその周辺画素のデータを用いて、所定の固定パターンを検出するステップと、前記ステップにて所定の固定パターンが検出された画素に対して補正処理を行うステップと、を撮像素子のチャンネル間ばらつきを補正するステップの後段に設けたことを特徴とする。
【００２５】
この方法によれば、チャンネル間ばらつきを補正し切れなかった為、発生する縞ノイズを低減することが出来る。
【００２６】
さらに、請求項１３の本発明の画像処理方法は、入力された画像データに対して信号処理を施す画像処理方法において、処理対象となる画素データとその周辺画素のデータを用いて、所定の固定パターンを検出するステップと、前記ステップにて所定の固定パターンが検出された画素に対して補正処理を行うステップと、を拡大処理を行うステップの前段に設けたことを特徴とする。
【００２７】
この方法によれば、１ドット又は１ラインごとに発生したノイズを補正すればよいので、構成が容易になる。
【００２８】
【発明の実施の形態】
以下、発明の実施の形態について図面を参照しながら説明する。
図１〜図１２は、本発明の第１の実施の形態に係り、図１は、画像処理装置の基本構成を示すブロック図、図２は、チャンネル間のばらつきを補正しきれずに発生した縞ノイズの様子を示す図、図３は、図２のＡＢ間の信号レベルを表した図、図４は、図１の固定パターン検出部の処理フローを示すフローチャート、図５は、図４の処理ステップＳ３で検出する条件の例を示す図、図６及び図７は、図４の処理ステップＳ３で検出されない条件の例を示す図、図８は、図４の処理ステップＳ１０で縞ノイズを検出する条件の例を説明するための説明図、図９は、図４の処理ステップＳ１０で縞ノイズを検出しない条件の例を説明するための説明図、図１０は、図１の補正量算出部の処理フローを示すフローチャート、図１１は、図１の縞ノイズ補正部の処理フローを示すフローチャート、図１２は、本実施の形態の装置又は方法による処理結果を示す図である。
【００２９】
本実施の形態では、縦縞ノイズを効果的に除去する信号処理を行う画像処理装置を示すものである。縦縞ノイズとは、例えばチャンネル間のばらつきを補正しきれずに発生した縞ノイズである。ここでは、１ドットおきの縦縞ノイズとなる場合を考える。撮像された画像を拡大している場合などには、１ドット以上おきの縦縞ノイズとなることがあるが、この場合は、検出条件をその縞ノイズにあわせればよく、基本的な考え方は変わらない。本実施の形態では、説明を簡略化するために１ドットおきの縦縞ノイズについて説明を行う。
【００３０】
図１で本発明に係る画像処理装置の構成を説明する前に、図２及び図３を参照して縦縞ノイズについて説明する。
図２にモニタ画面（図では８角形状）に映出される画像の縦縞ノイズ（固定パターン）の様子を示す。縦縞ノイズの発生している部分（図２のＡＢ間）の信号レベルは、白チャートのような一様な被写体を撮像した場合、図３のように１ドットおきに信号レベルの高い画素と低い画素が交互に並んだようになっている。
【００３１】
従来のように平滑化フィルタなどを用いてこの信号レベルのゲインばらつきを補正すると、縞ノイズの発生していない部分も平滑化を行ってしまうため、例えば、被写体の微細なエッジ変化などがつぶれてしまい、画質が劣化してしまう。
【００３２】
また、縞ノイズの発生している画像部分でも、縞ノイズではないエッジが存在する場合、例えば、被写体が解像度チャートなどのような場合に、細かいビッチで急激に変化するエッジもぼけて劣化してしまうということがあった。
【００３３】
本発明では、このような点に鑑みて、縞ノイズのみを検出し、これを補正することができる画像処理装置を提供するものである。
【００３４】
すなわち、本発明に係る画像処理装置は、入力された画像データに対して信号処理を施す画像処理装置において、処理対象となる画素データとその周辺画素のデータを用いて、所定の固定パターンを検出する固定パターン検出手段と、前記固定パターン検出手段によって固定パターンが検出された画素に対してのみ、補正処理を行う固定パターン補正手段と、を具備したものである。
【００３５】
図１に示す本発明の画像処理装置は、例えば２チャンネル読み出し型の撮像素子から得られる奇数ライン，偶数ラインの２つの信号をチャンネル間でゲイン調整を行い、そのときチャンネル間のばらつきを補正しきれずに発生した縞ノイズを補正処理するものであり、図１では、奇数ライン，偶数ラインの２つの信号をチャンネル間でゲイン調整した後、このゲイン調整後の２チャンネルの信号を合成した後の画像信号につき、その縞ノイズを補正処理する構成を示している。
【００３６】
図１に示す画像処理装置は、入力された画像データから処理対象となる画素データとその周辺画素のデータを用いて、画素毎に固定パターンを検出する固定パターン検出部１と、入力された画像データから画素毎に補正量を算出する補正量算出部２と、固定パターンが検出された画素に対してのみ、補正量算出部２によって算出された補正量に基づいて補正を行う縞ノイズ補正部３と、を具備して構成されている。上記固定パターン検出部１は固定パターン検出手段を構成し、上記補正量算出部２及び縞ノイズ補正部３は固定パターン補正手段を構成している。
【００３７】
次に、図４のフローチャートを用いて、図１の固定パターン検出部１の動作について説明する。
入力された画像は、図４のＳ１〜Ｓ５に示されるように、遅延されないデータＡ、１ドット遅延（ステップＳ１）されたデータＢ、  ２ドット遅延（ステップＳ２）されたデータＣから、処理対象（Ｂにあたる）の画素データを両隣の画素データと比較して、凸型であるか、凹型であるか判断される（ステップＳ３）。ステップＳ３では、図５のようにＢの位置の画素が両隣の画素と比較して信号レベルがともに高く、両隣の画素との信号レベル差が１０％以内の場合は凸型と判断して、また、図示しないが、逆に信号レベルがともに低く、両隣の画素との信号レベル差が１０％以内の場合には凹型と判断して、変数“Ｆｌａｇ”に１を代入する（ステップＳ４）。図６のように、隣との信号レベルの差が１０％以上だったり、図７のように階段状の変化をしている場合には、変数“Ｆｌａｇ”に０を代入する（ステップＳ５）。
【００３８】
尚、本実施の形態では、説明の簡略化のため、縦縞ノイズで発生する隣の画素との信号レベル差は、信号レベルの１０％以内であるものとしているが、この条件は、撮像装置の特性やチャンネル間ばらつきの補正方法などによっても変化するものであるため、これらを考慮して適宜変更して決定すればよく、例えば、信号レベルの２，４，８，１６％以内や２〜８％，４〜１６％等、本実施の形態に記載される条件の“信号レベルの１０％以内”に限られるものではない。
【００３９】
次に、図４のＳ６〜Ｓ１２に示されるように、遅延されないＦｌａｇイ、１ドット遅延（ステップＳ６）されたＦｌａｇロ、２ドット遅延（ステップＳ７）されたＦｌａｇハ、３ドット遅延（ステップＳ８）されたＦｌａｇニ、４ドット遅延（ステップＳ９）されたＦｌａｇホから、隣り合う画素において凸型又は凹型が連続しているかを判断する（ステップＳ１０）。ステップＳ１０では、図８において、ハの位置にあたる画素のＦｌａｇが１の時、イ、ロ、ハの画素のＦｌａｇがともに１、または、ハ、二、ホの画素のＦｌａｇがともに１、または、ロ、ハ、ニの画素のＦｌａｇがともに１であれば、縦縞の固定パターンを検出したと判断して、変数“Ｓｈｉｍａ”に１を代入する（ステップＳ１１）。これ以外のときは、縦縞の固定パターンを検出しなかったとして、変数“Ｓｈｉｍａ”に０を代入する（ステップＳ１２）。
【００４０】
図８の場合は、ハ、ニ、ホの画素のＦｌａｇがともに１、また、ロ、ハ、ニの画素のＦｌａｇがともに１であるので、変数”Ｓｈｉｍａ  “に１を代入する。例えば、図９のような場合、いずれかの画素の変数“Ｆｌａｇ“が１であったとしても、縦縞ノイズとして検出は行わない。
【００４１】
上記の図４の処理方法によれば、１ドットおきに発生する縦縞ノイズだけを検出することが可能である。尚、縦縞ノイズの検出条件は上記した方法に限らず、例えば、メモリの数を増やして、凸型や凹型が４つ続けて連続している場合や、メモリを削減して凸型や凹型がひとつ存在しているだけで縦縞ノイズであると判断するなどしても良い。
【００４２】
次に、図１０のフローチャートを用いて、図１の補正量算出部２の動作について説明する。
補正量算出部２に入力された画像データは、遅延されないデータＡ、１ドット遅延（ステップＳ２１）されたデータＢ、２ドット遅延（ステップＳ２２）されたデータＣから、  Ｂ−Ａ  と  Ｂ−Ｃ  が算出される（ステップＳ２３，Ｓ２４）。そして、ステップＳ２５で、  Ｂ−Ａ  と  Ｂ−Ｃ  で値の大きい方が選択され（ステップＳ２５）、変数“Ｈ”に代入される（ステップＳ２６，Ｓ２７）。その後、変数“Ｈ”は、２分の１されて補正値として出力される（ステップＳ２８）。
【００４３】
補正値を隣の画素との信号レベル差の大きい方の１／２とすることによって、例えば、ホワイトチャートなどのように均一な被写体を撮像した場合、図１の後段の縞ノイズ補正部３で補正された信号レベルは、図１２に示されるように隣の画素と同じ信号レベルとなり、縦縞ノイズが補正される。
【００４４】
次に、図１１のフローチャートを用いて、図１の縞ノイズ補正部３の動作について説明する。
固定パターン検出部１から入力された画像の変数“Ｓｈｉｍａ”が１か否かが判断され（ステップＳ３１）、変数“Ｓｈｉｍａ”＝１である画素について、入力画像データと補正量算出部２からの補正値Ｈ／２とを用いて、図４の固定パターン処理ステップＳ３で凸型と判断された場合には、（画像データ）−（補正値Ｈ／２）、凹型と判断された場合には、（画像データ）＋（補正値Ｈ／２）を出力する（ステップＳ３２）。
【００４５】
ステップＳ３１で変数“Ｓｈｉｍａ”＝０である画素については、入力画像データがそのまま出力される（ステップＳ３３）。
【００４６】
以上のように、本実施の形態の画像処理装置によれば、図１２に示すように、被写体のエッジなどが存在する部分のように隣の画素との信号レベルの差が大きい部分や、縦縞ノイズの発生していない部分のように隣の画素との信号レベルの差が階段状になっている部分は補正を行わず、縦縞ノイズの発生している部分のみの信号レベルを隣の画素の信号レベルとの差が小さくなるように補正を行うため、従来の平滑化フィルタを用いた方法に比べて、被写体のエッジ情報等を劣化させることなく、縦縞ノイズのみを効率よく軽減することが可能となる。
【００４７】
尚、本実施の形態では、縦縞ノイズに適用可能な画像処理装置について説明を行ったが、横縞ノイズの場合でも図４、図１０の１ドット遅延処理を１ライン遅延処理に変更すれば、同様に横縞ノイズに適用可能な画像処理装置となる。また、ビートノイズのような斜め縞のノイズについても、本実施の形態では、横方向、または縦方向のみの情報によって縞の検出を行っているため、全く同様の構成の画像処理装置で適用可能である。
【００４８】
図１３は本発明の第２の実施の形態に係る画像処理装置の構成を示すブロック図である。
図１３に示すように、本実施の形態の画像処理装置は、入力された画像データを１ライン遅延させる１ラインメモリ１１ａと、１ラインメモリ１１ａの出力をさらに１ライン遅延させる１ラインメモリ１１ｂと、入力画像データと１ラインメモリ１１ａの出力を減算する減算部１２ａと、１ラインメモリ１１ａと１ラインメモリ１１ｂの出力を減算する減算部１２ｂと、減算部１２ａ，１２ｂの各出力と１ラインメモリ１１ａの出力から両隣の画素よりともに信号レベルが高い、または低い画素を検出する条件検出部１３と、条件検出部１３の出力を１ライン遅延させる１ラインメモリ１４ａと、１ラインメモリ１４ａの出力をさらに１ライン遅延させる１ラインメモリ１４ｂと、１ラインメモリ１４ｂの出力をさらに１ライン遅延させる１ラインメモリ１４ｃ、１ラインメモリ１４ｃの出力をさらに１ライン遅延させる１ラインメモリ１４ｄと、条件検出部１３の出力と１ラインメモリ１４ａ〜１４ｄの各出力から横縞ノイズを検出する横縞ノイズ検出部１５と、減算部１２ａ，１２ｂの各出力から補正値を算出する補正値算出部１６と、横縞ノイズ検出部１５の出力と補正値算出部１６の出力、１ラインメモリ１１ａ、１４ｂの出力から横縞ノイズを補正する横縞ノイズ補正部１７とを具備して構成されている。
【００４９】
次に、図１３の動作を説明する。
本実施の形態の画像処理装置は、第１の実施の形態と同様の動作をする、横縞ノイズが補正可能な画像処理装置である。
【００５０】
まず、入力された画像データは、１ラインメモリ１１ａの出力を中心画素として上下の画素、すなわち、入力画像データと１ラインメモリ１１ｂの出力との信号レベルの差を算出される。減算部１２ａでは、（１ラインメモリ１１ａの出力）−（入力画像データ）、減算部１２ｂでは、（１ラインメモリ１１ａの出力）−（１ラインメモリ１１ｂの出力）が算出される。
【００５１】
算出された信号レベルの差は、条件検出部１３に入力される。条件検出部１３では、これらの信号レベルの差と中心画素の信号レベルから、中心画素の信号レベルが上下の画素の信号レベルよりともに高い凸型か低い凹型かが決定される。減算部１２ａ，１２ｂの出力がともに正の値でかつ中心画素の信号レベルの１０％以内である時には凸型と判断し、＋１を出力する。減算部１２ａ，１２ｂの出力がともに負の値でかつ中心画素の信号レベルの１０％以内であるときには凹型と判断し、−１を出力する。
【００５２】
横縞ノイズ検出部１５では、条件検出部１３の出力、１ラインメモリ１４ａ〜１４ｄの出力から、横縞ノイズを検出する。検出の方法は、第１の実施の形態と基本的には同様であり、図４のＳ６〜Ｓ９において、１ドット遅延の代わりに１ライン遅延を行うことによって、横縞ノイズ検出を可能としたものである。１ラインメモリ１４ｂの出力を含めた、“条件検出部１３，１ラインメモリ１４ａ，１ラインメモリ１４ｂ”、“１ラインメモリ１４ａ，１ラインメモリ１４ｂ，１ラインメモリ１４ｃ”、“１ラインメモリ１４ｂ，１ラインメモリ１４ｃ，１ラインメモリ１４ｄ”の出力の３つのパターンが“＋１，−１，＋１”または、“−１，＋１，−１”に当てはまる場合に横縞ノイズが存在する画素として判断する。尚、第１の実施の形態と同様に、横縞ノイズの検出条件は、上記した条件に限ったものではない。
【００５３】
補正値算出部１６では、第１の実施の形態と同様にして、減算部１２ａ，１２ｂの出力から値の大きい方を選択して、その値を１／２して補正値として出力を行う。
【００５４】
横縞ノイズ補正部１７は、横縞ノイズ検出部１５で横縞ノイズがあると判断された画素に対して、１ラインメモリ１４ｂの出力が＋１である時は、１ラインメモリ１１ａの出力の原画像データから補正値算出部１６の出力を減算する。また、１ラインメモリ１４ｂの出力が−１である時は、１ラインメモリ１１ａの出力の原画像データに補正値算出部１６の出力を加算する。
【００５５】
以上のようにして、第１の実施の形態と同様に、被写体のエッジ情報などを劣化させることなく、横縞ノイズのみを効率よく軽減することが可能である。尚、本実施の形態では、演算処理のタイミングを調整するメモリは特に図示していないが、必要に応じて使用することは、本発明の趣旨を逸脱するものではない。
【００５６】
図１４及び図１５は、本発明の第３の実施の形態に係り、図１４は、撮像装置２０の構成を示すブロック図、図１５は、撮像装置２０の信号処理部２５に含まれる縦縞ノイズ処理部２５０の構成を示すブロック図である。
【００５７】
図１４に示すように、本実施の形態の撮像装置２０は、ＣＣＤ２１と、プロセス回路２２と、Ａ／Ｄコンバータ２３と、ＣＣＤ２１のチャンネル間のばらつきを補正するゲイン調整回路２４と、縦縞ノイズ処理部２５０を有した信号処理回路２５と、拡大回路２６と、Ｄ／Ａコンバータ２７とを具備して構成されている。ＣＣＤ２１は２チャンネル読み出し型のＣＣＤであり、ＣＣＤ２１からゲイン調整回路２４に至る処理系統は、奇数ドット，偶数ドットの２つの信号ラインを有する２系統の回路構成となっているが、図１４では簡略化のため、ＣＣＤ２１，プロセス回路２２，Ａ／Ｄコンバータ２３，ゲイン調整回路２４をそれぞれ１つのブロックのみで表している。
【００５８】
信号処理回路２５には、図１５に示すように、前段のゲイン調整回路２４でチャンネル間のばらつきを補正しきれずに発生した縦縞ノイズを補正するための縦縞ノイズ処理部２５０が設けられている。なお、拡大回路２６は、縦縞ノイズ処理後に１系統にされたデジタル映像信号に対して、図示しないモニタ上に表示される画像の大きさに応じた拡大率で電子拡大処理を行うものである。
【００５９】
次に、上記の撮像装置２０の信号処理回路２５に設けられている縦縞ノイズ処理部２５０の構成を説明する。縦縞ノイズ処理部２５０は、図１５に示すように、入力された画像データを１ドット遅延させる１ドット遅延メモリ２５１ａと、１ドット遅延メモリ２５１ａの出力をさらに１ドット遅延させる１ドット遅延メモリ２５１ｂと、入力画像データと１ドット遅延メモリ２５１ａの出力を減算する減算部２５２ａと、１ドット遅延メモリ２５１ａと１ドット遅延メモリ２５１ｂの出力を減算する減算部２５２ｂと、減算部２５２ａ，２５２ｂと１ドット遅延メモリ２５１ａの出力から両隣の画素よりともに信号レベルが高い、または低い画素を検出する条件検出部２５３と、条件検出部２５３の出力を１ドット遅延させる１ドット遅延メモリ２５４ａと、１ドット遅延メモリ２５４ａの出力をさらに１ドット遅延させる１ドット遅延メモリ２５４ｂと、１ドット遅延メモリ２５４ｂの出力をさらに１ドット遅延させる１ドット遅延メモリ２５４ｃと、１ドット遅延メモリ２５４ｃの出力をさらに１ドット遅延させる１ドット遅延メモリ２５４ｄと、条件検出部２５３の出力と１ドット遅延メモリ２５４ａ〜２５４ｄの出力から縦縞ノイズを検出する縦縞ノイズ検出部２５５と、縦縞ノイズ検出部２５５の出力と１ドット遅延メモリ２５１ａ，２５４ｂの出力から縦縞ノイズを補正する縦縞ノイズ補正部２５６とを具備して構成されている。
【００６０】
次に、図１４の撮像装置２０及び図１５の縦縞ノイズ処理部２５０の動作を説明する。
撮像装置２０では、ＣＣＤ２１や、ＣＣＤドライバ及びプリアンプ等が設けられたプロセス回路２２によって映像化された映像信号は、Ａ／Ｄコンバータ２３でアナログ信号からデジタル信号に変換され、ゲイン調整回路２４によって、ＣＣＤ２１のチャンネル間ばらつきが補正される。信号処理回路２５には、縦縞ノイズ処理部２５０が設けられており、ゲイン調整回路２４で補正することができなかった同一チャンネルのシェーディングに起因する縦縞ノイズを補正する。その後、拡大回路２６によって画像が拡大処理され、映像信号はＤ／Ａコンバータ２７でアナログ信号に変換されて出力されたり、直接デジタル信号のまま出力されたりする。
【００６１】
縦縞ノイズ処理部２５０では、入力された画像データは、１ドット遅延メモリ２５１ａの出力を中心画素として左右の画素、すなわち、１ドット遅延メモリ２５１ａの出力に対して、入力画像データと１ドット遅延メモリ２５１ｂの出力との各信号レベルの差を算出される。減算部２５２ａでは、（１ドット遅延メモリ２５１ａの出力）−（入力画像データ）、減算部２５２ｂでは、（１ドット遅延メモリ２５１ａの出力）−（１ドット遅延メモリ２５１ｂの出力）が算出される。
【００６２】
算出された信号レベルの差は、条件検出部２５３に入力される。条件検出部２５３では、これらの信号レベルの差と中心画素の信号レベルから、中心画素の信号レベルが左右の画素の信号レベルよりともに高い凸型か低い凹型かが決定される。減算部２５２ａ，２５２ｂの出力がともに正の値でかつ中心画素の信号レベルの１０％以内である時には凸型と判断し、＋１を出力する。減算部２５２ａ，２５２ｂの出力がともに負の値でかつ中心画素の信号レベルの１０％以内であるときには凹型と判断し、−１を出力する。
【００６３】
縦縞ノイズ検出部２５５では、条件検出部２５３の出力、１ドット遅延メモリ２５４ａ〜２５４ｄの出力から、縦縞ノイズを検出する。１ドット遅延メモリ２５４ｂの出力を含めた、“条件検出部２５３，１ドット遅延メモリ２５４ａ，１ドット遅延メモリ２５４ｂ”、“１ドット遅延メモリ２５４ａ，１ドット遅延メモリ２５４ｂ，１ドット遅延メモリ２５４ｃ”、“１ドット遅延メモリ２５４ｂ，１ドット遅延メモリ２５４ｃ，１ドット遅延メモリ２５４ｄ”の出力の３つのパターンが“＋１，−１，＋１”または、“−１，＋１，−１”に当てはまる場合に縦縞ノイズが存在する画素として判断する。尚、第１，第２の実施の形態と同様に、縦縞ノイズの検出条件は、上記した条件に限ったものではない。
【００６４】
縦縞ノイズ補正部２５６は、縦縞ノイズ検出部２５５で縦縞ノイズがあると判断された画素に対して、１ドット遅延メモリ２５４ｂの出力が＋１である時は、１ドット遅延メモリ２５４ａの出力（原画像データ）の信号レベルの５％を減算する。また、１ドット遅延メモリ２５４ｂの出力が−１である時は、１ドット遅延メモリ２５４ａの出力（原画像データ）の信号レベルの５％を加算する。
【００６５】
以上のようにして、第１，第２の実施の形態と同様に、被写体のエッジ情報などを劣化させることなく、縦縞ノイズのみを効率よく軽減することが可能である。尚、本実施の形態でも演算処理のタイミングを調整するメモリは特に図示していないが、第２の実施の形態と同様に、必要に応じて使用することは、本発明の趣旨を逸脱するものではない。
【００６６】
尚、本発明では、縞ノイズの補正方法として、主にゲイン調整による方法について記載したが、３×３、１×３、５×５などの空間フィルタを用いた平滑化処理を行っても良い。
【００６７】
【発明の効果】
以上説明したように、請求項１の本発明によれば、縦縞ノイズや横縞ノイズ、さらには斜め状のノイズなどの固定パターンを検出し、固定パターンが検出された部分のみに対して、ゲイン調整や平滑化処理などの補正処理を行うことによって、被写体のエッジ情報などの重要な情報を劣化させることなく、効果的にノイズを軽減することが可能である。
【００６８】
請求項２の本発明によれば、チャンネル間ばらつきを補正し切れなかった為、発生する縞ノイズを低減することが出来る。
【００６９】
請求項３の本発明によれば、１ドット又は１ラインごとに発生したノイズを補正すればよいので、構成が容易になる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る、画像処理装置の基本構成を示すブロック図。
【図２】モニタ画面に映出される画像における、チャンネル間のばらつきを補正しきれずに発生した縞ノイズの様子を示す図。
【図３】図２のＡＢ間の信号レベルを表した図。
【図４】図１の固定パターン検出部の処理フローを示すフローチャート。
【図５】図４の処理ステップＳ３で検出する条件の例を示す図。
【図６】図４の処理ステップＳ３で検出されない条件の例を示す図。
【図７】図４の処理ステップＳ３で検出されない条件の例を示す図。
【図８】図４の処理ステップＳ１０で縞ノイズを検出する条件の例を説明するための説明図。
【図９】図４の処理ステップＳ１０で縞ノイズを検出しない条件の例を説明するための説明図。
【図１０】図１の補正量算出部の処理フローを示すフローチャート。
【図１１】図１の縞ノイズ補正部の処理フローを示すフローチャート。
【図１２】本実施の形態の装置又は方法による処理結果を示す図。
【図１３】本発明の第２の実施の形態に係る画像処理装置の構成を示すブロック図。
【図１４】本発明の第３の実施の形態に係る、撮像装置の構成を示すブロック図。
【図１５】図１４の撮像装置の信号処理回路に含まれる縦縞ノイズ処理部の構成を示すブロック図。
【符号の説明】
１…固定パターン検出部（固定パターン検出手段）
２…補正量算出部（固定パターン補正手段）
３…縞ノイズ補正部（固定パターン補正手段）
【図１】
2004171156.tif 000003
【図２】
2004171156.tif 000004
【図３】
2004171156.tif 000005
【図４】
2004171156.tif 000006
【図５】
2004171156.tif 000007
【図６】
2004171156.tif 000008
【図７】
2004171156.tif 000009
【図８】
2004171156.tif 000010
【図９】
2004171156.tif 000011
【図１０】
2004171156.tif 000012
【図１１】
2004171156.tif 000013
【図１２】
2004171156.tif 000014
【図１３】
2004171156.tif 000015
【図１４】
2004171156.tif 000016
【図１５】
2004171156.tif 000017