(57)【要約】【課題】  欠陥画素を補正することによる画質劣化が起こることを防止し、適正な欠陥画素補正のできる画像処理装置を提供する。【解決手段】  複数の画素を備える撮像素子中の欠陥画素の信号を、前記欠陥画素とは異なる所定方向に配列された複数の画素の信号を用いて補正する第１の補正手段と、前記撮像素子から得た画像の前記所定方向の相関性を判定する判定手段と、前記判定手段の判定結果に基づいて、前記欠陥画素の信号を更に補正する第２の補正手段とを有することを特徴とする画像処理装置を提供する。【選択図】  図１
2006186472.tif 000002
【特許請求の範囲】
【請求項１】
複数の画素を備える撮像素子中の欠陥画素の信号を、前記欠陥画素とは異なる所定方向に配列された複数の画素の信号を用いて補正する第１の補正手段と、
前記撮像素子から得た画像の前記所定方向の相関性を判定する判定手段と、
前記判定手段の判定結果に基づいて、前記欠陥画素の信号を更に補正する第２の補正手段とを有することを特徴とする画像処理装置。
【請求項２】
前記第２の補正手段は、前記欠陥画素の信号が特異点とならないように特異点を除去する補正を施すことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第２の補正手段の特異点を除去する補正は、メディアンフィルタ処理であることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記第２の補正手段は、前記判定手段により相関が高いと判断された場合に、前記前記欠陥画素の信号を更に補正することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
撮像素子からの信号を輝度信号と色差信号に変換する変換手段を更に備え、
前記第２の補正手段は、前記輝度信号に対して、前記判定結果に基づいて補正を行うことを特徴とする請求項１乃至請求項４のいずれか１項に記載の画像処理装置。
【請求項６】
複数の画素を有する撮像素子から得た画像の相関性を判定する判定手段と、
前記判定手段の判定結果に基づいて、前記撮像素子から得た画像を、メディアンフィルタ処理により補正する補正手段とを有することを特徴とする画像処理装置。
【請求項７】
前記補正手段は、前記判定手段により相関が高いと判断された場合に、前記撮像素子から得た画像を補正することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記撮像素子からの信号を輝度信号と色差信号に変換する変換手段を更に備え、
前記補正手段は、前記輝度信号に対して、前記判定結果に基づいて補正を行うことを特徴とする請求項６および請求７に記載の画像処理装置。
【請求項９】
前記判定手段は、前記所定方向に位置する画素からの信号の相関と、前記所定方向以外の方向に位置する画素からの信号の相関とを比較して、前記所定方向に画像の相関が高いか否かを判定することを特徴とする請求項１乃至請求項８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記所定方向以外の方向とは、前記所定方向と垂直の方向であることを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
被写体像を結像するレンズからの光を受光して信号を取得する撮像素子と、
前記撮像素子からの信号をA/D変換するA/D変換器と、
記録部に前記第２の補正手段から出力された信号を記録するように制御する記録制御手段とを更に有することを特徴とする請求項１乃至請求項１０のいずれか１項に記載の画像処理装置。
【請求項１２】
複数の画素を有する撮像素子を備えた画像処理装置の画像処理方法であって、
前記撮像素子中の欠陥画素の信号を、前記欠陥画素とは異なる所定方向に配列された複数の画素の信号を用いて補正する第１の補正工程と、
前記撮像素子から得た画像の前記所定方向の相関性を判定する判定工程と、
前記判定工程の判定結果に基づいて、前記欠陥画素の信号を更に補正する第２の補正工程とを有することを特徴とする画像処理方法。
【請求項１３】
複数の画素を有する撮像素子を備えた画像処理装置の画像処理方法であって、
前記撮像素子の画素からの信号の相関性を判定する判定工程と、
前記判定工程の判定結果に基づいて、前記撮像素子から得た画像をメディアンフィルタ処理により補正する補正工程とを有することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラやデジタルビデオカメラ等の画像処理装置における撮像素子からの信号の処理に関するものである。
【背景技術】
【０００２】
近年、デジタルカメラ等の撮像素子（ＣＣＤやＣＭＯＳ等）を用いた画像処理装置が様々な用途に使用されている。この撮像素子には、製造過程やその後に画素に欠陥が生じ、異常なレベルの信号を出力する欠陥画素が現れることがある。使用される撮像素子の画素数は年々増大する傾向にあり、これに伴い発生する欠陥画素数も増大すると考えられる。
【０００３】
その補正方式として、例えば特開平１０−４２２０１に記載されているように、欠陥画素の画素値を隣接する画素値と置き換える手法や周囲画素の中央値や平均値で補間する方法などがとられてきた。
【特許文献１】特開平１０−４２２０１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、一律に欠陥画素の補正を行うと、補正誤りによってかえって補正部分が目立ち、画質が劣化する場合もある。例えば、ＣＣＤやＣＭＯＳ等の撮像素子に欠陥画素ラインがある場合、欠陥画素の両側の同じ色の画素から補間しても、画像から、欠陥画素補正したという判断がついてしまっていた。図６を用いて説明すると、画像の一部を欠陥画素ラインであるαラインが横切っているので、同色の上下の画素信号の平均値を用いて補間による補正を行う。すると、画素（Ａ）と画素（Ｃ）は、上下の明るさの異なる画素信号を平均してしまうので補正誤りとなる（例えば、画素（Ｃ）を補正する場合には画素（Ｂ）と画素（Ｄ）を用いて補正をする）。
【０００５】
この場合、補正誤りをした（Ａ）、（Ｃ）の画素の信号がかえって目立ち、その部分だけ画像が異なる挙動を示し、明らかに欠陥画素を補正したラインだと判断がついてしまっていた。
【０００６】
このように、明るさの異なる画素からの信号が平均されてしまうと補正誤りを起こす。
【０００７】
また、欠陥画素の補正方法として、補正したい画素と周りの画素の信号を大きい順に並べて、ちょうど真ん中の信号を欠陥画素の信号と置き換えるメディアンフィルタ処理により欠陥画素信号を補正する方法があるが、例えば、図７のような画像にラインβのような欠陥画素ラインがあった場合、これをメディアンフィルタ処理によって補正すると、画素（Ｅ）のように不適切な信号値となってしまう場合がある。
【０００８】
本発明は、上記従来の問題点に鑑みなされたもので、その目的は、画像の補正を適正にして、画質の良い画像を得ることが可能な画像処理装置を提供することにある。
【課題を解決するための手段】
【０００９】
本発明の画像処理装置は、上記目的を達成するため、複数の画素を備える撮像素子中の欠陥画素の信号を、前記欠陥画素とは異なる所定方向に配列された複数の画素の信号を用いて補正する第１の補正手段と、前記撮像素子から得た画像の前記所定方向の相関性を判定する判定手段と、前記判定手段の判定結果に基づいて、前記欠陥画素の信号を更に補正する第２の補正手段とを有することを特徴としている。
【００１０】
また、本発明の画像処理装置は、複数の画素を有する撮像素子から得た画像の相関性を判定する判定手段と、前記判定手段の判定結果に基づいて、前記撮像素子から得た画像を、メディアンフィルタ処理により補正する補正手段とを有することを特徴としている。
【００１１】
また、本発明の画像処理方法は、複数の画素を有する撮像素子を備えた画像処理装置の画像処理方法であって、前記撮像素子中の欠陥画素の信号を、前記欠陥画素とは異なる所定方向に配列された複数の画素の信号を用いて補正する第１の補正工程と、前記撮像素子から得た画像の前記所定方向の相関性を判定する判定工程と、前記判定工程の判定結果に基づいて、前記欠陥画素の信号を更に補正する第２の補正工程とを有することを特徴としている。
【００１２】
また、本発明の画像処理方法は、複数の画素を有する撮像素子を備えた画像処理装置の画像処理方法であって、前記撮像素子の画素からの信号の相関性を判定する判定工程と、前記判定工程の判定結果に基づいて、前記撮像素子から得た画像をメディアンフィルタ処理により補正する補正工程とを有することを特徴としている。
【発明の効果】
【００１３】
本発明によれば、画質の良い画像を得られる画像処理装置を提供できる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施形態を図面に基づいて詳細に説明する。
【００１５】
図２は、本発明の実施形態に係るデジタルカメラのブロック図である。撮影レンズ１を通ってきた光は、赤外カットフィルタ２、光学ＬＰＦ３を通過し撮像素子４（以下ＣＣＤと呼ぶ）に結像する。ＣＣＤ４の受光面にはフォトダイオードを含む画素が平面的に配置されており、各画素に対して、１色のカラー、例えば、Ｒ（赤）・Ｇ（緑）・Ｂ（青）の原色カラーフィルタが所定の配列で配置されている。ＣＣＤ４に結像された光は、各画素において、入射光量に応じた量の電荷に変換される。タイミングジェネレータ１６が発生させる信号は、水平駆動用ドライバ１７と垂直駆動用ドライバ１８に供給され、ＣＣＤ４を駆動し、画素に蓄積した電荷を伝送し、順次電圧信号に変換させる。前記変換された電圧信号は、相関二重サンプリング５（以下ＣＤＳと呼ぶ）でサンプリングされ、Ａ／Ｄ変換器６でデジタル信号に変換される。デジタル信号に変換された画像データは、信号処理回路７に入力され、まず、７ｇの補正回路で各々の画素に応じた点欠陥画素や欠陥画素ライン等の欠陥画素からの信号の補正を行う。これを欠陥画素補正という。この補正方法は様々な方法があるが、本実施の形態では、欠陥画素ラインが垂直方向にある場合には水平補間によって補正を行い、欠陥画素ラインが水平方向にある場合には垂直補間によって補正を行う。また、点欠陥画素の補正は水平方向の隣接画素の信号を用いて補正を行う。なお、欠陥画素の位置、欠陥画素レベル等の情報は補正の前に予め測定し、メモリに記憶させておく。
【００１６】
次に、前記欠陥画素補正された画像データをＷＢ回路７ａに入れ、前記欠陥画素補正された画像データに対してホワイトバランスのためのホワイトバランス係数を算出する。その後、前記欠陥画素補正された画像データは、８のメモリ１にいったん格納される。８のメモリ１に格納された画像データは、再び信号処理回路７に入力され、４つの画像処理を施される。
【００１７】
まず、８のメモリ１に格納された画像データは、そのままロスレス圧縮（可逆圧縮）をかけるロスレス圧縮回路７ｄにおいてロスレス圧縮されたＲＡＷデータに変換され、ＣＰＵバス１０に送り出される。
【００１８】
また、８のメモリ１に格納された画像データは、例えば図５のようにＲＡＷデータをブロック内平均し、そこから間引くことによってダウンサンプリングされ、元の画像サイズより小さいサムネイル画像に変換されるためにＲＡＷサムネイル回路７ｃで間引き処理され、ＣＰＵバス１０に送られる。
【００１９】
また、８のメモリ１に格納された画像データは、そのままではＲＧＢ３プレーンそろった画像にはなっていないため、色補間等を施すための画像処理７ｂで画像処理を施され、ＬＣＤ１２に表示するための表示用の間引き処理されたサムネイル画像にされて、ＣＰＵバス１０に送られる。
【００２０】
また、８のメモリ１に格納された画像データは、画像処理回路７ｂにおいてＹＣｂＣｒに変換され、９のメモリ２において、ラスタブロック変換されて、ｊｐｅｇ圧縮回路７ｅでｊｐｅｇ圧縮をされて、ＣＰＵバス１０に送られ、Ｉ／Ｆ１３を介して記憶手段である記録媒体１４に記憶される。この記憶制御はＣＰＵ１５によって行う。
【００２１】
ここで、７ｂで行われる画像処理をさらに詳しく説明をする。
【００２２】
７ｂにおける画像処理の概要を図１のブロック図を用いて説明をする。図２の８のメモリ１から入力された画像データは、あらかじめ、ホワイトバランスを計算するためにＷＢ回路７ａで算出されたデータに基づいてＣＰＵ１５で計算されたホワイトバランス係数をホワイトバランス７ｂ１においてかけられる。もしくは、前記入力された画像データは、設定されているホワイトバランス（例えばデイライト、タングステン、蛍光灯等）の係数をホワイトバランス７ｂ１においてかけられる。ホワイトバランスがとられた画像データは、色補間を施すために７ｂ２で色補間され、図３に示す様にＲＧＢが格子状に配列されたパターンのデータから、ＲＧＢ３プレーンが作り出される。
【００２３】
次に、ＲＧＢ３プレーンそろった画像データは、マスキング処理回路７ｂ３において、例えば、３×３のマトリクス演算（式１）等で色の最適化を行われ、ガンマ変換回路７ｂ４でガンマ変換を施される。
【００２４】
【数１】
2006186472.tif 000003
【００２５】
次に、７ｂ５の変換手段でガンマ変換された画像データは、式（２）のようにＲＧＢ信号からＹＵＶという輝度と色差成分の信号に変換される。
【００２６】
【数２】
2006186472.tif 000004
【００２７】
ＹＵＶ変換された、輝度信号Ｙに対して、７ｇで欠陥画素ライン補正した行もしくは列に対して、そのうちの注目する画素のデータが縦横どちらに対して相関が高いか、式（３）、（４）の式を使って７ｂ６（信号処理手段）で判断する。式（３）は横の相関、式（４）は縦の相関を表す。
Ｈｄｉｆｆ＝｜Ｙ（ｙ，ｘ−１）−Ｙ（ｙ，ｘ＋１）｜    式（３）
Ｖｄｉｆｆ＝｜Ｙ（ｙ−１，ｘ）−Ｙ（ｙ＋１，ｘ）｜    式（４）
【００２８】
そこで、もし欠陥画素ラインの存在する方向（縦か横）に対して、同じ方向に相関が高い場合（図６でいうと、Ｈｄｉｆｆ＞Ｖｄｉｆｆの場合）、つまり、欠陥画素ラインを補間した方向に対して垂直方向に相関が高い場合、７ｂ７の特異点除去処理手段で、画像の中で連続性を持たない信号である特異点の除去のために輝度信号Ｙに対してメディアンフィルタをかける。ここで、メディアンフィルタをかけるとは、欠陥画素とその周辺の複数の画素の信号のうち、中間の値を出力信号として出力する処理を行うものである。一方、欠陥画素ラインを補間した方向に対して垂直方向に相関が高くない場合（図６でいうと、Ｈｄｉｆｆ＜Ｖｄｉｆｆの場合）は、補間した方向に相関が高いため、その画素の輝度信号Ｙにはメディアンフィルタをかない。次に，欠陥画素ライン補正された輝度信号は、７ｂ９でエッジ強調される。また、７ｂ８でＹＵＶ変換された色差成分のＵＶにはメディアンフィルタがかけられる。最後に、整ったＹＶＵのデータは７ｂ１０でｊｐｅｇ圧縮される。このように、欠陥画素の信号に対して、色差成分には一律にメディアンフィルタをかけ、輝度信号には一定条件のときだけメディアンフィルタをかけるのは、色差成分の場合はメディアンフィルタによる画像の変化が目立ちにくいが、輝度信号の場合には一律にメディアンフィルタをかけると画像の変化が目立ちやすいためである。輝度信号においては、メディアンフィルタをかけるかかけないかを判定し、必要な一部分だけにメディアンフィルタをかけるので、孤立点が減って画像がなまってしまうことを防止することができる。
【００２９】
もう一方では、ガンマ変換された画像データに対して、図４−Ａのように、色補間されたＲＧＢ３プレーンに、２次元のＬＰＦ（例えば図４−Ｂのように５ｘ５の２次元ＬＰＦ）を領域（Ｉ）〜（ＩＶ）にかけることにより４−Ａのように画素数がへり、更に間引くことでＬＣＤ表示用サムネイル画像に変換する。
【００３０】
ＣＰＵバス１０の送られた、４つの画像データ、ロスレス圧縮データ・ＲＡＷサムネイルデータ・ＬＣＤ表示用サムネイルデータ・ｊｐｅｇデータはそれぞれ、１１のメモリ３に格納され、各々のファイル形式に変換される。
【００３１】
そのうち、ＬＣＤ表示用サムネイルデータは、再び、ＣＰＵバス１０に送られ、信号処理回路７の中のビデオエンコーダ回路７ｆに送られ、ＬＣＤ１２に表示される。
【００３２】
また、ロスレス圧縮データや、ｊｐｅｇデータはＩ／Ｆ回路１３に送られ、記憶媒体１４に格納される。これらの一連の動作をＣＰＵ１５のレリーズスイッチ１９を一度押されることによって行われる。
【００３３】
図５に、図１で示したＹＵＶ変換された後の輝度信号Ｙの画像処理の流れに対して詳しく説明するフローチャートを示す。ステップＳ５０１で選択された画素が欠陥画素ラインか判断する。ステップＳ５０２で欠陥画素ラインだった場合、その画素の垂直方向と水平方向の相関を調べる。欠陥画素ラインの方向が画像に対して水平方向に発生している場合、Ｈｄｉｆｆ＞Ｖｄｉｆｆであるならば、欠陥画素ライン方向に対して垂直方向に相関があり、Ｈｄｉｆｆ＜Ｖｄｉｆｆであるならば、欠陥画素ラインと同じ方向に相関があると判断する。もし、欠陥画素ラインと同じ方向に相関が高い場合、ステップＳ５０３でメディアンフィルタをかる。欠陥画素ラインでなかったり、相関が、欠陥画素ラインの方向に対して垂直方向であったりした場合は、メディアンフィルタをかけない。結果として、図６の様に欠陥画素ラインであったことがわかってしまう画像に対しても、図８のように補正に用いた画素の信号の相関が低い欠陥画素である画素（Ｆ）（Ｇ）（Ｈ）に対してだけメディアンフィルタ処理を施すことにより、効果的にその痕跡を減らすことが可能となる。また、縦横の相関を取り、相関の高い方向に垂直に補正方向がある場合にはメディアンフィルタをかけないようにすることによって、図７の様な途中が抜けた画像になることもない。
【００３４】
次にステップＳ５０４でエッジ強調をされ、ステップＳ５０５でｊｐｅｇ圧縮される。
｜Ｈｄｉｆｆ−Ｖｄｉｆｆ｜＞Ａ    式（５）
上記の動作を画像全体に対して行うことによって、補正を完了する。
【００３５】
本実施形態ように画像処理装置を構成すれば、縦欠陥画素ラインや横欠陥画素ラインが発生した場合にも、適正に補正が行えるので、縦欠陥画素ラインや横欠陥画素ラインが発生する撮像素子も製品に搭載することができるようになり、歩留まりを上げることが可能となる。
【００３６】
つまり、欠陥画素の補正に用いた複数の画素信号の相関が高いか否かを判定し、相関が低い場合にはメディアンフィルタをかけるようにすることにより欠陥画素の信号を過補正してしまった場合でも、適正な信号に再び補正することができる。
【００３７】
なお、本実施形態では、撮像素子がＣＣＤの場合を例にして説明したが、これに限るものではなく、例えば、撮像素子がＣＭＯＳの場合には、転送スイッチの欠陥や連続する画素の欠陥により、縦欠陥画素ラインや横欠陥画素ラインが発生した場合に、隣接画素信号による補間方向の情報と、画像のエッジ方向の情報に基づいて、メディアンフィルタをかけるか否かを制御することによって、画質を向上させることができる。
【００３８】
また、本実施形態では、ＣＣＤ４の受光面にはフォトダイオードを含む画素が平面的に配置されており、各画素に対して、１色のカラー、例えば、Ｒ（赤）・Ｇ（緑）・Ｂ（青）の原色カラーフィルタが所定の配列で配置されているとしたが、撮像素子を複数枚用いて、各撮像素子に対して１色を割り当てる形態としてもよい。
【００３９】
また、縦横の相関を比較する場合、式（５）の様にＨｄｉｆｆ＞Ｖｄｉｆｆだけではなく、しきい値（Ａ）を用い、比較する要素である画素の数を増やすことによって、その相関の制度を上げることも可能である。
【００４０】
なお、本実施形態の説明では、「欠陥画素の周辺の画素の信号を用いて欠陥画素の補正を行ってから、メディアンフィルタ処理をするか否かを判別して、メディアンフィルタ処理をすると判別した場合に、メディアンフィルタ処理を施す」構成としたが、欠陥画素の補正を行わずに、画像の相関性を判定して、判断結果に基づいてメディアンフィルタ処理を施すようにしてもよい。例えば、図８において、ラインγが欠陥画素ラインだった場合には、ラインγと垂直な方向に相関があるか否かを判定し、相関がなかった場合にメディアンフィルタ処理を施すことが考えられる。
【００４１】
（本発明の他の実施の形態）
本発明は複数の機器から構成されるシステムに適用しても１つの機器からなる装置に適用しても良い。
【００４２】
また、上述した実施の形態の機能を実現するように各種のデバイスを動作させるように、上記各種デバイスと接続された装置あるいはシステム内のコンピュータに対し、記憶媒体から、またはインターネット等の伝送媒体を介して上記実施の形態の機能を実現するためのソフトウェアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）に格納されたプログラムに従って上記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。
【００４３】
また、この場合、上記ソフトウェアのプログラムコード自体が上述した実施の形態の機能を実現することになり、そのプログラムコード自体、およびそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記憶媒体は本発明を構成する。かかるプログラムコードを記憶する記憶媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００４４】
また、コンピュータが供給されたプログラムコードを実行することにより、上述の実施の形態で説明した機能が実現されるだけでなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）あるいは他のアプリケーションソフト等と共同して上述の実施の形態で示した機能が実現される場合にもかかるプログラムコードは本発明の実施の形態に含まれることは言うまでもない。
【００４５】
さらに、供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって上述した実施の形態の機能が実現される場合にも本発明に含まれる。
【図面の簡単な説明】
【００４６】
【図１】本発明の実施形態に係るデジタルカメラの詳細を示すブロック図である。
【図２】本発明の実施形態に係るデジタルカメラの全体のブロック図である。
【図３】本発明の実施形態に係るデジタルカメラの画像処理の色補間方法を示す概念図である。
【図４】Ａは本発明の実施形態に係るデジタルカメラの画像処理の間引き方法を示す概念図である。Ｂは本発明の実施形態に係るデジタルカメラの５ｘ５の２次元ＬＰＦを示している。
【図５】本発明の実施形態に係るデジタルカメラの画像処理のフローチャートであり、ＹＵＶ変換された後の輝度信号Ｙの画像処理の流れを示している。
【図６】欠陥画素ラインに対して、欠陥画素の両隣の信号を加算平均して欠陥画素補正した画像を示す図である。
【図７】メディアンフィルタを一律にかけた場合の画像を示す図である。
【図８】画像の相関に応じて、必要な部分にだけメディアンフィルタをかけた場合の画像を示す図である。
【符号の説明】
【００４７】
４  撮像素子
７  画像処理信号処理回路
８  メモリ１
１２  ＬＣＤ（表示手段）
１４  記録媒体
１５  ＣＰＵ
【図１】
2006186472.tif 000005
【図２】
2006186472.tif 000006
【図３】
2006186472.tif 000007
【図４】
2006186472.tif 000008
【図５】
2006186472.tif 000009
【図６】
2006186472.tif 000010
【図７】
2006186472.tif 000011
【図８】
2006186472.tif 000012