(57)【要約】【課題】  擬似的な画素データを用いずに高品質な画像を得ることが可能な欠陥画素補正装置を提供する。【解決手段】  同一シーンを異なるタイミングで撮影した複数フレームの画像を格納する入力画像メモリ21と、ＣＣＤエリアセンサ11の欠陥画素位置を格納する欠陥位置メモリ22と、入力画像メモリに格納された複数フレームの画像から任意に選択した第１及び第２のフレームの２フレーム間の画像のずれベクトルを検出するずれベクトル検出部23と、欠陥位置メモリから得た欠陥画素の座標データとずれベクトル検出部より得たずれベクトルに基づいて欠陥画素を置換する欠陥画素置換部24とで欠陥画素補正部を構成する。【選択図】        図  ２
2005210164.tif 000002
【特許請求の範囲】
【請求項１】
欠陥画素を有する固体撮像素子から読み出した画像データに含まれる欠陥画素データを補正する欠陥画素補正装置において、前記固体撮像素子を用いて同一シーンを異なるタイミングで撮影した複数フレームの画像データを記憶する記憶手段と、該記憶手段に記憶した複数フレームの画像データの中の任意に選択した第１及び第２の２フレーム間の画像のずれベクトルを検出するずれベクトル検出手段と、該ずれベクトル検出手段で検出したずれベクトルに基づいて前記第１のフレームの欠陥画素データを前記第２のフレームの画素データで置換する欠陥画素置換手段とを具備することを特徴とする欠陥画素補正装置。
【請求項２】
前記ずれベクトル検出手段は、選択した第１のフレーム及び第２のフレームにおいて、ずれベクトルが０の場合は、選択した前記第２のフレーム以外の他のフレームを第２のフレームとして選択し、ずれベクトルを検出することを特徴とする請求項１に係る欠陥画素補正装置。
【請求項３】
前記固体撮像素子は、その受光面に、基本色ブロックが２×２画素単位で繰り返し配列された色フィルタが貼付されていることを特徴とする請求項１に係る欠陥画素補正装置。
【請求項４】
前記欠陥画素置換手段は、前記ずれベクトル検出手段で検出されたずれベクトルのＸ軸及びＹ軸方向について、ずれ量が画素単位でともに偶数の場合は、第２のフレームにおける第１のフレームの欠陥画素位置の画像に対応する画像の画素データを第１のフレームの欠陥画素データと置換し、いずれか一方のずれ量が画素単位で奇数の場合は、第２のフレームにおける第１のフレームの欠陥画素位置の画像に対応する画像に近接する第１のフレームの欠陥画素と同色の画素データを第１のフレームの欠陥画素データと置換することを特徴とする請求項３に係る欠陥画素補正装置。
【請求項５】
欠陥画素を有する固体撮像素子から読み出した画像データに含まれる欠陥画素データを補正する欠陥画素補正装置において、前記固体撮像素子又は該固体撮像素子の前方に配置したレンズの少なくとも一方を所定量移動させる移動駆動手段と、該移動駆動手段で前記固体撮像素子又は前記レンズの少なくとも一方を所定量移動させ、該所定量移動の前後において前記固体撮像素子を用いて同一シーンを撮影して得られた第１及び第２の２フレームの画像データを記憶する記憶手段と、前記移動駆動手段による前記所定量移動による前記２フレーム間のずれベクトルに基づいて前記記憶手段に記憶した第１のフレームの欠陥画素データを第２のフレームの画素データで置換する欠陥画素置換手段とを備えていることを特徴とする欠陥画素補正装置。
【請求項６】
前記移動駆動手段は、第１のフレームの欠陥画素位置に基づいて前記固体撮像素子又はレンズの少なくとも一方を所定量移動させることを特徴とする請求項５に係る欠陥画素補正装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、固体撮像素子の欠陥画素を補正する欠陥画素補正装置に関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置に一般に用いられる、ＣＣＤ素子を画素として用いた多画素を有する固体撮像素子においては、均一な入射光レベルにも関わらず、周辺のＣＣＤ素子とは特異なレベルを出力するいわゆる欠陥画素の発生頻度が高くなり、画質が劣化するという問題がある。
【０００３】
従来このような問題に対して、欠陥画素補正に関する技術が提案されている。例えば、特開２０００−１７６５８６号公報では、所定サイズの周囲画素から所定方向の相関値を求め、方向算出部でその相関が最大になる方向に属する周囲画素を用いて、欠陥画素の補正値を算出する欠陥画素補正装置を開示している。
【特許文献１】特開２０００−１７６５８６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、欠陥画素の補正は、一般に当該欠陥画素の周辺に位置する４画素の情報に基づいて行われる。すなわち、欠陥画素に対して、その上下（垂直方向）左右（水平方向）に隣接する４画素の信号の平均値によって、その欠陥画素の位置に係る画像出力データを置換する。しかしながら、置換に用いる画素データは擬似的に作られたものであるため、補正画像が特異な画像になることがある。
【０００５】
本発明は、この点に注目してなされたものであり、高品質な画像を得ることが可能な欠陥画素補正装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記問題点を解決するため、請求項１に係る発明は、欠陥画素を有する固体撮像素子から読み出した画像データに含まれる欠陥画素データを補正する欠陥画素補正装置において、前記固体撮像素子を用いて同一シーンを異なるタイミングで撮影した複数フレームの画像データを記憶する記憶手段と、該記憶手段に記憶した複数フレームの画像データの中の任意に選択した第１及び第２の２フレーム間の画像のずれベクトルを検出するずれベクトル検出手段と、該ずれベクトル検出手段で検出したずれベクトルに基づいて前記第１のフレームの欠陥画素データを前記第２のフレームの画素データで置換する欠陥画素置換手段とを具備することを特徴とするものである。そして、この請求項１に係る発明の実施例には、実施例１が対応する。
【０００７】
請求項２に係る発明は、請求項１に係る欠陥画素補正装置において、前記ずれベクトル検出手段は、選択した第１のフレーム及び第２のフレームにおいて、ずれベクトルが０の場合は、選択した前記第２のフレーム以外の他のフレームを第２のフレームとして選択し、ずれベクトルを検出することを特徴とするものである。そして、この請求項２に係る発明の実施例には、実施例１が対応する。
【０００８】
請求項３に係る発明は、請求項１に係る欠陥画素補正装置において、前記固体撮像素子は、その受光面に、基本色ブロックが２×２画素単位で繰り返し配列された色フィルタが貼付されていることを特徴とするものである。そして、この請求項３に係る発明の実施例には、実施例２が対応する。
【０００９】
請求項４に係る発明は、請求項３に係る欠陥画素補正装置において、前記欠陥画素置換手段は、前記ずれベクトル検出手段で検出されたずれベクトルのＸ軸及びＹ軸方向について、ずれ量が画素単位でともに偶数の場合は、第２のフレームにおける第１のフレームの欠陥画素位置の画像に対応する画像の画素データを第１のフレームの欠陥画素データと置換し、いずれか一方のずれ量が画素単位で奇数の場合は、第２のフレームにおける第１のフレームの欠陥画素位置の画像に対応する画像に近接する第１のフレームの欠陥画素と同色の画素データを第１のフレームの欠陥画素データと置換することを特徴とするものである。そして、この請求項４に係る発明の実施例には、実施例２が対応する。
【００１０】
請求項５に係る発明は、欠陥画素を有する固体撮像素子から読み出した画像データに含まれる欠陥画素データを補正する欠陥画素補正装置において、前記固体撮像素子又は該固体撮像素子の前方に配置したレンズの少なくとも一方を所定量移動させる移動駆動手段と、該移動駆動手段で前記固体撮像素子又は前記レンズの少なくとも一方を所定量移動させ、該所定量移動の前後において前記固体撮像素子を用いて同一シーンを撮影して得られた第１及び第２の２フレームの画像データを記憶する記憶手段と、前記移動駆動手段による前記所定量移動による前記２フレーム間のずれベクトルに基づいて前記記憶手段に記憶した第１のフレームの欠陥画素データを第２のフレームの画素データで置換する欠陥画素置換手段とを備えていることを特徴とするものである。そして、この請求項５に係る発明の実施例には、実施例３が対応する。
【００１１】
請求項６に係る発明は、請求項５に係る欠陥画素補正装置において、前記移動駆動手段は、第１のフレームの欠陥画素位置に基づいて前記固体撮像素子又はレンズの少なくとも一方を所定量移動させることを特徴とするものである。そして、この請求項６に係る発明の実施例には、実施例３が対応する。
【発明の効果】
【００１２】
請求項１に係る欠陥画素補正装置によれば、第１のフレームと第２のフレーム間の画像のずれベクトルに基づいて、第２のフレームにおける第１のフレームの欠陥画素位置に相当する画素データを第１のフレームの欠陥画素データと置き換えることができ、より実際の画像に近い画像が得られる。また請求項２に係る欠陥画素補正装置によれば、最初に選択された第１のフレームと第２のフレーム間で、ずれベクトルが０となる場合、第２のフレームにおける第１のフレームの欠陥画素位置に相当する画素データも欠陥画素データとなるので、この場合は上記選択された第２のフレーム以外の前記ずれベクトルが０とならないフレームを新たな第２のフレームとして用いて、ずれ検出を行い欠陥画素の補正を行うことが可能となる。
【００１３】
また請求項３に係る欠陥画素補正装置によれば、カラー画像でも、欠陥画素に対して第２のフレームで得られた画素データと置換ができるので、より実際の画像に近いカラー画像が得られる。また請求項４に係る欠陥画素補正装置によれば、ずれベクトル検出手段で検出されたずれベクトルのＸ軸及びＹ軸方向について、ずれ量が画素単位で共に偶数の場合は、第２のフレームにおける第１のフレームの欠陥画素位置に相当する画素データを第１のフレームの欠陥画素データと置換することができ、またいずれか一方のずれ量が画素単位で奇数の場合は、同色ではないためそのまま置換することはできないが、第２のフレームにおける第１のフレームの欠陥画素位置に近接する第１のフレームの欠陥画素と同色の画素データを第１のフレームの欠陥画素データと置換することにより、欠陥画素の補正が可能となる。
【００１４】
また請求項５に係る欠陥画素補正装置によれば、固体撮像素子又はレンズが所定量移動させられるので、この移動量をずれベクトルとして扱うことができ、ずれベクトルを検出手段を用いて検出する必要がなくなる。また請求項６に係る欠陥画素補正装置によれば、第１のフレームの欠陥画素位置に基づいて、移動量を設定することができ、第１のフレームと第２のフレームの欠陥画素の絶対位置が異なることがないので、必ず第１のフレームの欠陥画素データを所定量移動した第２のフレームの対応する画素データで置換できる。
【発明を実施するための最良の形態】
【００１５】
次に、発明を実施するための最良の形態について説明する。
【実施例】
【００１６】
まず、本発明に係る欠陥画素補正装置の実施例１について説明する。この実施例は、請求項１及び２に係る発明に対応するものであり、固体撮像素子としては、フィルタを用いないモノクロＣＣＤエリアセンサを使用するものとする。
【００１７】
図１は、本発明の実施例１に係わる欠陥画素補正装置を適用した撮像装置の概略構成を示すブロック図である。図１において、10は被写体からの光を結像するための撮影レンズで、その周辺回路を含んでいる。11はＣＣＤエリアセンサで、その周辺回路を含んでいる。12はアナログ回路で構成されるプリプロセス回路、13はＡ／Ｄ変換回路、14は欠陥画素補正部、15は画像信号処理部であり、17は全体の動作を制御するＣＰＵである。
【００１８】
図２は、図１に示した実施例１における欠陥画素補正部14の構成を示すブロック図で、この欠陥画素補正部14は、Ａ／Ｄ変換回路13からの入力画像を格納する入力画像メモリ21と、ＣＣＤエリアセンサ11上の欠陥画素の位置を格納する欠陥位置メモリ22と、入力画像のずれを検出するずれベクトル検出部23と、欠陥位置メモリ22から得た座標データとずれベクトル検出部23より得られたずれベクトルに基づいて欠陥画素を置換する欠陥画素置換部24とで構成されている。
【００１９】
次に、図１及び図２に示した実施例１の動作について説明する。ＣＣＤエリアセンサ11から出力された画像信号は、プリプロセス回路12及びＡ／Ｄ変換回路13を介して欠陥画素補正部14に入力される。ここで、画像信号を出力したＣＣＤエリアセンサ11の画素が正常な画素である場合には、欠陥位置メモリ22から出力されている欠陥画素の位置と一致することはないため、画像信号は、欠陥画素置換部24にて補正を施されることなく、そのまま画像信号処理部15へ出力される。一方、画像信号を出力したＣＣＤエリアセンサ11の画素が欠陥画素である場合には、欠陥位置メモリ22から入力されている欠陥画素の位置と一致するため、画像信号は欠陥画素置換部24にて補正が施される。
【００２０】
図３は、欠陥画素補正部14において実行される画素欠陥補正の態様を示す説明図である。欠陥画素補正部14では、まず同一シーンを異なるタイミングで撮影した複数フレームの画像を入力画像メモリ21に格納する。入力画像メモリ21に格納された複数フレームの画像から任意に選択した第１及び第２のフレームの画像を用い、ずれベクトル検出部23で２フレーム間の画像のずれベクトルを検出する。このずれベクトルに基づいて、欠陥である画素データを実際の画像となるべきデータで置き換える。なお、第１及び第２のフレームとしては、通常最初に撮影されたフレームと次いで撮影されたフレームが選択される。
【００２１】
具体的には、第１のフレームにおける欠陥画素の座標（ａ，ｂ）と、第１のフレームと第２のフレームからずれベクトル検出部23で検出されたずれベクトルのＸ軸及びＹ軸成分である移動量（ｃ，ｄ）に基づき、第２のフレームにおける第１のフレームの欠陥画素による画像に対応する真のデータ座標（ａ＋ｃ，ｂ＋ｄ）を求め、第２のフレームにおける実際の画像となるべきデータの座標（ａ＋ｃ，ｂ＋ｄ）にある画素データを、第１のフレームの座標（ａ，ｂ）における欠陥画素データと置換する。
【００２２】
更に、具体的に図４を用いて説明する。図４は、モノクロＣＣＤエリアセンサ11の画素配列の一部を示したものである。この図示例では、画素34が欠陥画素であるという前提で説明する。この欠陥画素の位置情報は、予め欠陥位置メモリ22に格納されているものとする。同一シーンを異なるタイミングで撮影した複数フレームの画像から選択した第１のフレーム及び第２のフレームの画像について、ずれベクトル検出部23でずれベクトルを画像マッチングにより抽出し、抽出されたずれベクトルに基づいて欠陥補正を行う。図４の図示例の場合、ずれベクトルのＸ軸及びＹ軸成分は（−３，−２）となり、画素34′のデータを、第１のフレームの欠陥画素34のデータと置き換えることにより、第１のフレームは欠陥のない画像となる。
【００２３】
撮影された複数フレームの画像から選択した第１のフレーム及び第２のフレームの２フレーム間で、ずれベクトルが０となる場合、第２のフレームにおける第１のフレームの欠陥画素位置に相当する画素データも欠陥画素データとなる。この場合は、最初に選択した第２のフレーム以外のずれベクトルが０とならないフレームを第２のフレームとして用いることにより、欠陥補正を行うことが可能となる。
【００２４】
また、連続する欠陥画素により構成されるクラスター欠陥などの場合も、同様に、第２のフレームにおける第１のフレームの欠陥画素位置に相当する画素データも欠陥画素データとなる場合がある。この場合は、最初に選択された第２のフレーム以外のフレームを第２のフレームとして用いることで、第１のフレームの欠陥画素による画像に対応する第２のフレームの画素データで、第１のフレームの欠陥画素データを置換することで、欠陥補正が可能となる。
【００２５】
次に、実施例２について説明する。この実施例は、請求項３及び４に係る発明に対応するもので、受光面にカラーフィルタを貼布したカラーＣＣＤイメージセンサを用い、カラー画像における欠陥画素を補正処理するようにしたものである。カラーフィルタとしては、ここでは、基本色ブロックが２×２画素単位で繰り返し配列して構成されるＲＧＢベイヤー配列のフィルタを用いるものとする。
【００２６】
図５は、カラーＣＣＤエリアセンサのカラーフィルタに対応する画素配列を示したものである。この例では画素Ｒ33が欠陥であり、該欠陥画素Ｒ33が左上に位置する太線で囲まれた２×２画素ブロックが欠陥画素ブロックであるという前提で説明する。図中（ａ）は第１のフレームの画素データを、（ｂ），（ｃ），（ｄ），（ｅ）は第２のフレームにおける第１のフレームの欠陥画素ブロック位置の画像に対応する画像の画素データを示しており、（ｂ），（ｃ），（ｄ），（ｅ）に示した４画素の左上の画素が、第１のフレームの欠陥画素Ｒ33の位置の画像に対応する第２のフレームの画像の画素データである。
【００２７】
第２のフレームにおける第１のフレームの欠陥画素位置の画像に相当する画素データのＸ軸及びＹ軸方向の移動量が、画素単位で共に偶数の場合（ｂ）は、第２のフレームにおける第１のフレームの欠陥画素位置の画像に相当する第１のフレームにおける欠陥画素データと同色の色フィルタを持った画素データ（ハッチングを付したＲ画素のデータ）で、第１のフレームの欠陥画素データの置換ができる。一方、第２のフレームにおける第１のフレームの欠陥画素位置の画像に相当する画素データのＸ軸又はＹ軸方向のいずれかの移動量が、画素単位で奇数の場合（ｃ），（ｄ），（ｅ）は、奇数であるＸ軸及び／又はＹ軸方向の移動量に１を加えて、Ｘ軸及びＹ軸方向の移動量を（ｆ）に示すように偶数に補正してから、第２のフレームにおける第１のフレームの欠陥画素位置の画像に相当する第１のフレームにおける欠陥画素データと同色の色フィルタを持った画素データ（ハッチングを付したＲ画素のデータ）で、第１のフレームの欠陥画素データの置換ができる。これにより、欠陥画素と近接且つ同色の画素データでの置換補正が可能となる。
【００２８】
次に、実施例３について説明する。この実施例は、請求項５及び６に係る発明に対応するものである。図６は、実施例３に係る欠陥画素補正装置を適用した撮像装置の概略構成を示すブロック図である。この撮像装置は、図１に示した実施例１に係る撮像装置において、ＣＣＤエリアセンサ11又はレンズ10の少なくとも一方を所定量に移動させることができる機械的な移動駆動手段16を追加したものである。
【００２９】
上記移動駆動手段16によりＣＣＤエリアセンサ11又はレンズ10の少なくとも一方を所定量に移動させることにより、同一シーンを異なるタイミング、つまり所定量移動の前後で撮影した２つのフレーム間の画像のずれベクトルを制御することができるので、図２に示した実施例１に係る欠陥画素補正部14におけるずれベクトル検出部23を用いて、ずれベクトルを検出する必要がなくなる。したがって、本実施例のようにＣＣＤエリアセンサ11又はレンズ10の少なくとも一方を所定量に移動させることができる移動駆動手段16を設ける場合の欠陥画素補正部14は、図７に示すように入力画像メモリ21，欠陥位置メモリ22，欠陥画素置換部24で構成され、図２に示した実施例１における欠陥画素補正部14で必要であったずれベクトル検出部23は、不要となる。
【００３０】
また、第１のフレームの欠陥の位置に基づいてＣＣＤエリアセンサ11又はレンズ10の少なくとも一方を移動させれば、第１のフレームと第２のフレームの２フレーム間で画像のずれが必ず生じるように制御できるので、同一シーンを異なるタイミングで撮影した２つのフレームのみで欠陥画素を補正することができる。なお、ＣＣＤエリアセンサ又はレンズの少なくとも一方の移動量は、移動前の第１のフレームにおける欠陥画素位置に基づいて設定するのが好ましい。
【図面の簡単な説明】
【００３１】
【図１】本発明に係る欠陥画素補正装置の実施例１を適用した撮像装置の概略構成を示すブロック図である。
【図２】図１に示した実施例１における欠陥画素補正部の構成を示すブロック図である。
【図３】図２に示した欠陥画素補正部の動作を説明するための説明図である。
【図４】図２に示した欠陥画素補正部の動作を更に詳細に説明するための説明図である。
【図５】カラーＣＣＤエリアセンサを用いた実施例２における欠陥画素補正部の動作を説明するための説明図である。
【図６】本発明の実施例３に係る欠陥画素補正装置を適用した撮像装置の概略構成を示すブロック図である。
【図７】図６に示した実施例３における欠陥画素補正部の構成を示すブロック図である。
【符号の説明】
【００３２】
10  レンズ
11  ＣＣＤエリアセンサ
12  プリプロセス回路
13  Ａ／Ｄ変換回路
14  欠陥画素補正部
15  画像信号処理部
16  移動駆動手段
17  ＣＰＵ
21  入力画像メモリ
22  欠陥位置メモリ
23  ずれベクトル検出部
24  欠陥画素置換部
【図１】
2005210164.tif 000003
【図２】
2005210164.tif 000004
【図３】
2005210164.tif 000005
【図４】
2005210164.tif 000006
【図５】
2005210164.tif 000007
【図６】
2005210164.tif 000008
【図７】
2005210164.tif 000009