(57)【要約】【課題】ＣＣＤセンサやＣＭＯＳイメージセンサが含む欠陥画素の位置情報を効率よく保持する撮像装置および信号処理方法を提供する。【解決手段】この発明の撮像装置１は、入力情報を光電変換する撮像素子＜１３＞と、撮像素子の個々の画素の出力から撮像素子が含む欠陥画素を検出する欠陥画素検出モジュール＜１５＞と、欠陥画素検出モジュールから供給される撮像素子の欠陥画素が、隣接する画素に連続することを検出し、欠陥画素が隣接する場合の先頭の画素の位置情報と２ビットの判定データにより欠陥画素の位置を記憶する欠陥画素位置記憶モジュール＜１７＞と、を有する。【選択図】図１
2010154536.tif 000002
【特許請求の範囲】
【請求項１】
入力情報を光電変換する撮像素子と、
前記撮像素子の個々の画素の出力から前記撮像素子が含む欠陥画素を検出する欠陥画素検出モジュールと、
前記欠陥画素検出モジュールから供給される前記撮像素子の前記欠陥画素が、隣接する画素に連続することを検出し、前記欠陥画素が隣接する場合の先頭の画素の位置情報と２ビットの判定データにより前記欠陥画素の位置を記憶する欠陥画素位置記憶モジュールと、
を有することを特徴とする撮像装置。
【請求項２】
前記欠陥画素位置記憶モジュールは、前記欠陥画素が隣接する場合の先頭の画素のみ、前記先頭画素と先頭画素の水平方向の右隣に隣接する２つの画素、前記先頭画素と先頭画素の垂直方向の下方に隣接する２つの画素、及び前記先頭画素の水平方向の右隣に隣接する画素と前記先頭画素の垂直方向の下方に隣接する画素にそれぞれ接する画素を、前記２ビットの判定データにより特定することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記欠陥画素位置記憶モジュールは、前記欠陥画素の先頭画素が、数学的象限の記述に従う第二象限に位置するとき、第一象限、第三象限及び第四象限にそれぞれ連続する４つの欠陥画素を表示できることを特徴とする請求項２記載の撮像装置。
【請求項４】
前記欠陥画素位置記憶モジュールは、前記欠陥画素検出モジュールに対し、前記欠陥のある画素が、前記欠陥画素が隣接する場合の先頭の画素のみ、前記先頭画素と先頭画素の水平方向の右隣に隣接する２つの画素、前記先頭画素と先頭画素の垂直方向の下方に隣接する２つの画素、及び前記先頭画素の水平方向の右隣に隣接する画素と前記先頭画素の垂直方向の下方に隣接する画素にそれぞれ接する画素からなる４つの画素、のいずれかの状態で連続することを出力することを特徴とする請求項１記載の撮像装置。
【請求項５】
前記欠陥画素位置記憶モジュールは、前記欠陥画素の先頭画素が、数学的象限の記述に従う第二象限に位置するとき、第一象限、第三象限及び第四象限にそれぞれ連続する４つの欠陥画素を表示できることを特徴とする請求項４記載の撮像装置。
【請求項６】
入力情報を光電変換する撮像素子と、
前記撮像素子の個々の画素の出力から前記撮像素子が含む欠陥画素を検出する欠陥画素検出モジュールと、
前記欠陥画素検出モジュールから供給される前記撮像素子の前記欠陥画素が、隣接する画素に連続している場合は、前記欠陥画素が隣接する場合の先頭の画素の位置情報と複数ビットの判定データとにより前記欠陥画素の位置を記憶する欠陥画素位置記憶モジュールと、
を有することを特徴とする撮像装置。
【請求項７】
前記欠陥画素位置記憶モジュールは、前記欠陥画素の配置が隣接する場合の先頭の画素のみ、前記先頭画素と先頭画素の水平方向の右隣に隣接する第１の所定数の画素、前記先頭画素と先頭画素の垂直方向の下方に隣接する第２の所定数の画素、及び前記先頭画素の水平方向の右隣に隣接する第１の所定数の画素それぞれの下方に隣接する第２の所定数の画素の中の欠陥画素の配置を、前記複数ビットの判定データにより記憶することを特徴とする請求項６記載の撮像装置。
【請求項８】
前記欠陥画素位置記憶モジュールは、前記欠陥のある画素が、前記欠陥画素が隣接する場合の先頭の画素のみ、前記先頭画素と先頭画素の水平方向の右隣に隣接する第１の所定数の画素、前記先頭画素と先頭画素の垂直方向の下方に隣接する第２の所定数の画素、及び前記先頭画素の水平方向の右隣に隣接する第１の所定数の画素それぞれの下方に隣接する第２の所定数の画素の中の欠陥画素の配置がいずれの状態で連続しているかを出力することを特徴とする請求項６記載の撮像装置。
【請求項９】
入力情報を光電変換する撮像素子と、
前記撮像素子が含む欠陥画素を予め検出しておき、この予め検出しておいた前記撮像素子の欠陥画素が、隣接する画素に連続する場合は、前記欠陥画素が隣接する場合の先頭の画素の位置情報と複数ビットの判定データにより前記欠陥画素の位置を記憶する欠陥画素位置記憶モジュールと、
を有することを特徴とする撮像装置。
【請求項１０】
前記欠陥画素位置記憶モジュールは、前記欠陥画素の配置が隣接する場合の先頭の画素のみ、前記先頭画素と先頭画素の水平方向の右隣に隣接する第１の所定数の画素、前記先頭画素と先頭画素の垂直方向の下方に隣接する第２の所定数の画素、及び前記先頭画素の水平方向の右隣に隣接する第１の所定数の画素それぞれの下方に隣接する第２の所定数の画素の中の欠陥画素の配置を、前記複数ビットの判定データにより記憶することを特徴とする請求項９記載の撮像装置。
【請求項１１】
さらに画像処理モジュールを有し、
前記欠陥画素位置記憶モジュールは、前記画像処理モジュールに対し、前記欠陥のある画素が、前記欠陥画素が隣接する場合の先頭の画素のみ、前記先頭画素と先頭画素の水平方向の右隣に隣接する第１の所定数の画素、前記先頭画素と先頭画素の垂直方向の下方に隣接する第２の所定数の画素、及び前記先頭画素の水平方向の右隣に隣接する第１の所定数の画素それぞれの下方に隣接する第２の所定数の画素の中の欠陥画素の配置がいずれの状態で連続しているかを出力することを特徴とする請求項９記載の撮像装置。
【請求項１２】
撮像素子の個々の画素の出力から撮像素子が含む欠陥画素を検出し、
検出された撮像素子の欠陥画素が、隣接する画素に連続することを検出し、
欠陥画素が隣接する場合の先頭の画素の位置情報と複数ビットの判定データにより、欠陥画素の位置を記憶する
ことを特徴とする信号処理方法。
【請求項１３】
前記複数ビットの判定データは、２ビットのデータであることを特徴とする請求項１２記載の信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、ＣＣＤセンサやＣＭＯＳイメージセンサにおける欠陥画素を検出し、出力画像中の欠陥画素の影響を補正する撮像装置および信号処理方法に関する。
【背景技術】
【０００２】
ＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary metal-oxide Semiconductor）イメージセンサを撮像素子として用いる撮像装置が、既に広く利用されている。なお、ＣＣＤセンサやＣＭＯＳイメージセンサにおいては、正常な画像信号が得られない欠陥画素を含むことが知られている。
【０００３】
このような背景から、欠陥画素の位置情報を記憶し、出力画像を得る際に、欠陥画素の影響を補正する手法が、既に提案されている。
【０００４】
特許文献１には、保持手段に保持された画素情報と画像信号に同期した画素位置情報に基づいて欠陥画素の補正を行う画像信号処理装置が示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−２２８２６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１には、欠陥画素の位置情報を保持すること、及び周辺画素を用いて欠陥画素を補正することが示されているが、複数の欠陥画素の位置情報を効率よく保持する方法すなわち欠陥画素の位置情報を記憶するメモリを低減する方法については、何ら記載がない。
【０００７】
この発明の目的は、ＣＣＤセンサやＣＭＯＳイメージセンサが含む欠陥画素の位置情報を効率よく保持する撮像装置および信号処理方法を提供することである。
【課題を解決するための手段】
【０００８】
この発明は、上記問題点に基づきなされたもので、入力情報を光電変換する撮像素子と、前記撮像素子の個々の画素の出力から前記撮像素子が含む欠陥画素を検出する欠陥画素検出モジュールと、前記欠陥画素検出モジュールから供給される前記撮像素子の前記欠陥画素が、隣接する画素に連続することを検出し、前記欠陥画素が隣接する場合の先頭の画素の位置情報と複数ビットの判定データにより前記欠陥画素の位置を記憶する欠陥画素位置記憶モジュールと、を有することを特徴とする撮像装置を提供するものである。
【発明の効果】
【０００９】
この発明の一つの実施の形態によれば、撮像素子が含む欠陥画素のアドレスを高密度で記録できる。また、記録された欠陥画素のアドレスは、簡単に復調可能である。
【００１０】
従って、欠陥画素のアドレスを不所望に多くのメモリを占有することなく記録可能で、しかも再生時のアドレスの復調が容易な撮像装置が得られる。
【図面の簡単な説明】
【００１１】
【図１】この発明の実施の一形態が摘要される撮像装置を説明する概略図。
【図２】図１に示した撮像装置のイメージセンサの撮像素子の欠陥を検出する方法の一例を説明する概略図。
【図３】図１に示した撮像装置のイメージセンサの連続欠陥画素のアドレスを、高密度で記録する方法の一例を説明する概略図。
【発明を実施するための形態】
【００１２】
以下、図面を参照して、本発明の実施の形態について説明する。
【００１３】
図１は、この発明を適用した撮像装置の一例を示す。また、以下に説明する各要素において、「モジュール」と呼称する要素は、ハードウェアで実現するものであってもよいし、ＣＰＵ等を使ってソフトウェアで実現するものであってもよい。
【００１４】
図１に示す撮像装置１は、撮像対象の情報を光の明暗及び色情報として取り込むレンズ１１、及びレンズ１１により所定の光学特性が与えられた撮像対象の情報を光電変換して輝度情報及び色情報として出力するイメージセンサ１３を含む。なお、イメージセンサ１３は、例えばＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary metal-oxide Semiconductor）イメージセンサである。
【００１５】
イメージセンサ１３の出力は、イメージセンサ１３から出力される輝度情報または色情報に基づいてイメージセンサ１３が含む欠陥画素を検出し、欠陥画素に対応する出力画像を補正する画像処理回路モジュール（ＤＳＰ）１５に入力される。
【００１６】
ＤＳＰ１５により取得した欠陥画素の位置すなわち欠陥画素アドレスは、ＭＰＵ（制御モジュール及びメモリユニット）１７により、図３を用いて後段に説明する連続欠陥画素表示に従って記憶される。また、出力画像の出力が要求された場合には、ＭＰＵ１７により、欠陥画素アドレスが（連続欠陥画素表示から）復調され、ＤＳＰ１５に供給される。
【００１７】
なお、ＤＳＰ１５には、クロック発振器（ＯＳＣ）１９からクロック信号ＣＬＫが供給される。また、ＤＳＰ１５は、同期信号発生モジュール（Ｓｙｎｃ）１７ａを、一体に、あるいは独立に含む。
【００１８】
ＤＳＰ１５から出力される出力画像は、出力インタフェース（ＩＦ）２１を経由して、例えばＬＣＤ（Liquid Crystal Display）パネルもしくはＣＲＴ（Cathode Ray Cube）等であるモニタ装置２３に、可視像として出力される。
【００１９】
より詳細には、撮像装置１が起動されることにより、図２に一例を示すが、ＤＳＰ１５において、イメージセンサ１３の個々の画素について、欠陥画素であるか否かがチェックされる。
【００２０】
すなわち、ＤＳＰ１５に入力されたイメージセンサ１３の個々の画素の出力が、ＤＳＰ１５によりチェックされる（Ｂｌｏｃｋ  １）。
【００２１】
続いて、ＤＳＰ１５により欠陥画素と判定された画素については、そのアドレス（位置情報）が、ＭＰＵ１７に記憶される。なお、ＭＰＵ１７が記憶すべきアドレスは、ＤＳＰ１５からＭＰＵ１７に送信される（Ｂｌｏｃｋ  ２）。
【００２２】
以下、ＤＳＰ１５により、イメージセンサ１３の総ての画素について欠陥の有無がチェックされると、ＭＰＵ１７において、ＤＳＰ１５から受信した欠陥画素のアドレスに基づき、欠陥が連続しているか否か、すなわち連続欠陥画素の有無がチェックされる（全アドレス走査）。ここで、任意数の連続した欠陥画素の存在がチェックできた場合、図３により以下に説明する方法により、連続欠陥画素表示に従って記憶される。
【００２３】
一方、イメージセンサ１３で撮像した画像を出力する場合、ＭＰＵ１７から欠陥画素のアドレスが順次ＤＳＰ１５に送信される。このとき、連続欠陥画素については、図３により説明する連続画素欠陥表示から個々の欠陥画素のアドレスに復調され、ＤＳＰ１５に送信される（Ｂｌｏｃｋ  １１）。
【００２４】
以下、ＤＳＰ１５において、連続欠陥画素あるいは単独の（独立した）欠陥画素のアドレスで特定される画素からの出力画像については、周囲の画素からの出力を用いて補正される（Ｂｌｏｃｋ  １２）。
【００２５】
図３は、２以上の欠陥画素が連続する連続欠陥画素のアドレスを表示する方法の一例を示す。なお、図３に示す連続欠陥画素の表示方法は、連続欠陥画素を、『代表画素』に、『２ｂｉｔ』の連続（方向）判定フラグを付加する形で記憶するものである。また、『代表画素』は、垂直方向を「Ｖ」で示し、水平方向を「Ｈ」で示すものとする。このとき、連続（方向）判定フラグは、欠陥画素検出中に使用するメモリ領域を活用することにする。
【００２６】
図３（ａ）は、単一（非連続）欠陥画素の場合を示す。
【００２７】
図３（ａ）に示す例は、単独の「画素ａ」のみが欠陥画素であるから、連続欠陥表示としては、「画素ａ」のアドレス（Ｈ，Ｖ）に加え、連続判定フラグ“００”を付加する。
【００２８】
図３（ｂ）は、水平方向に連続した連続欠陥画素の場合を示す。
【００２９】
図３（ｂ）に示す例は、欠陥画素が水平方向に２つすなわち代表画素である「画素ａ」の水平方向に隣接して「画素ｂ」が存在する場合であり、代表画素である「画素ａ」のアドレス（Ｈ，Ｖ）に加え、“０１”を付加する。このとき、「画素ｂ」のアドレスは（Ｈ＋１，Ｖ）である。
【００３０】
図３（ｃ）は、垂直方向に連続した連続欠陥画素の場合を示す。
【００３１】
図３（ｃ）に示す例は、欠陥画素が垂直方向に２つであるから、代表画素である「画素ａ」のアドレス（Ｈ，Ｖ）に加え、“１０”を付加する。このとき、「画素ｂ」のアドレスは（Ｈ，Ｖ＋１）である。
【００３２】
図３（ｄ）は、垂直方向および水平方向のそれぞれに連続した連続欠陥画素の場合を示す。
【００３３】
図３（ｄ）に示す例は、欠陥画素が垂直方向、水平方向ともに２つである２×２の４つの連続欠陥画素であるから、代表画素である「画素ａ」のアドレス（Ｈ，Ｖ）に加え、“１１”を付加する。
【００３４】
このとき、「画素ａ」の水平方向に隣接する「画素ｂ」のアドレスは（Ｈ＋１，Ｖ）であり、「画素ａ」の垂直方向に隣接する「画素ｃ」のアドレスは（Ｈ，Ｖ＋１）である。また、「画素ａ」に対して、辺が接しないすなわち２×２の４個のマトリクスを考えるとき「画素ａ」の対角線上に位置する「画素ｄ」のアドレスは（Ｈ＋１，Ｖ＋１）で表すことができる。
【００３５】
一方、ＤＳＰ１５から出力画像を出力する場合、すなわちイメージセンサ１３で撮像した画像を再生する場合は、図３（ａ）に示した単独の欠陥画素については、ＭＰＵ１７がＤＳＰ１５に出力する欠陥画素のアドレスは、「画素ａ」のアドレス（Ｈ，Ｖ）となる。
【００３６】
これに対し、ＭＰＵ１７からＤＳＰ１５に出力されるアドレスが（Ｈ＋１，Ｖ）である場合には、ＤＳＰ１５において、図３（ｂ）に示したように「画素ａ」と「画素ａ」の水平方向に隣接する「画素ｂ」が欠陥画素である、と判断される。
【００３７】
以下、同様に、ＭＰＵ１７からＤＳＰ１５に出力されるアドレスが（Ｈ，Ｖ＋１）である場合には、ＤＳＰ１５において、図３（ｃ）に示したように「画素ａ」と「画素ａ」の垂直方向に隣接する「画素ｂ」が欠陥画素である、と判断できる。
【００３８】
なお、図３（ｂ）及び図３（ｃ）に示したような、水平方向または垂直方向で代表画素に隣接する１つの画素（代表画素と合わせて連続する２つの画素）が欠陥画素である場合には、代表画素に対してどの側に隣接する画素が欠陥画素であるかが明示できることが好ましい。
【００３９】
従って、ＭＰＵ１７においてアドレスを復調する場合は、代表画素である「画素ａ」の水平方向右側に欠陥画素である「画素ｂ」が隣接する場合にのみ、図３（ｂ）で説明した（Ｈ＋１，Ｖ）をアドレスとすること、代表画素である「画素ａ」の垂直方向下方に欠陥画素である「画素ｂ」が隣接する場合にのみ、図３（ｃ）で説明した（Ｈ，Ｖ＋１）をアドレスとすること、連続欠陥画素の表示方法における規則とする。
【００４０】
なお、図３（ｄ）に示す表示例では、代表画素である「画素ａ」を、数学的な象限の規定（平面上に平行座標系を定めるとき、座標軸によって規定される４つの部分のうち、ｘ，ｙともに正である部分が第一象限、ｘが負でｙが正である部分が第二象限、ｘ，ｙともに負である部分が第三象限、ｘが正でｙが負である部分が第四象限と示される）に従い区分すると、「画素ａ」が第二象限に位置する状態で「画素ｃ」が第三象限に、同じく「画素ｄ」が第四象限に、さらに「画素ｂ」が第一象限に位置することが認められる。従って、２×２の４画素が連続欠陥である場合、それぞれ、「画素ｂ」が（Ｈ＋１，Ｖ）、「画素ｃ」が（Ｈ，Ｖ＋１）、「画素ｄ」が（Ｈ＋１，Ｖ＋１）で、それぞれ表される。
【００４１】
すなわち、ＭＰＵ１７において復調された欠陥画素アドレスを、ＤＳＰ１５が受信した結果に基づいて、補正対象となる欠陥画素のアドレス（位置情報）を容易に特定することができる。
【００４２】
なお、連続欠陥画素を、上述した『代表画素』のアドレスに『２ｂｉｔ』の連続判定フラグを付加することは、表示可能な欠陥画素の数が、最大で４つ（２×２）に制限されるが、ＭＰＵ１７により欠陥画素のアドレスを復調する際に、復調が非常に容易となる特徴がある。
【００４３】
また、図３（ｄ）に示した２×２の４つの連続欠陥画素表示を用いて４つの連続画素のうちの任意の１つが欠陥ではない場合についても連続欠陥画素として表示することも可能である。すなわち、実質的に、３つの欠陥画素である場合について、２×２の４つの連続欠陥画素とみなしてアドレスを表示（ＭＰＵ１７に記憶する）ことにより、欠陥画素アドレスを保持するメモリの容量を一層低減できる。
【００４４】
以上説明したように、この発明の実施の一形態を摘要することで、撮像素子が含む欠陥画素のアドレスを高密度で記録できる。また、記録された欠陥画素のアドレスは、簡単に復調可能である。
【００４５】
従って、欠陥画素のアドレスを不所望に多くのメモリを占有することなく記録可能で、しかも再生時のアドレスの復調が容易な撮像装置が得られる。
【００４６】
なお、この発明は、上述した各実施の形態に限定されるものではなく、その実施の段階ではその要旨を逸脱しない範囲で種々な変形もしくは変更が可能である。また、各実施の形態は、可能な限り適宜組み合わせて、もしくは一部を削除して実施されてもよく、その場合は、組み合わせもしくは削除に起因したさまざまな効果が得られる。
【符号の説明】
【００４７】
１…撮像装置、１１…レンズ、１３…イメージセンサ、１５…画像処理回路モジュール（ＤＳＰ）、１７…ＭＰＵ（制御モジュール及びメモリユニット）、１７ａ…同期信号発生部（Ｓｙｎｃ）、１９…クロック発振器（ＯＳＣ）、２１…出力インタフェース（ＩＦ）、２３…モニタ装置。
【図１】
2010154536.tif 000003
【図２】
2010154536.tif 000004
【図３】
2010154536.tif 000005