(57)【要約】【課題】  個別の不揮発性メモリをもたないが、イメージセンサにおける画素の白点不良及び黒点不良を誤りなく検出することができる画像処理装置を提供する。【解決手段】  画像処理装置は、イメージセンサから画素データが出力されると、その画素データに対応する画素が不良画素であるか否かを判定する判定部と、判定部によって不良画素であると判定された画素の画素アドレスと、その画素が判定部によって不良画素であると判定された判定回数とを記憶する記憶部と、判定回数が所定の回数を超えた画素を不良画素として決定する決定部と、決定部によって不良画素であると決定された画素に対応する画素データを所定の方法で補完して出力する補完部とを備える。【選択図】図１
2006339986.tif 000002
【特許請求の範囲】
【請求項１】
イメージセンサの不良画素に対応する画素データを所定の方法で補完して出力する画像処理装置であって、
前記イメージセンサから画素データが出力されると、その画素データに対応する画素が不良画素であるか否かを判定する判定部と、
前記判定部によって不良画素であると判定された画素の画素アドレスと、その画素が前記判定部によって不良画素であると判定された判定回数とを記憶する記憶部と、
前記判定回数が所定の回数を超えた画素を不良画素として決定する決定部と、
前記決定部によって不良画素であると決定された画素に対応する画素データを所定の方法で補完して出力する補完部と
を備えることを特徴とする画像処理装置。
【請求項２】
前記記憶部は、
前記画素アドレス及び判定回数を記憶するデータ記憶部と、
前記データ記憶部に対するデータの読み出し及び書き込みを制御する記憶制御部と
を備え、
前記記憶制御部は、前記イメージセンサから出力された画素データに対応する画素が前記判定部によって不良画素であると判定され、かつ前記データ記憶部にその画素の画素アドレス及び判定回数が記憶されていない場合には、前記データ記憶部にその画素に対応する画素アドレスと判定回数とを書き込むことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記記憶制御部は、前記イメージセンサから出力された画素データに対応する画素が前記判定部によって不良画素であると判定され、かつ前記データ記憶部にその画素の画素アドレス及び判定回数が記憶されている場合には、前記データ記憶部に記憶されたその画素の判定回数を１つ増加させることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記データ記憶部は、ＦＩＦＯメモリであることを特徴とする請求項１から３のいずれかに記載の画像処理装置。
【請求項５】
前記所定の回数は、外部から設定可能であることを特徴とする請求項１から４のいずれかに記載の画像処理装置。
【請求項６】
前記判定部は、判定の対象である画素の画素データの明度と、その画素データの入力前及び入力後にそれぞれ入力された前後入力画素データの明度の和とが所定の関係にあるときに、前記判定の対象である画素が不良画素であると判定することを特徴とする請求項１から５のいずれかに記載の画像処理装置。
【請求項７】
前記前後入力画素データは、前記判定の対象となる画素の画素データと同じ色成分の画素データであることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記判定部は、前記判定の対象となる画素の画素データの明度が、前記前後入力画素データの明度の和に所定の第１の係数を乗算した第１の乗算画素データよりも大きい場合、又は前記判定の対象となる画素の画素データの明度が、前記前後入力画素データの明度の和に所定の第２の係数を乗算した第２の乗算画素データよりも小さい場合に、前記判定の対象である画素が不良画素であると判定することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記第１及び第２の各係数は、それぞれ外部から設定可能であることを特徴とする請求項８に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラ等に用いられる画像処理装置に関する。
【背景技術】
【０００２】
現在、デジタルビデオカメラやデジタルスチルカメラの代表的なイメージセンサとして、電荷結合素子（以下、「ＣＣＤ」という。）や、相補型金属酸化物半導体センサ（以下、「ＣＭＯＳセンサ」という。）がある。このようなイメージセンサでは、特定位置の画素の明度が常に一定の明度で固定される場合がある。このように画素の明度が常に高く又は低く固定されることを、それぞれ白点不良及び黒点不良と呼ぶ。
【０００３】
一般的に、イメージセンサによって撮像された画像を６４０×４８０画素のＶＧＡサイズできれいにディスプレイ等に表示するためには、３０万画素クラスのイメージセンサが必要である。しかし、現状では、３０万画素全てを正しく製造することが困難であるため、ある程度の白点不良及び黒点不良の発生は許容しなければならない。実際に、イメージセンサは、白点不良画素及び黒点不良画素（以下、単に「不良画素」という。）が存在する場合であっても、その不良画素の個数が所定数以下の場合は、不良画素の個数によって定められるグレードに応じた価格で販売されている。例えば、不良画素の個数が全体で３０個を超えるイメージセンサは不良品として取り扱われるが、不良画素の個数が全体で１０個を超えてかつ３０個以下のイメージセンサはグレードが低いイメージセンサとして、不良画素の個数が全体で１０個以下のイメージセンサはグレードが高いイメージセンサとしてそれぞれ販売されている。
【０００４】
上述のように、イメージセンサにおいて白点不良及び黒点不良が発生することは避けられないため、イメージセンサによって撮像された画像を、例えば、ＵＳＢバスを経由してホストコンピュータに伝送し、ホストコンピュータのディスプレイに表示する場合には、明るい画像の中に周囲よりも暗い点が強調されて表示されたり、又は暗い画像の中に周囲よりも明るい点が強調されて表示されたりするといった不具合が生じる。
【０００５】
このような不具合を解決する一般的な方法として、出荷前の検査工程でイメージセンサにおける不良画素の位置を検出し、検出した不良画素のアドレスデータを外付けの不揮発性メモリ等に記憶させ、出荷後に、イメージセンサからその記憶されたアドレスデータに対応する画素の画素データが出力された場合にその画素データを補完するという方法があった。
【０００６】
また、従来のイメージセンサには、画素がマトリクス状に配列された画素部から画素データを読み出し、その読み出された画素データに対して周辺画素との明度の違いを演算することにより、外部に不揮発性メモリを接続することなく白点不良を検知して、その読み出された画素データを補正するものがあった（例えば、特許文献１参照。）。
【０００７】
なお、従来の画像読み取り装置には、高濃度から低濃度及び低濃度から高濃度へのそれぞれの追従特性を設定したデジタルピークホールド回路によりピーク値を検出し、その検出値に基づいて除算器により入力画像データを正規化し、一定白レベル値で地肌データを出力するものがあった（例えば、特許文献２参照。）。
【特許文献１】特開２００３−２３４９５８号公報
【特許文献２】特開２００３−１０１７７７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかし、不良画素のアドレスデータを外付けの不揮発性メモリに記憶させる従来の方法では、イメージセンサ毎に出荷前の検査工程で検出された不良画素の位置を不揮発性メモリに記憶させる必要があるため出荷前の処理が煩雑になるとともに、不揮発性メモリが別に必要であるためコストが増大するという課題があった。
【０００９】
一方、読み出された画素データに対して周辺画素との明度の違いを演算する従来のイメージセンサでは、個別の不揮発性メモリは不要であるが、実際に明度の明るい非常に細い線や明度の明るい非常に小さい点があった場合に、白点不良と間違えて補完してしまう場合があった。このような誤認識をしてしまうと、非常に細い線又は点が周りの画素と補完されてしまって消えてしまうことになり、その結果得られる画像が不自然になるという課題があった。この不具合は、高解像度のイメージセンサでは一画素の領域が非常に小さいので問題にならない場合もあるが、３０万画素以下のイメージセンサでは特に顕著であった。
【００１０】
本発明は、上記課題を解決するためになされたものであり、個別の不揮発性メモリをもたないが、イメージセンサにおける画素の白点不良及び黒点不良を誤りなく検出することができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明による画像処理装置は、イメージセンサの不良画素に対応する画素データを所定の方法で補完して出力する画像処理装置である。この画像処理装置は、前記のイメージセンサから画素データが出力されると、その画素データに対応する画素が不良画素であるか否かを判定する判定部と、前記の判定部によって不良画素であると判定された画素の画素アドレスと、その画素が前記の判定部によって不良画素であると判定された判定回数とを記憶する記憶部と、前記の判定回数が所定の回数を超えた画素を不良画素として決定する決定部と、前記の決定部によって不良画素であると決定された画素に対応する画素データを所定の方法で補完して出力する補完部とを備える。
【００１２】
好ましくは、前記の記憶部は、前記の画素アドレス及び判定回数を記憶するデータ記憶部と、前記のデータ記憶部に対するデータの読み出し及び書き込みを制御する記憶制御部とを備える。前記の記憶制御部は、前記のイメージセンサから出力された画素データに対応する画素が前記の判定部によって不良画素であると判定され、かつ前記のデータ記憶部にその画素の画素アドレス及び判定回数が記憶されていない場合には、前記のデータ記憶部にその画素に対応する画素アドレスと判定回数とを書き込む。
【００１３】
好ましくは、前記の記憶制御部は、前記のイメージセンサから出力された画素データに対応する画素が前記の判定部によって不良画素であると判定され、かつ前記のデータ記憶部にその画素の画素アドレス及び判定回数が記憶されている場合には、前記のデータ記憶部に記憶されたその画素の判定回数を１つ増加させる。
【００１４】
好ましくは、前記のデータ記憶部は、ＦＩＦＯメモリである。
【００１５】
好ましくは、前記の所定の回数は、外部から設定可能である。
【００１６】
好ましくは、前記の判定部は、判定の対象である画素の画素データの明度と、その画素データの入力前及び入力後にそれぞれ入力された前後入力画素データの明度の和とが所定の関係にあるときに、前記の判定の対象である画素が不良画素であると判定する。
【００１７】
好ましくは、前記の前後入力画素データは、前記の判定の対象となる画素の画素データと同じ色成分の画素データである。
【００１８】
好ましくは、前記の判定部は、前記の判定の対象となる画素の画素データの明度が、前記の前後入力画素データの明度の和に所定の第１の係数を乗算した第１の乗算画素データよりも大きい場合、又は前記の判定の対象となる画素の画素データの明度が、前記の前後入力画素データの明度の和に所定の第２の係数を乗算した第２の乗算画素データよりも小さい場合に、前記の判定の対象である画素が不良画素であると判定する。
【００１９】
好ましくは、前記の第１及び第２の各係数は、それぞれ外部から設定可能である。
【発明の効果】
【００２０】
本発明による画像処理装置によれば、イメージセンサから画素データが出力されると、その画素データに対応する画素が不良画素であるか否かを判定する判定部と、判定部によって不良画素であると判定された画素の画素アドレスと、その画素が判定部によって不良画素であると判定された判定回数とを記憶する記憶部と、判定回数が所定の回数を超えた画素を不良画素として決定する決定部と、決定部によって不良画素であると決定された画素に対応する画素データを所定の方法で補完して出力する補完部とを備えるので、個別の不揮発性メモリを有しなくとも、イメージセンサにおける画素の白点不良及び黒点不良を誤りなく検出することができる。
【発明を実施するための最良の形態】
【００２１】
以下に、添付の図面を参照して本発明の実施の形態について説明する。
（実施の形態１）
図１は、本発明による画像処理装置の構成例を示すブロック図である。本発明による画像処理装置１は、例えばＣＣＤ等のイメージセンサによって撮像された画像をＵＳＢバスを介してホストコンピュータ２に伝送する際に用いられる。この画像処理装置１は、イメージセンサから入力された画素データに対して、その画素データに対応する画素が不良画素であるか否かを決定し、不良画素であると決定すると、その画素データを所定の方法で補完してホストコンピュータ２に出力する。図１に示されるように、画像処理装置１は、イメージセンサ部３、白点／黒点補正装置４、及びＵＳＢインタフェース部５（以下、「ＵＳＢＩ／Ｆ部５」という。）を備える。また、白点／黒点補正装置４は、白点／黒点記憶部６及び白点／黒点検出補完部７を備え、白点／黒点検出補完部７は、画素アドレス生成部８を備える。画像処理装置１の各構成要素であるイメージセンサ部３、白点／黒点補正装置４、及びＵＳＢＩ／Ｆ部５は、外部のタイミング信号生成部９から入力されるタイミング信号ＴＭに同期したタイミングでそれぞれ動作する。
【００２２】
イメージセンサ部３は、ＣＣＤやＣＭＯＳセンサ等の固体撮像素子からなるイメージセンサ（図示せず）を備える。イメージセンサは、垂直方向及び水平方向に配列された複数の画素からなる画素配列を備え、各画素に照射された光の量をそれぞれ電気信号に変換して出力する。イメージセンサから出力された各画素に対応するアナログ信号は、Ａ／Ｄコンバータ（図示せず）によって、それぞれデジタル信号に変換されて出力される。すなわち、イメージセンサ部３は、イメージセンサの各画素にそれぞれ対応する画素データＤｉｎを白点／黒点検出補完部７にそれぞれ出力する。
【００２３】
また、イメージセンサ部３は、垂直帰線期間信号ＶＢｌａｎｋと水平帰線期間信号ＨＢｌａｎｋとをそれぞれ出力する。図２は、垂直帰線期間信号ＶＢｌａｎｋと水平帰線期間信号ＨＢｌａｎｋとを説明するためのタイミングチャートである。これらの帰線期間信号ＶＢｌａｎｋ，ＨＢｌａｎｋは、それぞれＬｏｗ（Ｌ）レベルでアクティブである。垂直帰線期間信号ＶＢｌａｎｋは、イメージセンサ部３から有効な画素データが出力されている期間にＬレベルとなる。例えば、イメージセンサの有効画素数が６４０×４８０であるとき、垂直帰線期間信号ＶＢｌａｎｋは、６４０×４８０個の画素にそれぞれ対応する画素データが出力されている間Ｌレベルとなる。画素データは、一般に、イメージセンサの画素配列における一番上の水平ラインから一番下の水平ラインまで水平ライン毎に出力され、各水平ラインについては、左端の画素から右端の画素まで各画素に対応する画素データが順に出力される。よって、垂直帰線期間信号ＶＢｌａｎｋは、イメージセンサにおいて実際に撮像に利用される画素領域（以下、「有効画素領域」という。）の左上の画素の画素データが出力されてから、右下の画素の画素データが出力されるまでの期間にＬレベルとなる。一方、水平帰線期間信号ＨＢｌａｎｋは、イメージセンサの有効画素領域において各水平ラインにおける左端の画素から右端の画素まで各画素の画素データが出力される期間ＴにＬレベルとなる。画素アドレス生成部８は、イメージセンサ部３から出力された垂直帰線期間信号ＶＢｌａｎｋ及び水平帰線期間信号ＨＢｌａｎｋから画素データＤｉｎに対応する画素の画素アドレスを検出する。
【００２４】
また、垂直帰線期間信号ＶＢｌａｎｋ及び水平帰線期間信号ＨＢｌａｎｋは、ＵＳＢＩ／Ｆ部５にもそれぞれ入力される。これは、イメージセンサ部３から出力される画素データＤｉｎには、イメージセンサの有効画素領域以外の画素に対応した画素データも含まれるため、ＵＳＢＩ／Ｆ部５がそれらの画素データを識別して、ホストコンピュータ２に出力しないようにするためである。ＵＳＢＩ／Ｆ部５は、白点／黒点検出補完部７から出力された画素データＤｏｕｔをＵＳＢバスで伝送することができるように画素データＤｕｓｂに変換してホストコンピュータ２に出力する。
【００２５】
白点／黒点検出補完部７は、イメージセンサ部３から画素データＤｉｎが入力されると、その画素データＤｉｎに対応するイメージセンサの画素が白点不良画素、黒点不良画素及び正常画素のいずれであるかを判定し、その判定結果を示す判定データＤｅｔを白点／黒点記憶部６に出力する。また、白点／黒点検出補完部７における画素アドレス生成部８は、イメージセンサ部３から入力された垂直帰線期間信号ＶＢｌａｎｋと水平帰線期間信号ＨＢｌａｎｋとを用いて、入力された画素データＤｉｎに対応する画素の画素アドレスを検出し、その画素アドレスを示す画素アドレスデータＡｄを生成して、白点／黒点記憶部６に出力する。この画素アドレスデータＡｄは、例えば、イメージセンサの画素配列における垂直方向のアドレスＶａｄと水平方向のアドレスＨａｄとを用いて（Ｖａｄ，Ｈａｄ）と表現され、例えば、（０３３，０４５）、（１２４，０４８）等のように示される。白点／黒点記憶部６は、白点／黒点検出補完部７から出力された画素アドレスデータＡｄ及び判定データＤｅｔを用いて、その画素アドレスデータＡｄによって特定された画素の画素データＤｉｎに対して補完が必要であるか否かを判断し、その判断結果を示す補完要求信号Ｒｅｑを白点／黒点検出補完部７に出力する。白点／黒点検出補完部７は、白点／黒点記憶部６によって補完が必要であると判断された場合には、その画素データＤｉｎを補完して画素データＤｏｕｔとしてＵＳＢＩ／Ｆ部５に出力する。一方、白点／黒点記憶部６によって補完が必要でないと判断された場合には、画素データＤｏｕｔとしてイメージセンサ部３から入力された画素データＤｉｎをそのままＵＳＢＩ／Ｆ部５に出力する。
【００２６】
イメージセンサ部３のイメージセンサは、光の赤色成分のみを検知するＲ画素、青色成分のみを検知するＢ画素、及び緑色成分のみを検知するＧ画素から構成されている。図３は、イメージセンサの画素配列の一例を示した図である。図３に示された画素配列は、ベイヤー配列であり、この配列は、現在、ほとんどのイメージセンサで採用されている。図３に示されるように、ベイヤー配列では、水平方向にＲ画素とＧ画素が交互に配列された第１の水平ラインと、水平方向にＧ画素とＢ画素が交互に配列された第２の水平ラインがあり、それらの第１及び第２の各水平ラインが垂直方向に交互に配列されている。
【００２７】
図４は、白点／黒点検出補完部７の構成例を示すブロック図である。図４に示されるように、白点／黒点検出補完部７は、画素アドレス生成部８、白点／黒点判別部１１、５つの画素データ記憶部１２〜１６、画素補完部１７、及びマルチプレクサ（以下、「ＭＵＸ」という。）１８を備える。また、白点／黒点判別部１１は、係数記憶レジスタ１９を備える。イメージセンサ部３から入力された画素データＤｉｎは、まず、画素データ記憶部１２に記憶され、その後、イメージセンサ部３から画素データＤｉｎが入力される毎に、各画素データ記憶部１３〜１６に順にシフトされる。以下では、説明を簡単にするために、各画素データ記憶部１２〜１６に記憶された画素データを、それぞれ画素データｄ１２〜ｄ１６とする。例えば、イメージセンサの画素配列が図２に示されるようなベイヤー配列である場合、イメージセンサ部３は、ある水平ラインにおける赤色成分の明度を示す画素データＤｉｎと緑色成分の明度を示す画素データＤｉｎとを交互に出力し、次に、その下の水平ラインにおける緑色成分の明度を示す画素データＤｉｎと青色成分の明度を示す画素データＤｉｎとを交互に出力する。つまり、イメージセンサ部３は、同じ色成分の明度を示す画素データＤｉｎを１つおきに出力する。よって、画素データ記憶部１２，１４，１６がそれぞれ記憶する画素データｄ１２，ｄ１４，ｄ１６は、同じ色成分の明度を示す画素データであり、画素データ記憶部１３，１５がそれぞれ記憶する画素データｄ１３，ｄ１５は、同じ色成分の明度を示す画素データである。
【００２８】
白点／黒点検出補完部７において、画素データｄ１２，ｄ１４，ｄ１６は、白点／黒点判別部１１にそれぞれ入力される。白点／黒点判別部１１は、画素データｄ１４と、近接する同じ色成分の明度を示す画素データｄ１２，ｄ１６とを用いて、画素データｄ１４に対応する画素が白点不良画素、黒点不良画素、及び不良でない正常な画素のいずれであるかを判定する。具体的に、白点／黒点判別部１１は、画素データｄ１４について以下の式（１），（２）が満たされるか否かでそれを判定する。なお、Ｄ１２，Ｄ１４，Ｄ１６は、画素データｄ１２，ｄ１４，ｄ１６がそれぞれ示す画素の明度である。
Ｄ１４＞（Ｄ１２＋Ｄ１６）×ｋ１・・・・・（１）
Ｄ１４＜（Ｄ１２＋Ｄ１６）×ｋ２・・・・・（２）
ここで、各係数ｋ１，ｋ２は、係数記憶レジスタ１９にそれぞれ記憶された所定の定数である。
【００２９】
白点／黒点判別部１１は、式（１）が満たされる場合は、画素データｄ１４に対応する画素を白点不良画素であると判定し、式（２）が満たされる場合は、画素データｄ１４に対応する画素を黒点不良画素と判定し、式（１），（２）が両方とも満たされない場合は、画素データｄ１４に対応する画素を正常な画素であると判定する。そして、白点／黒点判別部１１は、判定結果を示す判定データＤｅｔを白点／黒点記憶部６に出力する。
【００３０】
また、画素アドレス生成部８は、上記判定データＤｅｔが出力されるタイミングと同じタイミングで、画素データｄ１４に対応する画素のアドレスを示すアドレスデータＡｄを出力する。
【００３１】
なお、白点不良を検出するための係数ｋ１及び黒点不良を検出するための係数ｋ２は、それぞれあまり小さい値に設定されると正常な画素まで不良画素と誤判断され、あまり高い値に設定されると逆に不良画素が正常な画素と誤判断されてしまう可能性がある。よって、各係数ｋ１，ｋ２の値は、イメージセンサ部３によって撮像された画像に応じて変更することができるように、外部から設定可能としてもよい。例えば、暗い画像が撮像された場合には、係数ｋ１の値を小さく、かつ係数ｋ２の値を大きくし、明るい画像が撮像された場合には、係数ｋ１の値を大きく、かつ係数ｋ２の値を小さくしてもよい。
【００３２】
一方、画素補完部１７には、画素データｄ１２，ｄ１６がそれぞれ入力される。画素補完部１７は、以下の式（３）で示されるように、入力された各画素データｄ１２，ｄ１６を用いて画素データｄ１４を補完した補完画素データｄｄ１４を生成し、ＭＵＸ１８に出力する。
ＤＤ１４＝（Ｄ１２＋Ｄ１６）／２・・・・・（３）
ここで、ＤＤ１４は、補完画素データｄｄ１４が示す画素の明度である。
【００３３】
また、ＭＵＸ１８には、画素データｄ１４、補完画素データｄｄ１４、及び補完要求信号Ｒｅｑが入力される。ここで、補完要求信号Ｒｅｑは、白点／黒点記憶部６が画素データｄ１４に対して補完が必要であるか否かを判断したその判断結果を示す信号である。例えば、白点／黒点記憶部６が画素データｄ１４に対して補完が必要であると判断した場合にＨレベルの補完要求信号Ｒｅｑを出力し、補完が必要でないと判断した場合にＬレベルの補完要求信号Ｒｅｑを出力する場合、ＭＵＸ１８は、Ｈレベルの補完要求信号Ｒｅｑが入力されると、画素データＤｏｕｔとして補完画素データｄｄ１４を出力し、Ｌレベルの補完要求信号Ｒｅｑが入力されると、画素データＤｏｕｔとして画素データｄ１４を出力する。
【００３４】
図５は、白点／黒点記憶部６の構成例を示すブロック図である。図５に示されるように、白点／黒点記憶部６は、判定コントロール部２１、先入れ先出しメモリ（以下、「ＦＩＦＯメモリ」という。）２２、及び判定比較部２３を備える。また、判定比較部２３は、回数記憶レジスタ２４を備える。判定コントロール部２１は、ＦＩＦＯメモリ２２に対してデータの読み出し及び書き込みを行う。判定コントロール部２１には、白点／黒点検出補完部７から、画素データｄ１４に対応する画素アドレスデータＡｄとその画素データｄ１４に対応する画素が白点不良画素、黒点不良画素及び正常画素のいずれであるかを示す判定データＤｅｔとが入力される。判定コントロール部２１の動作については、後で詳細に説明する。
【００３５】
ＦＩＦＯメモリ２２は、不良画素のデータを記憶する。図６は、ＦＩＦＯメモリ２２に記憶されたデータのデータ構造の一例を示している。このデータ構造では、白点／黒点判別部１１によって不良画素であると判定された画素の画素アドレスが、小さいものから順に並べられている。また、図６に示されるように、このデータ構造では、その画素アドレスに対応する画素が黒点不良画素及び白点不良画素のどちらであるかを示す白点／黒点データと、その画素が不良画素と判定された判定回数を示す判定回数データとが、各画素アドレスに関連付けて記憶されている。画素アドレスのデータは、イメージセンサ部３のイメージセンサが、例えば３０万画素のＶＧＡクラスのイメージセンサである場合、１０ビットの水平アドレスデータと９ビットの垂直アドレスデータとからなる。また、白点／黒点データは、１ビットのデータで構成される。なお、ＦＩＦＯメモリ２２の容量は、イメージセンサ部３のイメージセンサについて想定される不良画素の個数によって定められる。例えば、不良画素の個数により定められたイメージセンサのグレードに応じて定められてもよい。また、以下の説明では、簡単のために、ＦＩＦＯメモリ２２に記憶された画素アドレスを「ＦＩＦＯ画素アドレス」という。
【００３６】
判定比較部２３は、入力された画素アドレスデータＡｄが示す画素アドレス（以下、「現画素アドレス」という。）に関連したデータＤＭを、ＦＩＦＯメモリ２２から読み出す。そして、そのデータＤＭに含まれている判定回数ｍと、回数記憶レジスタ２４に記憶された所定の回数ｓとを比較することにより、現画素アドレスに対応する画素が不良画素であるか否かを判断する。ここで、ｍ，ｓは、それぞれ０以上の整数である。具体的に、ｓ＜ｍが成り立つ場合には、現画素アドレスに対応する画素が不良画素であると決定し、補完が必要であると判断する。ｓ≧ｍが成り立つ場合には、現画素アドレスに対応する画素が正常画素であると決定し、補完が不要であると判断する。なお、所定の回数ｓは、イメージセンサ部３によって撮像された画像に応じて変更できる構成が望ましい。判定比較部２３は、その判断結果に応じて補完要求信号Ｒｅｑを出力する。
【００３７】
次に、判定コントロール部２１の動作について詳細に説明する。図７は、判定コントロール部２１の動作を説明するフローチャートである。判定コントロール部２１は、まず、ＦＩＦＯメモリ２２をリセットする（ステップＳ１）。具体的に、判定コントロール部２１は、ＦＩＦＯメモリ２２内の全てのアドレスデータを（ｍａｘＸ，ｍａｘＹ）とし、全ての判定回数データを「０ｈ」、すなわち「０回」とする。ここで、（ｍａｘＸ，ｍａｘＹ）は、イメージセンサの有効画素領域における画素の画素アドレスの最大値である。例えば、イメージセンサの有効画素数が６４０×４８０であるとき、（ｍａｘＸ，ｍａｘＹ）は、（６４０，４８０）となる。次に、判定コントロール部２１は、ＦＩＦＯメモリ２２においてリードアクセスするアドレスを指定するリードポインタを、ＦＩＦＯメモリ２２の最初のアドレスに設定する（ステップＳ２）。
【００３８】
次に、判定コントロール部２１は、ＦＩＦＯメモリ２２が一旦リセットされた後そのＦＩＦＯメモリ２２にデータが書き込まれたことがあるか否かによって、異なる処理を行う。よって、判定コントロール部２１は、ＦＩＦＯメモリ２２を一旦リセットした後の書き込み回数を内部レジスタに記憶しておいてもよい。書き込み回数が０である場合には（ステップＳ３においてＹＥＳ）、図８に示された書き込み処理を行う。
【００３９】
図８は、一旦リセットされたＦＩＦＯメモリ２２に最初にデータを書き込む場合の判定コントロール部２１の動作を説明したフローチャートである。図８に示されるように、判定コントロール部２１は、まず、入力された画素アドレスデータＡｄから、現画素アドレス（Ｖａｄ，Ｈａｄ）を取得する（ステップＳ２１）。そして、その現画素アドレスの垂直方向アドレスＶａｄとｍａｘＹとを比較する（ステップＳ２２）。ここで、「ｍａｘＹ」とは、有効画素領域における垂直方向の最大アドレスである。現画素アドレスの垂直方向アドレスＶａｄがｍａｘＹよりも大きい場合には（ステップＳ２２においてＹＥＳ）、ステップＳ２に戻る。一方、垂直方向アドレスＶａｄがｍａｘＹ以下の場合には（ステップＳ２２においてＮＯ）、判定データＤｅｔを用いて現画素アドレスに対応する画素が不良画素であるか否かを判断する（ステップＳ２３）。現画素アドレスに対応する画素が不良画素でない場合には（ステップＳ２３においてＮＯ）、ステップＳ２１に戻り、次に入力される画素アドレスデータＡｄが示す画素アドレスを取得する。
【００４０】
一方、現画素アドレスに対応する画素が不良画素である場合には（ステップＳ２３においてＹＥＳ）、ＦＩＦＯメモリ２２に新しい不良画素のデータを書き込む。具体的には、ＦＩＦＯメモリ２２の各アドレスに記憶されているデータをそのアドレスの次のアドレスにシフトさせる（ステップＳ２４）。すなわち、現在リードポインタによって指定されているアドレスが空になる。そして、リードポインタによって指定されているアドレスに、現画素アドレス、白点／黒点データ、及び判定回数を書き込む（ステップＳ２５）。ここで、判定回数は、「１ｈ」として書き込まれる。その後、リードポインタを、データが書き込まれたＦＩＦＯ画素アドレスの次のアドレスに進めて（ステップＳ２６）、ステップＳ２１に戻る。そして、次の画素アドレスを示す画素アドレスデータＡｄが入力される毎に、ステップＳ２１〜Ｓ２６を繰り返し、現画素アドレスの垂直方向アドレスＶａｄがｍａｘＹよりも大きくなったとき、ステップＳ２に戻る。
【００４１】
再び図７を参照すると、ステップＳ３において、書き込み回数が０でない場合には（ステップＳ３においてＮＯ）、入力された画素アドレスデータＡｄから、現画素アドレス（Ｖａｄ，Ｈａｄ）を取得し（ステップＳ４）、その現画素アドレスの垂直方向アドレスＶａｄとｍａｘＹとを比較する（ステップＳ５）。現画素アドレスの垂直方向アドレスＶａｄがｍａｘＹよりも大きい場合には（ステップＳ５においてＹＥＳ）、ステップＳ２に戻る。一方、垂直方向アドレスＶａｄがｍａｘＹ以下の場合には（ステップＳ５においてＮＯ）、リードポインタによって指定されているアドレスのデータＤＭを読み出す（ステップＳ６）。次に、読み出したデータに含まれているＦＩＦＯ画素アドレスと、現画素アドレスとを比較する（ステップＳ７）。そして、現画素アドレスがＦＩＦＯ画素アドレスよりも小さい場合には、判定データＤｅｔを用いて現画素アドレスに対応する画素が不良画素であるかどうかを判断し（ステップＳ８）、不良画素でない場合には（ステップＳ８においてＮＯ）、ステップＳ４に戻り、次に入力される画素アドレスデータＡｄが示す画素アドレスを取得する。現画素アドレスに対応する画素が不良画素である場合には（ステップＳ８においてＹＥＳ）、ＦＩＦＯメモリ２２がＦＵＬＬ状態であるか否かを判断する（ステップＳ９）。この判断には、例えば、上記内部レジスタに記憶されている書き込み回数データを用いてもよい。この書き込み回数データが、ＦＩＦＯメモリ２２に書き込み可能なデータ数よりも小さい場合にはＦＩＦＯメモリ２２がいまだ書き込み可能であると判断する。この書き込み可能なデータ数は、予め別の内部レジスタに記憶されていてもよい。
【００４２】
ステップＳ９において、ＦＩＦＯメモリ２２がＦＵＬＬ状態でないと判断されると（ステップＳ９においてＮＯ）、ＦＩＦＯメモリ２２に新しい不良画素のデータを書き込む。
具体的に、ＦＩＦＯメモリ２２の現在リードポインタによって指定されているアドレス以降の各アドレスに記憶されているデータをそのアドレスの次のアドレスにシフトさせる（ステップＳ１０）。すなわち、現在リードポインタによって指定されているアドレスが空になる。そして、リードポインタによって指定されているアドレスに、現画素アドレス、白点／黒点データ、及び判定回数（値１ｈ）を書き込む（ステップＳ１１）。その後、リードポインタを、データが書き込まれたＦＩＦＯ画素アドレスの次のアドレスに進めて（ステップＳ１２）、ステップＳ４に戻る。一方、ＦＩＦＯメモリ２２がＦＵＬＬ状態であると判断されると（ステップＳ９においてＹＥＳ）、リードポインタをＦＩＦＯメモリ２２における次のアドレスに進めて（ステップＳ１３）、ステップＳ４に戻る。
【００４３】
ステップＳ７において、ＦＩＦＯ画素アドレスと現画素アドレスとを比較した結果、ＦＩＦＯ画素アドレスと現画素アドレスが一致する場合（ステップＳ７において「＝」）、判定コントロール部２１は、判定データＤｅｔを用いて現画素アドレスに対応する画素が不良画素であるかどうかを判断する（ステップＳ１４）。不良画素でない場合には（ステップＳ１４においてＮＯ）、リードポインタを次のアドレスに進めて（ステップＳ１５）、ステップＳ４に戻る。現画素アドレスに対応する画素が不良画素である場合には（ステップＳ１４においてＹＥＳ）、リードポインタによって指定されているアドレスに記憶された判定回数データを更新する（ステップＳ１６）。例えば、ＦＩＦＯメモリ２２に記憶された判定回数データが「３ｈ」であれば、「４ｈ」にする。その後、リードポインタを次のアドレスに進めて（ステップＳ１７）、ステップＳ４に戻る。
【００４４】
以上のフローチャートの説明において、現画素アドレスの垂直方向アドレスＶａｄがｍａｘＹより大きい場合とは、イメージセンサによって撮像された１つのシーンについて全ての画素データの処理が終了した場合であり、その場合には、次に撮像されたシーンについて画素データの処理を行うために、リードポインタをＦＩＦＯメモリ２２の最初のアドレスに設定する。以上のように、本実施の形態による画像処理装置は、イメージセンサによって撮像された複数のシーンについて各シーンの撮像に使用された全ての画素に対して白点不良及び黒点不良を検出するため、１つのシーンのみから不良画素を検出するものと異なり、イメージセンサの不良画素を正確に検出することができる。これにより、不良画素ではない明度の高い又は低い非常に細い線や非常に小さい点が不良画素と誤判断されることを防止することができる。これは、画像に動きがある場合、すなわちシーン毎に各画素の明度が大きく異なる場合等に非常に有効である。
【００４５】
また、本実施の形態による画像処理装置において、係数記憶レジスタ１９に記憶された係数ｋ１，ｋ２、及び回数記憶レジスタ２４に記憶された所定の回数ｓを外部から設定可能にすれば、全体に暗い又は全体に明るい等の撮影環境に応じてその係数ｋ１，ｋ２及び回数ｓを変更することにより、白点不良及び黒点不良をより正確に検出することができる。例えば、全体に撮影環境が暗い場合に白点不良を検出しやすくなるように、外部から係数ｋ１，ｋ２をそれぞれ大きな値及び小さい値に変更することができれば、不良画素の判定をより正確に行うことができる。
【００４６】
さらに、本実施の形態による画像処理装置は、イメージセンサの不良画素の位置を予め記憶させておく必要がないので、個別の不揮発性メモリが不要となりコストの低減が図れるとともに、出荷前に不良画素の位置を不揮発性メモリに記憶させるといった煩雑な処理をする必要がなくなる。また、ＦＩＦＯメモリ２２の容量を変化させることにより、不良画素が多いイメージセンサも使用することができるため、使用するイメージセンサの制限がなくなる。これにより、より価格の低いイメージセンサを使用することができ、画像処理装置全体の費用も安くすることができる。
【図面の簡単な説明】
【００４７】
【図１】本発明による画像処理装置の構成例を示すブロック図である。
【図２】垂直帰線期間信号ＶＢｌａｎｋと水平帰線期間信号ＨＢｌａｎｋとを説明するためのタイミングチャートである。
【図３】イメージセンサ部３におけるイメージセンサの画素配列の一例を示した図である。
【図４】白点／黒点検出補完部７の構成例を示すブロック図である。
【図５】白点／黒点記憶部６の構成例を示すブロック図である。
【図６】ＦＩＦＯメモリ２２に記憶されたデータのデータ構造の一例を示した図である。
【図７】判定コントロール部２１の動作を説明するフローチャートである。
【図８】一旦リセットされたＦＩＦＯメモリ２２に最初にデータを書き込む場合の判定コントロール部２１の動作を説明したフローチャートである。
【符号の説明】
【００４８】
１  画像処理装置
２  ホストコンピュータ
３  イメージセンサ部
４  白点／黒点補正装置
５  ＵＳＢＩ／Ｆ部
６  白点／黒点記憶部
７  白点／黒点検出補完部
８  画素アドレス生成部
９  タイミング信号生成部
１１  白点／黒点判別部
１２〜１６  画素データ記憶部
１７  画素補完部
１８  ＭＵＸ
１９  係数記憶レジスタ
２１  判定コントロール部
２２  ＦＩＦＯメモリ
２３  判定比較部
２４  回数記憶レジスタ
Ａｄ  アドレスデータ
Ｄｉｎ，Ｄｏｕｔ，Ｄｕｓｂ  画素データ
Ｄｅｔ  判定データ
Ｒｅｑ  補完要求信号
ＶＢｌａｎｋ  垂直帰線期間信号
ＨＢｌａｎｋ  水平帰線期間信号
ＴＭ  タイミング信号
【図１】
2006339986.tif 000003
【図２】
2006339986.tif 000004
【図３】
2006339986.tif 000005
【図４】
2006339986.tif 000006
【図５】
2006339986.tif 000007
【図６】
2006339986.tif 000008
【図７】
2006339986.tif 000009
【図８】
2006339986.tif 000010