(57)【要約】【課題】画像データの隣接する分割読出領域の重複領域部分に欠陥画素が存在した場合にのみ、画素欠陥補正補正のために必要な画像データを記憶部から読み出すことにより、画素欠陥補正処理による画像処理速度の低下を軽減する。【解決手段】本発明の画素欠陥補正装置は、記憶部２に格納した画像データを分割読み出しして画像処理する画像処理部５と、記憶部２から読み出した画像データを画像処理部５に入力する前に、欠陥画素に対応する画像データの補正を行う欠陥補正部６とを備え、欠陥補正部６により欠陥画素に対応する画像データの補正を行う際に、欠陥位置検出部４により検出した前記欠陥画素の位置に基づいて、境界部読出制御部７による隣接する境界部の画像データの読み出し制御を変更する。【選択図】図１
2010016627.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子と、
前記撮像素子の出力信号である画像データを格納する記憶部と、
前記撮像素子の欠陥画素の位置を記憶する欠陥位置記憶部と、
前記記憶部から読み出した画像データ上の前記欠陥画素の位置を検出する欠陥位置検出部と、
前記記憶部に格納した画像データを分割読み出しして画像処理する画像処理部と、
前記分割読み出しした画像データの、隣接する境界部の画像データの読み出し制御を行う境界部読出制御部と、
前記記憶部から読み出した画像データを前記画像処理部に入力する前に、欠陥画素に対応する画像データの補正を行う欠陥補正部と、
前記画像処理部から出力される画像データを記録する記録部と、
を備え、
前記欠陥補正部により欠陥画素に対応する画像データの補正を行う際に、前記欠陥位置検出部により検出した前記欠陥画素の位置に基づいて、前記境界部読出制御部による前記隣接する境界部の画像データの読み出し制御を変更することを特徴とする画素欠陥補正装置。
【請求項２】
前記境界部読出制御部は、欠陥補正済画像データを記憶する補正済データ記憶部を有しており、前記記憶部に格納した画像データを分割読み出しして欠陥画素に対応する画像データの補正を行う際に、隣接する分割読出領域の重複部の欠陥補正済画像データを前記補正済データ記憶部に記憶することを特徴とする請求項１に記載の画素欠陥補正装置。
【請求項３】
前記境界部読出制御部は、欠陥補正済画像データを記憶する補正済データ記憶部と、欠陥画素に対応する画像データの補正のためのデータ読み出しを制御するデータ読出領域制御部とを有しており、前記記憶部に格納した画像データを分割読み出しして欠陥画素に対応する画像データの補正を行う際に、隣接する分割読出領域の重複部の欠陥補正済画像データを前記欠陥画素に対応する所定数だけ前記補正済画像データ記憶部に記憶するとともに、所定数を超える欠陥画素が存在した場合には、前記データ読出領域制御部により制御されたデータ読出領域に対応する境界部の画像データの読み出しを行うことを特徴とする請求項１に記載の画素欠陥補正装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，ＣＣＤやＣＭＯＳイメージセンサ等の撮像素子における欠陥画素の出力信号である画像データを補正する画素欠陥補正装置に関するものである。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置で撮像部として用いられているＣＣＤやＣＭＯＳイメージセンサ等の撮像素子においては、出力信号中に白点または黒点と呼ばれる欠陥画素が観測されることがある。欠陥画素がある場合には、その欠陥画素から正常な画像データを得ることができない。したがって、その欠陥画素の周囲に位置する画素の画素値を用いて、その欠陥画素の画像データを補正する必要がある。
【０００３】
従来、このような欠陥画素の問題を解決する１つの方法として、撮像素子における欠陥画素に隣接する近傍画素群の出力信号を単純に加算平均することによって欠陥画素の出力信号の補正値を算出し、その補正値を用いて欠陥画素の出力信号の信号レベル（画素値）を決定することにより、欠陥画素の出力信号を補正する方法（例えば特許文献１参照）がある。
【０００４】
【特許文献１】特開平７−３３６６０５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上記従来技術は、上述したような方法で欠陥画素の出力信号を補正する場合には、欠陥画素の周囲データ（欠陥画素に隣接する近傍画素群の出力信号）が必要であるため、補正のために欠陥画素の周囲データを余分に読み込む必要があり、画像処理速度の低下を招いてしまう。
【０００６】
本発明は、画像データを分割読出領域毎に画像処理する際に、隣接する分割読出領域の重複領域部分に欠陥画素が存在した場合にのみ、画素欠陥補正のために必要な画像データを記憶部から読み出すことにより、画素欠陥補正処理による画像処理速度の低下を軽減することができる画素欠陥補正装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明の請求項１に係る画素欠陥補正装置は、撮像素子と、前記撮像素子の出力信号である画像データを格納する記憶部と、前記撮像素子の欠陥画素の位置を記憶する欠陥位置記憶部と、前記記憶部から読み出した画像データ上の前記欠陥画素の位置を検出する欠陥位置検出部と、前記記憶部に格納した画像データを分割読み出しして画像処理する画像処理部と、前記分割読み出しした画像データの、隣接する境界部の画像データの読み出し制御を行う境界部読出制御部と、前記記憶部から読み出した画像データを前記画像処理部に入力する前に、欠陥画素に対応する画像データの補正を行う欠陥補正部と、前記画像処理部から出力される画像データを記録する記録部と、を備え、前記欠陥補正部により欠陥画素に対応する画像データの補正を行う際に、前記欠陥位置検出部により検出した前記欠陥画素の位置に基づいて、前記境界部読出制御部による前記隣接する境界部の画像データの読み出し制御を変更することを特徴とする。
【０００８】
本発明の請求項２に係る画素欠陥補正装置は、前記境界部読出制御部は、欠陥補正済画像データを記憶する補正済データ記憶部を有しており、前記記憶部に格納した画像データを分割読み出しして欠陥画素に対応する画像データの補正を行う際に、隣接する分割読出領域の重複部の欠陥補正済画像データを前記補正済データ記憶部に記憶することを特徴とする。
【０００９】
本発明の請求項３に係る画素欠陥補正装置は、前記境界部読出制御部は、欠陥補正済画像データを記憶する補正済データ記憶部と、欠陥画素に対応する画像データの補正のためのデータ読み出しを制御するデータ読出領域制御部とを有しており、前記記憶部に格納した画像データを分割読み出しして欠陥画素に対応する画像データの補正を行う際に、隣接する分割読出領域の重複部の欠陥補正済画像データを前記欠陥画素に対応する所定数だけ前記補正済画像データ記憶部に記憶するとともに、所定数を超える欠陥画素が存在した場合には、前記データ読出領域制御部により制御されたデータ読出領域に対応する境界部の画像データの読み出しを行うことを特徴とする。
【発明の効果】
【００１０】
本発明の請求項１に係る画素欠陥補正装置によれば、記憶部から分割して読み出した画像データを画像処理部に入力する前に、欠陥補正部により欠陥画素に対応する画像データの補正を行う際、欠陥位置検出部により検出した前記欠陥画素の位置に基づいて、境界部読出制御部による隣接する境界部の画像データの読み出し制御を変更するから、欠陥画素に対応する画像データの補正に必要な画像データの読出量を減らすことができ、画素欠陥補正装置の処理速度を向上させることができる。
【００１１】
本発明の請求項２に係る画素欠陥補正装置によれば、前記境界部読出制御部は、欠陥補正済画像データを記憶する補正済データ記憶部を有しており、前記記憶部に格納した画像データを分割読み出しして欠陥画素に対応する画像データの補正を行う際に、隣接する分割読出領域の重複部の欠陥補正済画像データを前記補正済データ記憶部に記憶するから、一旦補正した欠陥補正済画像データを所定数記憶しておいてその欠陥補正済画像データを再利用することにより、欠陥画素に対応する画像データの補正に必要な画像データを前記記憶部から読み出す量を減らすことができ、画素欠陥補正装置の処理速度を向上させることができる。
【００１２】
本発明の請求項３に係る画素欠陥補正装置によれば、前記境界部読出制御部は、欠陥補正済画像データを記憶する補正済データ記憶部と、欠陥画素に対応する画像データの補正のためのデータ読み出しを制御するデータ読出領域制御部とを有しており、前記記憶部に格納した画像データを分割読み出しして欠陥画素に対応する画像データの補正を行う際に、隣接する分割読出領域の重複部の欠陥補正済画像データを前記欠陥画素に対応する所定数だけ前記補正済画像データ記憶部に記憶するとともに、所定数を超える欠陥画素が存在した場合には、前記データ読出領域制御部により制御されたデータ読出領域に対応する境界部の画像データの読み出しを行うから、一旦補正した欠陥補正済画像データを所定数記憶しておいてその欠陥補正済画像データを再利用することにより、欠陥画素に対応する画像データの補正に必要な画像データを前記記憶部から読み出す量を減らすことができ、画素欠陥補正装置の処理速度を向上させることができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明を実施するための最良の形態を図面に基づき詳細に説明する。
【００１４】
［第１実施形態］
図１は本発明の画素欠陥補正装置の第１実施形態における構成を例示するブロック図である。本実施形態の画素欠陥補正装置は、撮像素子（固体撮像素子ともいう）１と、撮像素子１の出力信号である画像データを格納する記憶部２と、撮像素子の欠陥画素の位置を記憶する欠陥位置記憶部３と、記憶部２から読み出した画像データ上の前記欠陥画素の位置を検出する欠陥位置検出部４と、記憶部２に格納した画像データを処理単位毎に分割読み出しして画像処理する画像処理部５と、処理単位毎に分割読み出しした画像データの、隣接する境界部の画像データの読み出し制御を行う境界部読出制御部７と、記憶部２から読み出した画像データを画像処理部５に入力する前に、欠陥画素に対応する画像データの補正を行う欠陥補正部６と、画像処理部５から出力される画像データを記録する記録部８とを備えている。本実施形態の画素欠陥補正装置は、欠陥補正部６により欠陥画素に対応する画像データの補正を行う際に、欠陥位置検出部４により検出した画像データ上の欠陥画素の位置に基づいて、境界部読出制御部７による前記隣接する境界部の画像データの読み出し制御の制御内容を変更することを特徴としている。なお、欠陥位置記憶部３は、例えば撮像素子１の出力信号である画像データを画像処理することにより検出した、撮像素子の欠陥画素の位置情報を予め記憶しているものとする。
【００１５】
次に、本発明の第１実施形態の作用を図２（ａ），（ｂ）〜図９に基づいて説明する。
【００１６】
［画像データの処理単位］
図２（ａ）は第１実施形態の画素欠陥補正装置において画像データに対し画像処理および画素欠陥補正処理を行う際の処理単位を示す概念図であり、図２（ｂ）は図２（ａ）の処理単位の配置例を示す概念図である。撮像素子１により撮像した被写体の画像データをフレームメモリ等の記憶部２に格納（記憶）し、記憶部２に記憶した画像データを、図２（ａ）に示す処理単位のような小領域毎に分割読み出しして、画像処理部５で画像処理を行う。その際に、図２（ｂ）に示すような「画像処理のために必要な重複領域」が無いと、画像処理を行うことができない。そのため、画像データを処理単位毎に分割読み出しする際には、処理単位は所定の大きさの重複領域を有することになる。
【００１７】
［処理単位における欠陥画素および周囲画素の画素配列］
図３は第１実施形態の画素欠陥補正装置において画像データに対し画像処理および画素欠陥補正処理を行う際の処理単位における欠陥画素および周囲画素の画素配列を例示する図である。本実施形態では、処理単位として、欠陥画素（Ｒ３３）を中心に配置した５×５画素のブロックを用いる。欠陥画素（Ｒ３３）に対応する画像データを補正するためには、図３に示すような周辺画素に対応する画像データを読み込む必要がある。図３の周囲画素の画素配列は一例を示しており、画素欠陥補正処理に必要な周辺画素は、採用する補正アルゴリズにより変化する。また、各種画像処理のために、隣接する処理単位間には、画素欠陥補正処理に必要な上下２ラインおよび左右２画素よりも大きい周辺領域を重複領域として持つものとする。図２（ｂ）に示す処理単位の配置例は、垂直方向に重複領域が生じる例を示している。
【００１８】
［処理単位内の欠陥画素の位置検出動作および画像データの読み出し動作］
図４〜図６は第１実施形態の画素欠陥補正装置における処理単位内の欠陥画素の位置検出動作および画像データの読み出し動作を説明するための図である。
図４（ａ）に示す処理単位と、垂直下方向に隣接する処理単位（重複領域だけを図示している）との間に重複領域があり、その重複領域が４ラインを含んでいる場合、欠陥位置検出部４は、予め欠陥位置記憶部３に記憶されている欠陥画素の位置情報に基づいて、重複領域４ラインの上部の２ライン内に欠陥画素があるか否かを検出し、上部の２ライン内に欠陥画素がある場合には、境界部読出制御部７の中にある図示しないフラグを立てる。すなわち、図４（ｂ）に示すように重複領域最上部のラインに欠陥画素があった場合および図４（ｃ）に示すように重複領域最上部の次のラインに欠陥画素があった場合には、上記フラグを立てる。このフラグは、上部の２ラインの内のどちらのラインに欠陥画素があったのかを区別できるものとする。なお、重複領域４ラインの上部の２ライン内に欠陥画素がなかった場合には、フラグを立てない。
【００１９】
図５（ａ），（ｂ）は処理単位の重複領域４ラインの下部の２ライン内に欠陥画素があるか否かにより処理単位の垂直方向下側に隣接する処理単位の最上部のラインの画像データを読み込むか否か決めることを示す図である。すなわち、図５（ａ）に示すように、下部の２ラインの最後のラインの１ライン前に欠陥画素があった場合、画素欠陥補正処理のために処理単位の下側に隣接する処理単位の最上部の１ラインの画像データを読み出す。一方、図５（ｂ）に示すように、下部の２ラインの最後のラインに欠陥画素があった場合、画素欠陥補正処理のために、処理単位の下側に隣接する処理単位の最上部の２ラインの画像データを読み出す。なお、図５（ｃ）に示すように、重複領域４ラインの下部の２ライン内に欠陥画素がなかった場合には、処理単位の下側に隣接する処理単位内の画像データを読み出さない。
【００２０】
図４（ａ）に示す処理単位の下側に隣接する処理単位内において、欠陥画素の位置検出および画像データの読み出しを行う場合、上述した境界部読出制御部７のフラグが立っている場合には、図６（ａ），（ｂ）に示すように、処理単位の上側に隣接する処理単位の画像データを必要ライン数だけ読み出す。図６（ａ）は重複領域４ラインの最上部ラインに欠陥画素があった場合を示しており、この場合、画素欠陥補正処理のために、処理単位の上側に隣接する処理単位の下部の２ラインの画像データを読み出す。一方、図６（ｂ）は重複領域４ラインの最上部ラインの次のラインに欠陥画素があった場合を示しており、この場合、画素欠陥補正処理のために、処理単位の上側に隣接する処理単位の下部の１ラインの画像データを読み出す。なお、図６（ｃ）に示すように、重複領域４ラインの上部の２ライン内に欠陥画素がなかった場合には、処理単位の上側に隣接する処理単位内の画像データを読み出さない。
【００２１】
以上のように、画素欠陥補正処理に必要な画像データだけを読み出すこと（言い換えれば、画素欠陥補正処理に必要のない画像データを読み出さないこと）により、処理するデータ量を削減することができるので、画素欠陥補正処理の処理速度を向上させることができる。
【００２２】
次に、図４〜図６の処理単位内の欠陥画素の位置検出動作および画像データの読出動作に対応するフローチャートである図７〜図９について説明する。
【００２３】
［全体の流れ］
図７は第１実施形態および後述する第２実施形態の画素欠陥補正装置において実行する画素欠陥補正処理および画像処理の全体の流れを示すフローチャートである。まず、ステップＳ１０１では、処理単位内の画像データを読み出し、次のステップＳ１０２では、読み出した処理単位内にある欠陥画素に対応する画像データを補正する画素欠陥補正処理を行う。次のステップＳ１０３では、画素欠陥補正処理済みの画像データに対し画像処理部５により各種画像処理を施し、次のステップＳ１０４では、画像処理後の画像データを記録部８に記録する。
【００２４】
［画像データの読出動作］
図８は第１実施形態における図７のステップＳ１０１に対応する処理単位内の画像データの読出動作を示すフローチャートである。まず、ステップＳ２０１では、記憶部２から小領域である処理単位内の画像データの読み出しを開始する。次のステップＳ２０２では、画像データの最上段に位置する処理単位であるか否かを判定し、画像データの最上段に位置する処理単位でない場合にはステップＳ２０３に進む。一方、ステップＳ２０２の判定において、図２（ａ）に示すような画像データの最上段に位置する処理単位であった場合には、その処理単位の最上位ライン上に欠陥画素があったとしても垂直方向において前記最上位ラインの垂直方向上側に画像データが存在しないので、当該画像データを使用せずに画素欠陥補正処理を行うことにする。よって、境界部読出制御部７のフラグが立っていても、後述する「処理単位の上側に隣接する処理単位内の画像データを必要ライン数だけ読み出す動作」を行わないため、直ちにステップＳ２０６に進む。ステップＳ２０３では、境界部読出制御部７のフラグが立っているか否かを判定し、境界部読出制御部７のフラグが立っていればステップＳ２０４に進み、境界部読出制御部７のフラグが立っていなければ、必要のない画像データを読み込まないために、直ちにステップＳ２０６に進む。ステップＳ２０４では、上述した図６（ａ）〜（ｃ）に示すように、処理単位の上側に隣接する処理単位内の画像データを必要ライン数だけ読み出す。次のステップＳ２０５では、境界部読出制御部７のフラグをクリアする。
【００２５】
ステップＳ２０２のＹＥＳ，ステップＳ２０３のＮＯおよびステップＳ２０５の次のステップＳ２０６では、次の処理単位（ステップＳ２０１で読み出した処理単位の下側に隣接する処理単位）内の画像データの読み出しを行う。次のステップＳ２０７では、画像データの最下段に位置する処理単位であるか否かを判定し、画像データの最下段に位置する処理単位でない場合にはステップＳ２０８に進む。一方、ステップＳ２０７の判定において、画像データの最下段に位置する処理単位であった場合には、その処理単位の最下位ラインの垂直方向下側に画像データが存在しないので、画像データの読み出しを続けることができないため、直ちにステップＳ２１０に進む。ステップＳ２０８では、処理単位の重複領域４ラインの下部の２ライン内に欠陥画素があるか否かを判定し、処理単位の重複領域４ラインの下部の２ライン内に欠陥画素がある場合にはステップＳ２０９に進み、処理単位の重複領域４ラインの下部の２ライン内に欠陥画素がない場合には、必要のない画像データを読み込まないために、直ちにステップＳ２１０に進む。ステップＳ２０９では、上述した図５（ａ）〜（ｃ）に示すように、処理単位の下側に隣接する処理単位内の画像データを必要ライン数だけ読み出す。
ステップＳ２０７のＹＥＳ、ステップＳ２０８のＮＯおよびステップＳ２０９の次のステップＳ２１０では、上下のラインの画像データを含む処理単位内の画像データの読み出しが終了したか否かを判定し、上下のラインの画像データを含む処理単位内の画像データの読み出しが終了するまではステップＳ２０６以降の処理を実行して上下のラインの画像データを含む処理単位内の画像データの読み出しを繰り返し、上下のラインの画像データを含む処理単位内の画像データの読み出しが終了したら、画像データの読出動作を終了する。
【００２６】
図９は第１実施形態における図７のステップＳ１０２の画素欠陥補正処理を示すフローチャートである。なお、画素欠陥の位置情報は、予め欠陥位置記憶部３に記憶されているものとする。
まず、図９のステップＳ３０１では、欠陥位置記憶部３に記憶されている欠陥画素の位置情報に基づいて、欠陥位置検出部４により処理単位内の欠陥画素を検出する。
次のステップＳ３０２では、処理単位内に欠陥画素があったか否かを検出し、処理単位内に欠陥画素があった場合にはステップＳ３０３に進み、処理単位内に欠陥画素がなかった場合にはそのまま終了する。ステップＳ３０３では、隣接する処理単位間の重複領域における上部２ラインに欠陥画素があったか否かを判定し、上部２ラインに欠陥画素があった場合にはステップＳ３０４に進み、上部２ラインに欠陥画素がなかった場合にはステップＳ３０４をスキップして直ちにステップＳ３０５に進む。ステップＳ３０４では、当該処理単位に垂直方向に隣接する次の処理単位の画像データの読み出しのために、境界部読出制御部７のフラグを立てる。次のステップＳ３０５では、検出した欠陥画素に対応する画像データの画素欠陥補正処理を行う。次のステップＳ３０６では、全処理単位内の画素欠陥補正処理が終了したか否かを判定し、全処理単位内の画素欠陥補正処理が終了するまではステップＳ３０１に戻ってステップＳ３０１〜ステップＳ３０５の処理を繰り返し、全処理単位内の画素欠陥補正処理が終了したら、画素欠陥補正処理を終了する。
【００２７】
以上説明したように、第１実施形態の画素欠陥補正装置によれば、画像データを小領域の処理単位で画素欠陥補正処理する際に、処理単位間の重複領域に欠陥が存在した場合にのみ、当該画素欠陥補正処理のために必要なラインの画像データを記憶部から読み出すため、画素欠陥補正処理に必要な画像データだけを読み出すこと（言い換えれば、画素欠陥補正処理に必要のない画像データを読み出さないこと）により、画素欠陥補正処理するデータ量を削減することができる。したがって、画素欠陥補正処理による画像処理速度の低下を軽減して、画素欠陥補正処理の処理速度を向上させることができる。
【００２８】
［第２実施形態］
図１０は本発明の画素欠陥補正装置の第２施形態における構成を例示するブロック図である。本実施形態の画素欠陥補正装置は、図１に示す第１実施形態の画素欠陥補正装置に対し、境界部読出制御部７の構成を変更したものであり、それ以外の部分は第１実施形態の画素欠陥補正装置と同様に構成する。本実施形態の境界部読出制御部７は、所定の記憶容量を有し、欠陥補正済画像データを記憶する補正済データ記憶部９と、欠陥画素に対応する画像データの補正のためのデータ読み出しを制御する（言い換えれば、補正済データ記憶部９から欠陥補正済画像データを読み出すか、第１実施形態と同様にして画像データを読み出すかを制御する）データ読出領域制御部１０とを有するように構成されている。本実施形態における境界部読出制御部７は、記憶部２に格納した画像データを分割読み出しして欠陥画素に対応する画像データの補正を行う際に、隣接する分割読出領域の重複部の欠陥補正済画像データを所定数だけ補正済データ記憶部９に記憶するとともに、所定数を超える欠陥画素が存在した場合には、データ読出領域制御部１０により制御されたデータ読出領域に対応する境界部の画像データの読み出しを行う。
【００２９】
なお、上記において、欠陥画素数に対応する欠陥補正済画像データ量が補正済データ記憶部９の記憶容量の範囲内であることが予め分かっている場合、境界部読出制御部７が所定の記憶容量を持つ補正済データ記憶部９のみを有するように構成してもよい。その場合、境界部読出制御部７は、記憶部２に格納した画像データを分割読み出しして欠陥画素に対応する画像データの補正を行う際に、隣接する分割読出領域の重複部の欠陥補正済画像データを補正済データ記憶部９に記憶することになる。
【００３０】
次に、本発明の第２実施形態の作用を図１１（ａ），（ｂ）〜図１３に基づいて説明する。
【００３１】
［欠陥補正済画像データおよび画像データの読出動作］
図１１（ａ），（ｂ）は第２実施形態の画素欠陥補正装置における欠陥補正済画像データおよび画像データの読出動作を説明するための図である。図１１（ａ）は、処理単位の重複領域の最上部ラインに欠陥画素がある場合において、補正済データ記憶部９が残容量の関係でラインの途中までにある欠陥画素に対応する欠陥補正済画像データのみを格納している場合、それ以降の欠陥画素に対応する画像データの補正のために、図示のようなラインの途中から、処理単位の上側に隣接する処理単位内の２ラインの画像データを読み込むことを示している。図１１（ｂ）は、処理単位の重複領域の最上部の次の１ラインに欠陥画素がある場合において，補正済データ記憶部９が残容量の関係でラインの途中までにある欠陥画素に対応する欠陥補正済画像データのみを格納している場合、それ以降の欠陥画素に対応する画像データの補正のために、図示のようなラインの途中から、処理単位の上側に隣接する処理単位内の１ラインの画像データを読み込むことを示している。
【００３２】
次に、図１１（ａ），（ｂ）の欠陥補正済画像データおよび画像データの読出動作に対応するフローチャートである図１２および図１３について説明する。なお、全体の流れは図７に示す第１実施形態の全体の流れと同様である。
【００３３】
［画像データの読出動作］
図１２は第２実施形態における図７のステップＳ１０１に対応する処理単位内の画像データの読出動作を示すフローチャートである。まず、ステップＳ４０１では、記憶部２から小領域である処理単位内の画像データの読み出しを開始する。次のステップＳ４０２では、画像データの最上段に位置する処理単位であるか否かを判定し、画像データの最上段に位置する処理単位でない場合にはステップＳ４０３に進む。一方、ステップＳ４０２の判定において、図２（ａ）に示すような画像データの最上段に位置する処理単位であった場合には、その処理単位の最上位ライン上に欠陥画素があったとしても垂直方向において前記最上位ラインの垂直方向上側に画像データが存在しないので、当該画像データを使用せずに画素欠陥補正処理を行うことにする。よって、境界部読出制御部７のフラグが立っていても、後述する「処理単位の上側に隣接する処理単位内の画像データを必要ライン数だけ読み出す動作」を行わないため、直ちにステップＳ４１０に進む。ステップＳ４０３では、境界部読出制御部７のフラグが立っているか否かを判定し、境界部読出制御部７のフラグが立っていればステップＳ４０４に進み、境界部読出制御部７のフラグが立っていなければ、必要のない画像データを読み込まないために、直ちにステップＳ４１０に進む。ステップＳ４０４では、後述する記憶フラグが立っているか否かを判定し、記憶フラグが立っていればステップＳ４０５に進み、記憶フラグが立っていなければステップＳ４０８に進む。ステップＳ４０５では、境界部読出制御部７により、補正済データ記憶部９に格納（記憶）されている欠陥補正済画像データを読み出す。次のステップＳ４０６では、読み出した欠陥補正済画像データで欠陥画素の画像データを置き換える。なお、この置き換えに伴い、画像データを置き換えた位置（すなわち欠陥画素の位置）には補正済フラグを立てておき、後述する図１３のステップＳ５０１で「処理単位内の欠陥画素の検出」を行う際、補正済フラグの立っている欠陥位置は欠陥と認識せずに次の画素の欠陥検出動作に移り、上記補正済みフラグをクリアするものとする。次のステップＳ４０７では、記憶フラグをクリアし、欠陥補正済画像データのための記憶領域を開放する。一方、ステップＳ４０８では、上述した図６（ａ）〜（ｃ）に示すように、処理単位の上側に隣接する処理単位内の画像データを必要ライン数だけ読み出すか、あるいは、上述した図１１（ａ），（ｂ）に示すように、処理単位の上側に隣接する処理単位内の画像データを必要ライン数だけ、ラインの途中から最後までの範囲について読み出す。次のステップＳ４０９では、境界部読出制御部７のフラグをクリアする。
【００３４】
ステップＳ４０２のＹＥＳ，ステップＳ４０３のＮＯ，ステップＳ４０７およびステップＳ４０９の次のステップＳ４１０では、次の処理単位（ステップＳ４０１で読み出した処理単位の下側に隣接する処理単位）内の画像データの読み出しを行う。次のステップＳ４１１では、画像データの最下段に位置する処理単位であるか否かを判定し、画像データの最下段に位置する処理単位でない場合にはステップＳ４１２に進む。一方、ステップＳ４１１の判定において、画像データの最下段に位置する処理単位であった場合には、その処理単位の最下位ラインの垂直方向下側に画像データが存在しないので、画像データの読み出しを続けることができないため、直ちにステップＳ４１４に進む。ステップＳ４１２では、処理単位の重複領域４ラインの下部の２ライン内に欠陥画素があるか否かを判定し、処理単位の重複領域４ラインの下部の２ライン内に欠陥画素がある場合にはステップＳ４１３に進み、処理単位の重複領域４ラインの下部の２ライン内に欠陥画素がない場合には、必要のない画像データを読み込まないために、直ちにステップＳ４１４に進む。ステップＳ４１３では、上述した図５（ａ）〜（ｃ）に示すように、処理単位の下側に隣接する処理単位内の画像データを必要ライン数だけ読み出す。
ステップＳ４１１のＹＥＳ，ステップＳ４１２のＮＯおよびステップＳ４１３の次のステップＳ４１４では、上下のラインの画像データを含む処理単位内の画像データの読み出しが終了したか否かを判定し、上下のラインの画像データを含む処理単位内の画像データの読み出しが終了するまではステップＳ４１０以降の処理を実行して上下のラインの画像データを含む処理単位内の画像データの読み出し繰り返し、上下のラインの画像データを含む処理単位内の画像データの読み出しが終了したら、画像データの読出動作を終了する。
【００３５】
図１３は第２実施形態における図７のステップＳ１０２の画素欠陥補正処理を示すフローチャートである。なお、画素欠陥の位置情報は、予め欠陥位置記憶部３に記憶されているものとする。
まず、図１３のステップＳ５０１では、欠陥位置記憶部３に記憶されている欠陥画素の位置情報に基づいて、欠陥位置検出部４により処理単位内の欠陥画素を検出する。次のステップＳ５０２では、処理単位内に欠陥画素があったか否かを検出し、処理単位内に欠陥画素があった場合にはステップＳ５０３に進み、処理単位内に欠陥画素がなかった場合にはそのまま終了する。ステップＳ５０３では、隣接する処理単位間の重複領域における上部２ラインに欠陥画素があったか否かを判定し、上部２ラインに欠陥画素があった場合にはステップＳ５０４に進み、上部２ラインに欠陥画素がなかった場合にはステップＳ５０９に進む。ステップＳ５０４では、当該処理単位に垂直方向に隣接する次の処理単位の画像データの読み出しのために、境界部読出制御部７のフラグを立てる。次のステップＳ５０５では、検出した欠陥画素に対応する画像データの画素欠陥補正処理を行う。一方、上部２ラインに欠陥画素がなかった場合にステップＳ５０３のＮＯから進むステップＳ５０９では、境界部読出制御部７のフラグを立てずに、検出した欠陥画素に対応する画像データの画素欠陥補正処理を行う。
【００３６】
ステップＳ５０５の次のステップＳ５０６では、補正済データ記憶部９に残容量があるか否かを判定し、補正済データ記憶部９に残容量がある場合にはステップＳ５０７に進み、補正済データ記憶部９に残容量がない場合にはステップＳ５０７およびステップＳ５０８をスキップして直ちにステップＳ５１０に進む。ステップＳ５０７では、欠陥補正済画像データを補正済データ記憶部９に記憶し、次のステップＳ５０８では、該当する位置の欠陥補正済画像データの記憶フラグを補正済データ記憶部９に立てる。この補正済データ記憶部９の記憶フラグは、個々の欠陥画素について立てるフラグとするものとする。
ステップＳ５０６のＮＯ、ステップＳ５０８およびステップＳ５０９の次のステップＳ５１０では、全処理単位内の画素欠陥補正処理が終了したか否かを判定し、全処理単位内の画素欠陥補正処理が終了するまではステップＳ５０１に戻ってステップＳ５０１〜ステップＳ５０９の処理を繰り返し、全処理単位内の画素欠陥補正処理が終了したら、画素欠陥補正処理を終了する。
【００３７】
以上説明したように、第２実施形態の画素欠陥補正装置によれば、画像データを小領域の処理単位で画素欠陥補正処理する際に、処理単位間の重複領域に欠陥が存在した場合にのみ、当該画素欠陥補正処理のために必要なラインの画像データを記憶部から読み出すため、画素欠陥補正処理に必要な画像データだけを読み出すこと（言い換えれば、画素欠陥補正処理に必要のない画像データを読み出さないこと）により、また、一旦画素欠陥に対応して補正した欠陥補正済画像データを所定数記憶しておいてその欠陥補正済画像データを再利用することにより、画素欠陥補正処理するデータ量を削減することができる。したがって、画素欠陥補正処理による画像処理速度の低下を軽減して、画素欠陥補正処理の処理速度を向上させることができる。
【００３８】
なお、上記第１実施形態および上記第２実施形態の画素欠陥補正装置においては、画素欠陥補正処理のために必要な周辺画素を５×５画素として説明したが、これに限定されないことは言うまでもない。境界部読出制御部７のフラグは、処理単位中の欠陥のあるラインに立てても、個々の欠陥画素に対して立ててもよい。
また、上記第２実施形態の画素欠陥補正装置においては、補正済データ記憶部９に記憶できる欠陥補正済画像データが処理単位のラインの途中までの場合には、ラインの途中以降については処理単位の上側に隣接する処理単位内の必要ライン数の画像データを読み出して画素欠陥補正処理を行うようにしたが、「補正済データ記憶部９に記憶できる欠陥補正済画像データが処理単位のラインの途中までの場合には、当該処理単位では補正済データ記憶部９に記憶した欠陥補正済画像データを使わずに、当該ラインの全域について処理単位の上側に隣接する処理単位内の必要ライン数の画像データを読み出して画素欠陥補正処理を行う」ようにしてもよい。
【図面の簡単な説明】
【００３９】
【図１】本発明の画素欠陥補正装置の第１実施形態における構成を例示するブロック図である。
【図２】（ａ）は第１実施形態の画素欠陥補正装置において画像データに対し画像処理および画素欠陥補正処理を行う際の処理単位を示す概念図であり、（ｂ）は（ａ）の処理単位の配置例を示す概念図である。
【図３】第１実施形態の画素欠陥補正装置において画像データに対し画像処理および画素欠陥補正処理を行う際の処理単位における欠陥画素および周囲画素の画素配列を例示する図である。
【図４】（ａ）〜（ｃ）は第１実施形態の画素欠陥補正装置における処理単位内の欠陥画素の位置検出動作および画像データの読出動作を説明するための図である。
【図５】（ａ）〜（ｃ）は第１実施形態の画素欠陥補正装置における処理単位内の欠陥画素の位置検出動作および画像データの読出動作を説明するための図である。
【図６】（ａ）〜（ｃ）は第１実施形態の画素欠陥補正装置における処理単位内の欠陥画素の位置検出動作および画像データの読出動作を説明するための図である。
【図７】第１実施形態および第２実施形態の画素欠陥補正装置において実行する画素欠陥補正処理および画像処理の全体の流れを示すフローチャートである。
【図８】第１実施形態における図７のステップＳ１０１に対応する処理単位内の画像データの読出動作を示すフローチャートである。
【図９】第１実施形態における図７のステップＳ１０２の画素欠陥補正処理を示すフローチャートである。
【図１０】本発明の画素欠陥補正装置の第２施形態における構成を例示するブロック図である。
【図１１】（ａ），（ｂ）は第２実施形態の画素欠陥補正装置における欠陥補正済画像データおよび画像データの読出動作を説明するための図である。
【図１２】第２実施形態における図７のステップＳ１０１に対応する処理単位内の画像データの読出動作を示すフローチャートである。
【図１３】第２実施形態における図７のステップＳ１０２の画素欠陥補正処理を示すフローチャートである。
【符号の説明】
【００４０】
１  撮像素子（固体撮像素子）
２  記憶部
３  欠陥位置記憶部
４  欠陥位置検出部
５  画像処理部
６  欠陥補正部
７  境界部読出制御部
８  記録部
９  補正済データ記憶部
１０  データ読出領域制御部
【図１】
2010016627.tif 000003
【図２】
2010016627.tif 000004
【図３】
2010016627.tif 000005
【図４】
2010016627.tif 000006
【図５】
2010016627.tif 000007
【図６】
2010016627.tif 000008
【図７】
2010016627.tif 000009
【図８】
2010016627.tif 000010
【図９】
2010016627.tif 000011
【図１０】
2010016627.tif 000012
【図１１】
2010016627.tif 000013
【図１２】
2010016627.tif 000014
【図１３】
2010016627.tif 000015