(57)【特許請求の範囲】
【請求項１】
撮像素子と、前記撮像素子における欠陥画素の位置を相対的な距離で表した位置情報を含む欠陥画素情報を記憶する記憶手段と、前記欠陥画素情報を基に欠陥画素補正を行なう補正手段とを備える画像処理装置において、
前記撮像素子の全画素または全画素の一部の領域を読み出し領域として画素信号を順次読み出す読出手段を備え、
前記欠陥画素情報には、前記読出手段が前記全画素の画素信号を所定の読み出し方向に沿って読み出した場合に現れる前記全画素の一部に設定された部分読み出し領域と部分読み出し領域以外の領域との複数の境界にそれぞれ境界データが挿入され、前記欠陥画素の位置および前記境界データの位置を相対的な距離で表した位置情報が含まれ、
前記読出手段は、前記全画素の一部に設定された部分読み出し領域から画素信号を読み出す場合、前記境界データに設定された付帯情報に基づいて、画素信号の読み飛ばしを行い、
前記付帯情報には、前記読み出し方向に沿って現れる、読み出し領域外に存在する欠陥画素の画素データと境界データの数が含まれることを特徴とする画像処理装置。
【請求項２】
撮像素子と、前記撮像素子における欠陥画素の位置を相対的な距離で表した位置情報を含む欠陥画素情報を記憶する記憶手段と、前記欠陥画素情報を基に欠陥画素補正を行なう補正手段とを備える画像処理装置において、
前記撮像素子の全画素または全画素を複数の領域に分割した各領域を読み出し領域として画素信号を順次読み出す読出手段を備え、
前記欠陥画素情報には、前記読出手段が前記全画素の画素信号を所定の読み出し方向に沿って読み出した場合に現れる前記分割された領域間の複数の境界にそれぞれ境界データが挿入され、前記欠陥画素の位置および前記境界データの位置を相対的な距離で表した位置情報が含まれ、
前記読出手段は、前記分割された複数の領域のうち読み出し対象となる領域から画素信号を読み出す場合、前記境界データに設定された、前記読み出し対象となる領域以外の領域に存在する欠陥画素の位置および前記境界データの位置を相対的な距離で表した位置情報を読み飛ばすための付帯情報に基づいて、画素信号の読み飛ばしを行うことを特徴とする画像処理装置。
【請求項３】
前記欠陥画素情報には、前記欠陥画素の種類を区別するための情報が含まれることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記境界データは、前記読み出し領域が異なる場合でも、前記欠陥画素の位置および前記境界データの位置を相対的な距離で表した位置情報が異ならないように、前記欠陥画素情報に挿入されることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記欠陥画素情報には、前記補正手段により欠陥画素補正を行なわない画素の位置情報が含まれることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記欠陥画素情報から前記境界データを抽出する抽出手段をさらに備え、
前記読出手段は、前記全画素を読み出し領域として画像信号を読み出すときは、前記欠陥画素情報を使用し、前記全画素の一部の領域を読み出し領域として画像信号を読み出すときは、前記抽出手段により前記境界データが抽出された欠陥画素情報を使用することを特徴とする請求項１記載の画像処理装置。
【請求項７】
前記欠陥画素情報から前記境界データを抽出する抽出手段をさらに備え、
前記読出手段は、前記全画素を読み出し領域として画像信号を読み出すときは、前記欠陥画素情報を使用し、前記全画素を複数の領域に分割した領域を読み出し領域として画像信号を読み出すときは、前記抽出手段により前記境界データが抽出された欠陥画素情報を使用することを特徴とする請求項２記載の画像処理装置。
【請求項８】
撮像素子と、前記撮像素子における欠陥画素の位置を相対的な距離で表した位置情報を含む欠陥画素情報を記憶する記憶手段と、前記欠陥画素情報を基に欠陥画素補正を行なう補正手段とを備える画像処理装置の画像処理方法において、
前記撮像素子の全画素または全画素の一部の領域を読み出し領域として画素信号を順次読み出す読出工程を備え、
前記欠陥画素情報には、前記読出工程で前記全画素の画素信号を所定の読み出し方向に沿って読み出された場合に現れる前記全画素の一部に設定された部分読み出し領域と部分読み出し領域以外の領域との複数の境界にそれぞれ境界データが挿入され、前記欠陥画素の位置および前記境界データの位置を相対的な距離で表した位置情報が含まれ、
前記読出工程では、前記全画素の一部に設定された部分読み出し領域から画素信号を読み出す場合、前記境界データに設定された付帯情報に基づいて、画素信号の読み飛ばしを行い、
前記付帯情報には、前記読み出し方向に沿って現れる、読み出し領域外に存在する欠陥画素の画素データと境界データの数が含まれることを特徴とする画像処理方法。
【請求項９】
撮像素子と、前記撮像素子における欠陥画素の位置を相対的な距離で表した位置情報を含む欠陥画素情報を記憶する記憶手段と、前記欠陥画素情報を基に欠陥画素補正を行なう補正手段とを備える画像処理装置において、
前記撮像素子の全画素または全画素を複数の領域に分割した各領域を読み出し領域として画素信号を順次読み出す読出工程を備え、
前記欠陥画素情報には、前記読出工程で前記全画素の画素信号を所定の読み出し方向に沿って読み出された場合に現れる前記分割された領域間の複数の境界にそれぞれ境界データが挿入され、前記欠陥画素の位置および前記境界データの位置を相対的な距離で表した位置情報が含まれ、
前記読出工程では、前記分割された複数の領域のうち読み出し対象となる領域から画素信号を読み出す場合、前記境界データに設定された、前記読み出し対象となる領域以外の領域に存在する欠陥画素の位置および前記境界データの位置を相対的な距離で表した位置情報を読み飛ばすための付帯情報に基づいて、画素信号の読み飛ばしを行うことを特徴とする画像処理方法。
【請求項１０】
請求項８または９に記載の画像処理方法を画像処理装置に実行させるためのコンピュータに読み取り可能なプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および方法、並びにプログラムに関し、特に、固体撮像素子の製造工程で検出された欠陥画素の位置情報を撮影時に参照して画像を補正する技術に関する。
【背景技術】
【０００２】
近年、ビデオカメラやデジタルスチルカメラなどの撮像装置（画像処理装置）では、レンズ群を介して入射された光を電気信号に変換する半導体デバイスとして、ＣＣＤやＣＭＯＳ等の固体撮像素子が広く利用されている。
【０００３】
固体撮像素子（以下、単に「撮像素子」とする）では、製造過程で生じた結晶の欠陥などが原因で、入射した光を正常な電気信号に変換できなくなる欠陥画素が発生することがあり、こうした欠陥画素は歩留まりの低下を招く一因となっている。こうした問題に対して、製造工程で検出された欠陥画素の位置情報をメモリに記録しておき、撮影時に欠陥画素の位置情報を参照して画像補正することで正常な画像データを生成する方法が一般的に行われている。
【０００４】
しかしながら、欠陥画素の位置情報を記憶するメモリには限りがあるため、情報量を削減するためにさまざまな方法がとられている。例えば、欠陥画素間の相対距離を記憶する方法は、欠陥画素の位置情報を絶対座標でメモリに記憶するよりもビット数を削減することができる（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特公昭６０−０３４８７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記特許文献１では、撮像素子の全画素から画素信号を読み出す場合を前提として、欠陥画素間の相対距離がメモリに記憶されている。そのため、撮像素子の全画素の一部の領域から画素信号を読み出す場合には、欠陥画素間の相対距離が異なってくるので、読み出す領域の大きさ（範囲）に応じて複数の欠陥画素位置情報をメモリに記憶させる必要がある。この問題の具体例について図１１を用いて説明する。
【０００７】
図１１は、１８×８の撮像素子で検出された欠陥画素の位置の一例を示す図であり、×印は欠陥画素の位置を示す。図中の太枠で示す領域２０１は、撮像素子の全画素の一部の領域から画素信号を読み出す場合の部分読み出し領域を表している。
【０００８】
撮像素子の全画素から画素信号を読み出すときの読み出し順は、画素面の左上の座標（０，０）の画素を読み出し開始位置とし、読み出し開始位置から水平方向に順次画素信号が読み出される。画素面の右端まで到達した後は、１ライン下の左端の画素（座標（０，１））から水平方向に順次読み出される。この場合、例えば、欠陥画素２０２は、１つ前の欠陥画素２０３と８画素分離れているので、欠陥画素２０２と欠陥画素２０３との相対距離８が欠陥画素２０２の位置情報となる。
【０００９】
一方、領域２０１から画素信号を読み出すときの読み出し順は、領域２０１内の左上の座標（４，１）を読み出し開始位置とし、読み出し開始位置から水平方向に順次画素信号が読み出される。そして、領域２０１内の右端（例えば、座標（１１，１））まで到達した後は下のラインに移動し、同様に順次読み出しが行われる。このような部分読み出しの場合、例えば、欠陥画素２０２の１つ前に読み出される欠陥画素２０４と欠陥画素２０２との相対距離は１０である。
【００１０】
以上を踏まえて、単純に、メモリに記憶された欠陥画素の位置情報から領域２０１内の欠陥画素の位置情報のみを抜き出した場合、次の問題が生じる。
【００１１】
すなわち、メモリに記憶された欠陥画素２０２の位置情報は８であるから、この位置情報を利用して領域２０１から画素信号を読み出す場合、座標（７，５）の画素２０５の位置に欠陥画素があるものとして欠陥画素補正処理が行われてしまう。
【００１２】
そこで、欠陥画素の位置情報として、予め全画素読み出しモード時の位置情報と部分読み出しモード時の位置情報をそれぞれメモリに記憶しなければならない。
【００１３】
しかしながら、読み出しモードごとに欠陥画素の位置情報をメモリに記憶すると、情報量を削減するために、欠陥画素の位置情報として欠陥画素間の相対距離を記憶するという効果が損なわれてしまう。
【００１４】
また、全画素読み出しモード時の欠陥画素の位置情報のみをメモリに記憶し、読み出しモードごとに欠陥画素の位置情報をＣＰＵで計算させる方法も考えられるが、ＣＰＵの負荷が大きくなってしまう問題がある。
【００１５】
本発明は、上記問題に鑑みて成されたものであり、撮像素子に画素信号の読み出し領域が複数設定されている場合でも、欠陥画素の位置情報を読み出し領域ごとに用意することなく、欠陥画素の位置を特定できる技術を提供することを目的としている。
【課題を解決するための手段】
【００１６】
上記目的を達成するために、本発明の画像処理装置は、撮像素子と、前記撮像素子における欠陥画素の位置を相対的な距離で表した位置情報を含む欠陥画素情報を記憶する記憶手段と、前記欠陥画素情報を基に欠陥画素補正を行なう補正手段とを備える画像処理装置において、前記撮像素子の全画素または全画素の一部の領域を読み出し領域として画素信号を順次読み出す読出手段を備え、前記欠陥画素情報には、前記読出手段が前記全画素の画素信号を所定の読み出し方向に沿って読み出した場合に現れる前記全画素の一部に設定された部分読み出し領域と部分読み出し領域以外の領域との複数の境界にそれぞれ境界データが挿入され、前記欠陥画素の位置および前記境界データの位置を相対的な距離で表した位置情報が含まれ、前記読出手段は、前記全画素の一部に設定された部分読み出し領域から画素信号を読み出す場合、前記境界データに設定された付帯情報に基づいて、画素信号の読み飛ばしを行い、前記付帯情報には、前記読み出し方向に沿って現れる、読み出し領域外に存在する欠陥画素の画素データと境界データの数が含まれことを特徴とする。
【発明の効果】
【００１７】
本発明によれば、撮像素子に画素信号の読み出し領域が複数設定されている場合でも、欠陥画素の位置情報を読み出し領域ごとに用意することなく、メモリに記憶する情報量を削減し、ＣＰＵの負荷を軽減することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の第１の実施形態に係る画像処理装置の概略構成示すブロック図である。
【図２】（ａ）は第１の実施形態における画像処理方法を説明するための１８×８の撮像素子の一例を示す図、（ｂ）はＲＯＭに記憶される欠陥画素データの構成例を示す図である。
【図３】図１の画像処理装置における撮影動作の流れを示すフローチャートである。
【図４】図３のステップＳ６０２における第１の欠陥画素補正処理の流れを示すフローチャートである。
【図５】図３のステップＳ６０２における第２の欠陥画素補正処理の流れを示すフローチャートである。
【図６】第２の実施形態における画像処理方法を説明するための１８×８の撮像素子の一例を示す図である。
【図７】第３の実施形態における画像処理方法を説明するための１８×８の撮像素子の一例を示す図である。
【図８】第３の実施形態における第３の欠陥画素補正処理の流れを示すフローチャートである。
【図９】第４の実施形態における欠陥画素データの構成例を示す図である。
【図１０】第４の実施形態における欠陥画素データの抽出処理の流れを示すフローチャートである。
【図１１】欠陥画素を含む１８×８の撮像素子の一例を示す図である。
【発明を実施するための形態】
【００１９】
以下、本発明の実施の形態を図面を参照して詳細に説明する。
【００２０】
［第１の実施形態］
図１は、本発明の第１の実施形態に係る画像処理装置の概略構成を示すブロック図である。
【００２１】
図１において、画像処理装置は、撮像装置等から成り、撮影レンズ１０１、撮像素子１０２、Ａ／Ｄ変換器１０３、ＲＯＭ１０４、ＲＡＭ１０５、欠陥画素補正部１０６、ＣＰＵ１０８、ＤＳＰ１０７、ディスプレイ１０９、および記憶媒体１１０を備える。
【００２２】
撮影レンズ１０１は、光学レンズ等から成る。撮像素子１０２は、撮影レンズ１０１を介して入射された被写体の光学像を受光する部分である。撮像素子１０２には、ＣＭＯＳセンサやＣＣＤセンサなどの固体撮像素子から成る。Ａ／Ｄ変換器１０３は、撮像素子１０２から出力されたアナログ信号をデジタル信号に変換する。
【００２３】
ＲＯＭ１０４には、画像処理装置内の各部を制御するためのプログラムや画像処理に必要なパラメータ等が記憶される。また、ＲＯＭ１０４（第１の記憶手段、第２の記憶手段）には、撮像素子１０２の製造工程で検出された欠陥画素データ（欠陥画素情報）も記憶されている。この欠陥画素データには、撮像素子１０２における欠陥画素の位置を相対的な距離で表した欠陥画素位置情報が含まれている。ＲＯＭ１０４に記憶される欠陥画素データの詳細については後述する。
【００２４】
ＲＡＭ１０５は、画像データや、ＣＰＵ１０８が処理を行うためにデータが一時的に記憶されるメモリである。欠陥画素補正部１０６は、ＲＯＭ１０４に記憶されている欠陥画素データを元に欠陥画素を補正処理するものである。ＣＰＵ１０８は、システムの制御全般を行なう部分であり、例えば、ＲＯＭ１０４に記憶されているプログラムを読み出して実行する。
【００２５】
ＤＳＰ１０７は、各種画像処理を行うデジタル信号処理部であり、例えば、ホワイトバランス補正処理やＪＰＥＧなどへの画像フォーマットの変換処理等を行う。ディスプレイ１０９は、撮影した画像データを表示するための部分である。記憶媒体１１０には、例えば、ＤＳＰ１０７で生成された画像データが記憶される。
【００２６】
次に、ＲＯＭ１０４に記憶される欠陥画素データについて説明する。
【００２７】
図２（ａ）は、第１の実施形態における画像処理方法を説明するための１８×８の撮像素子の一例を示す図である。なお、本実施形態における撮像素子１０２は、１８×８の画素で構成されているものとするが、これに限定されるものではない。
【００２８】
図２（ａ）において、×印は欠陥画素の位置を示す。領域３０１は、部分読み出しモード時に読み出される領域を示す。部分読み出しモードは、撮像素子１０２の全画素の一部の領域３０１から画素信号を読み出すモードである。
【００２９】
領域３０１から画素信号を読み出すときの読み出し順は、領域３０１内の左上の座標（４，１）を読み出し開始位置とし、読み出し開始位置から水平方向に順次画素信号が読み出される。そして、領域３０１内の右端（例えば、座標（１１，１））まで到達した後は１ライン下の領域３０１内の左端から水平方向に順次読み出しが行なわれる。
【００３０】
一方、全画素の読み出しモードは、撮像素子１０２の全画素から画像信号を読み出すモードである。画素面の左上の座標（０，０）の画素を読み出し開始位置とし、読み出し開始位置から水平方向に順次画素信号が読み出される。画素面の右端まで到達した後は、１ライン下の左端の画素（座標（０，１））から水平方向に順次読み出しが行われる。
【００３１】
図中の▲印と●印は、領域３０１に対して、撮像素子の画素面の水平方向の境界に挿入された境界データの位置を示す。
【００３２】
図２（ｂ）は、ＲＯＭ１０４に記憶される欠陥画素データの構成例を示す図である。図示例では、図２（ａ）に示す撮像素子１０２に対応する欠陥画素データである。
【００３３】
欠陥画素データには、欠陥画素の位置情報として、欠陥画素間の相対距離が含まれる。例えば、撮像素子１０２に図２（ａ）に示す欠陥画素が存在する場合、欠陥画素３０２（ｏｆｆｓｅｔ）の位置情報は、一つ前の欠陥画素３０３との相対距離７となる。
【００３４】
また、欠陥画素データには、欠陥画素の種類を区別するためのＩＤが含まれる。ＩＤ１は、欠陥画素補正を行なう画素を示す。ＩＤ２は、欠陥画素補正を行なわない画素を示す。ＩＤ３は、領域３０１内の水平方向の右端の境界に挿入された境界データ（図２（ａ）の●印）を示す。ＩＤ４は、領域３０１外の水平方向の境界に挿入された境界データ（図２（ａ）の▲印）を示す。なお、ＩＤの数値については、重複しない値であれば、これらに限定されるものではない。
【００３５】
特に、欠陥画素の位置と境界データの挿入位置とが重複する場合、領域３０１内では、欠陥画素データは、例えば、欠陥画素３１３のように、相対距離０、ＩＤ１と、相対距離３、ＩＤ３となる。一方、領域３０１外の境界では、例えば、欠陥画素３１４のように、相対距離０、ＩＤ１と、相対距離６、ＩＤ４となる。
【００３６】
また、欠陥画素データには、付帯情報が含まれる。この付帯情報には、例えば、画素の欠陥の程度や後述する境界データの処理動作を決める値などが記憶される。図示例では、後述する処理において、部分読み出しモード時に読み飛ばす画素データの数が設定されている。例えば、欠陥画素３１３に対応するＩＤ３では、以降の欠陥画素の画素データと境界データを含む画素データを３つ読み飛ばす意味の付帯情報３が設定されている。以下に説明する画素データは、図２（ｂ）に示す欠陥画素データ（欠陥画素情報）を構成するものであり、欠陥画素補正を行う画素の画素データ、欠陥画素補正を行わない画素の画素データ、境界データを含むものとする。
【００３７】
また、欠陥画素データには、部分読み出しモード時の、欠陥画素データの読み出し開始アドレス（不図示）が設定されている。
【００３８】
次に、図１の画像処理装置における撮影動作について図３を用いて説明する。
【００３９】
図３は、図１の画像処理装置における撮影動作の流れを示すフローチャートである。
【００４０】
まず、ＣＰＵ１０８は、撮像素子１０２へのクロック信号の供給や欠陥画素補正部１０６へのパラメータの設定、欠陥画素データの読み出し開始アドレスの設定などの必要な初期化を行なう（ステップＳ６０１）。
【００４１】
次に、欠陥画素補正部１０６は、注目している画素が欠陥画素であるか否かを判定し、欠陥画素であるならば欠陥画素補正を行ない、有効な画素データを生成する（ステップＳ６０２）。本処理の詳細については後述する。
【００４２】
次に、ＤＳＰ１０７は、欠陥画素補正された画素データに対して各種画像処理を行う（ステップＳ６０３）。そして、各種画像処理された画素データが画像としてディスプレイ１０９へ表示され（ステップＳ６０４）、記憶媒体１１０へ画像データとして記録される（ステップＳ６０５）。
【００４３】
次に、図３のステップＳ６０２における第１の欠陥画素補正処理であって、撮像素子１０２の全画素を一括して読み出す全画素読み出しモード時の動作について図４を用いて詳細に説明する。
【００４４】
図４は、図３のステップＳ６０２における第１の欠陥画素補正処理（全画素読み出しモード時）の流れを示すフローチャートである。
【００４５】
欠陥画素補正処理を行うにあたり、欠陥画素補正部１０６は、ＲＯＭ１０４から欠陥画素データの読み出しを行う（ステップＳ７０１）。ここでは、欠陥画素データの先頭から順にデータが読み出される。
【００４６】
次に、欠陥画素補正部１０６は、撮像素子１０２における注目画素から画素データ（画素信号）の読み出しを行なう（ステップＳ７０２）。すべての画素データの読み出しが終了すると本処理を終了するが（ステップＳ７０３でＹＥＳ）、そうでなければ、ステップＳ７０４へ移行する。
【００４７】
ステップＳ７０４では、欠陥画素補正部１０６は、注目画素が欠陥画素か否かを、ステップＳ７０１で読み出した欠陥画素データから判定する。この判定結果から、注目画素が欠陥画素でなかった場合は、ステップＳ７０２で注目画素の位置を変えて次の画素データの読み出しを行う。
【００４８】
一方、注目画素が欠陥画素であった場合、欠陥画素補正部１０６は、欠陥画素データから欠陥画素の種類を表すＩＤを読み出し、注目画素が欠陥画素補正を行なう画素か否かの判定を行なう（ステップＳ７０５）。例えば、注目画素のＩＤが１であれば欠陥画素補正を行なう画素と判定し、それ以外のＩＤであれば欠陥画素補正を行なわない画素と判定する。
【００４９】
注目画素が欠陥画素補正を行なう画素であると判定した場合は、欠陥画素補正部１０６で欠陥画素補正を行う（ステップＳ７０６）。その後、ステップＳ７０１へ移行して、次の欠陥画素データの読み出しおよび次の画素データの読み出しが行われる（ステップＳ７０１，Ｓ７０２）。
【００５０】
一方、注目画素が、欠陥画素補正を行なわない画素であると判定した場合は、欠陥画素補正部１０６で欠陥画素補正を行なわず、ステップＳ７０１へ移行して、次の欠陥画素データおよび次の画素データの読み出しが行われる。
【００５１】
次に、図３のステップＳ６０２における第２の欠陥画素補正処理であって、撮像素子１０２の一部の領域を読み出す部分読み出しモード時の動作について図５を用いて詳細に説明する。
【００５２】
図５は、図３のステップＳ６０２における第２の欠陥画素補正処理（部分読み出しモード時）の流れを示すフローチャートである。
【００５３】
まず、欠陥画素補正部１０６は、ＲＯＭ１０４に記憶されている欠陥画素データの読み出し開始アドレスを読み出して、領域３０１の先頭画素に移動する（ステップＳ８０１）。
【００５４】
次に、欠陥画素補正部１０６は、ＲＯＭ１０４から欠陥画素データの読み出しを行う（ステップＳ８０２）。ここで欠陥画素補正部１０６は、画素データの読出手段として機能し、欠陥画素データの先頭から順に情報を読み出す（以下、同様）。
【００５５】
次に、欠陥画素補正部１０６は、撮像素子１０２における注目画素から画素データの読み出しを行なう（ステップＳ８０３）。領域３０１内の画素からすべての画素データの読み出しが終了したと判定した場合、本処理を終了（ステップＳ８０４でＹＥＳ）する一方、そうでなければ、ステップＳ８０５へ移行する。
【００５６】
ステップＳ８０５では、欠陥画素補正部１０６は、注目画素が欠陥画素か否かを、ステップＳ８０２で読み出した欠陥画素データから判定する。この判定結果から、注目画素が欠陥画素でなかった場合は、ステップＳ８０３で注目画素の位置を変えて次の画素データの読み出しを行う。
【００５７】
一方、注目画素が欠陥画素であった場合、欠陥画素補正部１０６は、欠陥画素データから欠陥画素の種類を表すＩＤを読み出し、注目画素が境界データか否かの判定を行なう（ステップＳ８０６）。例えば、注目画素のＩＤが３または４であれば境界データと判定し、それ以外のＩＤであれば境界データでないと判定する。
【００５８】
ステップＳ８０６で境界データでないと判定した場合、欠陥画素補正部１０６は、欠陥画素の種類を表すＩＤから注目画素が欠陥画素補正を行なう画素か否かを判定する（ステップＳ８０７）。本処理は上述した図４のステップＳ７０５と同様である。
【００５９】
注目画素が欠陥画素補正を行う画素であると判定した場合は、欠陥画素補正部１０６で欠陥画素補正を行なう（ステップＳ８０８）。一方、注目画素が欠陥画素補正を行う画素でないと判定した場合、欠陥画素補正部１０６は、注目画素に対応する付帯情報を欠陥画素データから読み出し、その値の数だけ画素データを読み飛ばす（ステップＳ８０９）。なお、読み飛ばされる画素データには、欠陥画素の画素データと境界データが含まれる。すなわち、読み出し方向に沿って現れる、読み出し領域外に存在する欠陥画素の画素データと境界データが付帯情報の値の数だけ読み飛ばされる。その後、ステップＳ８０２へ移行して、次の欠陥画素データおよび画素データの読み出しが行われる（ステップＳ８０１，Ｓ８０２）。
【００６０】
ここで、欠陥画素データに境界データを挿入することにより、全画素読み出しモード時と部分読み出しモード時で同じ欠陥画素データを利用して欠陥画素補正処理が可能であることを具体的に説明する。
【００６１】
まず、欠陥画素データに境界データを挿入しなかった場合、全画素読み出しモード時では、例えば、欠陥画素３０４は、一つ前の欠陥画素３０６との相対距離が８である。一方、部分読み出しモード時では、欠陥画素３０４の一つ前の欠陥画素が３０５となり、欠陥画素３０４と欠陥画素３０５との相対距離は１０である。このように、読み出しモードの違いによって欠陥画素３０４の位置情報が変わってしまうので、欠陥画素データを読み出しモードごとに用意する必要が生じる。
【００６２】
欠陥画素データに境界データを挿入している場合、全画素読み出しモード時では、欠陥画素３０４の一つ前の欠陥画素に対応する画素が境界データ３１１であり、欠陥画素３０４と境界データ３１１との相対距離は６である。一方、部分読み出しモード時では、欠陥画素３０４の一つ前の欠陥画素が境界データ３１２であるから、欠陥画素３０４と境界データ３１２との相対距離も６となる。
【００６３】
このように、撮像素子の各画素ラインにおいて、画素データの所定の読み出し方向に沿って現れる部分読み出し領域と部分読み出し領域以外の領域との複数の境界にそれぞれ境界データを挿入することで、読み出しモードに依存しない欠陥画素データとなる。また、この境界データを欠陥画素データに付加すると共に、境界データに付帯情報を付加して読み出し領域外の画素データを読み飛ばすように構成する。これにより、全画素読み出しモード時と部分読み出しモード時とで欠陥画素データを変更することなく、同じ欠陥画素データを利用して欠陥画素補正をすることができる。その結果、ＲＯＭ１０４に記憶する情報量を削減することができる。
【００６４】
なお、第１の実施形態では、水平方向の読み出し方向に現れる読み出し領域と非読み出し領域との境界に対して左隣に境界データが挿入されているが、これに限ったことではない。例えば、読み出し領域と非読み出し領域との境界の右隣の画素位置に境界データを挿入してもよい。
【００６５】
また、異なる読み出しモード間で欠陥画素の位置情報に矛盾がなければよく、例えば、境界データ３０７，３０８が３０９，３１０の位置にあってもよい。
【００６６】
また、部分読み出し領域の境界の右端画素を示すＩＤ＝３の画素から、境界の左端画素を示すＩＤ＝４の画素までの画素データを読み出した後に、次ラインの最初に位置する画素の処理に進むようにしてもよい。
【００６７】
また、上記実施形態では、撮像素子１０２から画素データ（画素信号）を取得し、欠陥画素補正を行う構成について説明したが、これに限定するものではない。例えば、撮像素子１０２から取得した画素データをフレームメモリに一度記憶しておき、メモリから画素データを取得して欠陥画素補正を行う構成であってもよい。
【００６８】
［第２の実施形態］
本発明の第２の実施の形態では、図１に示す構成が上記第１の実施の形態と同じであり、第１の実施の形態と同様の部分については、同一の符号を用いてその説明を省略する。以下に、上記第１の実施の形態と異なる点のみを説明する。
【００６９】
上記第１の実施形態では、部分読み出し領域が図２に示すような領域３０１であったが、第２の実施形態では、図６に示すように、１ラインおきに部分読み出しを行う。
【００７０】
図６は、第２の実施形態における画像処理方法を説明するための１８×８の撮像素子の一例を示す図である。図示例では、図２（ａ）と同様に、欠陥画素の位置を×印で表している。
【００７１】
図６において、領域４０１は、部分読み出しモード時に読み出す領域であって、撮像素子１０２の水平方向の偶数列（偶数ライン）の画素で構成される。一方、領域４０２は、部分読み出しモード時に読み出す領域であって、撮像素子１０２の水平方向の奇数列（奇数ライン）の画素で構成される。画素信号の読み出し方法は、領域内の左端を読み出し開始位置として、水平方向に右端まで順次読み出しが行われる。
【００７２】
本実施形態では、偶数ラインの領域４０１と奇数ラインの領域４０２との境界の画素上に境界データが設定されている。部分読み出しモード時に偶数ラインの領域４０１が読み出される場合、水平方向の右端の画素が奇数ラインの領域４０２との境界であり、そこに、図中の●印の境界データが設定されている。一方、奇数ラインの領域４０２の水平方向の右端の画素が偶数ラインの領域４０１との境界であり、そこに、図中の▲印の境界データが設定されている。
【００７３】
このように、欠陥画素データに境界データを挿入することで、第１の実施形態と同様に、全画素読み出しモード時と１ラインおきの部分読み出しモード時との間で、欠陥画素の位置情報が変わらない。その結果、読み出しモードごとに欠陥画素データを用意することなく、ＲＯＭ１０４に記憶する情報量を削減することができる。
【００７４】
なお、本実施形態では、偶数ラインの右端の画素をＩＤ＝３の境界データに関連付け、奇数ラインの右端画素をＩＤ＝４の境界データに関連付けているが、互いに重複しない値であれば任意に決めてよい。
【００７５】
また、各境界データには、読み出し領域外に存在する欠陥画素の画素データと境界データを読み飛ばすための付帯情報が付加されている。また、欠陥画素データには、奇数ラインの部分読み出しモード時における欠陥画素データの読み出し開始アドレスが設定されている。
【００７６】
次に、本実施形態における欠陥画素補正処理について簡単に説明する。
【００７７】
読み出しの基本的な動作は、第１の実施形態と同じであるため、その説明は省略する。部分読み出しモード時においても基本的な動作は第１の実施形態と同じであり、以下のとおりである。
【００７８】
偶数ラインを読み出す場合、ＩＤ＝３の境界データが示す位置は欠陥画素の補正を行なわず、境界データの付帯情報に基づいて所定数の画素データを読み飛ばし、次に読み出すラインの先頭画素に移動して処理を継続する。なお、読み飛ばされる画素データには、欠陥画素の画素データと境界データが含まれる。すなわち、読み出し方向に沿って現れる、読み出し領域外に存在する欠陥画素の画素データと境界データが付帯情報の値の数だけ読み飛ばされる。
【００７９】
奇数ラインを読み出す場合、ＩＤ＝４の境界データが示す位置は欠陥画素の補正を行なわず、境界データの付帯情報に基づいて所定数の画素データを読み飛ばし、次に読み出すラインの先頭画素に移動して処理を継続する。なお、読み飛ばされる画素データには、欠陥画素の画素データと境界データが含まれる。すなわち、読み出し方向に沿って現れる、読み出し領域外に存在する欠陥画素の画素データと境界データが付帯情報の値の数だけ読み飛ばされる。
【００８０】
第２の実施形態では、奇数ラインと偶数ラインに分けられた撮像素子において、画素データの所定の読み出し方向に沿って現れる複数の境界にそれぞれ境界データを挿入することで、読み出しモードに依存しない欠陥画素データとなる。また、この境界データを欠陥画素データに付加すると共に、境界データに付帯情報を付加して読み出し領域外の画素データを読み飛ばすように構成する。これにより、全画素読み出しモード時とフィールドごとの部分読み出しモード時とで欠陥画素データを変更することなく、同じ欠陥画素データを利用して欠陥画素補正をすることができる。その結果、ＲＯＭ１０４に記憶する情報量を削減することができる。
【００８１】
［第３の実施形態］
本発明の第３の実施の形態では、図１に示す構成が上記第１の実施の形態と同じであり、第１の実施の形態と同様の部分については、同一の符号を用いてその説明を省略する。以下に、上記第１の実施の形態と異なる点のみを説明する。
【００８２】
上記第１の実施形態では、部分読み出し領域が図２に示すような領域３０１であったが、第３の実施形態では、図７に示すように、分割された領域ごとに分割読み出しを行う。
【００８３】
図７は、第３の実施形態における画像処理方法を説明するための１８×８の撮像素子の一例を示す図である。図示例では、図２（ａ）と同様に、欠陥画素の位置を×印で表している。
【００８４】
分割読み出しモードは、撮像素子１０２の全画素を複数の領域に分割し、分割した領域単位で処理を行なう方式である。分割読み出しモード時の画素データの読み出し方法は以下のとおりである。なお、画素の位置は、水平方向の位置ｘと垂直方向の位置ｙの座標（ｘ，ｙ）で表す。
【００８５】
まず、分割領域５０１の読み出しを行う場合、座標（０，０）の画素から座標（５，０）の画素までの１ライン分の読み出しを行った後、１ライン下へ移動する。そして、座標（０，１）の画素から座標（５，１）の画素までの１ライン分の読み出しを行う。同様にして、分割領域５０１内の右下の座標（５，３）の画素まで読み出しを行い、分割領域５０１内の画素データの読み出しを完了する。
【００８６】
次に、分割領域５０２の読み出しを行う場合、分割領域５０１と同様に、左上の座標（６，０）の画素から読み出しを開始し、座標（１１，３）の画素まで読み出しを行い、分割領域５０２内の画素データの読み出しを完了する。以下同様にして、分割領域５０３，５０４，５０５，５０６の読み出しを行ない、全画素の読み出しを行う。
【００８７】
境界データの配置は次のとおりである。
【００８８】
まず、分割領域５０１では、領域内の右端にある分割領域５０２との境界にＩＤ＝３の境界データ（図中の◆印）を設定する。一方、分割領域５０３では、領域内の右端が分割領域５０１との境界になるので、分割領域５０３内の右端にある境界にＩＤ＝４の境界データ（図中の▲印）を設定する。
【００８９】
分割領域５０２についても同様に、領域内の右端にある分割領域５０３との境界にＩＤ＝５の境界データ（図中の●印）を設定する。
【００９０】
分割領域５０１と分割領域５０２との境界（ｘ＝５の列）には、ＩＤ＝３の境界データがすでに設定されているので、重複して設定しない。また、分割領域５０３では、ＩＤ＝３とＩＤ＝５の境界データがすでに配置されているので、重複して設定しない。
【００９１】
分割領域５０４〜５０６についても、上記と同様に、境界データを設定する。
【００９２】
また、欠陥画素データには、分割読み出しモード時における各分割領域の欠陥画素データの読み出し開始アドレスが設定されている。
【００９３】
また、各境界データには、分割読み出しモード時に、読み出し領域外に存在する欠陥画素の画素データと境界データを読み飛ばすための付帯情報が付加されている。例えば、分割読み出しモード時に分割領域５０１の読み出しを行う際に、座標（５，０）の画素の次は座標（０，１）の画素に移るので、座標（１０，０）、（１１，０）、（１７，０）の３箇所の画素から読み出す画素データは使用しない。したがって、この場合は、座標（５，０）の位置にある境界データに付帯情報として３の値が付加される。
【００９４】
全画素読み出しモード時の基本的な動作は、上述した第１の実施形態と同じであることから、分割読み出しモード時の動作については図８を用いて詳細に説明する。
【００９５】
図８は、第３の実施形態における第３の欠陥画素補正処理（分割読み出しモード時）の流れを示すフローチャートである。
【００９６】
まず、欠陥画素補正部１０６は、ＲＯＭ１０４に記憶されている欠陥画素データの読み出し開始アドレスを読み出して、読み出す分割領域の先頭画素に移動する（ステップＳ９０１）。次に、欠陥画素補正部１０６は、欠陥画素データの読み出し（ステップＳ９０２）および画素データの読み出しを行なう（ステップＳ９０３）。
【００９７】
次に、欠陥画素補正部１０６は、処理対象の領域をすべて処理したか否かを判定し（ステップＳ９０４）、すべて処理が終わったときは、ステップＳ９１０へ移行する一方、すべて処理が終わっていなければ、ステップＳ９０５へ移行する。
【００９８】
ステップＳ９０５では、欠陥画素補正部１０６は、注目画素が欠陥画素か否かを、ステップＳ９０２で読み出した欠陥画素データから判定する。この判定結果から、注目画素が欠陥画素でなかった場合は、ステップＳ９０３で注目画素の位置を変えて次の画素データの読み出しを行う。
【００９９】
一方、注目画素が欠陥画素であった場合、欠陥画素補正部１０６は、欠陥画素データから欠陥画素の種類を表すＩＤを読み出し、注目画素が境界データか否かの判定を行う（ステップＳ９０６）。
【０１００】
ステップＳ９０６で境界データであると判定した場合、欠陥画素補正部１０６は、当該境界データの付帯情報を欠陥画素データから読み出し、その値の数だけ画素データを読み飛ばして（ステップＳ９０９）、ステップＳ９０２へ移行する。
【０１０１】
ステップＳ９０６で境界データでないと判定した場合、欠陥画素補正部１０６は、欠陥画素の種類を表すＩＤから注目画素が欠陥画素補正を行なう画素か否かを判定する（ステップＳ９０７）。注目画素が欠陥画素補正を行う画素であると判定した場合は、欠陥画素補正部１０６で欠陥画素補正を行う（ステップＳ９０８）。一方、注目画素が欠陥画素補正を行う画素でないと判定した場合、ステップＳ９０２へ移行する。
【０１０２】
ステップＳ９１０では、すべての分割領域について処理が終わったか否かを判定する。すべての分割領域の処理が終わっているときは、本処理を終了するが、そうでなければ、次に処理する分割領域の処理に移る（ステップＳ９０１）。
【０１０３】
このように、撮像素子の各画素ラインにおいて、画素データの所定の読み出し方向に沿って現れる、分割された領域間の複数の境界にそれぞれ境界データを挿入することで、読み出しモードに依存しない欠陥画素データとなる。また、この境界データを欠陥画素データに付加すると共に、境界データに付帯情報を付加して処理対象（読み出し）領域外の画素データを読み飛ばすように構成する。これにより、全画素読み出しモード時と分割読み出しモード時とで欠陥画素データを変更することなく、同じ欠陥画素データを利用して欠陥画素補正をすることができる。その結果、ＲＯＭ１０４に記憶する情報量を削減することができる。
【０１０４】
なお、第３の実施形態では、全画素読み出しモード時と分割読み出しモード時において、左上の画素から右下の画素に向かって読み出しを行なっている場合を説明したが、これに限ったことではなく、読み出しの方向は任意でよい。
【０１０５】
［第４の実施形態］
本発明の第４の実施の形態では、図１に示す構成が上記第１の実施の形態と同じであり、第１の実施の形態と同様の部分については、同一の符号を用いてその説明を省略する。以下に、上記第１の実施の形態と異なる点のみを説明する。
【０１０６】
第４の実施形態では、ＲＯＭ１０４に記憶されている欠陥画素データから、部分読み出しモード時に利用する欠陥画素データを作成して欠陥画素補正を行なう。
【０１０７】
図９は、第４の実施形態における画像処理方法を説明するための図であって、ＲＯＭ１０４に記憶されている欠陥画素データから作成された部分読み出しモード用の欠陥画素データの構成例を示す図である。
【０１０８】
上記第１〜第３の実施形態では、処理対象領域外の画素データを読み飛ばす際に、メモリからの欠陥画素データの読み出し動作にバス帯域が多く消費される場合がある。例えば、欠陥画素データの情報量が多いときや参照しない領域が多い場合などである。また、処理対象領域外の欠陥画素を読み出している間は、次ラインの補正処理を中断しておかなければならず、処理スピードが大幅に低下してしまう場合もある。これらの問題は、処理対象領域外にある欠陥画素データの情報量が多くなるほど顕著になってくる。
【０１０９】
そこで、第４の実施形態は、このような問題を解消すべく、予め使用する欠陥画素データのみを抽出して作成しておくというものである。
【０１１０】
本実施形態における境界データの配置の仕方は、上記第１の実施形態と同様である。また、処理対象領域の右端および左端側の境界に配置される境界データも同様にそれぞれＩＤ＝３およびＩＤ＝４である。また、欠陥画素データには、部分読み出しモード時における先頭の欠陥画素データの読み出し開始アドレスが設定される。また、各境界データには、処理対象領域外に存在する欠陥画素の画素データと境界データを読み飛ばすための付帯情報が付加されている。
【０１１１】
次に、本実施形態における欠陥画素データの抽出処理について図１０を参照して詳細に説明する。
【０１１２】
図１０は、第４の実施形態における欠陥画素データの抽出処理の流れを示すフローチャートである。
【０１１３】
まず、欠陥画素補正部１０６は、ＲＯＭ１０４に記憶されている欠陥画素データの読み出し開始アドレスを読み出した（ステップＳ１１０１）後に、欠陥画素データをＲＯＭ１０４から読み出す（ステップＳ１１０２）。
【０１１４】
次に、欠陥画素補正部１０６は、読み出した欠陥画素データから欠陥画素の種類を表すＩＤを読み出し、境界データか否かの判定を行なう（ステップＳ１１０３）。この判定結果から、読み出したＩＤが境界データを示すＩＤであった場合、ステップＳ１１０４へ移行する一方、そうでなかった場合には、ステップＳ１１０５へ移行する。
【０１１５】
ステップＳ１１０４では、終了判定を行い、終了でないと判定した場合、欠陥画素補正部１０６は、ステップＳ１１０３で判定した境界データの付帯情報を欠陥画素データから読み出し、その値の数だけ画素データを読み飛ばす（ステップＳ１１０６）。なお、読み飛ばされる画素データには境界データも含まれている。すなわち、読み出し方向に沿って現れる、読み出し領域外に存在する欠陥画素と境界データが付帯情報の値の数だけ読み飛ばされる。その後、ステップＳ１１０２へ移行して、次の欠陥画素データの読み出しを行なう。
【０１１６】
ステップＳ１１０５では、欠陥画素補正部１０６は、読み出した欠陥画素データを抽出データ格納用メモリ（ＲＡＭ１０５）に記憶して（ステップＳ１１０５）、ステップＳ１１０２へ移行する。
【０１１７】
上記処理により、抽出データ格納用メモリに記憶される欠陥画素データは、例えば、図２（ｂ）に示す欠陥画素データから領域３０１内の補正処理をする欠陥画素データのみを抜き出した図９で示す欠陥画素データになる。
【０１１８】
欠陥画素の補正処理を行なう場合、全画素読み出しモード時には図２（ｂ）に示す欠陥画素データを使用するが、部分読み出しモード時には図９に示す欠陥画素データを使用する。
【０１１９】
上記実施形態では、読み出す領域に応じて欠陥画素データを抽出、作成することで、非読み出し領域にある画素データを読み飛ばすための回路を特別に持たない例である。欠陥画素の位置情報を欠陥画素間の相対距離でもっていることから、従来までは欠陥画素データを抽出する際に欠陥画素データごとに座標を再計算し、欠陥画素が領域内か否かの判定をしなければならなかった。
【０１２０】
そこで、本実施形態では、欠陥画素データに境界データを付加することで読み出し領域によって欠陥画素間の相対距離を再計算しなくてもよいように構成される。その結果、処理対象領域の欠陥画素の抽出は、境界データのＩＤに着目するだけで容易に行なうことができ、データ抽出の際にかかるＣＰＵ負荷を大幅に軽減することが可能となる。
【０１２１】
また、本実施形態では、非読み出し領域内の欠陥画素から画素データの読み出しをしないので、処理対象領域の欠陥画素補正処理に要する時間を短縮することができる。
【０１２２】
本実施形態では、撮像素子の画素面の一部の領域を読み出す場合について説明したが、上記第２および第３の実施形態のようなフィールド読み出しや分割読み出しの場合についても同様にして、欠陥画素データを使用する順に配列しなおすだけでよい。
【０１２３】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【０１２４】
１０１  撮影レンズ
１０２  撮像素子
１０３  Ａ／Ｄ変換部
１０４  ＲＯＭ
１０５  ＲＡＭ
１０６  欠陥画素補正部
１０７  ＤＳＰ
１０８  ＣＰＵ
１０９  ディスプレイ
１１０  記憶媒体
【図１】
0005637824.tif 000002
【図２】
0005637824.tif 000003
【図３】
0005637824.tif 000004
【図４】
0005637824.tif 000005
【図５】
0005637824.tif 000006
【図６】
0005637824.tif 000007
【図７】
0005637824.tif 000008
【図８】
0005637824.tif 000009
【図９】
0005637824.tif 000010
【図１０】
0005637824.tif 000011
【図１１】
0005637824.tif 000012