(57)【要約】【課題】欠陥画素情報の読み込み時間及び欠陥画素補正の補正時間を短縮できるようにする。【解決手段】撮像素子から画素領域を切り出して読み出しを行う読み出し手段と、撮像素子における欠陥画素の位置情報を記憶する記憶手段と、記憶された欠陥画素の位置情報に基づいて、撮像素子から出力された信号に含まれる欠陥画素からの信号を補正する補正手段とを備え、切り出し画素領域の範囲に応じて、記憶する欠陥画素の位置情報の定義方法を変更するようにして、記憶する欠陥画素の位置情報の情報量を削減し、欠陥画素情報の読み込み時間及び欠陥画素補正の補正時間を短縮できるようにする。【選択図】図１
2007336385.tif 000002
【特許請求の範囲】
【請求項１】
複数の画素を有する撮像素子から画素領域を切り出して読み出しを行う読み出し手段と、
前記撮像素子における欠陥画素の位置を示す位置情報を記憶する記憶手段と、
前記記憶手段に記憶された欠陥画素の位置情報に基づいて、前記撮像素子から出力された信号に含まれる欠陥画素からの信号を補正する補正手段とを備え、
前記切り出し画素領域の範囲に応じて、前記記憶手段に記憶する前記欠陥画素の位置情報の定義方法を変更することを特徴とする画像処理装置。
【請求項２】
前記欠陥画素の位置情報は、前記切り出し画素領域内に存在する画素に基づいて定義することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記切り出し画素領域が、予め規定された互いにサイズの異なる複数の画素領域の任意の画素領域に切り替え可能であることを特徴とする請求項１又は２記載の画像処理装置。
【請求項４】
前記欠陥画素の位置情報は、前記切り出し画素領域毎に記憶されていることを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
【請求項５】
前記欠陥画素の位置情報の定義方法にて、前記欠陥画素の位置情報は、前記欠陥画素と欠陥画素の間の画素数で定義し、その際の画素数の計算は、前記切り出し画素領域のサイズに対応した画素数で行うことを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
【請求項６】
前記欠陥画素の位置情報は、予め用意された複数の前記切り出し画素領域に対し、それぞれの画素領域の差分領域に存在する欠陥画素の位置情報のみを個別に記憶することを特徴とする請求項１〜５の何れか１項に記載の画像処理装置。
【請求項７】
前記補正手段による欠陥画素に係る補正を行う前に、前記領域毎に分割された欠陥画素の位置情報に基づいて、前記切り出し画素領域に対応した欠陥画素の位置情報を生成する生成手段を備えることを特徴とする請求項６記載の画像処理装置。
【請求項８】
前記読み出し手段による画素領域の切り出しは、画像に対して水平方向にのみ行い、
前記補正手段による欠陥画素に係る補正を行った後に、画像に対して垂直方向の切り出しを行うことを特徴とする請求項１〜６の何れか１項に記載の画像処理装置。
【請求項９】
複数の画素を有する撮像素子から画素領域を切り出して読み出しを行う読み出し工程と、
前記撮像素子における欠陥画素の位置を示す位置情報を記憶手段に記憶する記憶工程と、
前記記憶された欠陥画素の位置情報に基づいて、前記撮像素子から出力された信号に含まれる欠陥画素からの信号を補正する補正工程とを有し、
前記切り出し画素領域の範囲に応じて、前記欠陥画素の位置情報の定義方法を変更することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＣＣＤイメージセンサーやＣＭＯＳイメージセンサー等の撮像素子を備え、撮影された画像をデジタルデータとして表示又は記録媒体に記憶する画像処理装置及び画像処理方法に関し、詳しくは欠陥画素の補正技術に関する。
【背景技術】
【０００２】
現在主流の一眼レフデジタルカメラの撮像素子としては、ＣＭＯＳイメージセンサーやＣＣＤイメージセンサー等があるが、これらの撮像素子には、ＡＰＳ−Ｃ、ＡＰＳ−Ｈ、３５ｍｍフル（ＦＵＬＬ）サイズ等の様々なサイズのフォーマットが存在する。そのため、異なるサイズの撮像素子で構成された２台以上のカメラで同一画角の撮影を行うには、ユーザはそれぞれの撮像素子のサイズに応じてレンズや撮影距離等を変更しなければならない。
【０００３】
この問題を解決する一つの方法として、例えば３５ｍｍＦＵＬＬサイズの撮像素子を有するカメラの場合、撮像素子における一部の領域を切り出して読み出しを行うようにするものがある。この方法を用いることにより、レンズや撮影距離等を変更しなくとも、３５ｍｍＦＵＬＬサイズの撮像素子を有するカメラで、ＡＰＳ−ＣやＡＰＳ−Ｈといった異なるサイズの撮像素子を有するカメラと同一の画角で撮影することができるようになる。また、更には撮像素子からの読み出し画素数が減るので、撮像素子の全画素を読み出すよりも一部を切り出して読み出した方が、１秒あたりの撮影コマ数も増やすことができる。
【０００４】
ＣＭＯＳやＣＣＤなどの撮像素子は、その製造時に、受光量に応じた電荷を生成することができない画素や、暗電流の不均一によるノイズが規定値以上に発生してしまう画素などのいわゆる欠陥画素が形成される場合がある。このような欠陥画素を有する撮像素子で撮像した場合には、その撮像画像上において欠陥画素に対応する部分が白傷又は黒傷などの傷となって現れ、画像品質を低下させる。
【０００５】
そこで、そのような撮像素子は、製造時における検査過程で欠陥画素の有無の検出を行い、欠陥画素を検出した場合には、その撮像素子が搭載されるカメラの記憶部（メモリ）に欠陥画素の位置（座標）等を表す欠陥画素データを予め記憶させておく。そして、撮影時には、記憶部に予め記憶されている欠陥画素データに基づいて、カメラに備えた欠陥画素補正装置により欠陥画素に対する補正を行っている。
【０００６】
ここで、上述したように撮像素子における画像の一部領域を切り出して読み出しを行う場合には、切り出されなかった領域に関しては上述した欠陥画素補正は行う必要がない。欠陥画素補正の処理量が削減できれば、その分撮影画像の現像時間の削減（高速化）に繋がるため、切り出されない領域の欠陥画素補正は行わないようにするものがある（例えば、特許文献１）。
【０００７】
【特許文献１】特開２００６−６０３０７号公報
【特許文献２】特開平７−１４３４０８号公報
【特許文献３】特公昭６０−３４８７２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上述のような欠陥画素補正に関し、撮像素子に存在する欠陥画素の位置（座標）を保持する方法としては、例えば特許文献１に記載のように、画像に対してｘ（横）座標及びｙ（縦）座標を用いて保持する方法がある。しかしながら、メモリ容量や読み込み時間の高速化の観点からは、保持する欠陥画素の位置情報のサイズはなるべく小さいほうが望ましい。欠陥画素の位置情報のサイズを低減する方法の一つとして、欠陥画素の位置を欠陥画素と欠陥画素の間の画素数で定義するという方法がある（例えば、特許文献３）。この方法について、図９を参照し説明する。
【０００９】
図９は、欠陥画素の位置情報の定義方法の一例を示す図である。
図９においては、３５ｍｍＦＵＬＬサイズの撮像素子から出力される画像を示している。ここで、ｄｅｆ１、ｄｅｆ２、ｄｅｆ３をそれぞれ欠陥画素とすると、欠陥画素ｄｅｆ１の位置は、画像における先頭画素（画像左上）Ａからの画素数αで規定する。欠陥画素ｄｅｆ２の位置は、欠陥画素ｄｅｆ１と欠陥画素ｄｅｆ２の間の画素数βで規定する。同様に、欠陥画素ｄｅｆ３の位置は、欠陥画素ｄｅｆ２と欠陥画素ｄｅｆ３の間の画素数γで規定する。
【００１０】
このように欠陥画素の位置を隣り合った欠陥画素との差分の画素数で定義することで、欠陥画素の位置情報量を削減でき、メモリの節約や欠陥画素情報の読み出し速度の高速化を図ることができる。また、例えば、このように定義した欠陥画素の位置情報をカメラの電源起動時に読み出しを行った場合には起動時間の短縮が図れる。
【００１１】
しかしながら、欠陥画素と欠陥画素の間の画素数で欠陥画素の位置を定義し、かつ撮影時の切り出し画像サイズに応じて欠陥画素補正領域を変更する場合には、以下のような問題がある。
【００１２】
例えば、図９に示すような３５ｍｍＦＵＬＬサイズの撮像素子で、ＡＰＳ−Ｃサイズの画像領域のみを切り出して出力したとする。ここで、ｄｅｆ４、ｄｅｆ５、ｄｅｆ６をそれぞれ欠陥画素とすると、欠陥画素ｄｅｆ５の位置は、ＡＰＳ−Ｃサイズの画像における先頭画素（画像左上）Ｂからの画素数ａで定義されていなければならない。しかしながら、欠陥画素ｄｅｆ５の位置は、実際には欠陥画素ｄｅｆ４と欠陥画素ｄｅｆ５の間の画素数で定義されているため、ＡＰＳ−Ｃサイズに切り出して出力した場合には、このままでは欠陥画素ｄｅｆ５の正しい位置を検出することができない。
【００１３】
また、図９に示すように欠陥画素ｄｅｆ６の位置は、３５ｍｍＦＵＬＬサイズにおける画像サイズでの欠陥画素ｄｅｆ５からの画素数ｂで定義されている。しかしながら、欠陥画素ｄｅｆ６の位置は、実際にはＡＰＳ−Ｃサイズにおける画像サイズでの欠陥画素ｄｅｆ５からの画素数ｃで定義されていないと、ＡＰＳ−Ｃサイズに切り出して出力した場合に、欠陥画素ｄｅｆ６の正しい位置を検出することができない。
【００１４】
本発明は、このような事情に鑑みてなされたものであり、欠陥画素情報の読み込み時間及び欠陥画素補正の補正時間を短縮できるようにすることを目的とする。
【課題を解決するための手段】
【００１５】
本発明に係る画像処理装置は、複数の画素を有する撮像素子から画素領域を切り出して読み出しを行う読み出し手段と、前記撮像素子における欠陥画素の位置を示す位置情報を記憶する記憶手段と、前記記憶手段に記憶された欠陥画素の位置情報に基づいて、前記撮像素子から出力された信号に含まれる欠陥画素からの信号を補正する補正手段とを備え、前記切り出し画素領域の範囲に応じて、前記記憶手段に記憶する前記欠陥画素の位置情報の定義方法を変更することを特徴とする。
本発明に係る画像処理方法は、複数の画素を有する撮像素子から画素領域を切り出して読み出しを行う読み出し工程と、前記撮像素子における欠陥画素の位置を示す位置情報を記憶手段に記憶する記憶工程と、前記記憶された欠陥画素の位置情報に基づいて、前記撮像素子から出力された信号に含まれる欠陥画素からの信号を補正する補正工程とを有し、前記切り出し画素領域の範囲に応じて、前記欠陥画素の位置情報の定義方法を変更することを特徴とする。
【発明の効果】
【００１６】
本発明によれば、切り出し画素領域の範囲に対応して欠陥画素の位置情報を記憶するので、記憶する欠陥画素の位置情報の情報量を削減し、欠陥画素情報の読み込み時間の短縮及び欠陥画素の補正処理を高速化することができる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の実施形態を図面に基づいて説明する。
なお、以下に説明する各実施形態では、３５ｍｍＦＵＬＬサイズの撮像素子を備え、撮像素子からの切り出し画像サイズは３５ｍｍＦＵＬＬサイズ、ＡＰＳ−Ｈサイズ、及びＡＰＳ−Ｃサイズの互いに異なる３つのサイズが選択できる場合を一例として説明する。しかし、撮像素子のサイズや選択できる切り出し画像サイズは、これに限定されるものではない。
【００１８】
（第１の実施形態）
図１は、本発明の第１の実施形態における画像処理装置の構成例を示すブロック図である。
ＣＭＯＳイメージセンサーやＣＣＤイメージセンサー等の複数の画素を有する撮像素子１に被写体像を結像するレンズ（不図示）を通じて、撮像素子１の撮像面に光が照射され、被写体の光学像が電気信号に変換される。ＴＧ（タイミング発生回路）２は、撮像素子１、Ａ／Ｄ（アナログ−デジタル）変換器３にクロック信号や制御信号を供給する。
【００１９】
画像処理回路４は、撮像素子１からの出力信号を基に得られた画像データ（画像）を処理するための回路であり、欠陥画素補正回路４ａ、画像切り出し回路４ｂ、画像データ変倍回路４ｃ、画像データ変換回路４ｄ、及び圧縮／伸張回路４ｅを有する。
【００２０】
欠陥画素補正回路４ａは、登録しておいた画素（欠陥画素）をまわりの画素（正常画素）から補間するための回路である。すなわち、欠陥画素補正回路４ａは、欠陥画素からのデータ（信号）を周りの正常画素のデータ（信号）により補正する。画像切り出し回路４ｂは、撮像素子１から切り出された画像を更に小さく切り出すための回路である。
【００２１】
画像データ変倍回路４ｃは、画像データの拡大縮小を行う。画像データ変換回路４ｄは、ホワイトバランスや色補間等の色処理を施して画像データを表示データや圧縮前データなどに変換するためのものである。圧縮／伸張回路４ｅは、画像データを圧縮する、又は記憶媒体６に記憶された圧縮画像データを伸張するための回路である。
【００２２】
５はＣＰＵであり、画像処理装置全体を制御するためのものである。記憶媒体６は、圧縮画像データを記憶するための媒体（メモリ等を含む。）である。７はＤＲＡＭであり、画像データや撮影パラメータなどのデータを一時記憶させておくためのメモリである。８はＶＲＡＭ（ビデオＲＡＭ）であり、表示画像データを記憶させておくためのメモリである。９はＬＣＤドライバであり、画像を表示するＬＣＤ（液晶ディスプレイ）１０を制御する。１１はＦＲＯＭであり、不揮発性のメモリで構成され、画像処理装置を制御するプログラムやデータなどが記憶されている。
【００２３】
また、ＦＲＯＭ１１には、撮像素子１に存在する欠陥画素の位置を表す欠陥画素の位置情報が記憶されている。
ＦＲＯＭ１１に記憶される欠陥画素の位置情報は、切り出し可能な画像サイズに対応して定義されている。本実施形態では、図２に示すように３５ｍｍＦＵＬＬサイズ、ＡＰＳ−Ｈサイズ、及びＡＰＳ−Ｃサイズの３種類のサイズに切り出し可能としている。そのため、ＡＰＳ−Ｃサイズの領域の欠陥画素の位置情報は、ＡＰＳ−Ｃサイズにおける画像サイズに対応した位置情報で定義する。また、ＡＰＳ−Ｈサイズ、３５ｍｍＦＵＬＬサイズの領域における欠陥画素の位置情報は、ＡＰＳ−Ｈサイズ、３５ｍｍＦＵＬＬサイズそれぞれの画像サイズに対応した位置情報で定義する。
【００２４】
また、３５ｍｍＦＵＬＬサイズ、ＡＰＳ−Ｈサイズ、及びＡＰＳ−Ｃサイズにおける各領域内の欠陥画素の位置情報は、それぞれの領域毎に分けてＦＲＯＭ１１に記憶しておく。ただし、ＡＰＳ−Ｃサイズにおける領域内の欠陥画素の位置情報をＦＲＯＭ１１に記憶する際は、ＡＰＳ−Ｃサイズの領域内に存在する欠陥画素のみの位置情報を記憶しておく。
【００２５】
また、ＡＰＳ−Ｈサイズにおける領域内の欠陥画素の位置情報をＦＲＯＭ１１に記憶する際は、ＡＰＳ−Ｈサイズの領域とＡＰＳ−Ｃサイズの領域の差分領域に存在する欠陥画素の位置情報のみを記憶する。すなわち、ＡＰＳ−Ｈサイズの領域内に存在する欠陥画素のうち、ＡＰＳ−Ｃサイズの領域内に存在する欠陥画素を除いた残りの欠陥画素の位置情報がＡＰＳ−Ｈサイズに係る欠陥画素の位置情報として記憶される。
【００２６】
同様に、３５ｍｍＦＵＬＬサイズにおける領域内の欠陥画素の位置情報をＦＲＯＭ１１に記憶する際は、３５ｍｍＦＵＬＬサイズの領域とＡＰＳ−Ｈサイズの領域の差分領域に存在する欠陥画素の位置情報のみを記憶する。すなわち、３５ｍｍＦＵＬＬサイズの領域内（撮像素子）に存在する欠陥画素のうち、ＡＰＳ−Ｃサイズ若しくはＡＰＳ−Ｈサイズの領域内の欠陥画素を除いた残りの欠陥画素の位置情報が３５ｍｍＦＵＬＬサイズに係る欠陥画素の位置情報として記憶される。
【００２７】
次に、欠陥画素補正回路４ａによる欠陥画素の補正方法を、図３を参照して説明する。欠陥画素補正回路４ａには欠陥画素の位置情報を予め設定しておく。画像データは、撮像素子の色フィルタと同じ順番で図３に示すようにＲ（レッド）、Ｇ（グリーン）、及びＢ（ブルー）の３色の色データから構成され、奇数ラインはＲＧＲＧＲＧ…、偶数ラインはＧＢＧＢＧＢ…というように画像データが並んでいる。欠陥画素補正回路４ａは、登録された位置情報に対応する欠陥画素のデータを周りの同色画素から求めた補正データに置き換える。例えば、Ｇ２−３が欠陥画素であったとすると、Ｇ２−１とＧ２−５の平均を取って補正データを作成し、Ｇ２−３の画像データを補正データと置き換える。
【００２８】
次に、図４及び図５を参照して、欠陥画素の位置情報の持ち方を説明する。後述する図６に示すフローの動作を行う前に、撮像素子からの切り出し画像サイズ毎の欠陥画素の位置情報を、例えば図４に示すような形式でＦＲＯＭ１１に予め記憶しておく。
【００２９】
この欠陥画素の位置情報を定義し記憶する方法について図５を用いて説明する。
まず、３５ｍｍＦＵＬＬサイズ領域用の欠陥画素の位置情報の記憶方法について説明する。３５ｍｍＦＵＬＬサイズの画像の先頭画素（画像左上）から数えて１つ目の欠陥画素が画素Ａであったとすると、ＦＵＬＬサイズ用の欠陥画素データ領域には、その位置情報として先頭画素から欠陥画素Ａまでの画素数「８００」が記憶される（図４（ａ）参照）。また、３５ｍｍＦＵＬＬサイズ画像の先頭画素から数えて数個目の欠陥画素Ｃについては、その１つ前の欠陥画素Ｂと欠陥画素Ｃの間の画素数「１２００」が欠陥画素Ｃの位置情報として記憶される（図４（ｂ）参照）。このようにして、欠陥画素の位置情報として、隣り合った欠陥画素からの画素数を先頭の欠陥画素から順番に記憶しておく。ただし、３５ｍｍＦＵＬＬサイズ用の欠陥画素の位置情報を記憶する際には、ＡＰＳ−Ｈサイズよりも内側の領域に存在する欠陥画素については無視する。
【００３０】
次に、ＡＰＳ−Ｈサイズ領域用の欠陥画素の位置情報の記憶方法について説明する。ＡＰＳ−Ｈサイズの画像の先頭画素（画像左上）から数えて１つ目の欠陥画素が画素Ｄであったとすると、ＡＰＳ−Ｈサイズ用の欠陥画素データ領域には、その位置情報として先頭画素から欠陥画素Ｄまでの画素数「２００」が記憶される（図４（ｃ）参照）。また、ＡＰＳ−Ｈサイズ画像の先頭画素から数えて数個目の欠陥画素Ｆについては、その１つ前の欠陥画素Ｅと欠陥画素Ｆの間の画素数「３００」が欠陥画素Ｆの位置情報として記憶される（図４（ｄ）参照）。このようにして、隣り合った欠陥画素からの画素数を先頭の欠陥画素から順番に記憶しておく。なお、ＡＰＳ−Ｈサイズ用の欠陥画素の位置情報を記憶する際には、ＡＰＳ−Ｈサイズよりも外側の領域とＡＰＳ−Ｃサイズよりも内側の領域に存在する欠陥画素については無視する。
【００３１】
ＡＰＳ−Ｃサイズ領域用の欠陥画素の位置情報についても、同様にして記憶しておく。ＡＰＳ−Ｃサイズの画像の先頭画素（画像左上）から数えて１つ目の欠陥画素が画素Ｇであったとすると、ＡＰＳ−Ｃサイズ用の欠陥画素データ領域には、その位置情報として先頭画素から欠陥画素Ｄまでの画素数「１００」が記憶される（図４（ｅ）参照）。また、ＡＰＳ−Ｈサイズ画像の先頭画素から数えて数個目の欠陥画素Ｉについては、その１つ前の欠陥画素Ｈと欠陥画素Ｉの間のＡＰＳ−Ｃサイズにおける画素数「２０００」が欠陥画素Ｉの位置情報として記憶される（図４（ｆ）参照）。同様に、欠陥画素Ｋについては、その１つ前の欠陥画素Ｊと欠陥画素Ｋの間の画素数「８８」が欠陥画素Ｋの位置情報として記憶される（図４（ｇ）参照）。このようにして、隣り合った欠陥画素からの画素数を先頭の欠陥画素から順番に記憶しておく。なお、ＡＰＳ−Ｃサイズ用の欠陥画素の位置情報を記憶する際には、ＡＰＳ−Ｃサイズよりも外側の領域に存在する欠陥画素については無視する。
【００３２】
上述したようにして、それぞれの画像サイズの領域における欠陥画素の位置情報は、重複しないようにしてＦＲＯＭ１１に記憶されるため、メモリ使用領域を効率化でき、欠陥画素の位置情報を記憶するために要するメモリ容量を低減することができる。
【００３３】
次に、上述のようにして定義され記憶された欠陥画素の位置情報を用いた欠陥画素補正処理を含む、第１の実施形態における画像処理装置の動作について、図６を参照して説明する。図６は、第１の実施形態における画像処理装置の動作例を示すフローチャートである。
【００３４】
まず、不図示のユーザーインターフェースを用いて、ユーザにより撮像素子からの切り出し画像サイズが決定される（Ｓ８０１）。ＣＰＵ５は、この決定された切り出し画像サイズの画像を切り出して出力するために必要な初期設定を撮像素子１及びＴＧ２に対して行う（Ｓ８０２）。
【００３５】
次に、ＣＰＵ５は、ＦＲＯＭ１１に記憶されている図４に示したような欠陥画素の位置情報を切り出し画像サイズに応じて読み出し、読み出した欠陥画素の位置情報に基づいて、切り出し画像サイズに対応した欠陥画素補正テーブルを作成する（Ｓ８０３）。このとき、例えば切り出し画像サイズがＡＰＳ−Ｃサイズである場合には、ＡＰＳ−Ｃサイズ用の欠陥画素データ領域に記憶されている、図４に示したＡＰＳ−Ｃサイズ用の欠陥画素の位置情報が欠陥画素補正テーブルとして使用される。
【００３６】
また、切り出し画像サイズがＡＰＳ−Ｈサイズである場合について説明する。ＡＰＳ−Ｈサイズ用の欠陥画素データ領域には、図４に示したようにＡＰＳ−Ｈサイズの領域におけるＡＰＳ−Ｃサイズ内に存在する欠陥画素の位置情報が記憶されていない。そのため、切り出し画像サイズがＡＰＳ−Ｈサイズである場合には、ＡＰＳ−Ｃサイズ用及びＡＰＳ−Ｈサイズ用のそれぞれの欠陥画素の位置情報を元に、ＡＰＳ−Ｈサイズ用の１つの欠陥画素補正テーブルを再構築する。
【００３７】
同様に、切り出し画像サイズが３５ｍｍＦＵＬＬサイズである場合には、ＡＰＳ−Ｃサイズ用、ＡＰＳ−Ｈサイズ用、及びＦＵＬＬサイズ用の３つの欠陥画素の位置情報を元に、３５ｍｍＦＵＬＬサイズ用の１つの欠陥画素補正テーブルを再構築する。
【００３８】
その後、ＣＰＵ５は、ステップＳ８０３において得られた欠陥画素補正テーブルを欠陥画素補正回路４ａに登録したり、画像データ変倍回路４ｃに対して変倍率の設定を行ったりして、画像処理回路４の諸設定を行う（Ｓ８０４）。ここで、第１の実施形態において、画像の切り出しは撮像素子１の出力時に行うため、画像切り出し回路４ｂにおける画像の切り出しは行わないように設定を行う。
【００３９】
次に、画像データキャプチャを開始する（Ｓ８０５）。この際、ステップＳ８０１において予め設定されている切り出し画像サイズ領域の画像データのみが撮像素子１から読み出される。キャプチャされた画像データは、Ａ／Ｄ変換器３でデジタルデータに変換されて画像処理回路４に入力され、欠陥画素補正回路４ａで欠陥画素補正が行われる（Ｓ８０６）。この欠陥画素補正の詳細について以下に説明する。
【００４０】
切り出し画像のキャプチャされた画素データは、画像の先頭画素（左上）から順次欠陥画素補正回路４ａに読み込まれる。欠陥画素補正回路４ａは、この先頭画素から順番に画素数をカウントしていく。欠陥画素補正回路４ａは、画素数のカウントがステップＳ８０４において設定された欠陥画素補正テーブルに記載の１つ目の欠陥画素までの画素数になると、欠陥画素補正（その画素の周辺の画素データを用いた補間処理）を行い、画素数のカウントを０に戻す。
【００４１】
その後、欠陥画素補正回路４ａは、再び画素数のカウントを開始し、欠陥画素補正テーブルに記載されている２番目の欠陥画素までの画素数に到達したら、再び欠陥画素補正を行い、画素数のカウントを０に戻す。そして、欠陥画素補正回路４ａによる画素数のカウントが再び開始され、以降同様にして切り出し画像におけるすべての画素データについて欠陥画素補正回路４ａへの読み込みが終了するまで、上述した動作が行われる。
【００４２】
このようにして欠陥画素補正が行われるが、上述のように切り出し画像サイズに応じた欠陥画素補正テーブルを用いて欠陥画素補正を行うので、不要な領域に係る欠陥画素補正は行われず、欠陥画素補正の処理量は切り出し画像サイズに応じた適切な量となる。したがって、例えば欠陥画素の補正処理の高速化や撮影画像の現像時間の削減（撮影の高速化）を実現することができる。
【００４３】
欠陥画素補正が終了した後、欠陥画素補正回路４ａから出力された画像データは、後段の画像データ変換回路４ｄや圧縮／伸張回路４ｅによって、ホワイトバランスや色補間等の色処理などの画像データ変換処理や画像データ圧縮処理などが施される（Ｓ８０７）。そして、コンパクトフラッシュ(登録商標)等の記憶媒体６に圧縮画像データを記録して画像データの保存を行い（Ｓ８０８）、動作を終了する。
【００４４】
以上、説明したように第１の実施形態における画像処理装置は、下記の項目（Ａ１）〜（Ａ３）の手法が併用して適用される。
（Ａ１）欠陥画素補正を行う領域を切り出し画像サイズ毎に変更する。
（Ａ２）欠陥画素の位置を表す欠陥画素補正用の欠陥画素の位置情報を欠陥画素と欠陥画素の間の画素数で定義する。
（Ａ３）欠陥画素の位置情報をＦＲＯＭ１１に記憶する際に、切り出し画像サイズ間で重複しないように切り出し画像サイズ毎の差分データとして欠陥画素の位置情報を持つ。そして、欠陥画像補正を行う際には、その差分データを適宜結合することで切り出し画像サイズに応じた欠陥画素補正テーブル（補正情報）に変換してから使用する。
このように、欠陥画素の位置情報を切り出し可能な画像サイズ毎に各画像サイズに対応して定義し、かつ同じ欠陥画素の情報が画像サイズ間で重複しないようにＦＲＯＭ１１に記憶することで、欠陥画素の位置情報の記憶に要する記憶容量を削減することができる。また、それに伴って、欠陥画素の位置情報の読み込み時間及び欠陥画素の補正時間を短縮することができ、欠陥画素の補正処理の高速化を図ることができる。
【００４５】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
上述した第１の実施形態では、前記項目（Ａ３）に示したように欠陥画像補正を行う際には、切り出し画像サイズに対応した欠陥画素補正テーブル（補正情報）への変換（差分データの結合）を行うため、その処理時間を要する。そこで、以下に説明する第２の実施形態は、切り出し画像サイズに対応した欠陥画素補正テーブルへの変換処理を行うことなく欠陥画素補正を行うことで、さらに処理の高速化を図るようにしたものである。
【００４６】
第２の実施形態における画像処理装置の構成は、図１に示した第１の実施形態における画像処理装置と同様であるので、その説明は省略する。
【００４７】
第２の実施形態における画像処理装置では、最終的に切り出す画像サイズに対して、撮像素子１からの出力時には、まず図７に示すように画像における水平方向にのみ切り出しを行う。そして、欠陥画素補正回路４ａでの欠陥画素補正が終了した後に、画像切り出し回路４ｂにて画像における垂直方向の切り出しを行う。このように構成することで、ＦＲＯＭ１１に記憶する欠陥画素の位置情報を単純にすることができる。
【００４８】
具体的には、欠陥画素の位置情報をＦＲＯＭ１１に記憶する際、図７に領域Ｚ１〜Ｚ５で示すように領域をわけ、それぞれの切り出し画像サイズ毎に細かく分割して記憶しておく。そして、欠陥画素の補正を行う際には、例えば切り出し画像サイズがＡＰＳ−Ｃサイズである場合には、領域Ｚ３用の欠陥画素の位置情報を参照して欠陥画素補正を行う。また、切り出し画像サイズがＡＰＳ−Ｈサイズである場合には、領域Ｚ２、Ｚ３、Ｚ４用の欠陥画素の位置情報を順番に参照して欠陥画素補正を行う。切り出し画像サイズが３５ｍｍＦＵＬＬサイズである場合には、領域Ｚ１〜Ｚ５用の欠陥画素の位置情報を順番に参照して欠陥画素補正を行う。
【００４９】
第２の実施形態において、欠陥画像補正回路４ａが欠陥画像補正を行うときには、第１の実施形態のように切り出し画像サイズに応じた垂直方向の切り出しは行われておらず、欠陥画像補正を終了した後に、画像切り出し回路４ｂで垂直方向の切り出しを行う。したがって、第２の実施形態では、切り出し画像サイズ毎に欠陥画素補正テーブルを再計算しなくても、欠陥画素の位置情報を順番に読み出して参照するだけで欠陥画素補正を行うことができる。
【００５０】
以下に、第２の実施形態における画像処理装置の動作例について、図８に示すフローチャートを参照して説明する。
まず、不図示のユーザーインターフェースを用いて、ユーザにより切り出し画像サイズが決定される（Ｓ９０１）。ＣＰＵ５は、この決定された切り出し画像サイズの画像を切り出して出力するために必要な初期設定を撮像素子１及びＴＧ２に対して行う（Ｓ９０２）。
【００５１】
次に、ＣＰＵ５は、ＦＲＯＭ１１に記憶されている欠陥画素の位置情報を切り出し画像サイズに応じて読み出し、読み出した欠陥画素の位置情報に基づいて、切り出し画像サイズに対応した欠陥画素補正テーブルを作成する（Ｓ９０３）。ここで、図７に示した領域Ｚ１〜Ｚ５を例として説明すると、例えば切り出し画像サイズがＡＰＳ−Ｃサイズである場合には、領域Ｚ３用の欠陥画素の位置情報が欠陥画素補正テーブルとして使用される。
【００５２】
また、切り出し画像サイズがＡＰＳ−Ｈサイズである場合には、領域Ｚ２、Ｚ３、Ｚ４用の欠陥画素の位置情報が欠陥画素補正テーブルとして使用される。同様に、切り出し画像サイズが３５ｍｍＦＵＬＬサイズである場合には、領域Ｚ１〜Ｚ５用の欠陥画素の位置情報が欠陥画素補正テーブルとして使用される。
【００５３】
続いて、ＣＰＵ５は、ステップＳ９０３において得られた欠陥画素補正テーブルを欠陥画素補正回路４ａに登録する。また、ＣＰＵ５は、画像切り出し回路４ｂに対する垂直方向の画像切り出し設定や、画像データ変倍回路４ｃへの変倍率の設定等、画像処理回路４の諸設定を行う（Ｓ９０４）。
【００５４】
その後、画像データキャプチャを開始する（Ｓ９０５）。この際、ステップＳ９０１において予め設定されている切り出し画像サイズに応じて、画像における水平方向のみについて切り出しが行われ、撮像素子１から画像データが読み出される。キャプチャされた画像データは、Ａ／Ｄ変換器３でデジタルデータに変換されて画像処理回路４に入力され、欠陥画素補正回路４ａで欠陥画素補正が行われる（Ｓ９０６）。この欠陥画素補正の詳細について以下に説明する。
【００５５】
切り出し画像サイズに応じて水平方向に関してのみ切り出しが行われてキャプチャされた画素データは、画像の先頭画素（左上）から順次欠陥画素補正回路４ａに読み込まれる。
【００５６】
切り出し画像サイズがＡＰＳ−Ｃサイズである場合、欠陥画素補正回路４ａは、この先頭画素から順番に画素数をカウントしていき、領域Ｚ３用の欠陥画素の位置情報に基づく欠陥画素補正テーブルを参照して欠陥画素補正を施す。具体的には、欠陥画素補正回路４ａは、領域Ｚ３用の欠陥画素の位置情報に基づく欠陥画素補正テーブルに記載の１つ目の欠陥画素までの画素数になると、欠陥画素補正（その画素の周辺の画素データを用いた補間処理）を行い、画素数のカウントを０に戻す。その後、欠陥画素補正回路４ａは、再び画素数のカウントを開始し、欠陥画素補正テーブルに記載されている２番目の欠陥画素までの画素数に到達したら、再び欠陥画素補正を行い、画素数のカウントを０に戻す。そして、欠陥画素補正回路４ａによる画素数のカウントが再び開始され、以降同様にして切り出された画像におけるすべての画素データについて欠陥画素補正回路４ａへの読み込みが終了するまで、上述した動作が行われる。
【００５７】
切り出し画像サイズがＡＰＳ−Ｈサイズである場合、欠陥画素補正回路４ａは、図７に示した領域Ｚ２〜Ｚ４の画素に対して画像の先頭画素（左上）から順次欠陥画素補正回路に読み込まれる。ここで、欠陥画素補正回路４ａは、領域Ｚ２の画素データについては欠陥画素補正テーブルにおける領域Ｚ２用の欠陥画素の位置情報を参照して欠陥画素補正を行う。同様に、領域Ｚ３の画素データは欠陥画素補正テーブルにおける領域Ｚ３用の欠陥画素の位置情報を参照して欠陥画素補正が行われ、領域Ｚ４の画素データは欠陥画素補正テーブルにおける領域Ｚ４用の欠陥画素の位置情報を参照して欠陥画素補正が行われる。各領域Ｚ２〜Ｚ４での欠陥画素補正の方法は、ＡＰＳ−Ｃサイズで示した方法と同じである。
【００５８】
同様に、切り出し画像サイズが３５ｍｍＦＵＬＬサイズである場合には、欠陥画素補正回路４ａは、図７に示した領域Ｚ１〜Ｚ５の全画素に対して、欠陥画素補正テーブルにおける領域Ｚ１〜Ｚ５用の欠陥画素の位置情報をそれぞれ参照して欠陥画素補正を行う。
【００５９】
欠陥画素補正が終了した後、欠陥画素補正回路４ａから出力された画像データは、ステップＳ９０１において設定された切り出し画像サイズに応じて、画像切り出し回路４ｂにより画像における垂直方向の切り出しが行われる（Ｓ９０７）。
【００６０】
垂直方向の画像切り出し終了後、画像切り出し回路４ｂから出力された画像データは、後段の画像データ変換回路４ｄや圧縮／伸張回路４ｅにより、ホワイトバランスや色補間等の色処理などの画像データ変換処理や画像データ圧縮処理等が施される（Ｓ９０８）。そして、コンパクトフラッシュ(登録商標)等の記憶媒体６に圧縮画像データを記録して画像データの保存を行い（Ｓ９０９）、動作を終了する。
【００６１】
以上、説明したように第２の実施形態における画像処理装置は、下記の項目（Ｂ１）〜（Ｂ４）の手法が併用して適用される。
（Ｂ１）欠陥画素補正を行う領域を切り出し画像サイズ毎に変更する。
（Ｂ２）欠陥画素の位置を表す欠陥画素補正用の欠陥画素の位置情報を欠陥画素と欠陥画素の間の画素数で定義する。
（Ｂ３）撮像素子からの出力時における画像の切り出しを水平方向のみ行い、欠陥画素補正後に垂直方向の切り出しを行う。
（４）欠陥画素の位置情報をＦＲＯＭ１１に記憶する際に、切り出し画像サイズ間で重複しないように撮像素子による水平方向切り出し画像サイズ毎の差分データとして欠陥画素の位置情報を持つ。
これにより、上述した第１の実施形態と同様に、欠陥画素の位置情報の記憶に要する記憶容量を削減でき、欠陥画素の位置情報の読み込み時間及び欠陥画素の補正時間を短縮することができる。また、切り出し画像サイズ毎に記憶されている欠陥画素の位置情報を順次読み出すだけで、画像サイズに応じた変換処理等を行うことなく、欠陥画素の補正を行うことができ、さらに欠陥画素の補正処理の高速化を図ることができる。
【００６２】
（本発明の他の実施形態）
上述した実施形態の機能を実現するべく各種のデバイスを動作させるように、該各種デバイスと接続された装置又はシステム内のコンピュータ（ＣＰＵ又はＭＰＵ）に対し、前記実施形態の機能を実現するためのソフトウェアのプログラムを供給し、そのシステム又は装置のコンピュータに格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。
また、この場合、前記ソフトウェアのプログラム自体が上述した実施形態の機能を実現することになり、そのプログラム自体は本発明を構成する。また、そのプログラムをコンピュータに供給するための手段、例えばかかるプログラムを格納した記録媒体は本発明を構成する。かかるプログラムを記憶する記録媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
また、コンピュータが供給されたプログラムを実行することにより、上述の実施形態の機能が実現されるだけでなく、そのプログラムがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）又は他のアプリケーションソフト等と共同して上述の実施形態の機能が実現される場合にもかかるプログラムは本発明の実施形態に含まれることは言うまでもない。
さらに、供給されたプログラムがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって上述した実施形態の機能が実現される場合にも本発明に含まれることは言うまでもない。
【００６３】
なお、上述した実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【図面の簡単な説明】
【００６４】
【図１】第１の実施形態による画像処理装置の構成例を示すブロック図である。
【図２】第１の実施形態における切り出し画像サイズと欠陥画素の位置情報を説明するための図である。
【図３】欠陥画素補正回路による欠陥画素の補正方法を示す図である。
【図４】欠陥画素の位置情報の記録形式を説明するための図である。
【図５】第１の実施形態における欠陥画素の位置情報の定義方法を示す図である。
【図６】第１の実施形態における画像処理装置の動作を示すフローチャートである。
【図７】第２の実施形態における切り出し画像サイズと欠陥画素の位置情報を説明するための図である。
【図８】第２の実施形態における画像処理装置の動作を示すフローチャートである。
【図９】欠陥画素の位置情報の定義方法の一例を示す図である。
【符号の説明】
【００６５】
１  撮像素子
２  ＴＧ（タイミング発生回路）
３  Ａ／Ｄ変換器
４  画像処理回路
４ａ  欠陥画素補正回路
４ｂ  画像切り出し回路
４ｃ  画像データ変倍回路
４ｄ  画像データ変換回路
４ｅ  圧縮／伸張回路
５  ＣＰＵ
６  記憶媒体
１１  ＦＲＯＭ
【図１】
2007336385.tif 000003
【図２】
2007336385.tif 000004
【図３】
2007336385.tif 000005
【図４】
2007336385.tif 000006
【図５】
2007336385.tif 000007
【図６】
2007336385.tif 000008
【図７】
2007336385.tif 000009
【図８】
2007336385.tif 000010
【図９】
2007336385.tif 000011