(57)【要約】【課題】  欠陥補正に要する時間を短縮する。【解決手段】  光を信号電荷に変換する撮像素子と、撮像素子の欠陥を示す情報を欠陥情報として記憶する記憶手段と、撮像素子からの信号電荷に基づいて生成される画像を複数の領域に分割する分割手段と、分割手段により分割された領域における画像内の情報を領域情報として取得する情報取得手段と、複数の領域のうち欠陥画素が発生する領域を欠陥情報に基づいて特定するとともに、特定された領域から得られた領域情報に基づいて欠陥画素からの出力信号を補正する欠陥補正手段と、を備えたことを特徴とする。【選択図】    図３
2010050730.tif 000002
【特許請求の範囲】
【請求項１】
光を信号電荷に変換する撮像素子と、
前記撮像素子の欠陥を示す情報を欠陥情報として記憶する記憶手段と、
前記撮像素子からの前記信号電荷に基づいて生成される画像を複数の領域に分割する分割手段と、
前記分割手段により分割された領域における前記画像内の情報を領域情報として取得する情報取得手段と、
前記複数の領域のうち欠陥画素が発生する領域を前記欠陥情報に基づいて特定するとともに、前記特定された領域から得られた前記領域情報に基づいて前記欠陥画素からの出力信号を補正する欠陥補正手段と、
を備えたことを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記領域情報は、前記領域における前記画像内の焦点状態を示す情報、又は前記領域における前記画像内の輝度変化量を示す情報の少なくともいずれか一方からなることを特徴とする撮像装置。
【請求項３】
請求項１又は２に記載の撮像装置において、
前記領域に発生する前記欠陥に対する補正の重要度を、少なくとも該領域から取得される前記領域情報に基づいて決定する重要度決定手段を、さらに備え、
前記欠陥補正手段は、前記重要度決定手段により決定された前記補正の重要度に合わせた補正内容を用いて、前記欠陥画素からの出力信号を補正することを特徴とする撮像装置。
【請求項４】
請求項１から請求項３のいずれか１項に記載の撮像装置において、
前記欠陥情報は、前記撮像素子における欠陥の位置を示す位置情報からなることを特徴とする撮像装置。
【請求項５】
請求項４に記載の撮像装置において、
前記欠陥情報は、前記位置情報の他に、前記欠陥の度合いを示す情報、前記欠陥の大きさを示す情報、或いは前記欠陥が発生する部位の重要度を示す情報の少なくとも１つの情報からなることを特徴とする撮像装置。
【請求項６】
光を信号電荷に変換する撮像素子からの信号電荷に基づいて生成される画像を複数の領域に分割する分割手段と、
前記分割手段により分割された領域のそれぞれにおける前記画像内の情報を領域情報として取得する情報取得手段と、
前記複数の領域のうち欠陥素が発生する領域を前記撮像素子の欠陥を示す情報に基づいて特定するとともに、少なくとも前記特定された領域から得られた前記領域情報に基づいて前記欠陥画素からの出力信号を補正する欠陥補正手段と、
を備えたことを特徴とする欠陥補正装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び欠陥補正装置に関する。
【背景技術】
【０００２】
ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ−Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子を用いて静止画像や動画像を取得するデジタルカメラが普及している。近年、半導体プロセスの進歩により微細加工が可能となり、高画素の画像を取得することができるデジタルカメラが提供されている。
【０００３】
デジタルカメラにより取得される画像では、上述した撮像素子における半導体の局所的な欠陥により、規格外の出力値しか得られない画素、出力が全く得られない画素、或いは出力値が常に飽和した画素などの欠陥画素が生じてしまうことがある。そこで、画像内に生じる欠陥に対して補正（以下、欠陥補正）を行う技術が提案されている。なお、ここでは、異常な信号を出力する画素を「欠陥画素」と称する場合と、画像化したときにその画素からの信号により、画像内に生じた表示上の欠陥を「欠陥画素」と称する場合がある。
【特許文献１】特開２００６−１７４４９７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、このような欠陥補正は、画像内の被写体の位置と欠陥画素との相対位置や撮影時に設定されるシーンモードなどに関係なく、一様な欠陥補正が行われるのが一般的であることから、高画素となる画像に対して欠陥補正を実行したときには欠陥補正の負荷が大きく、また、欠陥補正に時間を要してしまうという問題がある。
【０００５】
本発明は、上述した課題を解決するために発明されたものであり、欠陥補正に要する時間を短縮できるようにした撮像装置及び欠陥補正装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
第１の発明の撮像装置は、光を信号電荷に変換する撮像素子と、前記撮像素子の欠陥画素を示す情報を欠陥情報として記憶する記憶手段と、前記撮像素子からの前記信号電荷に基づいて生成される画像を複数の領域に分割する分割手段と、前記分割手段により分割された領域における前記画像内の情報を領域情報として取得する情報取得手段と、前記複数の領域のうち欠陥が発生する領域を前記欠陥情報に基づいて特定するとともに、前記特定された領域から得られた前記領域情報に基づいて前記欠陥画素からの出力信号を補正する欠陥補正手段と、を備えたことを特徴とする。
【０００７】
第２の発明は、第１の発明において、前記領域情報は、前記領域における前記画像内の焦点状態を示す情報、又は前記領域における前記画像内の輝度変化量を示す情報の少なくともいずれか一方からなることを特徴とする。
【０００８】
第３の発明は、第１又は第２の発明において、前記領域に発生する前記欠陥に対する補正の重要度を、少なくとも該領域から取得される前記領域情報に基づいて決定する重要度決定手段を、さらに備え、前記欠陥補正手段は、前記重要度決定手段により決定された前記補正の重要度に合わせた補正内容を用いて、前記欠陥画素からの出力信号を補正することを特徴とする。
【０００９】
第４の発明は、第１から第３の発明のいずれかにおいて、前記欠陥情報は、前記撮像素子における欠陥画素の位置を示す位置情報からなることを特徴とする。
【００１０】
第５の発明は、第１から第３の発明のいずれかにおいて、前記欠陥情報は、前記位置情報の他に、前記欠陥の度合いを示す情報、前記欠陥の大きさを示す情報、或いは前記欠陥が発生する部位の重要度を示す情報の少なくとも１つの情報からなることを特徴とする。
【００１１】
第６の発明の欠陥補正装置は、光を信号電荷に変換する撮像素子からの信号電荷に基づいて生成される画像を複数の領域に分割する分割手段と、前記分割手段により分割された領域における前記画像内の情報を領域情報として取得する情報取得手段と、前記複数の領域のうち欠陥が発生する領域を前記撮像素子の欠陥を示す情報に基づいて特定するとともに、少なくとも前記特定された領域から得られた前記領域情報に基づいて前記欠陥画素からの出力信号を補正する欠陥補正手段と、を備えたことを特徴とする。
【発明の効果】
【００１２】
本発明によれば、欠陥補正に要する処理時間を短縮することができる。
【発明を実施するための最良の形態】
【００１３】
図１は、本発明を実施したデジタルカメラの構成を示す図である。このデジタルカメラ１０は、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３などを備えている。なお、ＣＰＵ１１は、ＲＯＭ１２に記憶された制御プログラム１４を実行することで、デジタルカメラ１０の各部を統括的に制御する。ＲＯＭ１２には、制御プログラム１４の他に、後述する欠陥情報５１などのデータが記憶される。また、ＲＡＭ１３には、デジタルカメラ１０の制御時に発生する演算子などが一時記憶される。
【００１４】
撮像光学系１５は、撮影レンズ、ズームレンズやフォーカスレンズなどを含む複数のレンズから構成される。撮像素子１６は、例えばＣＣＤやＣＭＯＳなどが用いられる。撮像素子１６は、撮像光学系１５を透過した光束を信号電荷に変換（光電変換）することで画像信号を取得する。以下では、撮像素子１６としてＣＣＤを用いた場合について説明する。
【００１５】
図２に示すように、撮像素子１６は、例えばフォトダイオードからなる光電変換部２１が半導体基板２２の上面にマトリックス状に配列される。この半導体基板２２には、光電変換部２１の他に、不図示のトランジスタ、ゲート部、垂直転送部、水平転送部及び出力アンプなどが設けられる。
【００１６】
光電変換部２１が配列された半導体基板２２の上面には、遮光膜層２３が形成される他、カラーフィルタ層２４およびマイクロレンズ層２５が形成される。カラーフィルタ層２４は、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）のカラーフィルタが公知のベイヤー配列にしたがって配列される。このカラーフィルタ層２４を透過する光は、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の各色光に色分解された後、各光電変換部２１に照射される。これにより、各光電変換部２１は色分解された各色光のいずれかの光に基づいた信号電荷を蓄積する。蓄積された信号電荷は垂直転送部により水平転送部に転送された後、水平転送部により出力アンプに転送される。出力アンプは転送された信号電荷を電圧（電気信号）に変換して出力する。なお、信号電荷の蓄積量は、光の輝度値に比例することから、撮像素子１６から出力される電圧値は、輝度値を示す。
【００１７】
図２に示す撮像素子１６の断面図において図示は省略したが、撮像素子１６の受光面には、撮影時の被写体に対する焦点状態を検出する焦点検出部３１が複数設けられている。この焦点検出部３１は、撮影により取得された画像を分割することで得られる複数の領域のそれぞれの領域に対応するように撮影素子１６に設けられる。
【００１８】
図１に戻って、撮像素子１６から出力される電気信号は、Ａ／Ｄ変換器３５に出力される。Ａ／Ｄ変換器３５は、撮像素子１６から出力される電気信号をＡ／Ｄ変換する。このＡ／Ｄ変換器３５によるＡ／Ｄ変換によって電気信号がデジタル化される。このデジタル化された電気信号は１コマ毎にまとめられてバッファメモリ３６に記録される。これにより、画像データが生成される。上述したように、撮像素子１６から出力される画像信号はカラーフィルタ層２４を介して得られる画像信号であることから、取得される画像データは、ＲＡＷ画像データとなる。なお、符号３７はバスであり、このバス３７を介してデジタルカメラ１０の各部が電気的に接続される。
【００１９】
欠陥補正部４１は、画像内に生じる画素の欠陥を補正する。撮像素子１６が正常であることが理想的であるが、実際には、画素内に配置されるトランジスタ、光電変換部２１、配線などに異常の生じた画素が僅かであるが発生する。この欠陥画素からの出力信号により、画像内に欠陥が生じる。この欠陥補正部４１は、得られた画像に対して欠陥補正を実行する。
【００２０】
この欠陥補正部４１は、画像分割部４５、情報取得部４６、重要度決定部４７の機能を備えている。画像分割部４５は、撮影により得られた画像を、その縦横をそれぞれ４分割した計１６個の領域に分割する。なお、画像の分割数は、これに限定する必要はなく、適宜設定して良い。これら分割される複数の領域のそれぞれは、複数の画素からなる領域である。
【００２１】
情報取得部４６は、分割された複数の領域における画像内の情報（以下、領域情報と称する）を取得する。この領域情報としては、上述した焦点検出部３１から得られる焦点評価値、又はそれぞれの領域における輝度変化量（以下、エッジ量と称する）の少なくとも一方が挙げられる。なお、本実施形態では、領域情報として焦点評価値とエッジ量との両方を取得する場合について説明する。
【００２２】
焦点評価値は、上述した焦点検出部３１から出力される検出値に基づいて求められる。上述したように、焦点検出部３１は、分割される複数の領域のそれぞれに対応するように撮像素子１６内に配置される。情報取得部４６は、焦点検出部３１からの検出値を用いて焦点評価値を求める。なお、分割される領域内に焦点検出部３１が複数ある場合には、それら検出値から求められる焦点評価値の平均値を用いることも可能である。
【００２３】
エッジ量は、上述した複数の領域のそれぞれに対してエッジ検出処理を行うことで求められる。ここで、エッジ検出処理としては、例えばラプラシアンフィルタなど、エッジ検出用のフィルタを用いた処理が挙げられる。情報取得部４６は、複数の領域のそれぞれに対してエッジ検出処理を施すことで、各領域におけるエッジ量を求める。
【００２４】
重要度決定部４７は、欠陥画素に対する欠陥補正の重要度を決定する。ＲＯＭ１２には、撮像素子１６の欠陥に関する情報（以下、欠陥情報と称する）５１が記憶されている。重要度決定部４７は、ＲＯＭ１２に記憶された欠陥情報５１を読み出して、画像を分割することで得られる複数の領域のうち、欠陥画素が生じる領域を特定する。欠陥画素が生じる領域を特定した後、重要度決定部４７は、特定した領域の領域情報を参照して、欠陥補正の重要度を決定する。欠陥情報５１としては、撮像素子１６の欠陥の位置を示す情報が挙げられる。上述したように、画素の欠陥としては、光電変換部２１、トランジスタ、配線等の異常が挙げられるので、撮像素子１６の欠陥の位置としては、上述した欠陥画素の位置（アドレス）が挙げられる。
【００２５】
画像処理部５５は、欠陥補正部４１による欠陥補正が施された画像データに対して、ベイヤー補間、輪郭補償、ガンマ補正、ホワイトバランス調整などの画像処理を施す。これら画像処理は周知であることから、ここではその詳細を省略する。また、画像処理部５５は、画像処理された画像データから、サムネイル画像データや例えばＪＰＥＧ方式などの圧縮形式による圧縮画像データを生成する。
【００２６】
ＬＣＤ５６は、撮影により得られた画像や、非撮影時に撮像素子１６により取り込まれるスルー画像などを表示する。また、この他に、ＬＣＤ５６は、デジタルカメラ１０における撮影条件などの設定を行う際のメニュー画像を表示する。このＬＣＤ５６は、表示制御部５７により制御される。操作部５８は、レリーズボタンや十字キー等から構成される。
【００２７】
このデジタルカメラ１０には、メモリカードなどの記憶媒体５９が着脱自在となっている。記憶媒体５９がデジタルカメラ１０に装着されると、これらがメディアコントローラ６０を介して電気的に接続される。この接続により、ＣＰＵ１１は、取得される画像データを記憶媒体５９に記録する処理や、記憶媒体５９に記憶された画像データを読み出す処理を行うことが可能となる。なお、取得される画像データを記憶媒体５９に記録する場合には、ＣＰＵ１１は、上述したサムネイル画像データ、圧縮画像データの他に、撮影条件やデジタルカメラの種類などの情報をまとめた画像ファイルを生成した後、メディアコントローラ６０を介して記憶媒体５９に記録する。
【００２８】
次に、欠陥補正処理の流れについて、図３のフローチャートに基づいて説明する。
【００２９】
ステップＳ１０１：画像を取得する処理である。このステップＳ１０１の処理を実行することにより画像が取得され、また、撮像素子１６に設けられた焦点検出部３１のそれぞれから焦点状態を検出するための検出値が取得される。
【００３０】
ステップＳ１０２：欠陥情報が有るか否かを判定する処理である。ＣＰＵ１１は、ＲＯＭ１２を参照する。上述したように、欠陥情報５１は、撮像素子１６の欠陥を示す情報であることから、欠陥画素を有する撮像素子１６がデジタルカメラ１０に組み込まれていれば、製造時に欠陥情報５１がＲＯＭ１２に記憶される。この場合、ステップＳ１０２の判定処理がＹｅｓとなり、ステップＳ１０３に進む。一方、欠陥が生じていない、つまり正常な撮像素子１６がデジタルカメラ１０に組み込まれていれば、欠陥情報５１はＲＯＭ１２には記憶されていない。この場合には、ステップＳ１０２の判定はＮｏとなり、欠陥補正が終了する。
【００３１】
ステップＳ１０３：取得された画像を複数の領域に分割する処理である。欠陥補正部４１は、得られた画像の縦横をそれぞれ４分割した計１６個の領域に分割する。
【００３２】
ステップＳ１０４：分割された複数の領域毎の焦点評価値を取得する処理である。上述したように、ステップＳ１０１の処理が実行されたときに、撮像素子１６に設けられた焦点検出部３１のそれぞれから検出値が取得されているので、欠陥補正部４１は、取得された検出値を用いて、分割された複数の領域のそれぞれにおける焦点評価値を求める。なお、求めた焦点評価値は、対象となる領域とそれぞれ対応付けられてＲＡＭ１３に記憶される。
【００３３】
ステップＳ１０５：分割された複数の領域毎のエッジ量を取得する処理である。欠陥補正部４１は、分割された複数の領域毎にエッジ検出処理を行うことで、各領域のエッジ量を求める。なお、求めたエッジ量は、対象となる領域とそれぞれ対応付けられてＲＡＭ１３に記憶される。
【００３４】
ステップＳ１０６：画像内に欠陥が発生する領域を特定する処理である。ＲＯＭ１２には、予め欠陥情報５１が記憶されている。欠陥補正部４１は、ＲＯＭ１２から欠陥情報５１を読み出す。欠陥情報５１は、撮像素子１６の欠陥を示す情報である。欠陥補正部４１は、この欠陥情報５１を用いることで、複数の領域から画像内に欠陥が発生する領域を特定することが可能となる。
【００３５】
ステップＳ１０７：焦点評価値、エッジ量に基づいて特定された領域における欠陥補正の重要度を決定する処理である。このステップＳ１０７の処理を行うことで、画像を分割することで得られる複数の領域のうち、欠陥の生じる領域に対する欠陥補正の重要度が決定される。例えば、重要度が高い領域には重要度を示すフラグ「１」が付される。さらに、重要度が中となる領域には重要度を示すフラグ「２」が、重要度が低い領域には重要度を示すフラグ「３」がそれぞれ付される。なお、このステップＳ１０７の処理も、欠陥補正部４１にて実行される。このステップＳ１０７の処理についての詳細は後述する。
【００３６】
ステップＳ１０８：重要度に合わせた欠陥補正を行う処理である。ステップＳ１０７において、画像内に欠陥が生じる領域に対して欠陥補正の重要度が決定されることから、この欠陥補正の重要度に合わせた欠陥補正が欠陥画素からの出力信号に対して実行される。ＲＯＭ１２には、予め異なる複数の欠陥補正プログラム（不図示）が記憶されており、これら欠陥補正プログラムのうち、欠陥補正の重要度に合わせた欠陥補正プログラムを選択した上で、欠陥補正を実行する。
【００３７】
以下、ステップＳ１０７の処理内容について図４のフローチャートを用いて説明する。
【００３８】
ステップＳ２０１：画像内に欠陥が発生する領域の焦点評価値が閾値よりも大きいか否かを判定する処理である。欠陥補正部４１は、画像内に欠陥が発生する領域に対応する焦点評価値をＲＡＭ１３から読み出し、この焦点評価値と予め設定された閾値とを比較する。なお、この閾値は、予め実験や評価を行うことで得られる値である。欠陥が発生する領域の焦点評価値が閾値よりも大きいと判定された場合（ステップＳ２０１の処理がＹｅｓとなる場合）には、ステップＳ２０２に進む。一方、欠陥が発生する領域の焦点評価値が閾値よりも小さいと判定された場合（ステップＳ２０１の処理がＮｏとなる場合）には、ステップＳ２０５に進む。
【００３９】
ステップＳ２０２：欠陥が発生する領域のエッジ量が閾値よりも大きいか否かを判定する処理である。欠陥補正部４１は、欠陥画素が発生する．領域に対応するエッジ量をＲＡＭ１３から読み出し、この焦点評価値と予め設定された閾値とを比較する。なお、この閾値は、予め実験や評価を行うことで得られる値である。欠陥が発生する領域のエッジ量が閾値よりも大きいと判定された場合（ステップＳ２０２の処理がＹｅｓとなる場合）には、ステップＳ２０３に進む。一方、欠陥が発生する領域のエッジ量が閾値よりも小さいと判定された場合（ステップＳ２０２の処理がＮｏとなる場合）には、ステップＳ２１１に進む。
【００４０】
ステップＳ２０３：欠陥補正における重要度としてフラグ「１」を設定する処理である。このステップＳ２０３の処理が実行される領域は、焦点が合い、また、主要被写体が写り込む領域である。このような領域においては、欠陥補正の重要度は高くなるので、このような領域に対しては重要度を示すフラグとして「１」が設定される。フラグ「１」が設定された領域に欠陥画素が生じている場合、欠陥補正の処理内容としては、得られる画像データがＲＡＷ画像データとなることから、欠陥画素の周縁に配列される同一色の画素の画素値（画素からの出力信号であり、この場合、輝度値）の差を用いて方向判定を行い、方向判定の結果に基づいて欠陥画素の画素値を補間するなどの処理内容が挙げられる。
【００４１】
一方、ステップＳ２０２の処理でＮｏとなる場合には、ステップＳ２０４に進む。
【００４２】
ステップＳ２０４：欠陥補正における重要度としてフラグ「２」を設定する処理である。このステップＳ２０４の処理が実行される領域は、焦点が合っているが、主要被写体が写り込まない領域である。このような領域に対しては、欠陥補正の重要度としてフラグ「２」が設定される。フラグ「２」に設定された領域に欠陥画素が生じている場合、欠陥画素に対する欠陥補正の処理内容としては、例えば欠陥画素に隣接する同一色の画素の画素値の平均を欠陥画素の画素値とする処理内容が挙げられる。
【００４３】
さらに、ステップＳ２０１の処理でＮｏとなる場合にはステップＳ２０５に進む。
【００４４】
ステップＳ２０５：欠陥補正における重要度としてフラグ「３」を設定する処理である。このステップＳ２０５の処理が実行される領域は、焦点が合っておらず、また主要被写体が写り込んでいない領域である。このような領域においては欠陥補正の重要度は低いことから、欠陥補正の重要度としてフラグ「３」が設定される。フラグ「３」に設定された領域に欠陥画素が生じている場合、欠陥画素に対する欠陥補正の処理内容としては、例えば欠陥画素に隣接する同一色の画素のいずれかの画素値を欠陥画素の画素値とする処理内容が挙げられる。
【００４５】
以下、山を背景として人物を撮影した画像の場合について説明する。図５（ａ）に示すように、撮影により取得された画像ＰＩにおいては、欠陥画素による画像の欠陥ＤＰ１、ＤＰ２、ＤＰ３が発生する。図５（ｂ）に示すように、例えば縦横にそれぞれ４分割して画像ＰＩを計１６個の領域ａ1〜ａ16に分割した場合、欠陥ＤＰ１、ＤＰ２、ＤＰ３が発生する領域ａ6、ａ9、ａ12がそれぞれ特定される。例えば欠陥ＤＰ１は、被写体の顔に該当する画素であることから、欠陥ＤＰ１が発生する領域ａ6は焦点評価値、エッジ量も高くなる。この領域ａ6に対する欠陥補正の重要度としてはフラグ「１」が設定される。
【００４６】
一方、欠陥ＤＰ２が発生する領域ａ9や、欠陥ＤＰ３が発生する領域ａ12は、背景に該当する領域であることから、これら領域ａ9、ａ12に対する欠陥補正の重要度は被写体となる領域に比べて低くなる。これら領域に対してはフラグ「２」が設定される。なお、欠陥ＤＰ１、ＤＰ２、ＤＰ３が発生する他に、例えば領域ａ10、ａ14に欠陥が発生している場合、これら領域ａ10、ａ14は被写体の体の部分に該当することから、これら領域ａ10、ａ14に対する欠陥補正の重要度としてフラグ「２」が設定され、背景に該当する領域ａ9、ａ12に対する欠陥補正の重要度として「３」が設定される。
【００４７】
例えば重要度としてフラグ「１」が設定された領域に対しては、緻密な欠陥補正が施される。一方、重要度としてフラグ「２」や「３」が設定される領域に対しては、フラグ「１」が設定された領域に対する欠陥補正よりも簡易な欠陥補正が施される。つまり、欠陥補正における重要度に合わせた欠陥補正が、該当する領域に対して実行される。これにより、一様な欠陥補正を行わなくとも、画像内の情報に基づいた欠陥補正を適切に実行することができる。また、欠陥画素に対する補正を一様の処理で行わなくなることから、欠陥補正にかかる時間を短縮することができる。
【００４８】
なお、本実施形態では、欠陥情報５１として、撮像素子１６の欠陥画素の位置を示す情報を挙げて説明しているが、撮像素子１６の欠陥画素の位置を示す情報に加えて、撮像素子１６の欠陥の度合いを示す情報、撮像素子１６の欠陥の大きさを示す情報、或いは欠陥が発生する部位の重要度を示す情報の少なくとも何れかの情報を欠陥情報とすることもできる。欠陥情報が、欠陥となる光電変換部２１の位置を示す情報の他に、上述した情報のいずれかとからなる場合には、重要度決定部４７は、領域情報と欠陥情報とを用いて、欠陥画素に対する欠陥補正の重要度を決定する。
【００４９】
撮像素子１６の欠陥の度合いを示す情報は、以下の情報が挙げられる。撮像素子１６の欠陥画素は、例えば出力値が全く得られない、出力値が常に飽和している、或いは出力が得られるが出力レベルが正常な出力レベルとは異なるなどの症状をきたす。撮像素子１６の欠陥の度合いを示す情報は、これら欠陥の種類や欠陥の程度を示す情報となる。
【００５０】
また、撮像素子１６の欠陥の大きさを示す情報としては、以下の情報が挙げられる。上述したように、撮像素子１６の欠陥画素としては、光電変換部２１やトランジスタ等の異常からなる。また、これら欠陥は、単一の部位で発生するとは限らず、隣接する複数の部位が所定領域内に集中して発生する場合もある。撮像素子１６の欠陥の大きさを示す情報は、欠陥画素の数や密度を示す情報となる。
【００５１】
また、欠陥が発生する部位の重要度を示す情報としては、例えば撮像素子１６の受光面を複数の領域に分割したときに、分割される領域のそれぞれに対する重要度を示す情報が挙げられる。
【００５２】
主要被写体の位置を撮影範囲の中央に合わせた上で撮影することが一般的である。図６に示すように、例えば撮像素子１６の受光面１６ａを仮想的に分割することで得られる複数の領域ｆ1〜ｆ16のうち、中央の領域ｆ6，ｆ7，ｆ10，ｆ11の重要度を「１」に設定し、周縁の領域ｆ1，ｆ2，ｆ3，ｆ4，ｆ5，ｆ8，ｆ9，ｆ12，ｆ13，ｆ14，ｆ15，ｆ16の重要度を「２」にする。なお、この受光面を仮想的に分割することで得られる領域の数は、上記に限定する必要はない。また、それぞれの領域に対する重要度も上記に限定される必要はなく、例えば撮影モードに合わせて重要度を変更するなどしてよい。
【００５３】
欠陥が発生する部位に対する撮像素子１６の重要度が欠陥情報に含まれる場合には、画像内の各領域に対する欠陥補正の重要度は、次のようにして決定される。例えば中心に被写体が位置する画像の場合、画像内の中央の領域から得られるエッジ量や焦点評価値は高くなる。また、撮像素子１６の受光面１６ａ上における中央の領域ｆ6，ｆ7，ｆ10，ｆ11に対する欠陥の重要度も高いことから、画像の中央の領域に発生する欠陥画素に対しては欠陥補正の重要度は高くなる。一方、画像内の周縁の領域から得られるエッジ量や焦点評価値は低くなり、撮像素子１６の受光面１６ａ上における周縁の領域ｆ1，ｆ2，ｆ3，ｆ4，ｆ5，ｆ8，ｆ9，ｆ12，ｆ13，ｆ14，ｆ15，ｆ16における欠陥の重要度は低いことから、画像の周縁の領域に発生する欠陥に対しては欠陥補正の重要度は低くなる。
【００５４】
しかしながら、画像における被写体の位置は、必ずしも画像の中心に位置しないのが現状である。このような場合には、撮像素子１６の受光面を分割した複数の領域に対する重要度と、各領域における焦点評価値及びエッジ量からなる領域情報との両方を考慮して、最終的な欠陥補正の重要度を決定すればよい。この場合、焦点評価値及びエッジ量からなる領域情報を欠陥情報よりも優先して、欠陥補正の重要度を決定すればよい。
【００５５】
本実施形態では、欠陥補正部４１を、ＣＰＵ１１や画像処理部５５とは別に設けているが、これに限定する必要はなく、ＣＰＵ１１や画像処理部５５に、本実施形態の欠陥補正部４１の機能を設けることも可能である。
【００５６】
本実施形態では、撮像素子１６に焦点検出部３１を設けた実施形態としているが、これに限定される必要はなく、例えば焦点検出用センサを撮像素子とは別個に設けることも可能である。この場合、例えば撮像光学系の光軸上にハーフミラーを設け、焦点検出用センサによってハーフミラーにて反射される光を受光すればよい。これによれば、撮像素子に焦点検出部を設けなくとも、焦点検出用センサからの出力値を利用することで、焦点評価値を求めることが可能となる。
【００５７】
本実施形態では、半導体プロセスにより製造される撮像素子１６の欠陥を示す欠陥情報５１を予めＲＯＭ１２に記憶させていたが、これに限定する必要はなく、例えばユーザが撮影を行うことで取得される画像から欠陥画素の位置や欠陥の度合いを検出し、検出された欠陥画素の情報を、欠陥情報としてＲＡＭ１３に記憶させることも可能である。一般に、撮像素子１６の欠陥画素は、製造中や、撮像素子１６の耐用年数を超えた場合に発生する場合が多いことから、ユーザがデジタルカメラ１０を使用している過程で撮像素子１６に欠陥が発生することは希である。しかしながら、ユーザが撮影を行うことで取得される画像から検出される欠陥画素の情報を欠陥情報として記憶できれば、デジタルカメラ内で撮像素子の耐用年数が超えているか否かを判断でき、その旨を表示できれば、ユーザに認識させることも可能である。なお、このような場合、欠陥画素が新たに発生したときには、ＲＡＭ１３に記憶される欠陥情報を更新すればよい。
【００５８】
本実施形態では、欠陥補正の重要度に合わせて、欠陥補正における補正内容を変更しているが、これに限定する必要はなく、例えば同一の欠陥補正処理を用い、欠陥補正時に使用する画素数や画素の範囲等を欠陥補正の重要度に合わせて変更することも可能である。
【００５９】
本実施形態では、欠陥情報と領域情報とに基づいて、画像内の欠陥に対する欠陥補正を実行しているが、この他に、撮影を行う際に設定される撮影モードを考慮して欠陥補正を実行することも可能である。一般に、デジタルカメラには、風景撮影モードや、夜間撮影モードなど、複数の撮影モードの何れかを設定することが可能であり、設定された撮影モードに関係なく、欠陥情報と領域情報とに基づいて、画像内の欠陥に対する欠陥補正を行う場合には、欠陥補正が適切に実行されない場合もある。このため、欠陥情報や領域情報の他に、撮影時に設定される撮影モードを欠陥補正を実行する際に考慮することで、適切な欠陥補正を実行することが可能となる。
【００６０】
本実施形態では、デジタルカメラを取り上げて説明しているが、本発明は、デジタルカメラの他に、本実施形態の欠陥補正部４１の機能を備えた欠陥補正装置や画像処理装置などに適用することも可能である。図７は、欠陥補正装置の一例を示す図である。この欠陥補正装置７１は、本実施形態のデジタルカメラにおける欠陥補正部の機能を有している。つまり、画像が入力されると、この入力された画像（以下、入力画像）ＰＩに対して、画像分割（図中符号７５）、情報取得（図中符号７６）、領域特定（図中符号７７）、重要度決定（図中符号７８）、及び欠陥補正（図中符号７９）の各処理が実行され、欠陥補正された画像（出力画像ＰＩ’）が出力される。なお、上述した画像分割は本実施形態のステップＳ１０２、情報取得は本実施形態のステップＳ１０３及びステップＳ１０４にそれぞれ対応する。また、領域特定は本実施形態のステップＳ１０５、重要度決定は本実施形態のステップＳ１０６、欠陥補正は本実施形態のステップＳ１０７にそれぞれ対応する。なお、これら処理については、その詳細は省略する。この場合も、本実施形態と同様に欠陥情報８０が必要となるが、この欠陥情報８０は、予め欠陥補正装置７１に保持させる形態であっても、画像ＰＩを入力する際に欠陥補正装置７１に入力させる形態であっても良い。
【図面の簡単な説明】
【００６１】
【図１】デジタルカメラの構成を示す機能ブロック図である。
【図２】撮像素子の断面図である。
【図３】欠陥補正時の処理の流れを示すフローチャートである。
【図４】欠陥補正の重要度を決定する処理の流れを示すフローチャートである。
【図５】図５（ａ）は撮影時に得られた画像の一例を示す図、図５（ｂ）は、画像を分割したときの欠陥画素が含まれる領域を示す図である。
【図６】欠陥情報として、欠陥となる光電変換部に対する欠陥補正の重要度を示す図である。
【図７】欠陥補正装置の構成の一例を示す図である。
【符号の説明】
【００６２】
１０…デジタルカメラ、１６…撮像素子、２１…光電変換部、３１…焦点検出部、４１…欠陥補正部、４５…画像分割部、４６…情報取得部、４７…重要度決定部、５１…欠陥情報、７１…欠陥補正装置
【図１】
2010050730.tif 000003
【図２】
2010050730.tif 000004
【図３】
2010050730.tif 000005
【図４】
2010050730.tif 000006
【図５】
2010050730.tif 000007
【図６】
2010050730.tif 000008
【図７】
2010050730.tif 000009