(57)【要約】  本発明の画像処理システムは、撮像素子と、撮像素子に生じる欠陥画素の位置を示す情報を取得する取得部と、撮像素子を介して生成される画像における欠陥画素の位置を示す識別情報を作成する作成部と、欠陥画素ごとに、近傍画素との相関性を検出する検出部と、検出部による検出結果に応じて、欠陥画素ごとの画素値を推定する推定部とを備えることで、より正確で質の良い欠陥画素の補正を実現することができる。なお、画像処理システムは、撮像装置と画像処理プログラムを記録したコンピュータとから成り、撮像装置は、撮像素子と、取得部と、作成部とを含み、画像処理プログラムは、コンピュータを、検出部と、推定部として機能させても良い。【特許請求の範囲】
【請求項１】
撮像素子と、
前記撮像素子に生じる欠陥画素の位置を示す情報を取得する取得部と、
前記撮像素子を介して生成される画像における前記欠陥画素の位置を示す識別情報を作成する作成部と、
前記欠陥画素ごとに、近傍画素との相関性を検出する検出部と、
前記検出部による検出結果に応じて、前記欠陥画素ごとの画素値を推定する推定部と
を備えたことを特徴とする画像処理システム。
【請求項２】
請求項１に記載の画像処理システムにおいて、
前記画像処理システムは、撮像装置と画像処理プログラムを記録したコンピュータとから成り、
前記撮像装置は、前記撮像素子と、前記取得部と、前記作成部とを含み、
前記画像処理プログラムは、前記コンピュータを、前記検出部と、前記推定部として機能させる
ことを特徴とする画像処理システム。
【請求項３】
請求項２に記載の画像処理システムにおいて、
前記撮像装置の前記作成部は、前記識別情報を前記画像のヘッダ情報として作成し、
前記コンピュータは、前記画像とともに前記ヘッダ情報を取得する
ことを特徴とする画像処理システム。
【請求項４】
請求項１に記載の画像処理システムにおいて、
前記画像に対して補間処理を施す補間部を備え、
前記検出部および前記推定部は、前記補間部が前記補間処理を施す際に、前記相関性の検出および前記画素値の推定を行う
ことを特徴とする画像処理システム。
【請求項５】
請求項４に記載の画像処理システムにおいて、
前記検出部は、前記識別情報に基づいて、前記欠陥画素に隣接する画素が欠陥画素であるか否かを判定する
ことを特徴とする画像処理システム。
【請求項６】
請求項５に記載の画像処理システムにおいて、
前記推定部は、前記欠陥画素を含む３つ以上の欠陥画素が、任意の方向に連続して存在し、かつ、それらの欠陥画素が連続している方向と、最も高い相関性を有する方向とが同じである場合には、最近傍の同色の画素の画素値に基づいて、前記欠陥画素の画素値を推定する
ことを特徴とする画像処理システム。
【請求項７】
請求項１に記載の画像処理システムにおいて、
前記作成部は、前記画像における前記欠陥画素の位置を示す識別情報の作成として、前記欠陥画素の画素値を、前記画素値が取り得る最大値と最小値との少なくとも一方に置き換える
ことを特徴とする画像処理システム。
【請求項８】
請求項１に記載の画像処理システムにおいて、
前記推定部による前記画素値の推定を行う前に、前記画像に対してホワイトバランス調整と色処理と階調変換処理との少なくとも１つを含む画像処理を施す画像処理部を備え、
前記画像処理部は、前記識別情報を改変せずに前記画像処理を行う
ことを特徴とする画像処理システム。
【請求項９】
請求項１に記載の画像処理システムにおいて、
前記作成部は、前記撮像素子による撮像系の中で、階調情報の最も多い状態において前記識別情報の作成を行う
ことを特徴とする画像処理システム。
【請求項１０】
欠陥画素の位置に、欠陥画素であることを示す識別情報を有した画像に対する画像処理をコンピュータで実現する画像処理プログラムであって、
前記欠陥画素であることを示す前記識別情報を有した画像を取得する取得ステップと、
前記欠陥画素の画素値を、近傍の画素値に基づいて置換する置換ステップと、
前記画像に対して補間処理を施す補間ステップとを有し、
前記置換ステップは、前記補間ステップにおいて前記補間処理が終了するまでの間に、前記欠陥画素の画素値を、近傍の画素値に基づいて置換する
ことを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、欠陥画素を補正する画像処理システムおよび画像処理プログラムに関する。
【背景技術】
【０００２】
従来より、電子カメラなどの撮像装置では、光電変換の手段として撮像素子が広く用いられている。このような撮像素子では受光素子の欠陥あるいは受光面の不均一性などによる欠陥画素が生じる場合がある。このような欠陥画素では画素の出力が異常になり、輝点や黒点となって再現される。このような欠陥画素を補正するために、置換などの技術が用いられている（例えば、特許文献１参照）。
【特許文献１】特開平５−４１８６８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、上述した特許文献１の発明では、被写体の状態や撮影時の条件によっては、十分な補正を行うことが困難であり、満足できる補正効果を得られない場合があった。
本発明は、より正確で質の良い欠陥画素の補正を実現可能な画像処理システムおよび画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００４】
本発明の画像処理システムは、撮像素子と、前記撮像素子に生じる欠陥画素の位置を示す情報を取得する取得部と、前記撮像素子を介して生成される画像における前記欠陥画素の位置を示す識別情報を作成する作成部と、前記欠陥画素ごとに、近傍画素との相関性を検出する検出部と、前記検出部による検出結果に応じて、前記欠陥画素ごとの画素値を推定する推定部とを備える。【０００５】
なお、好ましくは、前記画像処理システムは、撮像装置と画像処理プログラムを記録したコンピュータとから成り、前記撮像装置は、前記撮像素子と、前記取得部と、前記作成部とを含み、前記画像処理プログラムは、前記コンピュータを、前記検出部と、前記推定部として機能させても良い。
また、好ましくは、前記撮像装置の前記作成部は、前記識別情報を前記画像のヘッダ情報として作成し、前記コンピュータは、前記画像とともに前記ヘッダ情報を取得しても良い。【０００６】
また、好ましくは、前記画像に対して補間処理を施す補間部を備え、前記検出部および前記推定部は、前記補間部が前記補間処理を施す際に、前記相関性の検出および前記画素値の推定を行っても良い。
また、好ましくは、前記検出部は、前記識別情報に基づいて、前記欠陥画素に隣接する画素が欠陥画素であるか否かを判定しても良い。【０００７】
また、好ましくは、前記推定部は、前記欠陥画素を含む３つ以上の欠陥画素が、任意の方向に連続して存在し、かつ、それらの欠陥画素が連続している方向と、最も高い相関性を有する方向とが同じである場合には、最近傍の同色の画素の画素値に基づいて、前記欠陥画素の画素値を推定しても良い。
また、好ましくは、前記作成部は、前記画像における前記欠陥画素の位置を示す識別情報の作成として、前記欠陥画素の画素値を、前記画素値が取り得る最大値と最小値との少なくとも一方に置き換えても良い。【０００８】
また、好ましくは、前記推定部による前記画素値の推定を行う前に、前記画像に対してホワイトバランス調整と色処理と階調変換処理との少なくとも１つを含む画像処理を施す画像処理部を備え、前記画像処理部は、前記識別情報を改変せずに前記画像処理を行っても良い。
また、好ましくは、前記作成部は、前記撮像素子による撮像系の中で、階調情報の最も多い状態において前記識別情報の作成を行っても良い。【０００９】
本発明の画像処理プログラムは、欠陥画素の位置に、欠陥画素であることを示す識別情報を有した画像に対する画像処理をコンピュータで実現する画像処理プログラムであって、前記欠陥画素であることを示す前記識別情報を有した画像を取得する取得ステップと、前記欠陥画素の画素値を、近傍の画素値に基づいて置換する置換ステップと、前記画像に対して補間処理を施す補間ステップとを有し、前記置換ステップは、前記補間ステップにおいて前記補間処理が終了するまでの間に、前記欠陥画素の画素値を、近傍の画素値に基づいて置換する。
【発明の効果】
【００１０】
本発明の画像処理システムおよび画像処理プログラムによれば、より正確で質の良い欠陥画素の補正を実現することができる。
【図面の簡単な説明】
【００１１】
【図１】第１実施形態の電子カメラ１の構成および処理の流れを示す図である。
【図２】補間および欠陥画素補正部７の動作を示すフローチャートである。
【図３】欠陥画素の補正について説明する図である。
【図４】欠陥画素の補正について説明する別の図である。
【図５】欠陥画素の補正について説明する別の図である。
【図６】補間および欠陥画素補正部７の動作を示す別のフローチャートである。
【図７】第２実施形態の画像処理システム１００の構成および処理の流れを示す図である。
【図８】欠陥画素の補正について説明する別の図である。
【発明を実施するための最良の形態】
【００１２】
《第１実施形態》
以下、図面を用いて本発明の第１実施形態について説明する。第１実施形態では、本発明の画像処理システムを備えた電子カメラ１を用いて説明を行う。
電子カメラ１は、図１に示すように、被写体像を撮像する撮像素子２、Ａ／Ｄ変換を行うＡ／Ｄ変換部３、本発明の特徴である識別情報を作成する欠陥画素識別情報作成部４、ホワイトバランス調整を行うホワイトバランス調整部５、ガンマ処理を行うガンマ処理部６、補間処理および本発明の特徴である欠陥画素補正を行う補間および欠陥画素補正部７、色再現処理や色空間変換などを行う色処理部８、輪郭強調処理を行う輪郭強調部９、画像を圧縮する圧縮部１０を備える。【００１３】
撮像素子２から出力された信号は、Ａ／Ｄ変換部３でアナログ信号からディジタル信号に変換される。従来の技術では、このＡ／Ｄ変換の後に、欠陥画素のアドレス情報を検出し、検出したアドレス情報に基づいて、当該画素の画素値を近傍の値に置換する。また、本実施形態では、撮像素子２はベイア配列を有するものとする。
本実施形態では、Ａ／Ｄ変換の後に、欠陥画素識別情報作成部４において、その画素が欠陥画素であることを示す識別情報を作成する。例えば、Ａ／Ｄ変換部３が１２ｂｉｔの精度を有している場合、欠陥画素の画素値を４０９５に置き換える。４０９５は、画素値が取り得る最大値であり、４０９５であることがそのまま欠陥画素であることを示すマークとなる。なお、欠陥画素のアドレス情報ではなく、近傍の画素の平均値などから自動的に欠陥画素を検出する構成としても良い。【００１４】
欠陥画素における画素値の置き換えを行うと、ホワイトバランス調整部５はホワイトバランス調整を行い、ガンマ処理部６はガンマ処理を行う。ホワイトバランス調整およびガンマ処理の具体的な方法は公知技術と同様であるため説明を省略する。ただし、各処理において、欠陥画素であるというマーク（画素値：４０９５）を検出すると、ホワイトバランス調整部５は、以下の処理を行うことにより、識別情報を改変せずに画像処理を行う。【００１５】
すなわち、ホワイトバランス調整前のデータをＤｂ、ホワイトバランス調整後のデータをＤａとすると、
ｉｆ  Ｄｂ＝４０９５  ｔｈｅｎ  Ｄａ＝４０９５
ｉｆ  Ｄｂ≠４０９５  ｔｈｅｎ
ｉｆ  Ｄａ≧４０９５  ｔｈｅｎ  Ｄａ＝４０９４
なるクリップ処理を行う。ガンマ処理部６についても、同様の処理を行うことにより、識別情報を改変せずに画像処理を行う。【００１６】
次に、補間および欠陥画素補正部７は、補間と同時に欠陥画素の補正処理を行う。
図２は、補間および欠陥画素補正部７の動作を示すフローチャートである。
ステップＳ１において、補間および欠陥画素補正部７は、ガンマ処理後の画像に含まれる画素を予め定められた順番でチェックし、欠陥画素であるというマーク（画素値：４０９５）が検出されたか否かを判定する。なお、本実施形態は、左上の画素から右方向に進み、一行目が終了すると２行目の左端の画素に進む。そして、補間および欠陥画素補正部７は、マークが検出されたと判定すると、ステップＳ２に進む。一方、ガンマ処理後の画像に含まれる全ての画素をチェックしても、マークが検出されない場合には、後述するステップＳ１０に進む。【００１７】
ステップＳ２において、補間および欠陥画素補正部７は、マークが検出された画素（以下、「注目画素」と称する）に隣接する画素でマークが検出されたか否かを判定する。例えば、図３Ａの「○」を示した画素ｐ０が注目画素である場合、補間および欠陥画素補正部７は、枠Ｅ０に示す４つの画素において、マークが存在するか否かを判定し、注目画素に隣接する画素でマークが検出されたと判定すると、ステップＳ３に進み、注目画素に隣接する画素でマークが検出されないと判定すると、後述するステップＳ７に進む。【００１８】
ステップＳ３において、補間および欠陥画素補正部７は、さらに隣接する画素でマークが検出されたか否かを判定する。例えば、ステップＳ２において、図３Ａの「○」を示した画素ｐ１でマークが検出された場合、補間および欠陥画素補正部７は、枠Ｅ１に示す画素において、マークが存在するか否かを判定する。また、ステップＳ２において、図３Ａの「○」を示した画素ｐ２，３，４でマークが検出された場合、補間および欠陥画素補正部７は、それぞれ枠Ｅ２，３，４に示す画素において、マークが存在するか否かを判定する。そして、さらに隣接する画素でマークが検出されたと判定すると、ステップＳ４に進み、さらに隣接する画素でマークが検出されないと判定すると、後述するステップＳ７に進む。なお、ステップＳ３において、「Ｙｅｓ」である場合とは、縦、横、斜めの何れかの方向に連続して３つのマークが存在する（欠陥画素が存在する）場合である。【００１９】
ステップＳ４において、補間および欠陥画素補正部７は、ステップＳ１からステップＳ３で検出したマークが全てＧ画素のものであるか否かを判定する。本実施形態の撮像素子２は、ベイア配列を有するため、全てＧ画素であるということは、すなわち、図３Ｂに示すＬ１またはＬ２に示すように、斜めに連続するＧ画素において、マークが検出されたということである。補間および欠陥画素補正部７は、全てＧ画素のものであると判定すると、後述するステップＳ６に進む。一方、全てＧ画素のものではない（Ｇ画素、Ｒ画素、Ｂ画素の少なくとも２つを含む）と判定すると、ステップＳ５に進む。【００２０】
ステップＳ５において、補間および欠陥画素補正部７は、欠陥画素の連続方向と相関方向とが同じであるか否かを判定する。補間および欠陥画素補正部７は、まず、注目画素とその近傍の画素との相関性を検出する。例えば、補間および欠陥画素補正部７は、図４に示すように、注目画素ｐ０を中心として、縦、横、斜め（ａ〜ｄ）の４方向の相関性を検出する。そして、相関性が最も高い方向である相関方向と欠陥画素の連続方向とが同じであるか否かを判定する。補間および欠陥画素補正部７は、欠陥画素の連続方向と相関方向とが同じであると判定すると、ステップＳ６に進む。一方、欠陥画素の連続方向と相関方向とが同じでないと判定すると、後述するステップＳ７に進む。【００２１】
ステップＳ６において、補間および欠陥画素補正部７は、最近傍の同色の画素の画素値に基づいて、注目画素の画素値を推定する。そして、補間および欠陥画素補正部７は、後述するステップＳ９に進む。
ステップＳ７において、補間および欠陥画素補正部７は、注目画素とその近傍の画素との相関性を検出する。検出の具体的な方法は後述する。なお、ステップＳ７の処理が行われる場合とは、ステップＳ２およびステップＳ３の判定により、欠陥画素が３つ以上連続していないと判定された場合と、ステップＳ５の判定により、欠陥画素の連続方向と相関方向とが同じでないと判定された場合である。この場合には、補間および欠陥画素補正部７は、後述する欠陥画素の補正を行う。【００２２】
ステップＳ８において、補間および欠陥画素補正部７は、ステップＳ７で検出した相関性に基づいて、注目画素の画素値を推定する。推定の具体的な方法は後述する。
ステップＳ９において、補間および欠陥画素補正部７は、公知技術と同様の補間処理を行う。なお、補間処理において、上述した各ステップで検出した相関性に関する情報などを用いて、補間処理を行うと良い。なお、ステップＳ１において、欠陥画素であるというマーク（画素値：４０９５）を検出しない場合にも、公知技術と同様の補間処理を行う。【００２３】
ステップＳ１０において、補間および欠陥画素補正部７は、ガンマ処理後の画像に含まれる全ての画素において処理を行ったか否かを判定し、全ての画素において処理を行ったと判定すると、一連の処理を終了する。一方、全ての画素において処理を行っていない場合には、ステップＳ１に戻り、続きの画素においてステップＳ１からの処理を行う。
補間および欠陥画素補正部７が図２のフローチャートで説明した一連の処理を終了すると、色処理部８は、補間および欠陥画素補正後の画像に対して色処理を施し、輪郭強調部９は、輪郭強調を施し、圧縮部１０にて画像を圧縮して不図示の記録部などに出力する。なお、色処理、輪郭強調、圧縮等の具体的な方法は公知技術と同様であるため説明を省略する。【００２４】
次に、図２のフローチャートのステップＳ７およびステップＳ８で説明した相関性の検出および注目画素の画素値の推定の詳細を説明する。
＜第１の方法＞
補間および欠陥画素補正部７は、注目画素とその近傍の画素との相関性を検出する。補間および欠陥画素補正部７は、図４に示した縦、横、斜め（ａ〜ｄ）の４方向の相関性を検出する。例えば、注目画素が図５Ａの中央のＲ画素であった場合、検出した各方向の相関性のうち、相関性の最も高い縦方向（図４の矢印ａの方向）を補正方向として決定する。そして、図５Ｂに示すように、縦方向において上下の画素の平均値を求めて、置き換えを行うことにより、注目画素の画素値を推定する。【００２５】
＜第２の方法＞
図６は、第２の方法を行う際の補間および欠陥画素補正部７の動作を示すフローチャートである。
ステップＳ２１において、補間および欠陥画素補正部７は、注目画素がＢ画素であるか否かを判定する。補間および欠陥画素補正部７は、注目画素がＢ画素であると判定すると、ステップＳ２２に進む。一方、注目画素がＢ画素でない（Ｇ画素またはＲ画素である）と判定すると、後述するステップＳ２５に進む。【００２６】
ステップＳ２２において、補間および欠陥画素補正部７は、注目画素であるＢ画素に隣接するＧ画素およびＲ画素の画素値に基づいて、注目画素のＧ画素成分およびＲ画素成分を補間する。補間により生成されたＧ画素成分を「Ｇ’画素」と称し、Ｒ画素成分を「Ｒ’画素」と称する。
ステップＳ２３において、補間および欠陥画素補正部７は、ステップＳ２２で生成したＧ’画素およびＲ’画素を用いて、近傍のＧ画素およびＲ画素との相関性を検出する。【００２７】
ステップＳ２４において、補間および欠陥画素補正部７は、ステップＳ２３で検出した相関性に基づいて、注目画素であるＢ画素の画素値を推定する。補間および欠陥画素補正部７は、ステップＳ２３で検出した各方向の相関性に基づいて、補正方向を決定し、補正方向において近傍の画素の平均値などを求めて、置き換えを行うことにより、注目画素の画素値を推定する。【００２８】
ステップＳ２１において、注目画素がＢ画素でない（Ｇ画素またはＲ画素である）と判定すると、ステップＳ２５において、補間および欠陥画素補正部７は、注目画素がＧ画素であるか否かを判定する。補間および欠陥画素補正部７は、注目画素がＧ画素であると判定すると、ステップＳ２６に進む。一方、注目画素がＧ画素でない（Ｒ画素である）と判定すると、後述するステップＳ２９に進む。【００２９】
ステップＳ２６からステップＳ２８において、補間および欠陥画素補正部７は、上述したステップＳ２２からステップＳ２４にならった処理を行う。すなわち、ステップＳ２６において、注目画素であるＧ画素に隣接するＢ画素およびＲ画素の画素値に基づいて、注目画素のＢ画素成分（「Ｂ’画素」）およびＲ画素成分（「Ｒ’画素」）を補間する。そして、ステップＳ２７において、Ｂ’画素およびＲ’画素を用いて、近傍のＢ画素およびＲ画素との相関性を検出する。そして、ステップＳ２８において、ステップＳ２７で検出した相関性に基づいて、注目画素であるＧ画素の画素値を推定する。【００３０】
また、ステップＳ２９からステップＳ３１において、補間および欠陥画素補正部７は、上述したステップＳ２２からステップＳ２４にならった処理を行う。すなわち、ステップＳ２９において、注目画素であるＲ画素に隣接するＢ画素およびＧ画素の画素値に基づいて、注目画素のＢ画素成分（「Ｂ’画素」）およびＧ画素成分（「Ｇ’画素」）を補間する。そして、ステップＳ３０において、Ｂ’画素およびＧ’画素を用いて、近傍のＢ画素およびＧ画素との相関性を検出する。そして、ステップＳ３１において、ステップＳ３０で検出した相関性に基づいて、注目画素であるＲ画素の画素値を推定する。【００３１】
以上説明したように、第１実施形態によれば、撮像素子に生じる欠陥画素の位置を示す情報を取得し、撮像素子を介して生成される画像における欠陥画素の位置を示す識別情報を作成する。そして、欠陥画素ごとに、近傍画素との相関性を検出し、検出結果に応じて、欠陥画素ごとの画素値を推定する。したがって、より正確で質の良い欠陥画素の補正を実現することができる。【００３２】
また、第１実施形態によれば、画像に対して補間処理を施す際に、相関性の検出および画素値の推定を行う。したがって、補間処理において算出される相関情報を用いて、効率良く相関性の検出および画素値の推定を行うことができる。
また、第１実施形態によれば、識別情報に基づいて、欠陥画素に隣接する画素が欠陥画素であるか否かを判定する。したがって、注目する欠陥画素に隣接する画素の状態に応じた補正を実現することができる。【００３３】
また、第１実施形態によれば、注目する欠陥画素を含む３つ以上の欠陥画素が、任意の方向に連続して存在し、かつ、それらの欠陥画素が連続している方向と、最も高い相関性を有する方向とが同じである場合には、最近傍の同色の画素の画素値に基づいて、注目する欠陥画素の画素値を推定する。したがって、本発明の欠陥画素補正が適切でない欠陥画素について、画像の劣化を最小限に抑えることができる。【００３４】
また、第１実施形態によれば、画像における欠陥画素の位置を示す識別情報の作成として、欠陥画素の画素値を、画素値が取り得る最大値と最小値との少なくとも一方に置き換える。したがって、画像自体に識別情報を埋め込むことができる。
また、第１実施形態によれば、画素値の推定を行う前に、画像に対してホワイトバランス調整と色処理と階調変換処理との少なくとも１つを含む画像処理を施すが、この際に、識別情報を改変せずに画像処理を行う。したがって、画素値の推定を行うまでの間、識別情報を保持し続けることができ、画素値の推定を正確に実行することができる。【００３５】
なお、第１実施形態では、識別情報として欠陥画素であるというマーク（画素値：４０９５）を用いる例を示したが、欠陥画素識別情報作成部４において、欠陥画素のアドレス情報をヘッダ情報として作成するようにしても良い。
《第２実施形態》
以下、図面を用いて本発明の第２実施形態について説明する。第２実施形態では、図７に示すように、電子カメラとコンピュータとからなる画像処理システム１００を用いて説明を行う。【００３６】
第２実施形態の電子カメラは、第１実施形態の電子カメラと同様の構成を持つ。したがって、以下では第１実施形態の電子カメラ１と同様の符号を用いて説明を行う。ただし、第２実施形態においては、電子カメラ１は、第１実施形態と同様に、欠陥画素識別情報作成部４により識別情報を作成した後の画像データをコンピュータ２０に出力する。識別情報が特定の画素値（第１実施形態では、４０９５）である場合には、画像のみを出力し、識別情報がヘッダ情報（欠陥画素のアドレス情報を含む）である場合には、画像とともにヘッダ情報を出力する。また、コンピュータ２０内の各部において、第１実施形態の電子カメラ１と同様の構成については、第１実施形態と同様の符号を用いて説明を行う。【００３７】
電子カメラ１から画像を取得すると、ホワイトバランス調整部５は第１実施形態と同様にホワイトバランス調整を行う。なお、ただし、各処理において、欠陥画素であるという識別情報を検出すると、ホワイトバランス調整部５は、第１実施形態と同様に、識別情報を改変せずに画像処理を行う。
そして、補間および欠陥画素補正部７は、ホワイトバランス調整後の画像に対して補間と同時に欠陥画素の補正処理を行う。第１実施形態では、ガンマ処理部６によるガンマ処理後の画像に対して補間と同時に欠陥画素の補正処理を行った。これと比較して、第２実施形態では、ガンマ処理前の画像に対して補間と同時に欠陥画素の補正処理を行う。すなわち、階調情報が多い状態で欠陥画素の補正処理を行うことにより、より正確で質の良い欠陥画素の補正をコンピュータにおいて実現することができる。なお、補間および欠陥画素補正は、第１実施形態と同様に行われる。【００３８】
そして、色再現処理部２１は、欠陥画素補正後の画像に対して色再現処理を施し、ガンマ処理部６は、ガンマ処理を施し、色空間変換部２２は、ＲＧＢからＹＣｂＣｒへの色空間変換を行う。なお、色再現処理および色空間変換の具体的な方法は公知技術と同様であるため説明を省略する。なお、ガンマ処理部６は、第１実施形態と異なり、欠陥画素補正後の画像に対してガンマ処理を施すため、第１実施形態のように識別情報の改変について留意する必要はない。【００３９】
さらに、輪郭強調部９は、輪郭強調を施し、ノイズリダクション部２３は、ノイズリダクションを実行し、圧縮部１０にて画像を圧縮して不図示の記録部などに出力する。なお、輪郭強調、ノイズリダクション、圧縮等の具体的な方法は公知技術と同様であるため説明を省略する。
以上説明したように、第２実施形態によれば、撮像装置と画像処理プログラムを記録したコンピュータとから成り、撮像装置は、撮像素子に生じる欠陥画素の位置を示す情報を取得し、撮像素子を介して生成される画像における欠陥画素の位置を示す識別情報を作成する。そして、コンピュータは、欠陥画素ごとに、近傍画素との相関性を検出し、検出結果に応じて、欠陥画素ごとの画素値を推定する。したがって、より正確で質の良い欠陥画素の補正を実現することができる。また、撮像装置における処理を軽減するとともに、コンピュータにおいて、ユーザの要求に合った質の良い欠陥画素の補正を実現することができる。【００４０】
また、第２実施形態によれば、撮像装置は、識別情報を画像のヘッダ情報として作成し、コンピュータは、画像とともにヘッダ情報を取得する。したがって、画素値の置き換えを行わなくても、識別情報を利用することができる。また、撮像装置からコンピュータに供給されるまでの間に圧縮処理が行われても、識別情報を改変させずに保持することができる。【００４１】
また、第２実施形態によれば、撮像素子による撮像系の中で、階調情報の最も多い状態において識別情報の作成を行う。したがって、より正確で質の良い欠陥画素の補正を実現することができる。
また、第２実施形態によれば、欠陥画素の位置に、欠陥画素であることを示す識別情報を有した画像に対する画像処理をコンピュータで実現する際に、補間処理が終了するまでの間に、欠陥画素の画素値を、近傍の画素値に基づいて置換する。したがって、より正確に欠陥画素の補正を実現することができる。【００４２】
なお、第２実施形態のように、撮像装置からコンピュータに画像を供給する場合には、画像の圧縮処理を行わないようにすると良い。これは、識別情報の確実な保持のためである。または、第１実施形態で説明したように、画素値が取り得る最大値を欠陥画素であることを示すマークとして用いる代わりに、最小値を用いるようにしても良いし、両方を用いるようにしても良い。すなわち、出力値が中間値より大きい場合には最大値を用い、出力値が中間値より小さい場合には最小値を用いる。このように２種類の値を用いることにより、撮像装置からコンピュータに供給されるまでの間に圧縮処理が行われても、識別情報を改変させずに保持することができる。【００４３】
また、第２実施形態のように、撮像装置からコンピュータに画像を供給する場合において、特に、ＲＡＷデータ等の画像データを出力する場合には、受け手側のコンピュータのプログラムが、ＲＡＷデータ等に含まれる「欠陥画素であることを示すマーク」（識別情報）を認識できない場合がある。すなわち、「欠陥画素であることを示すマーク」として最小値や最大値を用いても、これを認識できないコンピュータの画像処理プログラムにおいては、適切な欠陥画素の補正を行うことができないので、輝点や黒点となってしまう。【００４４】
そこで、ＲＡＷデータ等の画像データのディジタル値の最終桁を用いて、「欠陥画素であることを示すマーク」としても良い。例えば、欠陥画素については、最終桁を全て「０」とし、欠陥画素でない画素については、最終桁を全て「１」とする。すなわち、欠陥画素のうち、最終桁が「１」であるものは、全て「０」に変更する。一方、欠陥画素でない画素のうち、最終桁が「０」であるものは、全て「１」に変更する。このように、ディジタル値の最終桁を変更しても、実際の画素値にはほとんど影響はない。したがって、ディジタル値の最終桁をマークとして用いることにより、受け手側のコンピュータのプログラムが、ＲＡＷ等データに含まれる「欠陥画素であることを示すマーク」を認識できない場合でも、画像の劣化を最小限に抑えることができる。【００４５】
なお、上述した「欠陥画素であることを示すマーク」を作成する際には、Ａ／Ｄ変換部３により出力された画像データにおける欠陥画素そのものについてディジタル値の最終桁をマークとしても良いし、Ａ／Ｄ変換部３により出力された画像データに対して、公知技術のように、例えば置換による補正を行い、補正後の画像データにおける欠陥画素のディジタル値の最終桁をマークとしても良い。【００４６】
また、第２実施形態では、電子カメラから画像を取得する例を示したが、取得する画像が本発明の識別情報を有していれば、他の外部機器や記録媒体などから取得するようにしても良い。また、インターネット上にこのようなプログラムを設置し、欠陥画素の補正をインターネット上で行うようにしても良い。
また、上記各実施形態では、ベイア配列の撮像素子を用いて説明を行ったが、その他の配列の撮像素子に本発明を適用しても良い。【００４７】
また、上記各実施形態における欠陥画素には、受光量に応じた正しい出力を行わない画素（受光しているのに無反応、受光していないのに反応など）や、固定パターンノイズなどが該当する。
また、上記各実施形態における各処理の順番はこの例に限定されない。構成や求める画質などに応じて、順番を入れ替えたり一部を省略するようにしても良い。例えば、補間と欠陥画素の補正とを別々に行うようにしても良い。【００４８】
例えば、図８に示すように、欠陥画素（「×」を記した画素）が複雑に連続している場合には、上述した方法では対応しづらいので、まず、条件の良い欠陥画素から順に、欠陥画素の画素値を推定し、全ての画素の画素値が揃ってから、全体に対して補間処理を施す構成としても良い。なお、条件の良い欠陥画素とは、隣接する画素における欠陥画素の数がより少ないものである。図８の例においては、まず、（１）に示す欠陥画素を補正する（画素値を推定する）。その結果、条件の良くなった（２）に示す欠陥画素を補正する。さらに、（３）に示す欠陥画素を補正することにより、（４）に示す欠陥画素も好条件で補正することができる。
【図１】
2007023817.tif 000002
【図２】
2007023817.tif 000003
【図３】
2007023817.tif 000004
【図４】
2007023817.tif 000005
【図５】
2007023817.tif 000006
【図６】
2007023817.tif 000007
【図７】
2007023817.tif 000008
【図８】
2007023817.tif 000009
【国際調査報告】
2007023817.tif 000010
2007023817.tif 000011
2007023817.tif 000012
2007023817.tif 000013