(57)【要約】【課題】  ベイヤー配列を有する電子撮像装置で撮像された画像データを奇麗に補完する方法を提案する。【解決手段】  補完画素Ｘ３３（緑画素）を補完するには、（１）式により、補完画素Ｘ３３の周辺に位置する周辺画素の平均値を求め、（２）式〜（４）式により、補完画素Ｘ３３を含む横方向、斜め方向、逆斜め方向にある緑画素の中央値をそれぞれ求め、そして、これらの中央値の中から平均値との差分が最も小さい値を、Ｘ３３の位置にある緑画素の画素データとする。ここで、ａｖｅ＝（Ｇ２２＋Ｇ２４＋Ｇ４２＋Ｇ４４）…（１）  ｈｏｒｉｚ＝ｍｅｄｉａｎ（Ｇ３１，（Ｇ２２＋Ｇ４２）／２，（Ｇ２４＋Ｇ４４）／２，Ｇ３５）…（２）  Ｓｌａｓｈ＝ｍｅｄｉａｎ（Ｇ１５，Ｇ２４，Ｇ４２，Ｇ５１）…（３）  Ｂｓｌａｓｈ＝ｍｅｄｉａｎ（Ｇ１１，Ｇ２２，Ｇ４４，Ｇ５５）…（４）【選択図】    図２
2006262167.tif 000002
【特許請求の範囲】
【請求項１】
ベイヤー配列を有する電子撮像装置で撮像された緑画素の画像データを補完するための画素補完方法であって、Ｍ行Ｎ列に配置された赤画素の画像データをＲＭＮ、Ｍ行Ｎ列に配置された緑画素の画像データをＧＭＮ、Ｍ行Ｎ列に配置された青画素の画像データをＢＭＮ、Ｍ行Ｎ列に配置された補完画素の画像データをＸＭＮとしたときに、
ａｖｅ＝（Ｇ（Ｍ−１）（Ｎ−１）＋Ｇ（Ｍ−１）（Ｎ＋１）＋Ｇ（Ｍ＋１）（Ｎ−１）＋Ｇ（Ｍ＋１）（Ｎ＋１））により、ａｖｅを演算するステップと、
ｈｏｒｉｚ＝ｍｅｄｉａｎ（ＧＭ（Ｎ−２），（Ｇ（Ｍ−１）（Ｎ−１）＋Ｇ（Ｍ＋１）（Ｎ−１））／２，（Ｇ（Ｍ−１）（Ｎ＋１）＋Ｇ（Ｍ＋１）（Ｎ＋１））／２，ＧＭ（Ｎ＋２））により、ｈｏｒｉｚを演算するステップと、
Ｓｌａｓｈ＝ｍｅｄｉａｎ（Ｇ（Ｍ−２）（Ｎ＋２），Ｇ（Ｍ−１）（Ｎ＋１），Ｇ（Ｍ＋１）（Ｎ−１），Ｇ（Ｍ＋２）（Ｎ−２））により、Ｓｌａｓｈを演算するステップと、
Ｂｓｌａｓｈ＝ｍｅｄｉａｎ（Ｇ（Ｍ−２）（Ｎ−２），Ｇ（Ｍ−１）（Ｎ−１），Ｇ（Ｍ＋１）（Ｎ＋１），Ｇ（Ｍ＋２）（Ｎ＋２））により、Ｂｓｌａｓｈを演算するステップと、
前記ｈｏｒｉｚ、前記Ｓｌａｓｈ、前記Ｂｓｌａｓｈの中から前記ａｖｅとの差分が最も小さい値を前記補完画素ＸＭＮの画素データとするステップと、
を備える、画素補完方法。
【請求項２】
ベイヤー配列を有する電子撮像装置で撮像された青画素又は赤画素のうち何れか一方の画像データを補完するための画素補完方法であって、Ｍ行Ｎ列に配置された赤画素の画像データをＲＭＮ、Ｍ行Ｎ列に配置された緑画素の画像データをＧＭＮ、Ｍ行Ｎ列に配置された青画素の画像データをＢＭＮ、Ｍ行Ｎ列に配置された補完画素の画像データをＸＭＮとしたときに、
ＧＭ（Ｎ−２）＝（Ｇ（Ｍ−１）（Ｎ−２）＋Ｇ（Ｍ＋１）（Ｎ−２））／２により、ＧＭ（Ｎ−２）を演算するステップと、
ＣｒＭ（Ｎ−２）＝ＲＭ（Ｎ−２）−ＧＭ（Ｎ−２）により、ＣｒＭ（Ｎ−２）を演算するステップと、
ＧＭ（Ｎ＋２）＝（Ｇ（Ｍ−１）（Ｎ＋２）＋Ｇ（Ｍ＋１）（Ｎ＋２））／２により、ＧＭ（Ｎ＋２）を演算するステップと、
ＣｒＭ（Ｎ＋２）＝ＲＭ（Ｎ＋２）−ＧＭ（Ｎ＋２）により、ＣｒＭ（Ｎ＋２）を演算するステップと、
ＧＭＮ＝（Ｇ（Ｍ−１）Ｎ＋ＧＭ（Ｎ−１）＋ＧＭ（Ｎ＋１）＋Ｇ（Ｍ＋１）Ｎ）／４により、ＧＭＮを演算するステップと、
ＸＭＮ＝（ＣｒＭ（Ｎ−２）＋ＣｒＭ（Ｎ＋２））／２＋ＧＭＮにより、ＸＭＮを演算するステップと、
を備える、画素補完方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はベイヤー配列を有する電子撮像装置で撮像された画像データの画素補完方法に関する。
【背景技術】
【０００２】
従来、ベイヤー配列の画素配列を有するＣＣＤセンサで撮像した撮像データをＡ／Ｄ変換して得られる画像データを画素補完する方法として、例えば、単純平均による画素補完方法、欠陥のあるラインのみに係数を掛けて画素値を補正する方法、或いは米国特許６，７４１，７５４、米国特許５，６５２，６２１、米国特許５，６２９，７３４等で提案されている方法等が知られている。例えば、図５は、ＣＣＤセンサの欠陥によりベイヤー配列の一列の画素全体からの撮像データが得られず、縦方向に傷が入っている例を示している。図４は、ベイヤー配列を有する画素配列を示している。図中のＲは赤画素の画素データを、Ｇは緑画素の画素データを、Ｂは青画素の画素データを、Ｘは補完画素の画素データを、それぞれ示している。単純平均による画素補完方法によれば、Ｘ２３＝（Ｂ２１＋Ｂ２５）、Ｘ３３＝（Ｇ３１＋Ｇ３５）となる。
【特許文献１】米国特許６，７４１，７５４
【特許文献２】米国特許５，６５２，６２１
【特許文献３】米国特許５，６２９，７３４
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、単純平均による画素補完方法を用いて、図５の縦キズを補完すると、白と黒の単なる平均値をとることになるので、図６に示すように、補完画素がグレーになってしまうという不都合が生じる。また、欠陥のあるラインのみに係数を掛けて画素値を補正する方法では、温度等のＣＣＤセンサの使用条件が変化すると、予め求めた一つの係数では奇麗に補正できなくなる可能性がある。
【０００４】
そこで、本発明はこのような問題を解決し、ベイヤー配列を有する電子撮像装置で撮像された画像データを奇麗に補完する方法を提案することを課題とする。
【課題を解決するための手段】
【０００５】
上記の課題を解決するため、本発明の画素補完方法は、ベイヤー配列を有する電子撮像装置で撮像された緑画素の画像データを補完するための画素補完方法であって、Ｍ行Ｎ列に配置された赤画素の画像データをＲＭＮ、Ｍ行Ｎ列に配置された緑画素の画像データをＧＭＮ、Ｍ行Ｎ列に配置された青画素の画像データをＢＭＮ、Ｍ行Ｎ列に配置された補完画素の画像データをＸＭＮとしたときに、ａｖｅ＝（Ｇ（Ｍ−１）（Ｎ−１）＋Ｇ（Ｍ−１）（Ｎ＋１）＋Ｇ（Ｍ＋１）（Ｎ−１）＋Ｇ（Ｍ＋１）（Ｎ＋１））により、ａｖｅを演算するステップと、ｈｏｒｉｚ＝ｍｅｄｉａｎ（ＧＭ（Ｎ−２），（Ｇ（Ｍ−１）（Ｎ−１）＋Ｇ（Ｍ＋１）（Ｎ−１））／２，（Ｇ（Ｍ−１）（Ｎ＋１）＋Ｇ（Ｍ＋１）（Ｎ＋１））／２，ＧＭ（Ｎ＋２））により、ｈｏｒｉｚを演算するステップと、Ｓｌａｓｈ＝ｍｅｄｉａｎ（Ｇ（Ｍ−２）（Ｎ＋２），Ｇ（Ｍ−１）（Ｎ＋１），Ｇ（Ｍ＋１）（Ｎ−１），Ｇ（Ｍ＋２）（Ｎ−２））により、Ｓｌａｓｈを演算するステップと、Ｂｓｌａｓｈ＝ｍｅｄｉａｎ（Ｇ（Ｍ−２）（Ｎ−２），Ｇ（Ｍ−１）（Ｎ−１），Ｇ（Ｍ＋１）（Ｎ＋１），Ｇ（Ｍ＋２）（Ｎ＋２））により、Ｂｓｌａｓｈを演算するステップと、前記ｈｏｒｉｚ、前記Ｓｌａｓｈ、前記Ｂｓｌａｓｈの中から前記ａｖｅとの差分が最も小さい値を前記補完画素ＸＭＮの画素データとするステップと、を備える。電子撮像装置として、例えば、ＣＣＤセンサ等が好適である。
【０００６】
また、本発明の画素補完方法は、ベイヤー配列を有する電子撮像装置で撮像された青画素又は赤画素のうち何れか一方の画像データを補完するための画素補完方法であって、Ｍ行Ｎ列に配置された赤画素の画像データをＲＭＮ、Ｍ行Ｎ列に配置された緑画素の画像データをＧＭＮ、Ｍ行Ｎ列に配置された青画素の画像データをＢＭＮ、Ｍ行Ｎ列に配置された補完画素の画像データをＸＭＮとしたときに、ＧＭ（Ｎ−２）＝（Ｇ（Ｍ−１）（Ｎ−２）＋Ｇ（Ｍ＋１）（Ｎ−２））／２により、ＧＭ（Ｎ−２）を演算するステップと、ＣｒＭ（Ｎ−２）＝ＲＭ（Ｎ−２）−ＧＭ（Ｎ−２）により、ＣｒＭ（Ｎ−２）を演算するステップと、ＧＭ（Ｎ＋２）＝（Ｇ（Ｍ−１）（Ｎ＋２）＋Ｇ（Ｍ＋１）（Ｎ＋２））／２により、ＧＭ（Ｎ＋２）を演算するステップと、ＣｒＭ（Ｎ＋２）＝ＲＭ（Ｎ＋２）−ＧＭ（Ｎ＋２）により、ＣｒＭ（Ｎ＋２）を演算するステップと、ＧＭＮ＝（Ｇ（Ｍ−１）Ｎ＋ＧＭ（Ｎ−１）＋ＧＭ（Ｎ＋１）＋Ｇ（Ｍ＋１）Ｎ）／４により、ＧＭＮを演算するステップと、ＸＭＮ＝（ＣｒＭ（Ｎ−２）＋ＣｒＭ（Ｎ＋２））／２＋ＧＭＮにより、ＸＭＮを演算するステップと、を備える。
【発明の効果】
【０００７】
本発明によれば、ベイヤー配列を有する電子撮像装置で撮像された画像データを奇麗に補完することができる。
【発明を実施するための最良の形態】
【０００８】
図１は本実施形態のデジタルカメラのシステム構成を示している。デジタルカメラ１０は、ＣＣＤセンサ２１を含む光学系２０と、ＣＣＤセンサ２１が撮像した撮像データをＡ／Ｄ変換し、デジタル画像データを出力するＡ／Ｄ変換器２２と、デジタル画像データを一時的に格納するイメージバッファ２３と、イメージバッファ２３に格納されたデジタル画像データを補完する補完処理部２４と、補完処理されたデジタル画像データを記憶するメモリカード２５と、上述した各部を制御するプロセッサ２６を備える。補完処理部２４が行う補完方法について、以下、詳細に説明する。
【０００９】
（ベイヤー配列の緑画素の補完方法）
図２に示すベイヤー配列において、補完画素Ｘ３３（緑画素）を補完するには、まず、（１）式により補完画素Ｘ３３の周辺に位置する周辺画素の平均値を求め、更に、（２）式〜（４）式により、補完画素Ｘ３３を含む横方向、斜め方向、逆斜め方向にある緑画素の中央値をそれぞれ求め、そして、これらの中央値の中から平均値との差分が最も小さい値を、Ｘ３３の位置にある緑画素の画素データとする。
ａｖｅ＝（Ｇ２２＋Ｇ２４＋Ｇ４２＋Ｇ４４）  …（１）
ｈｏｒｉｚ＝ｍｅｄｉａｎ（Ｇ３１，（Ｇ２２＋Ｇ４２）／２，（Ｇ２４＋Ｇ４４）／２，Ｇ３５）  …（２）
Ｓｌａｓｈ＝ｍｅｄｉａｎ（Ｇ１５，Ｇ２４，Ｇ４２，Ｇ５１）  …（３）
Ｂｓｌａｓｈ＝ｍｅｄｉａｎ（Ｇ１１，Ｇ２２，Ｇ４４，Ｇ５５）  …（４）
【００１０】
尚、上記の例では、３行３列目にあるＸ３３の画素を補完する例を示したが、Ｍ行Ｎ列に配置された赤画素の画像データをＲＭＮ、Ｍ行Ｎ列に配置された緑画素の画像データをＧＭＮ、Ｍ行Ｎ列に配置された青画素の画像データをＢＭＮ、Ｍ行Ｎ列に配置された補完画素の画像データをＸＭＮとすると、（１）式〜（４）式は、それぞれ（５）式〜（８）式に書き換えることができる。但し、Ｍ，Ｎは自然数とする。
ａｖｅ＝（Ｇ（Ｍ−１）（Ｎ−１）＋Ｇ（Ｍ−１）（Ｎ＋１）＋Ｇ（Ｍ＋１）（Ｎ−１）＋Ｇ（Ｍ＋１）（Ｎ＋１））  …（５）
ｈｏｒｉｚ＝ｍｅｄｉａｎ（ＧＭ（Ｎ−２），（Ｇ（Ｍ−１）（Ｎ−１）＋Ｇ（Ｍ＋１）（Ｎ−１））／２，（Ｇ（Ｍ−１）（Ｎ＋１）＋Ｇ（Ｍ＋１）（Ｎ＋１））／２，ＧＭ（Ｎ＋２））  …（６）
Ｓｌａｓｈ＝ｍｅｄｉａｎ（Ｇ（Ｍ−２）（Ｎ＋２），Ｇ（Ｍ−１）（Ｎ＋１），Ｇ（Ｍ＋１）（Ｎ−１），Ｇ（Ｍ＋２）（Ｎ−２））  …（７）
Ｂｓｌａｓｈ＝ｍｅｄｉａｎ（Ｇ（Ｍ−２）（Ｎ−２），Ｇ（Ｍ−１）（Ｎ−１），Ｇ（Ｍ＋１）（Ｎ＋１），Ｇ（Ｍ＋２）（Ｎ＋２））  …（８）
【００１１】
（ベイヤー配列の赤画素・青画素の補完方法）
図３に示すベイヤー配列において、補完画素Ｘ３３（赤画素）を補完するには、まず、上述の方法により、緑画素のＧ２３，Ｇ４３を補完する。次いで、（９）式〜（１４）式を用いて、Ｘ３３の位置にある赤画素の画素データを演算する。
Ｇ３１＝（Ｇ２１＋Ｇ４１）／２  …（９）
Ｃｒ３１＝Ｒ３１−Ｇ３１  …（１０）
Ｇ３５＝（Ｇ２５＋Ｇ４５）／２  …（１１）
Ｃｒ３５＝Ｒ３５−Ｇ３５  …（１２）
Ｇ３３＝（Ｇ２３＋Ｇ３２＋Ｇ３４＋Ｇ４３）／４  …（１３）
Ｘ３３＝（Ｃｒ３１＋Ｃｒ３５）／２＋Ｇ３３  …（１４）
【００１２】
尚、上記の例では、３行３列目にあるＸ３３の画素を補完する例を示したが、Ｍ行Ｎ列に配置された赤画素の画像データをＲＭＮ、Ｍ行Ｎ列に配置された緑画素の画像データをＧＭＮ、Ｍ行Ｎ列に配置された青画素の画像データをＢＭＮ、Ｍ行Ｎ列に配置された補完画素の画像データをＸＭＮとすると、（９）式〜（１４）式は、それぞれ（１５）式〜（２０）式に書き換えることができる。
ＧＭ（Ｎ−２）＝（Ｇ（Ｍ−１）（Ｎ−２）＋Ｇ（Ｍ＋１）（Ｎ−２））／２  …（１５）
ＣｒＭ（Ｎ−２）＝ＲＭ（Ｎ−２）−ＧＭ（Ｎ−２）  …（１６）
ＧＭ（Ｎ＋２）＝（Ｇ（Ｍ−１）（Ｎ＋２）＋Ｇ（Ｍ＋１）（Ｎ＋２））／２  …（１７）
ＣｒＭ（Ｎ＋２）＝ＲＭ（Ｎ＋２）−ＧＭ（Ｎ＋２）  …（１８）
ＧＭＮ＝（Ｇ（Ｍ−１）Ｎ＋ＧＭ（Ｎ−１）＋ＧＭ（Ｎ＋１）＋Ｇ（Ｍ＋１）Ｎ）／４…（１９）
ＸＭＮ＝（ＣｒＭ（Ｎ−２）＋ＣｒＭ（Ｎ＋２））／２＋ＧＭＮ  …（２０）
【００１３】
本実施形態の画素補完方法を用いれば、図５の縦キズは、図７に示すように奇麗に補完できる。
【図面の簡単な説明】
【００１４】
【図１】本実施形態のデジタルカメラのシステム構成図である。
【図２】ベイヤー配列を有する画素データの説明図である。
【図３】ベイヤー配列を有する画素データの説明図である。
【図４】ベイヤー配列を有する画素データの説明図である。
【図５】縦キズが入った画像データの説明図である。
【図６】従来の方法による補完後の画像データの説明図である。
【図７】本実施形態の方法による補完後の画像データの説明図である。
【符号の説明】
【００１５】
１０…デジタルカメラ  ２０…光学系  ２１…ＣＣＤセンサ  ２２…Ａ／Ｄ変換器  ２３…イメージバッファ  ２４…補完処理部  ２５…メモリカード
【図１】
2006262167.tif 000003
【図２】
2006262167.tif 000004
【図３】
2006262167.tif 000005
【図４】
2006262167.tif 000006
【図５】
2006262167.tif 000007
【図６】
2006262167.tif 000008
【図７】
2006262167.tif 000009