(57)【要約】【課題】着目画素単位で混色度を検出する。【解決手段】ベイヤ配列の固体撮像素子３０から出力されるデジタル画像信号（ＲＡＷデータ）を処理する画像処理装置であって、着目画素の色を判定する色配列判定手段６５と、着目画素がＧ画素である場合、着目画素と頂点で接し、着目画素と同色の４画素からなるＡ群の画素の信号量の平均値を算出するＡ群平均算出手段６１と、着目画素の上下左右方向において他色の画素を挟んで存在する着目画素と同色の４画素からなるＢ群の画素の信号量の平均値を算出するＢ群平均算出手段６２と、Ａ群平均算出手段６１およびＢ群平均算出手段６２から算出されたＡ群とＢ群との平均値の差分値に基づいて着目画素の混色度を検出する混色度検出手段６３とを備える。【選択図】図４
2010245858.tif 000002
【特許請求の範囲】
【請求項１】
ベイヤ配列の固体撮像素子から出力されるデジタル画像信号を処理する画像処理装置であって、
着目画素の色を判定する色配列判定手段と、
前記着目画素がＧ画素である場合、前記着目画素と頂点で接し、前記着目画素と同色の４画素からなるＡ群の画素の信号量の平均値を算出するＡ群平均算出手段と、
前記着目画素の上下左右方向において他色の画素を挟んで存在する前記着目画素と同色の４画素からなるＢ群の画素の信号量の平均値を算出するＢ群平均算出手段と、
前記Ａ群平均算出手段および前記Ｂ群平均算出手段から算出されたＡ群とＢ群との平均値の差分値に基づいて着目画素の混色度を検出する混色度検出手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記Ｂ群平均算出手段から算出された平均値と着目画素の信号量との差分値に基づいて着目画素の画素欠陥度を検出する画素欠陥検出手段を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記着目画素がＲ画素またはＢ画素である場合、前記混色度検出手段による着目画素の混色度の検出を行わず、前記画素欠陥検出手段による着目画素の画素欠陥度の検出を行うことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記混色度検出手段により検出された着目画素の混色度を予め設定された閾値と比較し、比較結果に応じて混色補正を行う混色補正手段を備えることを特徴とする請求項１または２のいずれかに記載の画像処理装置。
【請求項５】
前記混色補正手段は、前記着目画素がＧ画素とＢ画素とが水平方向に交互に配列されたＧＢラインにおけるＧ画素である場合、前記着目画素の信号量を次式（１）、
着目画素の信号量＝着目画素の信号量×（Ａ群の平均値／Ｂ群の平均値）  ・・・（１）
により補正することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記混色補正手段は、前記着目画素がＲ画素とＧ画素とが水平方向に交互に配列されたＲＧラインにおけるＧ画素である場合、前記着目画素の信号量を次式（２）、
着目画素の信号量＝着目画素の信号量×（Ａ群の平均値／Ｂ群の平均値）  ・・・（２）
により補正することを特徴とする請求項４に記載の画像処理装置。
【請求項７】
前記混色補正手段は、前記着目画素の信号量を次式（３）、
着目画素の信号量＝着目画素の信号量×２×（Ａ群の平均値）／（Ａ群の平均値＋Ｂ群の平均値）  ・・・（３）
により補正することを特徴とする請求項４に記載の画像処理装置。
【請求項８】
前記画素欠陥検出手段により検出された着目画素の画素欠陥度を予め設定された閾値と比較し、比較結果に応じて画素欠陥補正を行う画素欠陥補正手段を備え、
該画素欠陥補正手段は、前記着目画素の信号量を次式（４）、
着目画素の信号量＝Ｂ群の平均値  ・・・（４）
により補正することを特徴とする請求項２に記載の画像処理装置。
【請求項９】
ベイヤ配列の固体撮像素子から出力されるデジタル画像信号を処理する画像処理方法であって、
着目画素の色を判定する色配列判定処理と、
前記着目画素がＧ画素である場合、前記着目画素と頂点で接し、前記着目画素と同色の４画素からなるＡ群の画素の信号量の平均値を算出するＡ群平均算出処理と、
前記着目画素の上下左右方向において他色の画素を挟んで存在する前記着目画素と同色の４画素からなるＢ群の画素の信号量の平均値を算出するＢ群平均算出処理と、
前記Ａ群平均算出処理および前記Ｂ群平均算出処理により算出されたＡ群とＢ群との平均値の差分値に基づいて着目画素の混色度を検出する混色度検出処理と
を行うようにしたことを特徴とする画像処理方法。
【請求項１０】
ベイヤ配列の固体撮像素子から出力されるデジタル画像信号を処理する画像処理装置に、
着目画素の色を判定する色配列判定処理と、
前記着目画素がＧ画素である場合、前記着目画素と頂点で接し、前記着目画素と同色の４画素からなるＡ群の画素の信号量の平均値を算出するＡ群平均算出処理と、
前記着目画素の上下左右方向において他色の画素を挟んで存在する前記着目画素と同色の４画素からなるＢ群の画素の信号量の平均値を算出するＢ群平均算出処理と、
前記Ａ群平均算出処理および前記Ｂ群平均算出処理により算出されたＡ群とＢ群との平均値の差分値に基づいて着目画素の混色度を検出する混色度検出処理と
を実行させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法および画像処理プログラムに関する。さらに詳述すると、混色補正に好適な画像処理装置、画像処理方法および画像処理プログラムに関する。
【背景技術】
【０００２】
近年、ＣＣＤ(Charge Coupled Device)やＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等の固体撮像素子では高画素化が進み、それに伴い固体撮像素子に与える読み出し駆動パルスの高速化が進んでいる。その結果、画素の微細化に伴う隣接画素からの光の回り込みや、電荷転送不良による隣接画素への信号量の漏れ込みなどの混色が発生する場合がある。例えば、ＣＭＯＳセンサでは、デバイス構成上多層構造であるため、赤色など長波長の光信号は上層の配線アルミ層などに反射して隣接画素に入射しやすい傾向にあり、また、高倍率ズームを備えた撮像装置では、ズームポジションによって固体撮像素子への光の入射角度が異なるため混色が発生しうる。
【０００３】
固体撮像素子における画素配置においては、図３（ａ）に示すようなベイヤ配列（ベイヤー型配列）が一般的である。ベイヤ配列では、Ｒ（ＲＥＤ）画素とＧ（ＧＲＥＥＮ）画素が水平方向に交互に配列されたＲＧラインに位置するＧ画素（Ｇｒ画素ともいう）と、Ｇ画素とＢ（ＢＬＵＥ）画素が水平方向に交互に配列されたＧＢラインに位置するＧ画素（Ｇｂ画素ともいう）とは、本来、同一色（緑色）の成分であるから、その信号量は一様であることが望まれる。しかしながら、実際には、混色によりＧｒ信号とＧｂ信号との信号量に差が生じ格子状の縞となって画像に表れる不具合等が発生する。
【０００４】
このような問題に対し、例えば、特許文献１には、Ｇｒ画素とＧｂ画素のそれぞれに対して積算値を算出し、Ｇｒ積算値とＧｂ積算値の差分を積算値の小さい方に加算、または積算値の大きい方から減算しラインクロールを軽減させる方法が開示されており、また、特許文献２には、着目画素と着目画素の周辺の同一色の画素から着目画素がエッジ部分に含まれているか否かを判定し、エッジ部分でない場合に画素間に生じる段差を補正する方法が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の技術は、Ｇｒ画素とＧｂ画素の積算値に基づいて補正を行うものであり、特許文献２に記載の技術は、着目画素がエッジ部分に存在するか否かに基づいて補正を行うものであるため、撮像素子の駆動要因、被写体色要因、光学的要因などの混色発生の要因を問わず、Ｇｒ信号とＧｂ信号との信号量の差を検出し、着目画素単位で適応的に補正することができなかった。
【０００６】
そこで本発明は、撮像素子の駆動要因、被写体色要因、光学的要因などの混色発生の要因を問わず着目画素単位で混色度を検出することができ、ひいては着目画素単位で適応的に混色を補正することができる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
かかる目的を達成するため、請求項１に記載の画像処理装置は、ベイヤ配列の固体撮像素子から出力されるデジタル画像信号を処理する画像処理装置であって、着目画素の色を判定する色配列判定手段と、着目画素がＧ画素である場合、着目画素と頂点で接し、着目画素と同色の４画素からなるＡ群の画素の信号量の平均値を算出するＡ群平均算出手段と、着目画素の上下左右方向において他色の画素を挟んで存在する着目画素と同色の４画素からなるＢ群の画素の信号量の平均値を算出するＢ群平均算出手段と、Ａ群平均算出手段およびＢ群平均算出手段から算出されたＡ群とＢ群との平均値の差分値に基づいて着目画素の混色度を検出する混色度検出手段とを備えるものである。
【０００８】
また、請求項２に記載の発明は、請求項１に記載の画像処理装置において、Ｂ群平均算出手段から算出された平均値と着目画素の信号量との差分値に基づいて着目画素の画素欠陥度を検出する画素欠陥検出手段を備えるものである。
【０００９】
また、請求項３に記載の発明は、請求項２に記載の画像処理装置において、着目画素がＲ画素またはＢ画素である場合、混色度検出手段による着目画素の混色度の検出を行わず、画素欠陥検出手段による着目画素の画素欠陥度の検出を行うものである。
【００１０】
また、請求項４に記載の発明は、請求項１または２のいずれかに記載の画像処理装置において、混色度検出手段により検出された着目画素の混色度を予め設定された閾値と比較し、比較結果に応じて混色補正を行う混色補正手段を備えるものである。
【００１１】
また、請求項５に記載の発明は、請求項４に記載の画像処理装置において、混色補正手段は、着目画素がＧ画素とＢ画素とが水平方向に交互に配列されたＧＢラインにおけるＧ画素である場合、着目画素の信号量を次式（１）、
着目画素の信号量＝着目画素の信号量×（Ａ群の平均値／Ｂ群の平均値）  ・・・（１）
により補正するものである。
【００１２】
また、請求項６に記載の発明は、請求項４に記載の画像処理装置において、混色補正手段は、着目画素がＲ画素とＧ画素とが水平方向に交互に配列されたＲＧラインにおけるＧ画素である場合、着目画素の信号量を次式（２）、
着目画素の信号量＝着目画素の信号量×（Ａ群の平均値／Ｂ群の平均値）  ・・・（２）
により補正するものである。
【００１３】
また、請求項７に記載の発明は、請求項４に記載の画像処理装置において、混色補正手段は、着目画素の信号量を次式（３）、
着目画素の信号量＝着目画素の信号量×２×（Ａ群の平均値）／（Ａ群の平均値＋Ｂ群の平均値）  ・・・（３）
により補正するものである。
【００１４】
また、請求項８に記載の発明は、請求項２に記載の画像処理装置において、画素欠陥検出手段により検出された着目画素の画素欠陥度を予め設定された閾値と比較し、比較結果に応じて画素欠陥補正を行う画素欠陥補正手段を備え、
該画素欠陥補正手段は、着目画素の信号量を次式（４）、
着目画素の信号量＝Ｂ群の平均値  ・・・（４）
により補正するものである。
【００１５】
請求項９に記載の画像処理方法は、ベイヤ配列の固体撮像素子から出力されるデジタル画像信号を処理する画像処理方法であって、着目画素の色を判定する色配列判定処理と、着目画素がＧ画素である場合、着目画素と頂点で接し、着目画素と同色の４画素からなるＡ群の画素の信号量の平均値を算出するＡ群平均算出処理と、着目画素の上下左右方向において他色の画素を挟んで存在する着目画素と同色の４画素からなるＢ群の画素の信号量の平均値を算出するＢ群平均算出処理と、Ａ群平均算出処理およびＢ群平均算出処理により算出されたＡ群とＢ群との平均値の差分値に基づいて着目画素の混色度を検出する混色度検出処理とを行うようにしている。
【００１６】
請求項１０に記載の画像処理プログラムは、ベイヤ配列の固体撮像素子から出力されるデジタル画像信号を処理する画像処理装置に、着目画素の色を判定する色配列判定処理と、着目画素がＧ画素である場合、着目画素と頂点で接し、着目画素と同色の４画素からなるＡ群の画素の信号量の平均値を算出するＡ群平均算出処理と、着目画素の上下左右方向において他色の画素を挟んで存在する着目画素と同色の４画素からなるＢ群の画素の信号量の平均値を算出するＢ群平均算出処理と、Ａ群平均算出処理およびＢ群平均算出処理により算出されたＡ群とＢ群との平均値の差分値に基づいて着目画素の混色度を検出する混色度検出処理とを実行させるものである。
【発明の効果】
【００１７】
本発明によれば、撮像素子の駆動要因、被写体色要因、光学的要因などの混色発生の要因を問わず着目画素単位で混色度を検出することができる。
【００１８】
また、着目画素単位で混色補正を行うことにより、適応的に混色を補正することができる。また、混色補正と同時に欠陥画素も検出し、さらに欠陥画素の補正をすることができるので、これまで別途行っていた混色補正と欠陥画素の補正処理を１つにすることができ、補正処理の高速化を図ることができる。
【図面の簡単な説明】
【００１９】
【図１】本発明に係る画像形成装置の一実施形態に係る撮像装置の外観図の一例であって、（ａ）は上面図、（ｂ）は正面図、（ｃ）は裏面図である。
【図２】本発明に係る画像形成装置の機能ブロック図の一例である。
【図３】固体撮像素子の画素配列の説明図であって（ａ）はベイヤ配列を示す図、（ｂ）は（ａ）に示す画素配列において着目画素Ｇｒ３および周辺のＧｒ、Ｇｂ画素のみを示す図である。
【図４】混色・画素欠陥補正部の機能ブロック図の一例である。
【図５】ガンマ補正を説明するグラフであって、（ａ）はガンマ補正曲線の例を示すグラフ、（ｂ）はＬＣＤなどの出力装置の特性を示すグラフである。
【発明を実施するための形態】
【００２０】
以下、本発明に係る構成を図１から図５に示す実施の形態に基づいて詳細に説明する。
【００２１】
本発明に係る画像処理装置は、ベイヤ配列の固体撮像素子３０から出力されるデジタル画像信号（ＲＡＷデータ）を処理する画像処理装置であって、着目画素の色を判定する色配列判定手段６５と、着目画素がＧ画素である場合、着目画素と頂点で接し、着目画素と同色の４画素からなるＡ群の画素の信号量の平均値を算出するＡ群平均算出手段６１と、着目画素の上下左右方向において他色の画素を挟んで存在する着目画素と同色の４画素からなるＢ群の画素の信号量の平均値を算出するＢ群平均算出手段６２と、Ａ群平均算出手段６１およびＢ群平均算出手段６２から算出されたＡ群とＢ群との平均値の差分値に基づいて着目画素の混色度を検出する混色度検出手段６３とを備えるものである。
【００２２】
本発明に係る画像処理装置は、固体撮像素子３０および後述するＡ群平均算出手段６１、Ｂ群平均算出手段６２、混色度検出手段６３、画素欠陥検出手段６４、色配列判定手段６５、混色補正手段７１、画素欠陥補正手段７２等の各手段を備える装置であって、例えば、デジタルスチルカメラなどの撮像装置や、撮像装置の固体撮像素子により撮像されたデジタル画像データ（ＲＡＷデータ）をそのままを取り込んで各種の画像処理を実行するパーソナルコンピュータなどにより構成される。以下、本実施形態では、本発明に係る画像処理装置の一例として撮像装置（デジタルカメラ）を例に説明する。
【００２３】
図１は、本実施形態に係る画像処理装置（デジタルカメラ）の外観図の一例を示しており、図１（ａ）はカメラ上面図、（ｂ）はカメラ正面図、（ｃ）はカメラ裏面図を示している。
【００２４】
図１（ａ）に示すように、カメラ上面には、サブＬＣＤ１と、レリーズボタン２（ＳＷ１）と、モードダイヤル４（ＳＷ２）とを有する。
【００２５】
また、図１（ｂ）に示すように、カメラ正面には、ストロボ発光部３と、測距ユニット５と、リモコン受光部６と、鏡胴ユニット７と、光学ファインダ（正面）１１とを有する。また、メモリカードスロットル２３は、メモリカードを挿入するスロットルを示す。
【００２６】
また、図１（ｃ）に示すように、カメラ裏面には、ＡＦＬＥＤ（オートフォーカスＬＥＤ）８と、ストロボＬＥＤ９と、ＬＣＤモニタ１０と、光学ファインダ（裏面）１１と、ズームボタンＴＥＬＥ１２（ＳＷ４）と、電源スイッチ１３（ＳＷ１３）と、ズームボタンＷＩＤＥ１４（ＳＷ３）と、再生スイッチ１５（ＳＷ６）とを有する。
【００２７】
さらに、カメラ裏面には、セルフタイマ／削除スイッチ１６（ＳＷ５）と、ＭＥＮＵ／ＯＫスイッチ１７（ＳＷ１２）と、左／画像確認スイッチ１８（ＳＷ１１）と、下／マクロスイッチ１９（ＳＷ１０）と、上／ストロボスイッチ２０（ＳＷ７）と、右スイッチ２１（ＳＷ８）と、画像を表示するディスプレイスイッチ２２（ＳＷ９）とを有する。
【００２８】
次に、画像処理装置の内部構成について説明する。図２に、本実施形態に係る画像処理装置の機能ブロック図の一例を示す。なお、画像処理装置は、不図示のＣＰＵ、ＲＡＭ、ＲＯＭ、ＳＤＲＡＭ等を備え、ＲＯＭには画像処理装置を制御する各種の制御プログラム（本発明に係る画像処理プログラムを含む）が記憶されている。また、ＣＰＵは、各種の制御プログラムに従って装置各部の動作を制御すると共に、制御に必要なデータ等を、一時的にＲＡＭに記録する。また、ＳＤＲＡＭは、ＣＰＵで画像データに各種の画像処理を施す際に画像データの一時記憶を行う。
【００２９】
レンズ部（銅鏡ユニット）７は、被写体の光学画像を取り込むズームレンズ、ズーム駆動モータからなるズーム光学系、フォーカスレンズ、フォーカス駆動モータからなるフォーカス光学系、絞り、絞りモータからなる絞りユニット、メカシャッタ、メカシャッタモータからなるメカシャッタユニット、各モータを駆動するモータドライバなどから構成される。
【００３０】
固体撮像素子３０は、光学画像を光電変換するための素子であり、入射した光量に応じて電荷を蓄積し光信号を電気信号に変換するフォトダイオードが水平、垂直方向に２次元に配列されている。
【００３１】
それぞれのフォトダイオード上は１色のカラーフィルタで覆われており、ＲＧＢのカラーフィルタが、図３（ａ）に示すようなベイヤ配列と呼ばれる配色によって配列されている。すなわち、固体撮像素子３０は、Ｒ画素とＧ画素（Ｇｒ画素）が水平方向に交互に配列されたＲＧラインと、Ｇ画素（Ｇｂ画素）とＢ画素が水平方向に交互に配列されたＧＢラインとからなる２次元配列の構造を有している。なお、ベイヤ配列では、固体撮像素子３０の総画素数（Ｎとする）に対して、緑の解像度はＮ／２、赤および青の解像度はＮ／４として、緑の画素を２倍設けている。これは、人間の眼の分光感度が緑付近をピークとしており、緑の解像度が見かけ上の解像度を向上させるためである。また、フォトダイオードには、カラーフィルタに応じた色の光が電荷として蓄積される。
【００３２】
フロントエンド（以下、Ｆ／Ｅ）部４０は、画像ノイズ除去用相関二重サンプリングを行うＣＤＳ４１、利得調整を行うＡＧＣ４２、アナログ／デジタル信号変換を行うＡ／Ｄ４３からなり、固体撮像素子３０から出力されるアナログ画像信号をＦ／Ｅ部処理でサンプリングし、デジタル画像信号へと変換する。ここで、Ｆ/Ｅ部４０から出力されるデジタル画像信号は、まだ画像処理が行われていないため一般にＲＡＷデータとも呼ばれる。
【００３３】
混色・画素欠陥補正部５０は、検出部６０と補正部７０の２つのブロックで構成される。着目画素ごとに検出部６０と補正部７０における処理を繰り返すためブロック内で繰り返しの構成となっている。
【００３４】
以下、混色・画素欠陥補正部５０の詳細について説明する。先ず、着目画素とＡ群およびＢ群との画素との関係について、着目画素をＧｒ３とした場合を例に説明する。
【００３５】
図３（ｂ）は、図３（ａ）に示す画素配列において、着目画素をＧｒ３としたときの周辺のＧｒ、Ｇｂ画素を分かり易くするためにＲ画素およびＢ画素の表記を省略し、ＧｒとＧｂ画素のみを表記した図である。
【００３６】
ここで、着目画素（Ｇｒ３）と頂点で接し、着目画素と同色の４画素、すなわち、画素配列において着目画素の左上、右上、左下、右下方向にそれぞれ存在する同色の画素であるＧｂ１、Ｇｂ２、Ｇｂ３、Ｇｂ４をＡ群と呼ぶ。また、着目画素の上下左右方向において他色の画素を挟んで存在する着目画素と同色の４画素、すなわち、画素配列において着目画素の上、左、右、下方向にそれぞれＲまたはＧ画素を挟んで存在する画素であるＧｒ１、Ｇｒ２、Ｇｒ４、Ｇｒ５をＢ群と呼ぶ。したがって、着目画素がＧｂ画素である場合は、Ａ群はＧｒ画素、Ｂ群はＧｂ画素となる。
【００３７】
検出部６０は、混色の検出処理（Ｓ１０）と画素欠陥の検出処理（Ｓ２０）との２つの処理を行う。
【００３８】
混色の検出処理（Ｓ１０）は、先ず、Ａ群平均算出手段６１およびＢ群平均算出手段６２により、Ａ群（Ｇｂ１、Ｇｂ２、Ｇｂ３、Ｇｂ４）とＢ群（Ｇｒ１、Ｇｒ２、Ｇｒ４、Ｇｒ５）との各群の画素の信号量の平均値（以下、単に、Ａ群の平均値、Ｂ群の平均値という）をそれぞれ算出する（Ｓ１０−１：Ａ群平均算出処理、Ｂ群平均算出処理）。
【００３９】
次に、混色度検出手段６３により、それぞれ算出したＡ群およびＢ群の平均値の２つの平均値の差分を算出し、該差分値に基づいて混色度を算出する（Ｓ１０−２：混色度検出処理）。例えば、算出した差分値の絶対値を混色度とすることができる。ここで混色度は、その値が大きいほど、Ｇｒ画素とＧｂ画素とに信号差が発生していることを表している。
【００４０】
このように本実施形態では、Ａ群およびＢ群の平均値に基づいて混色度を算出している。着目画素とＡ群とに基づいて混色度を算出することも考えられるが、着目画素は１画素であるため、着目画素に画素欠陥があった場合、混色度は誤った値となる。そこで、本発明では、着目画素ではなくバラツキの小さいＢ群の平均値を用いることにより、混色度の算出精度を向上することとしている。
【００４１】
画素欠陥の検出処理（Ｓ２０）は、画素欠陥検出手段６４により、Ｂ群の平均値と着目画素信号との差分を算出し、該差分値に基づいて画素欠陥度を算出する。例えば、算出した差分値の絶対値を画素欠陥度とすることができる。ここで画素欠陥度は、その値が大きいほど、着目画素が画素欠陥である可能性が高いことを表している。
【００４２】
ここで、着目画素がＧｒ又はＧｂのときにはＡ群、Ｂ群ともに着目画素と同色であるが、着目画素がＲ又はＢ画素の場合には、Ａ群は異なる色となる。そのため検出部６０は着目画素の色配列判定手段６５を備え、色配列判定手段６５で着目画素の色（Ｒ、Ｇｒ、Ｇｂ、Ｂ）を判定し（Ｓ０：色配列判定処理）、着目画素がＲ画素又はＢ画素の時には画素欠陥度の検出は行うが、混色度の検出は行わず混色度の検出および混色度の補正は行わない。
【００４３】
次に、補正部７０では、混色の補正処理（Ｓ３０）と画素欠陥の補正処理（Ｓ４０）との２つの処理を行う。
【００４４】
混色の補正処理（Ｓ３０）は、混色補正手段７１により、混色度検出手段６３で算出された混色度に基づいて行われる。先ず、混色度を所定の閾値に基づいて判断する（Ｓ３０−１）。例えば、混色度が所定の閾値未満である場合は、混色補正は行わず、閾値以上である場合には、混色度が大きいとして以下に述べるいずれかの補正方式により補正値を算出して（Ｓ３０−２）、着目画素と置き換えて補正する（Ｓ３０−３）。
【００４５】
ここで、混色補正手段７１は、（ａ）着目画素をＧｒレベルに合わせる補正、（ｂ）Ｇｂレベルに合わせる補正、（ｃ）着目画素をＡ群とＢ群の中間に合わせる補正のいずれかの補正を行う。
【００４６】
（ａ）着目画素をＧｒレベルに合わせる場合、着目画素がＧｒ画素のときは次式（５）により、着目画素がＧｂ画素のときは次式（６）により補正を行う。
着目画素の信号量＝着目画素の信号量  ・・・（５）
着目画素の信号量＝着目画素の信号量×（Ａ群の平均値／Ｂ群の平均値）  ・・・（６）
【００４７】
（ｂ）着目画素をＧｂレベルに合わせる場合、着目画素がＧｒ画素のときは次式（７）により、
着目画素がＧｂ画素のときは次式（８）により補正を行う。
着目画素の信号量＝着目画素の信号量×（Ａ群の平均値／Ｂ群の平均値）  ・・・（７）
着目画素の信号量＝着目画素の信号量  ・・・（８）
【００４８】
（ｃ）着目画素をＡ群とＢ群との中間に合わせる場合は、次式（９）により補正を行う。
着目画素の信号量＝着目画素の信号量×２×（Ａ群の平均値）／（Ａ群の平均値＋Ｂ群の平均値）  ・・・（９）
【００４９】
このように本発明によれば、着目画素単位で混色度を検出し、さらに着目画素単位で混色補正を行うことができ、撮像素子の駆動要因、被写体色要因、光学的要因などの混色発生の要因を問わず適応的な混色補正ができる。
【００５０】
画素欠陥の補正処理（Ｓ４０）は、画素欠陥補正手段７２により、画素欠陥検出処理６４で算出された画素欠陥度に基づいて行われる。先ず、混色度を所定の閾値に基づいて判断する（Ｓ４０−１）。例えば、画素欠陥度が所定の閾値未満である場合は、画素欠陥ではないとして画素欠陥補正を行わず、閾値以上である場合には、画素欠陥であると判断し、次式（１０）により着目画素と置き換えて補正する（Ｓ４０−２）。
着目画素の信号量＝Ｂ群の平均値  ・・・（１０）
【００５１】
このように本発明によれば、混色補正と同時に欠陥画素も検出し、さらに欠陥画素の補正をすることができるので、これまで別途行っていた混色補正と欠陥画素の補正処理を１つにすることができ、補正処理の高速化を図ることができる。
【００５２】
以上説明した検出部６０および補正部７０での処理を着目画素について行って、次の着目画素の処理について色配列判定手段６５での判定処理に移る。以上の処理をすべての画素について行うものである。
【００５３】
混色・画素欠陥補正部５０における補正の後、画像処理部８０で各種画像処理を行う。以下、画像処理部８０での画像処理方法の一例について説明するが、画像処理部８０における画像処理は、公知または新規の画像処理方法を用いることとすれば良く、以下の例に限られるものではない。
【００５４】
なお、本実施形態では、Ｆ/Ｅ部４０によるＡ/Ｄ変換後に混色・画素欠陥補正部５０により混色、画素欠陥補正を行っているが、混色補正および画素欠陥補正を行うタイミングはこれに限定されるものではなく、Ｆ/Ｅ部４０によるＡ/Ｄ変換から画素補間手段８３による画素補間が行われるまでの間のいずれかの時点で混色・画素欠陥補正部５０による混色、画素欠陥補正を行うようにすれば良い。
【００５５】
画像処理部８０においてＲＡＷデータに対してホワイトバランス（以下、ＷＢ）処理手段８１、ガンマ補正手段８２、画素補間手段８３、ＹＵＶ変換手段８４、色補正手段８５、エッジ強調手段８６等の各手段により各種の画像処理が行われる。
【００５６】
ＷＢ処理手段８１は、ＷＢ処理、すなわち、カラーフィルタの色によって透過する光量が変わるためフォトダイオードに蓄積される電荷量が異なるのを補正するため、最も感度が高いＧに信号量を合わせるために、ＲとＢにゲインを掛ける処理を行う。ＷＢ処理により、感度差を補うことで、撮影画像中の白色が白く見えるようになる。また、物の色は光源色（例えば、太陽光、蛍光灯など）によって変わってくるため、光源の変更によってもＲとＢのゲインを変更する。
【００５７】
ガンマ補正手段８２は、横軸に入力信号、縦軸に出力信号を示すガンマ補正の曲線（図５（ａ）参照）を利用して非線形な入出力変換を行う。一般に、ＬＣＤやＣＲＴなどの出力装置では、図５（ｂ）に示すように入力に対して出力は非線形な特性で出力される。このような非線形な出力の場合、明るさに階調性がなく、また画像が暗くなるため人は正しく画像を見ることができない。そこで、出力装置の特性を考慮して、出力が線形性を保つように予め入力信号に処理を行うものである。
【００５８】
図３（ａ）に示すようなベイヤ配列では１画素にＲ、Ｇ、Ｂのいずれか１色のカラーフィルタが貼付されていないため、１画素に１色の情報しかない。ＲＡＷデータを画像として見るためには、１画素にＲ、Ｇ、Ｂの３色の情報が必要である。そこで、画素補間手段８３は、足りない２色を補うために周辺の画素から補間処理を行う。
【００５９】
ＹＵＶ変換手段８４は、ＲＡＷデータの段階では、Ｒ、Ｇ、Ｂの３色によるＲＧＢデータ形式であるため、ＪＰＥＧ画像で使用されている輝度信号Ｙと色差信号ＵＶのＹＵＶデータ形式に変換を行う。
【００６０】
色補正手段８５は、彩度、色相を変更する色補正処理を実行する。色補正処理前の画像は撮像素子のカラーフィルタの色特性となっており実際の色味とは異なる。このため、色によって彩度と色相を変更することで実際の色味に近づける処理を行うものである。
【００６１】
エッジ強調手段８６は、画像の輝度（Ｙ）信号をエッジ抽出フィルタに通してエッジ部分を抽出し、エッジ抽出前の輝度信号にエッジ部分を加算することでエッジ部分を強調し画像にメリハリをつける処理を行う。その他の画像処理としては、例えば、画像のノイズを低減させるノイズリダクション処理等を行うことが好ましい。
【００６２】
なお、上述の実施形態では、撮像装置を画像処理装置として実施形態について説明したが、本発明に係る画像処理装置は、例えば、パーソナルコンピュータ等の情報処理装置にも適用することができる。情報処理装置は、ディスプレイ等の出力装置と、キーボード、マウス等の入力装置と、演算処理を行う中央処理演算装置（ＣＰＵ）と、演算中のデータ、パラメータ等が記憶される主記憶装置（ＲＡＭ）と、計算結果等の各種データが記録される補助記憶装置としてのハードディスク、画像データが入力される入力インターフェース等を備えるものである。なお、これらのハードウェア資源は例えばバスを通じて電気的に接続され、また、入力インターフェースは、撮像装置や映像、画像等が記録された記憶媒体から読み込まれる信号をコンピュータでの処理が可能なデータに変換する機能や、各画像をそれぞれ画像データとして補助記憶装置に記録する機能等を有する。
【００６３】
また、この構成に係る情報処理装置は、上述の実施形態に係る画像処理装置（撮像装置）と同様にＡ群平均算出手段６１、Ｂ群平均算出手段６２、混色度検出手段６３、画素欠陥検出手段６４、色配列判定手段６５、混色補正手段７１、画素欠陥補正手段７２等の各手段を備えるものとする。また、これらの手段は、ＣＰＵで実行されるソフトウェア（本発明に係る画像処理プログラム）を情報処理装置で実行させることで構成でき、その実行の際に必要なデータは、ＲＡＭにロードされる。
【００６４】
上述の実施形態は本発明の好適な実施の例ではあるがこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変形実施可能である。
【符号の説明】
【００６５】
１  サブＬＣＤ
２  レリーズボタン
３  ストロボ発光部
４  モードダイヤル
５  測距ユニット
６  リモコン受光部
７  鏡胴ユニット
８  ＡＦＬＥＤ
９  ストロボＬＥＤ
１０  ＬＣＤモニタ
１１  光学ファインダ
１２  ズームボタンＴＥＬＥ
１３  電源スイッチ
１４  ズームボタンＷＩＤＥ
１５  再生スイッチ
１６  セルフタイマ／削除スイッチ
１７  ＭＥＮＵ／ＯＫスイッチ
１８  左／画像確認スイッチ
１９  下／マクロスイッチ
２０  上／ストロボスイッチ
２１  右スイッチ
２２  ディスプレイスイッチ
２３  メモリカードスロット
３０  固体撮像素子
４０  Ｆ／Ｅ部
４１  ＣＤＳ
４２  ＡＧＣ
４３  Ａ／Ｄ
５０  混色・画素欠陥補正部
６０  検出部
６１  Ａ群平均算出手段
６２  Ｂ群平均算出手段
６３  混色度検出手段
６４  画素欠陥検出手段
６５  色配列判定手段
７０  補正部
７１  混色補正手段
７２  画素欠陥補正手段
８０  画像処理部
８１  ＷＢ処理手段
８２  ガンマ補正手段
８３  画素補間手段
８４  ＹＵＶ変換手段
８５  色補正手段
８６  エッジ強調手段
【先行技術文献】
【特許文献】
【００６６】
【特許文献１】特許第４０７７１６１号
【特許文献２】特開２００５−３１１９６２号公報
【図１】
2010245858.tif 000003
【図２】
2010245858.tif 000004
【図３】
2010245858.tif 000005
【図４】
2010245858.tif 000006
【図５】
2010245858.tif 000007