(57)【要約】【課題】撮像素子に備えられた複数の色成分のカラーフィルタを入射光が透過した後、隣の画素部に混入する成分を効率的に抑制するための信号処理を得る。【解決手段】固体撮像素子に受光素子の繰り返し成分数の正方行列を設け、この正方行列は混色率を表す行列にしておき、行列の逆行列を出力信号に掛け合わせる信号処理を施した後に、色シェーディング補正を含むカラー化処理を施して、色シェーディングのない固体撮像装置を得る。【選択図】図１
2010288093.tif 000002
【特許請求の範囲】
【請求項１】
入射光を光電変換して撮像する複数の受光素子が配設され、該受光素子からの撮像信号をＡ／Ｄ変換した後に画像信号処理を行ってカラー画像信号を得る固体撮像装置において、
デジタル的な混色補正用の行列演算処理と色シェーディング補正処理を含むカラー画像処理とを行う画像処理部を有する固体撮像装置。
【請求項２】
請求項１に記載の固体撮像装置において、
前記画像処理部は、デジタル的な混色補正用の行列演算処理を行った後かまたは該行列演算処理と同時に色シェーディング補正処理を含むカラー画像処理を行う固体撮像装置。
【請求項３】
請求項１または２に記載の固体撮像装置において、
前記行列演算処理は、前記複数の受光素子の繰り返し成分数の正方行列であって、混色率および混色減衰率から求められた正方行列の逆行列を入力デジタル画像信号に掛け合わせる固体撮像装置。
【請求項４】
請求項１または２に記載の固体撮像装置において、
前記画像処理部は、前記カラー画像処理として、色シェーディングを補正する色シェーディング補正処理を行う色シェーディング補正手段を有する固体撮像装置。
【請求項５】
請求項４に記載の固体撮像装置において、
前記色シェーディング補正処理は、表示画面の縦方向と横方向で各色の信号レベルを一致させるように、第１色目シェーディング曲線の逆特性の第１色目ゲイン曲線で示したゲインを前記行列演算処理後の第１色目信号に乗算すると共に、第２色目シェーディング曲線の逆特性の第２色目ゲイン曲線で示したゲインを該行列演算処理後の第２色目信号に乗算する固体撮像装置。
【請求項６】
請求項１または２に記載の固体撮像装置において、
前記画像処理部は、前記カラー画像処理として、ホワイトバランス処理を行うホワイトバランス処理手段を有する固体撮像装置。
【請求項７】
請求項１または２に記載の固体撮像装置において、
前記画像処理部は、前記カラー画像処理として、より自然な色に補正するカラー化処理を行うカラー化処理手段を有する固体撮像装置。
【請求項８】
請求項１または２に記載の固体撮像装置において、
前記受光素子毎に対応して複数の色成分のカラーフィルタが所定の色配列で設けられている固体撮像装置。
【請求項９】
請求項８に記載の固体撮像装置において前記所定の色配列はベイヤ配列である固体撮像装置。
【請求項１０】
請求項３に記載の固体撮像装置において、
前記行列演算処理は、
前記受光素子の繰り返しパターンの成分数の正方行列を用意し、該正方行列は該受光素子の配列位置に応じた関数として定義され、
該正方行列の各要素の非対角要素は、着目受光素子から隣接受光素子への光の漏れ込みおよび信号電荷の漏れ込みが原因で該隣接受光素子に移動した信号の割合に、信号の移動損失割合を掛け合わしたもので定義され、
該正方行列の各要素の対角成分は、「１」から列内の非対角要素で該移動損失割合を掛け合わしていない値を差し引いたもので定義され、
該正方行列の逆行列を
該受光素子の出力信号で該繰り返しパターンを要素とする該成分数を行数とし、１列の行列に乗算する信号処理を行う固体撮像装置。
【請求項１１】
請求項１０に記載の固体撮像装置において、
前記行列演算処理は、
前記逆行列を予め受光素子の配列位置に応じた関数として定義しておき、
前記受光素子の出力信号で該繰り返しパターンを要素とする前記成分数を行数とし、１列の行列に乗算する信号処理を行う固体撮像装置。
【請求項１２】
請求項１０に記載の固体撮像装置の行列演算処理において、前記逆行列の対角要素は１以上の値、前記非対角要素は０以下の値とする固体撮像装置。
【請求項１３】
請求項１０に記載の固体撮像装置において、
前記行列演算処理において、前記逆行列の非対角要素は、前記対角要素を基準として対称の位置の要素が同じ関数または同じ値とする固体撮像装置。
【請求項１４】
請求項１０に記載の固体撮像装置において、
前記行列演算処理において、前記逆行列の各要素の関数は４次以上の多項式により与えられている固体撮像装置。
【請求項１５】
請求項１０に記載の固体撮像装置において、
前記行列演算処理において、特定の受光素子間の混色に着目し、該特定の受光素子間の混色を無視する固体撮像装置。
【請求項１６】
請求項１０に記載の固体撮像装置において、
前記行列演算処理において前記移動損失割合を無視する固体撮像装置。
【請求項１７】
請求項１０に記載の固体撮像装置において、
前記色シェーディング補正を含むカラー画像処理の行列×該逆行列の順序で掛け合わせた行列を予め計算しておき、これを前記受光素子の出力信号に乗算する信号処理を施す固体撮像装置。
【請求項１８】
請求項１０に記載の固体撮像装置において、
前記色シェーディング補正の行列×該逆行列の順序で掛け合わせた行列を予め計算しておき、これを前記受光素子の出力信号に乗算する信号処理を施した後、カラー画像処理を施す固体撮像装置。
【請求項１９】
請求項１０に記載の固体撮像装置において、
前記受光素子の繰り返しパターンの成分数以上、補正前信号を一時記憶する機構を有し、該記憶した補正前信号に前記逆行列を掛けることにより、受光素子２個以上または受光素子２列以上同時に色シェーディング補正を行う固体撮像装置。
【請求項２０】
請求項１０に記載の固体撮像装置において、
補正前の信号を一時記憶する機構を有し、該補正前の信号と前記色シェーディング補正対象の受光素子の信号に、前記逆行列を掛けることにより、１受光素子または受光素子１列のみの該色シェーディング補正対象の受光素子の補正を行い、１受光素子または受光素子１列ずつ、シフトしながら該色シェーディング補正を行う固体撮像装置。
【請求項２１】
請求項１〜２０のいずれかに記載の固体撮像装置を画像入力デバイスとして撮像部に用いた電子情報機器。
【請求項２２】
入力画像信号に対してカラー画像処理を行ってカラー画像信号を得る画像処理装置において、
デジタル的な混色補正用の行列演算処理と該カラー画像処理とを行う画像処理部を有する画像処理装置。
【請求項２３】
請求項２２に記載の画像処理装置において、
前記画像処理部は、デジタル的な混色補正用の行列演算処理を行った後かまたは該行列演算処理と同時にカラー画像処理を行う画像処理装置。
【請求項２４】
請求項２２または２３に記載の画像処理装置において、
前記行列演算処理は、前記複数の受光素子の繰り返し成分数の正方行列であって、混色率および混色減衰率から求められた正方行列の逆行列を入力デジタル画像信号に掛け合わせる画像処理装置。
【請求項２５】
請求項２２または２３に記載の画像処理装置において、
前記画像処理部は、前記カラー画像処理として、色シェーディングを補正する色シェーディング補正処理を行う色シェーディング補正手段を有する画像処理装置。
【請求項２６】
請求項２５に記載の画像処理装置において、
前記色シェーディング補正処理は、表示画面の縦方向と横方向で各色の信号レベルを一致させるように、第１色目シェーディング曲線の逆特性の第１色目ゲイン曲線で示したゲインを前記行列演算処理後の第１色目信号に乗算すると共に、第２色目シェーディング曲線の逆特性の第２色目ゲイン曲線で示したゲインを該行列演算処理後の第２色目信号に乗算する画像処理装置。
【請求項２７】
請求項２２または２３に記載の画像処理装置において、
前記画像処理部は、前記カラー画像処理として、ホワイトバランス処理を行うホワイトバランス処理手段を有する画像処理装置。
【請求項２８】
請求項２２または２３に記載の画像処理装置において、
前記画像処理部は、前記カラー画像処理として、より自然な色に補正するカラー化処理を行うカラー化処理手段を有する画像処理装置。
【請求項２９】
請求項２４に記載の画像処理装置において、
前記行列演算処理は、
前記受光素子の繰り返しパターンの成分数の正方行列を用意し、該正方行列は該受光素子の配列位置に応じた関数として定義され、
該正方行列の各要素の非対角要素は、着目受光素子から隣接受光素子への光の漏れ込みおよび信号電荷の漏れ込みが原因で該隣接受光素子に移動した信号の割合に、信号の移動損失割合を掛け合わしたもので定義され、
該正方行列の各要素の対角成分は、「１」から列内の非対角要素で該移動損失割合を掛け合わしていない値を差し引いたもので定義され、
該正方行列の逆行列を
該受光素子の出力信号で該繰り返しパターンを要素とする該成分数を行数とし、１列の行列に乗算する信号処理を行う画像処理装置。
【請求項３０】
請求項２９に記載の画像処理装置において、
前記行列演算処理は、
前記逆行列を予め受光素子の配列位置に応じた関数として定義しておき、
前記受光素子の出力信号で該繰り返しパターンを要素とする前記成分数を行数とし、１列の行列に乗算する信号処理を行う画像処理装置。
【請求項３１】
請求項２９に記載の画像処理装置の行列演算処理において、前記逆行列の対角要素は１以上の値、前記非対角要素は０以下の値とする画像処理装置。
【請求項３２】
請求項２９に記載の画像処理装置において、
前記行列演算処理において、前記逆行列の非対角要素は、前記対角要素を基準として対称の位置の要素が同じ関数または同じ値とする画像処理装置。
【請求項３３】
請求項２９に記載の画像処理装置において、
前記行列演算処理において、前記逆行列の各要素の関数は４次以上の多項式により与えられている画像処理装置。
【請求項３４】
請求項２９に記載の画像処理装置において、
前記行列演算処理において、特定の受光素子間の混色に着目し、該特定の受光素子間の混色を無視する画像処理装置。
【請求項３５】
請求項２９に記載の画像処理装置において、
前記行列演算処理において、前記移動損失割合を無視する画像処理装置。
【請求項３６】
請求項２９に記載の画像処理装置において、
前記色シェーディング補正を含むカラー画像処理の行列×該逆行列の順序で掛け合わせた行列を予め計算しておき、これを前記受光素子の出力信号に乗算する信号処理を施す画像処理装置。
【請求項３７】
請求項２９に記載の画像処理装置において、
前記色シェーディング補正の行列×該逆行列の順序で掛け合わせた行列を予め計算しておき、これを前記受光素子の出力信号に乗算する信号処理を施した後、カラー画像処理を施す画像処理装置。
【請求項３８】
請求項２９に記載の画像処理装置において、
前記受光素子の繰り返しパターンの成分数以上、補正前信号を一時記憶する機構を有し、該記憶した補正前信号に前記逆行列を掛けることにより、受光素子２個以上または受光素子２列以上同時に色シェーディング補正を行う画像処理装置。
【請求項３９】
請求項２９に記載の画像処理装置において、
補正前の信号を一時記憶する機構を有し、該補正前の信号と前記色シェーディング補正対象の受光素子の信号に、前記逆行列を掛けることにより、１受光素子または受光素子１列のみの該色シェーディング補正対象の受光素子の補正を行い、１受光素子または受光素子１列ずつ、シフトしながら該色シェーディング補正を行う画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、混色により発生する色シェーディングを補正するシェーディング補正装置を含む画像処理装置、この画像処理装置が用いられ、被写体からの入射光を光電変換して撮像する複数の受光部が設けられた固体撮像素子からの画素毎の各撮像信号を各種画像処理して画素毎の各画像信号を得る固体撮像装置および、この固体撮像装置を画像入力デバイスとして撮像部に用いた例えばデジタルビデオカメラおよびデジタルスチルカメラなどのデジタルカメラや、監視カメラなどの画像入力カメラ、スキャナ装置、ファクシミリ装置、テレビジョン電話装置、カメラ付き携帯電話装置などの電子情報機器に関する。
【背景技術】
【０００２】
従来のＣＣＤ型固体撮像素子およびＣＭＯＳ型固体撮像素子において、被写体からの入射光を光電変換して撮像する複数の受光部が設けられた受光素子配列の一部が色付くという問題が起こるが、これを色シェーディングと呼んでいる。この従来の色シェーディングについて図５〜図７を用いて詳細に説明する。
【０００３】
図５は、従来の固体撮像素子および撮像光学系を示す模式図である。
【０００４】
図５において、従来の固体撮像素子１０１内には複数の受光素子（複数の受光部）がマトリクス状に並んで配列されている。この受光素子配列の中央部Ｃからその周縁部Ａに向かうにつれて、撮像光学系のレンズ１０２を通して各受光素子に光が光軸１０３から傾斜して入射する。このため、中央部に位置する受光素子に比べて、その周縁部の受光素子は、配線による入射光のケラレや、カラーフィルタの重なり部分、さらにはゲートなどの影響をより受けやすく、配列周縁部に位置する受光素子の信号量（入射光量）は低下する。このときの信号低下率は、入射光の波長に依存して、色シェーディングになる。受光素子のフォトダイオード、配線、ゲート、カラーフィルタなどが上下対称および左右対称ではない形状なら、光が斜めに入射するとき、光軸１０３から同じ角度でも、受光面内のチルト角度が異なるため、入射光のケラレ量などが変化し、色シェーディングが起こる。また、赤外光カットフィルタや紫外光カットフィルタなどにおいても色シェーディングが発生する。
【０００５】
この結果、生じた色シェーディングをデジタル的に処理する補正機構が様々示されている。最も一般的なものを例示すると、特許文献１のように色毎に受光素子の場所（配置位置）に応じてゲインを乗算して出力する色シェーディング補正方法がある。このゲインを乗算する色シェーディング補正方法について、図６を用いて詳細に説明する。
【０００６】
図６は、従来の固体撮像素子および撮像光学系により発生する色シェーディングについて説明するための受光素子配列の座標位置とその信号量との関係を示す図であって、（ａ）は補正前を示す図、（ｂ）は補正後を示す図である。
【０００７】
複数の受光素子が行列方向に配列された受光素子配列の各信号量のうち、特定の１列または１行分抽出し、各受光素子の色で分割してプロットする。この受光素子配列全面に光が入射するように白色の対象物を撮像すると、図６（ａ）に示した第１色目シェーディング曲線１１０や第２色目シェーディング曲線１１１のような各色毎のシェーディング曲線が得られる。ところが、このシェーディング曲線をカラー化すると、白色を撮像しているにもかかわらず、この受光素子配列の端部において、第１色目シェーディング曲線１１０と第２色目シェーディング曲線１１１の信号量に差が生じて離れているため、画像端部で色付きが生じる。
【０００８】
そこで、この色付きを補正するために、第１色目シェーディング曲線１１０用のゲイン曲線１２０で示したゲインを第１色目補正前信号にかけ、第２色目シェーディング曲線１１１用のゲイン曲線１２１で示したゲインを第２色目補正前信号にかけて、図６（ｂ）に示した第１色目補正後信号の第１色目シェーディング曲線１３０（点線）、および第２色目補正後信号の第２色目シェーディング曲線１３１（実線）のように両信号を一致させる。逆に、ゲイン曲線は、補正後信号のシェーディング曲線が一致するように、予め調整しておく必要がある。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開平９−１３０６０３号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、上記特許文献１に開示されている従来の色シェーディング補正方法では、補正が困難な色シェーディングが存在する。その原因は混色であり、入射光を、対応する受光素子のカラーフィルタで各色毎の波長成分に分離した後、入射光またはこの入射光により生成される信号電荷が、対応する受光素子に隣接する受光素子側に混入し、隣の信号電荷として出力されてしまうという問題がある。
【００１１】
この混色の発生の主なメカニズムを図７に例示する。図７には、隣接画素としての２つの受光素子が並んで配置されている場合が示されている。
【００１２】
図７に示すように、入射光２４〜２６はそれぞれ、対応するマイクロレンズ１５を通して、対応するカラーフィルタ１４によって所定色の波長成分に分離して色（例えばＲ，Ｇ，Ｂのうちの一つ）が付与された後に、配線層１３間を通って、半導体基板１１の表面側に形成されたフォトダイオード１２およびその周辺部の空乏層１６によって光電変換を行って信号電荷を生成し、フォトダイオード１２で信号蓄積を行う。
【００１３】
例えば入射光のうちの光線２６は、光電変換されて信号電荷を生成した後に、信号電荷３３が対応する受光素子であるフォトダイオード１２に信号蓄積される事例であり、ほとんどの光線はこのような振る舞い方をする。
【００１４】
一方、例えば入射光のうちの光線２４は、カラーフィルタ１４により所定色の波長成分に分離して所定の色を付与した後に、光が直接、隣接するフォトダイオード１２に入射する事例であり、発生する信号電荷３１は、その隣接するフォトダイオード１２の信号電荷となって外部に信号出力される。
【００１５】
さらに、例えば入射光のうち、光線２４と光線２６との中間に位置する光線２５は、対応するフォトダイオード１２に入射するものの、その対応するフォトダイオード１２を突き抜けた光は、そのフォトダイオード１２の下方位置で光電変換して信号電荷３２となった後に、その信号電荷３２が、隣接するフォトダイオード１２のポテンシャルなどに引っ張られて、隣接するフォトダイオード１２に入って信号蓄積され、隣接受光素子の信号電荷として外部に出力されてしまう。混色となるのは、光線２４の場合と光線２５の場合である。
【００１６】
また、このメカニズムは混色の主な要因であるが、このメカニズム以外のメカニズムでも混色は起こり得る。
【００１７】
したがって、この混色をモデル化すると、ある受光素子からの信号電荷が混色により減少すると、隣接する受光素子の信号電荷がその分増加するというモデルが成立する。このモデルで表される色シェーディングに対して、従来の色シェーディング補正方法の受光面内の各受光素子に受光面の場所に応じた関数を設け、正しい色合いになるように受光素子に一定のゲインを掛けるものでは、光源の光量比またはスペクトルの変化によって、受光素子に隣接する受光素子からの混色信号が変化するため、一定のゲインにすることができない。したがって、従来の色シェーディング補正処理では、色シェーディングは正確に補正することができない。
【００１８】
近年、各受光素子間のピッチを縮小し、ますます集積化が進んでいる。各受光素子間のピッチが縮小すると、混色に起因する色シェーディングが増加するため、小さな受光素子、例えば２μｍ□以下の受光素子では、混色を適切に精度よく補正する必要がある。
【００１９】
一方、大きな受光素子、例えば１受光素子が２μｍ□以上においても、高性能化が進んでおり、より正確な色再現性を必要とする用途では、このような正確な色シェーディング補正が必要になってくる。
【００２０】
本発明は、上記従来の問題を解決するもので、混色による色シェーディングを適切に精度よく補正することができるシェーディング補正装置を含む画像処理装置、この画像処理装置が用いられた固体撮像装置および、この固体撮像装置を画像入力デバイスとして撮像部に用いた例えばカメラ付き携帯電話装置などの電子情報機器を提供することを目的とする。
【課題を解決するための手段】
【００２１】
本発明の固体撮像装置は、入射光を光電変換して撮像する複数の受光素子が配設され、該受光素子からの撮像信号をＡ／Ｄ変換した後に画像信号処理を行ってカラー画像信号を得る固体撮像装置において、デジタル的な混色補正用の行列演算処理を行った後に色シェーディング補正処理を含むカラー画像処理を行う画像処理部を有するものであり、そのことにより上記目的が達成される。この場合に、この画像処理部は、デジタル的な混色補正用の行列演算処理を行った後かまたは該行列演算処理と同時に色シェーディング補正処理を含むカラー画像処理を行ってもよい。
【００２２】
また、好ましくは、本発明の固体撮像装置における行列演算処理は、前記複数の受光素子の繰り返し成分数の正方行列であって、混色率および混色減衰率から求められた正方行列の逆行列を入力デジタル画像信号に掛け合わせる。
【００２３】
さらに、好ましくは、本発明の固体撮像装置における画像処理部は、前記カラー画像処理として、色シェーディングを補正する色シェーディング補正処理を行う色シェーディング補正手段を有する。
【００２４】
さらに、好ましくは、本発明の固体撮像装置における色シェーディング補正処理は、表示画面の縦方向と横方向で各色の信号レベルを一致させるように、第１色目シェーディング曲線の逆特性の第１色目ゲイン曲線で示したゲインを前記行列演算処理後の第１色目信号に乗算すると共に、第２色目シェーディング曲線の逆特性の第２色目ゲイン曲線で示したゲインを該行列演算処理後の第２色目信号に乗算する。
【００２５】
さらに、好ましくは、本発明の固体撮像装置における画像処理部は、前記カラー画像処理として、ホワイトバランス処理を行うホワイトバランス処理手段を有する。
【００２６】
さらに、好ましくは、本発明の固体撮像装置における画像処理部は、前記カラー画像処理として、より自然な色に補正するカラー化処理を行うカラー化処理手段を有する。
【００２７】
さらに、好ましくは、本発明の固体撮像装置における受光素子毎に対応して複数の色成分のカラーフィルタが所定の色配列で設けられている。
【００２８】
さらに、好ましくは、本発明の固体撮像装置における所定の色配列はベイヤ配列である。
【００２９】
さらに、好ましくは、本発明の固体撮像装置における行列演算処理は、前記受光素子の繰り返しパターンの成分数の正方行列を用意し、該正方行列は該受光素子の配列位置に応じた関数として定義され、該正方行列の各要素の非対角要素は、着目受光素子から隣接受光素子への光の漏れ込みおよび信号電荷の漏れ込みが原因で該隣接受光素子に移動した信号の割合に、信号の移動損失割合を掛け合わしたもので定義され、該正方行列の各要素の対角成分は、「１」から列内の非対角要素で該移動損失割合を掛け合わしていない値を差し引いたもので定義され、該正方行列の逆行列を、該受光素子の出力信号で該繰り返しパターンを要素とする該成分数を行数とし、１列の行列に乗算する信号処理を行う。
【００３０】
さらに、好ましくは、本発明の固体撮像装置における行列演算処理は、前記逆行列を予め受光素子の配列位置に応じた関数として定義しておき、前記受光素子の出力信号で該繰り返しパターンを要素とする前記成分数を行数とし、１列の行列に乗算する信号処理を行う。
【００３１】
さらに、好ましくは、本発明の固体撮像装置における行列演算処理において、前記逆行列の対角要素は１以上の値、前記非対角要素は０以下の値とする。
【００３２】
さらに、好ましくは、本発明の固体撮像装置における行列演算処理において、前記逆行列の非対角要素は、前記対角要素を基準として対称の位置の要素が同じ関数または同じ値とする。
【００３３】
さらに、好ましくは、本発明の固体撮像装置における行列演算処理において、前記逆行列の各要素の関数は４次以上の多項式により与えられている。
【００３４】
さらに、好ましくは、本発明の固体撮像装置における行列演算処理において、特定の受光素子間の混色に着目し、該特定の受光素子間の混色を無視する。
【００３５】
さらに、好ましくは、本発明の固体撮像装置における行列演算処理において前記移動損失割合を無視する。
【００３６】
さらに、好ましくは、本発明の固体撮像装置において、前記色シェーディング補正を含むカラー画像処理の行列×該逆行列の順序で掛け合わせた行列を予め計算しておき、これを前記受光素子の出力信号に乗算する信号処理を施す。
【００３７】
さらに、好ましくは、本発明の固体撮像装置において、前記色シェーディング補正の行列×該逆行列の順序で掛け合わせた行列を予め計算しておき、これを前記受光素子の出力信号に乗算する信号処理を施した後、カラー画像処理を施す。
【００３８】
さらに、好ましくは、本発明の固体撮像装置において、補正前の信号を一時記憶する機構を有し、該補正前の信号と前記色シェーディング補正対象の受光素子の信号に、前記逆行列を掛けることにより、１受光素子または受光素子１列のみの該色シェーディング補正対象の受光素子の補正を行い、１受光素子または受光素子１列ずつ、シフトしながら該色シェーディング補正を行う。
【００３９】
さらに、好ましくは、本発明の固体撮像装置において、前記受光素子の繰り返しパターンの成分数以上、補正前信号を一時記憶する機構を有し、該記憶した補正前信号に前記逆行列を掛けることにより、受光素子２個以上または受光素子２列以上同時に色シェーディング補正を行う。
【００４０】
本発明の電子情報機器は、本発明の上記固体撮像装置を画像入力デバイスとして撮像部に用いたものであり、そのことにより上記目的が達成される。
【００４１】
本発明の画像処理装置は、入力画像信号に対してカラー画像処理を行ってカラー画像信号を得る画像処理装置において、デジタル的な混色補正用の行列演算処理と該カラー画像処理とを行う画像処理部を有するものであり、そのことにより上記目的が達成される。この場合に、このカラー画像処理は、デジタル的な混色補正用の行列演算処理を行った後かまたは該行列演算処理と同時に行う画像処理部を有していてもよい。
【００４２】
また、好ましくは、本発明の画像処理装置において、前記行列演算処理は、前記複数の受光素子の繰り返し成分数の正方行列であって、混色率および混色減衰率から求められた正方行列の逆行列を入力デジタル画像信号に掛け合わせる。
【００４３】
さらに、好ましくは、本発明の画像処理装置において、前記画像処理部は、前記カラー画像処理として、色シェーディングを補正する色シェーディング補正処理を行う色シェーディング補正手段を有する。
【００４４】
さらに、好ましくは、本発明の画像処理装置において、前記色シェーディング補正処理は、表示画面の縦方向と横方向で各色の信号レベルを一致させるように、第１色目シェーディング曲線の逆特性の第１色目ゲイン曲線で示したゲインを前記行列演算処理後の第１色目信号に乗算すると共に、第２色目シェーディング曲線の逆特性の第２色目ゲイン曲線で示したゲインを該行列演算処理後の第２色目信号に乗算する。
【００４５】
さらに、好ましくは、本発明の画像処理装置において、前記画像処理部は、前記カラー画像処理として、ホワイトバランス処理を行うホワイトバランス処理手段を有する。
【００４６】
さらに、好ましくは、本発明の画像処理装置において、前記画像処理部は、前記カラー画像処理として、より自然な色に補正するカラー化処理を行うカラー化処理手段を有する。
【００４７】
さらに、好ましくは、本発明の画像処理装置において、前記行列演算処理は、前記受光素子の繰り返しパターンの成分数の正方行列を用意し、該正方行列は該受光素子の配列位置に応じた関数として定義され、該正方行列の各要素の非対角要素は、着目受光素子から隣接受光素子への光の漏れ込みおよび信号電荷の漏れ込みが原因で該隣接受光素子に移動した信号の割合に、信号の移動損失割合を掛け合わしたもので定義され、該正方行列の各要素の対角成分は、「１」から列内の非対角要素で該移動損失割合を掛け合わしていない値を差し引いたもので定義され、該正方行列の逆行列を、該受光素子の出力信号で該繰り返しパターンを要素とする該成分数を行数とし、１列の行列に乗算する信号処理を行う。
【００４８】
さらに、好ましくは、本発明の画像処理装置において、前記行列演算処理は、前記逆行列を予め受光素子の配列位置に応じた関数として定義しておき、前記受光素子の出力信号で該繰り返しパターンを要素とする前記成分数を行数とし、１列の行列に乗算する信号処理を行う。
【００４９】
さらに、好ましくは、本発明の画像処理装置において、前記逆行列の対角要素は１以上の値、前記非対角要素は０以下の値とする。
【００５０】
さらに、好ましくは、本発明の画像処理装置において、前記行列演算処理において、前記逆行列の非対角要素は、前記対角要素を基準として対称の位置の要素が同じ関数または同じ値とする。
【００５１】
さらに、好ましくは、本発明の画像処理装置において、前記行列演算処理において、前記逆行列の各要素の関数は４次以上の多項式により与えられている。
【００５２】
さらに、好ましくは、本発明の画像処理装置において、前記行列演算処理において、特定の受光素子間の混色に着目し、該特定の受光素子間の混色を無視する。
【００５３】
さらに、好ましくは、本発明の画像処理装置において、前記行列演算処理において、前記移動損失割合を無視する。
【００５４】
さらに、好ましくは、本発明の画像処理装置において、前記色シェーディング補正を含むカラー画像処理の行列×該逆行列の順序で掛け合わせた行列を予め計算しておき、これを前記受光素子の出力信号に乗算する信号処理を施す。
【００５５】
さらに、好ましくは、本発明の画像処理装置において、前記色シェーディング補正の行列×該逆行列の順序で掛け合わせた行列を予め計算しておき、これを前記受光素子の出力信号に乗算する信号処理を施した後、カラー画像処理を施す。
【００５６】
さらに、好ましくは、本発明の画像処理装置において、前記受光素子の繰り返しパターンの成分数以上、補正前信号を一時記憶する機構を有し、該記憶した補正前信号に前記逆行列を掛けることにより、受光素子２個以上または受光素子２列以上同時に色シェーディング補正を行う。
【００５７】
さらに、好ましくは、本発明の画像処理装置において、補正前の信号を一時記憶する機構を有し、該補正前の信号と前記色シェーディング補正対象の受光素子の信号に、前記逆行列を掛けることにより、１受光素子または受光素子１列のみの該色シェーディング補正対象の受光素子の補正を行い、１受光素子または受光素子１列ずつ、シフトしながら該色シェーディング補正を行う。
【００５８】
上記構成により、以下、本発明の作用を説明する。
【００５９】
本発明においては、デジタル的な混色補正用の行列演算処理を行った後に色シェーディング補正処理を含むカラー画像処理を行う画像処理部を有する。この行列演算処理は、複数の受光素子の繰り返し成分数の正方行列であって、混色率および混色減衰率から求められた正方行列の逆行列を入力デジタル画像信号に掛け合わせる。
【００６０】
これによって、デジタル的な混色補正用の行列演算処理を行った後に色シェーディング補正処理を含むカラー画像処理を行うので、従来の固体撮像装置では補正できなかった、混色に由来する色シェーディング補正を適切じかつ精度よく行うことが可能であり、受光素子の分光の面内均一性を高めることが可能となる。
【発明の効果】
【００６１】
以上により、本発明によれば、デジタル的な混色補正用の行列演算処理を行った後に色シェーディング補正処理を含むカラー画像処理を行うため、従来の固体撮像装置では補正できなかった、混色に由来する色シェーディングを適切かつ精度よく補正することができて、受光素子の分光の面内均一性を高めることができる。
【図面の簡単な説明】
【００６２】
【図１】本発明の固体撮像装置の実施形態１の要部構成例を示すブロック図である。
【図２】図１の固体撮像素子における受光素子配列の繰り返しパターン例を模式的に示した平面図である。
【図３】図１の固体撮像素子における受光素子配列例を示す２行４受光素子の平面図である。
【図４】本発明の実施形態２として、本発明の実施形態１の固体撮像装置を撮像部に用いた電子情報機器の概略構成例を示すブロック図である。
【図５】従来の固体撮像素子および撮像光学系を示す模式図である。
【図６】従来の固体撮像素子および撮像光学系により発生する色シェーディングについて説明するための受光素子配列の座標位置とその信号量との関係を示す図であって、（ａ）は補正前を示す図、（ｂ）は補正後の図である。
【図７】混色の発生メカニズムを説明するための隣接画素部の縦断面図である。
【発明を実施するための形態】
【００６３】
以下に、本発明の画像処理装置を含む固体撮像装置の実施形態１および、この固体撮像装置の実施形態１を画像入力デバイスとして撮像部に用いた例えばカメラ付き携帯電話装置などの電子情報機器の実施形態２について図面を参照しながら詳細に説明する。
【００６４】
（実施形態１）
図１は、本発明の固体撮像装置の実施形態１の要部構成例を示すブロック図である。
【００６５】
図１において、本実施形態１の固体撮像装置９１は、被写体からの入射光を光電変換して撮像する複数の受光素子（例えば複数のフォトダイオード）が設けられた固体撮像素子１０と、固体撮像素子１０から読み出された画素毎の各撮像信号をアナログ信号からデジタル画像信号に変換するＡ／Ｄ変換部７０と、Ａ／Ｄ変換部７０からの画素毎の各デジタル画像信号に基づいて、混色により発生する色シェーディングを補正するシェーディング補正装置としての色シェーディング補正手段８１を含む各種カラー画像処理を行う画像処理装置としての画像処理部８０とを有し、入射光を光電変換して撮像する複数の受光素子が配設され、この受光素子からの撮像信号をＡ／Ｄ変換した後に、画像処理部で画像信号処理を行ってカラー画像信号を得る。
【００６６】
画像処理部８０は、混色補正のためのデジタル的な行列演算処理を、色シェーディング補正処理およびカラー化画像処理、ホワイトバランス処理の前段（または同一処理部）に設ける。ここでは、色シェーディング補正手段８１は、デジタル的な混色補正用の行列演算処理を行った後に、色シェーディングを補正する色シェーディング補正処理を行う。
【００６７】
つまり、画像処理部８０は、デジタル的な混色補正用の行列演算処理を行った後にカラー画像処理を行うが、このカラー画像処理として、色シェーディングを補正する色シェーディング補正処理を行う色シェーディング補正手段８１の他に、カラー画像処理として、ホワイトバランス処理を行うホワイトバランス処理手段（図示せず）や、例えばＲＧＢの各色に所定の倍率を掛けて、人の目の感度にあったより自然な色に補正するカラー化処理を行うカラー化処理手段（図示せず）を有している。
【００６８】
この混色補正用の行列演算処理は、混色率から求められた正方行列の逆行列を入力画素信号（入力デジタル画像信号）に掛け合わせる処理である。つまり、この混色補正用の行列演算処理は、固体撮像素子１０に設けられた複数の受光素子の繰り返し成分数の正方行列を設け、この正方行列は混色率を表す行列にしておき、行列の逆行列を入力画素信号（入力デジタル画像信号）に掛け合わせる信号処理を施すものである。
【００６９】
この行列演算処理の後の通常の色シェーディング補正処理は、表示画面の縦方向と横方向で各色の信号レベルが一致ように、第１色目シェーディング曲線の逆特性の第１色目ゲイン曲線で示したゲインを補正前信号に乗算すると共に、第２色目シェーディング曲線の逆特性の第２色目ゲイン曲線で示したゲインを補正前信号に乗算する。
【００７０】
なお、シェーディング補正装置は、各色の信号レベルを表示画面の縦方向または／および横方向に一致するように色シェーディング補正処理を行うが、これとは別にまたはこれと共に、表示画面中央部の周辺部における色落ちを抑制するようにシェーディング補正処理が為される。
【００７１】
これによって、固体撮像素子１０に備えられた複数の色成分のカラーフィルタ（例えば色配列がベイヤ配列）を入射光が透過した後、隣の画素部の受光素子に混入する混入成分を効率的に調整する混色補正処理を通常の色シェーディング補正処理の前処理として行い、上記行列演算処理の後の通常の色シェーディング補正処理を行って、混色による色シェーディングを適切に精度よく補正することができる。
【００７２】
ここで、色シェーディング補正手段８１に用いる混色補正用の行列演算処理について詳細に説明する。
【００７３】
着目受光素子から隣接受光素子に混色するものとすると、混色する信号量は入射した信号量に比例し、着目受光素子の信号量が減り、その周囲の隣接受光素子の信号量が同量増加する。または、一定の割合で混色する信号が失われ、着目受光素子の信号の減少量から損失割合を掛けた分、隣接受光素子の信号量が増加する。
【００７４】
このメカニズムにより、受光素子１からＸまでの混色前の信号を混色前信号１から混色前信号Ｘと置き、混色後の信号である混色後信号１から混色後信号Ｘを表すと、次の［数１］になる。
【００７５】
【数１】
2010288093.tif 000003
ここで、Ｃ１１，Ｃ１２，・・・，Ｃ１Ｘ，Ｃ２１，・・・，Ｃ２Ｘ，・・・は混色率であり、受光素子の受光面の場所（配列位置）に依存する関数で表せ、混色率Ｃａｂは０を含む、０から１までの値になる。また、Ｃａｂにおいて、Ｃの添え字がａｂのとき、ｂ受光素子からａ受光素子への混色の確率を示している。
【００７６】
また、Ｄ１１，Ｄ１２，・・・，Ｄ１Ｘ，Ｄ２１，・・・，Ｄ２Ｘ，・・・は、ここでは、混色減衰率と呼ぶこととし、一定の割合で混色する信号が失われるときの、一定の割合を示している。
【００７７】
本発明では、混色後信号から混色前信号にデジタル的に直すことが目的だから、［数１］において、混色後信号を補正前信号、混色前信号を補正後信号に置き換えて表すと、次の［数２］のようになる。
【００７８】
【数２】
2010288093.tif 000004
この［数２］を書き直し、補正後信号を逆行列で表すと、次の［数３］のようになる。
【００７９】
【数３】
2010288093.tif 000005
この［数３］により、補正後信号は、［数３］で表された逆行列と混色前信号（入力デジタル画像信号）とから得ることができる。
【００８０】
色毎に受光素子の場所（配列位置）に応じてゲインを乗算して信号出力するシェーディング補正処理前に、または、各色でホワイトバランス処理など、輝度を調整または補正するホワイトバランス処理前に、または、各受光素子からの画像信号を基にＸＹＺ信号などに変換するなどのカラー化処理を施す前に、上記［数３］の演算処理を施せば、混色に起因する色シェーディングを補正することができる。
【００８１】
以下に、上記［数３］の式を用いて、逆行列で補正後信号を得る方法について更に詳細に説明する。
【００８２】
測定などによって、固体撮像素子１０の混色率および混色減衰率を求め、そこから逆行列を求めて、これを補正行列とし、これを混色前信号（入力デジタル画像信号）に掛け合わせ、その掛け合わせた出力デジタル画像信号に対して、その他の色シェーディング補正を含むカラー画像処理を施すことが最も望ましい。
【００８３】
しかしながら、逆行列の計算は一般に複雑であり、実際の使用上、計算コストを減少させるためにも、簡略化も重要である。そこで、以下、逆行列の簡略化について詳細に説明する。
【００８４】
上記［数３］の逆行列において、第一画素から第二画素への混色率と、第二画素から第一画素への混色率の違いを無視し、混色率を以下の［数４］の式のように表すことにより、計算コストおよびパラメータ変数の削減などを行うことができる。
【００８５】
【数４】
2010288093.tif 000006
即ち、上記［数４］の式のように、特定の受光素子ａ，ｂ間の混色に着目し、特定の受光素子ａ、ｂ間の混色を無視することによって、行列成分数（パラメータ変数）を減少させるかまたは計算コストを減少させることができる。
【００８６】
また、混色減衰率Ｄａｂの受光素子毎の変化を無視し、以下の［数５］の式のように一定の値を入れることにより、計算コストおよびパラメータ変数の削減などができる。
【００８７】
【数５】
2010288093.tif 000007
即ち、上記［数５］の式のように、移動損失割合を無視することによって計算コストおよびパラメータ変数を減少することができる。
【００８８】
さらに、混色減衰率Ｄａｂの一部または全てを無視して、以下の［数６］の式のように「１」を入れることにより、計算コストおよびパラメータ変数の削減をすることもできる。
【００８９】
【数６】
2010288093.tif 000008
また、上記［数３］の式において、Ｃａｂは多項式で与えると簡便な計算になる。また、多項式を仮定すると、経験的に４次式以上にすることが望ましい。即ち、簡便な計算とするため、逆行列の各要素の関数を４次以上の多項式とする。さらに、上記［数３］の式は撮像光学系の特性の影響も受けるため、実測値、シミュレーションの値などを元にフィッティングにて求めることが望ましい。その際、実測値は２色以上の光源で求めると、より精度の高い値が得られる。
【００９０】
また、逆行列の計算は予め計算し、関数化しておき、画像処理部８０の色シェーディング補正手段８１内では、次の［数７］の式で与える処理のみ行うことが望ましい。
【００９１】
【数７】
2010288093.tif 000009
ここで、Ｇａａは１以上の値となる関数であり、Ｆａｂは０以下の値となる関数が一般的である。
【００９２】
また、［数７］の式を元に実測値、シミュレーションの値などのフィッティングで関数を求めることが可能である。
【００９３】
このとき、［数７］の式の正方行列の逆行列が、上記［数２］の式で示した混色成分を表しているなら、本発明の技術的範囲に含まれる。
【００９４】
［数７］の式は、Ｇａａ、Ｆａｂ共に多項式で与えると簡便な計算になる。また、多項式なら、経験的に４次式以上にすることが望ましい。さらに、［数７］の式も［数３］の式同様、実測値、シミュレーションの値などを元に、フィッティングにて求めることが望ましい。その際、実測値は２色以上の光源で求めると、より精度の高い値が得られる。
【００９５】
また、［数７］の式で仮定される逆行列は、［数４］の式および［数５］の式の条件に当てはまるとき、以下の［数８］の式のように
【００９６】
【数８】
2010288093.tif 000010
になり、計算コストおよびパラメータ変数の削減などができる。
【００９７】
また、本発明においての受光素子の繰り返しパターンとして、カラーフィルタなど、波長を色毎に分割する基準で繰り返しパターンを定義する方がよい。しかし、前記に加え、配線など、光学的に影響するパターンの繰り返しパターンを加味して繰り返しパターンを定義してもよい。
【００９８】
図２は、図１の固体撮像素子１０における受光素子配列の繰り返しパターンを模式的に示した平面図である。なお、図２に示した「Ｂ」とは青色の波長に反応する受光素子、「Ｒ」とは赤色の波長に反応する受光素子、「Ｇｂ」および「Ｇｒ」とは緑色の波長に反応する受光素子を示している。また、「Ｇｂ」は「Ｂ」の行にあるのでＧｂと呼び、「Ｇｒ」はＲ行にあるのでＧｒと呼ぶことにする。
【００９９】
図２に示すように、配線１３は、受光素子５１および６１で同じレイアウトであり、同様に、受光素子５２および６２、受光素子５３および６３、受光素子５４および６４、受光素子５６および６６、・・・で同じレイアウトになっている。
【０１００】
この場合、受光素子の色と配線１３の繰り返しから、繰り返しパターン２が得られる。
【０１０１】
このとき、上記［数３］の式は、逆行列の要素をＡａｂで表すと、次の［数９］の式で補正することができる。
【０１０２】
【数９】
2010288093.tif 000011
しかし、［数９］の式は複雑で、配線１３は受光素子５１および５６、受光素子５２および５７・・・で開口の形状を似せて設計することが通常だから、繰り返しパターン１を用いて、次の［数１０］の式で補正したほうがよい。
【０１０３】
【数１０】
2010288093.tif 000012
また、特定の受光素子の混色のみを対象とすることにより、計算コストを減少することができる。このとき、ｂ受光素子からａ受光素子への混色を無視するとき、以下の［数１１］の式のように、
【０１０４】
【数１１】
2010288093.tif 000013
とする。
また、同時に、以下の［数１２］の式のように、
【０１０５】
【数１２】
2010288093.tif 000014
とすることにより、計算コストをさらに減らすことができる。
【０１０６】
図３は、図１の固体撮像素子１０における受光素子配列例を示す２行４受光素子の平面図である。
【０１０７】
また、１行ずつ読み出す固体撮像素子１０において、例えば、２行４受光素子４１〜４４において、［数１０］の式のような補正を行う場合、１行２受光素子４１，４２の信号を一旦メモリなどで記憶しておき、もう１行２受光素子４３，４４の信号を読み出した後、［数１０］の式の演算を行うという処理が想定し得る。
【０１０８】
この場合、色シェーディング補正を受光素子４１と受光素子４２間の混色、受光素子４３と受光素子４４間の混色のみに限定すれば、上記処理が簡略化されると同時に、一旦、信号を記憶する必要がなくなる。
【０１０９】
前記の具体例として、図３に示すような受光素子配列（２行４受光素子４１〜４４）を仮定し、固体撮像素子１０では、「Ｂ」受光素子４１と「Ｇｂ」受光素子４２間の混色と、「Ｇｒ」受光素子４３と「Ｒ」受光素子４４間の混色のみを補正する場合、［数１０］の式を書き換えて、以下の［数１３］の式のように、
【０１１０】
【数１３】
2010288093.tif 000015
で補正すればよい。
【０１１１】
補正処理の方法として、数列まとめて計算する方法が通常だが、その他の補正処理の方法としては、全ての受光素子の信号が揃った後に計算すると効率が悪い場合があり、１列ずつシフトしながら計算する方法もある。いずれも補正前の信号を一旦保存する必要がある。
【０１１２】
補正処理前に黒レベルを補正しておくことが必要がある。色毎に受光素子の場所に応じてゲインを乗算して出力するなどのシェーディング補正処理前に、または、各色でホワイトバランス処理などの輝度を調整または補正する前に、または、各受光素子の信号を基にＸＹＺ信号などに変換するなどのカラー化処理を施す前に、色シェーディング補正を行わなければ、混色成分に一定のゲインを掛けることになり、正しい色合に戻すことが非常に困難になる。
【０１１３】
以上により、本実施形態１によれば、デジタル的な混色補正用の行列演算処理を行った後に色シェーディング補正処理を含むカラー画像処理を行うため、従来の固体撮像装置では補正できなかった、混色に由来する色シェーディングを適切かつ精度よく補正することができて、受光素子の分光の面内均一性を高めることができる。
【０１１４】
なお、ノイズ除去、白点除去などは、本色シェーディング補正がノイズを増大させるように作用するため、本シェーディング補正の前が理想的で望ましい。
【０１１５】
なお、行列演算処理において、逆行列の対角要素は１以上（例えば１以上３以下）の値、非対角要素は０以下（例えば−２以上０以下）の値とし、この逆行列の各要素の関数は４次以上（例えば４次以上６次または７次以下）の多項式により与えられる。ここでは、上記行列において、対角要素とは左上角に位置する成分から右下角に位置する成分までの各要素である。非対角要素とは対角要素以外の要素のことである。
【０１１６】
なお、本実施形態１では、デジタル的な混色補正用の行列演算処理を行った後に色シェーディング補正処理を含むカラー画像処理を行う場合について説明しているが、これに限らず、ここでは特に詳細に説明しなかったが、逆行列にカラー画像処理の行列を、色シェーディング補正を含むカラー画像処理の行列×逆行列の順序で掛け合わせた行列を、例えば製造時にセンサ外（固体撮像装置外）で予め計算しておき、その計算結果を所定のメモリに記憶させておいて、その後、センサ使用時にセンサ内において、この所定のメモリに記憶した計算結果を受光素子の出力信号に乗算する信号処理を施すことができる。これによって、センサ内における計算コストを減少させることができ、処理速度も速くなる。この場合、デジタル的な混色補正用の行列演算処理と同時に色シェーディング補正処理を含むカラー画像処理を行っている。
【０１１７】
また、本実施形態１では、特に詳細に説明しなかったが、逆行列にシェーディング補正の行列を、色シェーディング補正の行列×該逆行列の順序で掛け合わせた行列を、例えば製造時にセンサ外（固体撮像装置外）で予め計算しておき、その計算結果を所定のメモリに記憶させておいて、その後、センサ使用時にセンサ内において、この所定のメモリに記憶した計算結果を受光素子の出力信号に乗算する信号処理を施した後、カラー画像処理を施すことができる。これによって、センサ内における計算コストを減少させることができ、処理速度も速くなる。この場合も、デジタル的な混色補正用の行列演算処理と同時に色シェーディング補正処理を含むカラー画像処理を行っている。
【０１１８】
さらに、本実施形態１では、特に詳細に説明しなかったが、受光素子の繰り返しパターンの成分数以上、または受光素子の繰り返しパターンの成分数に対応する列にある受光素子数以上、補正前信号を一時記憶する所定のメモリを有しておれば、記憶した補正前信号に逆行列を掛けることにより、受光素子２個以上または受光素子２列以上同時に色シェーディング補正を行うことができる。これによって、処理速度も速くすることができる。
【０１１９】
さらに、本実施形態１では、特に詳細に説明しなかったが、補正前の信号を一時記憶する所定のメモリを有し、補正前の信号と色シェーディング補正対象の受光素子の信号に、逆行列を掛けることにより、１受光素子または受光素子１列のみの色シェーディング補正対象の受光素子の補正を行い、１受光素子または受光素子１列ずつ、シフトしながら色シェーディング補正を行うことができる。これによって、色シェーディング補正手段の演算容量を少なくできて、所定のメモリの記憶容量を節約できると共に、所定のメモリのチップ占有面積も削減することができる。
【０１２０】
（実施形態２）
図４は、本発明の実施形態２として、本発明の実施形態１の固体撮像装置９１を撮像部に用いた電子情報機器の概略構成例を示すブロック図である。
【０１２１】
図４において、本実施形態３の電子情報機器９０は、上記実施形態１の固体撮像素素子１０からの撮像信号をＡ／Ｄ変換した後に、上記実施形態１の色シェーディング補正処理を含む各種カラー画像処理を行ってカラー画像信号を得る固体撮像装置９１と、この固体撮像装置９１からのカラー画像信号を記録用に所定の信号処理した後にデータ記録可能とする記録メディアなどのメモリ部９２と、この固体撮像装置９１からのカラー画像信号を表示用に所定の信号処理した後に液晶表示画面などの表示画面上に表示可能とする液晶表示装置などの表示手段９３と、この固体撮像装置９１からのカラー画像信号を通信用に所定の信号処理をした後に通信処理可能とする送受信装置などの通信手段９４と、この固体撮像装置９１からのカラー画像信号を印刷用に所定の印刷信号処理をした後に印刷処理可能とするプリンタなどの画像出力手段９５とを有している。なお、この電子情報機器９０として、これに限らず、固体撮像装置９１の他に、メモリ部９２と、表示手段９３と、通信手段９４と、プリンタなどの画像出力手段９５とのうちの少なくともいずれかを有していてもよい。
【０１２２】
この電子情報機器９０としては、前述したように例えばデジタルビデオカメラ、デジタルスチルカメラなどのデジタルカメラや、監視カメラ、ドアホンカメラ、車載用後方監視カメラなどの車載用カメラおよびテレビジョン電話用カメラなどの画像入力カメラ、スキャナ装置、ファクシミリ装置、カメラ付き携帯電話装置および携帯端末装置（ＰＤＡ）などの画像入力デバイスを有した電子機器が考えられる。
【０１２３】
したがって、本実施形態２によれば、この固体撮像装置９１からのカラー画像信号に基づいて、これを表示画面上に良好に表示したり、これを紙面にて画像出力手段９５により良好にプリントアウト（印刷）したり、これを通信データとして有線または無線にて良好に通信したり、これをメモリ部９２に所定のデータ圧縮処理を行って良好に記憶したり、各種データ処理を良好に行うことができる。
【０１２４】
なお、本実施形態１では、特に詳細には説明しなかったが、デジタル的な混色補正用の行列演算処理を行った後に色シェーディング補正処理を含むカラー画像処理を行う画像処理部を有することを特徴構成とした。このように、デジタル的な混色補正用の行列演算処理を行った後に色シェーディング補正処理を含むカラー画像処理を行うため、従来の固体撮像装置では補正できなかった、混色に由来する色シェーディングを適切かつ精度よく補正することができて、受光素子の分光の面内均一性を高めることができる本発明の目的を達成することができる。
【０１２５】
以上のように、本発明の好ましい実施形態１、２を用いて本発明を例示してきたが、本発明は、この実施形態１、２に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態１、２の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。本明細書において引用した特許、特許出願および文献は、その内容自体が具体的に本明細書に記載されているのと同様にその内容が本明細書に対する参考として援用されるべきであることが理解される。
【産業上の利用可能性】
【０１２６】
本発明は、混色により発生する色シェーディングを補正する色シェーディング補正方法、この色シェーディング補正方法が画像処理部に用いられ、被写体からの入射光を光電変換して撮像する複数の受光部が設けられた固体撮像素子からの画素毎の各撮像信号を各種画像処理して画素毎の各画像信号を得る固体撮像装置および、この固体撮像装置を画像入力デバイスとして撮像部に用いた例えばデジタルビデオカメラおよびデジタルスチルカメラなどのデジタルカメラや、監視カメラなどの画像入力カメラ、スキャナ装置、ファクシミリ装置、テレビジョン電話装置、カメラ付き携帯電話装置などの電子情報機器の分野において、デジタル的な混色補正用の行列演算処理を行った後に色シェーディング補正処理を含むカラー画像処理を行うため、従来の固体撮像装置では補正できなかった、混色に由来する色シェーディングを適切かつ精度よく補正することができて、受光素子の分光の面内均一性を高めることができる。
【符号の説明】
【０１２７】
１、２  繰り返しパターン
１０  固体撮像素子
１１  半導体基板
１２  受光素子（フォトダイオード）
１３  配線層
１４  カラーフィルタ
１５  マイクロレンズ
１６  フォトダイオードの周辺の空乏層
２１〜２６  光線
３１〜３３  電子（信号電荷）
４１〜４４  受光素子
５１〜６９  受光素子Ｂ，Ｇｂ，Ｇｒ，Ｒ
７０  Ａ／Ｄ変換部
８０  画像処理部
８１  色シェーディング補正手段
９０  電子情報機器
９１  固体撮像装置
９２  メモリ部
９３  表示手段
９４  通信手段
９５  画像出力手段
１０１  固体撮像素子
１０２  撮像光学系
１０３  光軸
１１０  第１色目補正前シェーディング曲線
１１１  第２色目補正前シェーディング曲線
１２０  第１色目シェーディング曲線用の補正ゲイン曲線
１２１  第２色目シェーディング曲線用の補正ゲイン曲線
１３０  第１色目補正後シェーディング曲線
１３１  第２色目補正後シェーディング曲線
【図１】
2010288093.tif 000016
【図２】
2010288093.tif 000017
【図３】
2010288093.tif 000018
【図４】
2010288093.tif 000019
【図５】
2010288093.tif 000020
【図６】
2010288093.tif 000021
【図７】
2010288093.tif 000022