(57)【要約】【課題】  彩度が高い被写体を撮影する際に発生する横スジや縦スジを軽減する。【解決手段】  画素共有構成内の各画素の隣接画素への電荷漏れ込み量を検出し、前記画素共有構成内の各画素の混色量を検出し、検出した混色量から混色補正必要性の有無を判定し、前記画素共有構成内の各画素の出力値が飽和レベルに達しているかを判定する。そして、飽和と判定された画素の隣接画素で、かつ混色補正要と判定された画素配列位置の信号値を混色補正が不要と判断された隣接同色フィルター画素の信号値から算出した信号値で置き換える。【選択図】  図３
2014165522.tif 000002
【特許請求の範囲】
【請求項１】
複数の画素が２次元状に配列され、２画素以上の同色画素を含む近接する複数の画素同士で構成要素の一部を共有する画素共有ユニットを複数備えた撮像素子と、
各画素の電荷漏れ込み量を検出する電荷漏れ込み量検出手段と、
前記電荷漏れ込み量検出手段により検出された電荷漏れ込み量に基づいて各画素の出力信号に対する混色補正の要否を判定する補正要否判定手段と、
前記補正要否判定手段により混色補正が必要であると判定された画素の出力信号値を、同じ画素共有ユニット内の同色画素の出力信号値から算出した信号値で置き換える補間手段と、
を有することを特徴とする撮像装置。
【請求項２】
前記撮像素子は、前記画素共有ユニットを構成する複数の画素同士で電荷電圧変換部及び増幅トランジスタを共有することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記画素共有ユニット内の各画素が飽和しているか否かを判定する飽和判定手段を有し、
前記補間手段は、前記飽和判定手段により飽和していると判定された画素に近接する画素であって、かつ前記補正要否判定手段により混色補正が必要であると判定された画素の出力信号値を、同じ画素共有ユニット内の同色画素の出力信号値から算出した信号値で置き換えることを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記補正要否判定手段は、前記電荷漏れ込み量検出手段により検出された前記画素共有ユニット内の同色画素の電荷漏れ込み量の差分値に応じて、混色補正の要否を判定することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
複数の画素が２次元状に配列され、２画素以上の同色画素を含む近接する複数の画素同士で構成要素の一部を共有する画素共有ユニットを複数備えた撮像素子を有する撮像装置の制御方法であって、
各画素の電荷漏れ込み量を検出する電荷漏れ込み量検出ステップと、
前記電荷漏れ込み量検出ステップにより検出された電荷漏れ込み量に基づいて各画素の出力信号に対する混色補正の要否を判定する補正要否判定ステップと、
前記補正要否判定ステップにより混色補正が必要であると判定された画素の出力信号値を、同じ画素共有ユニット内の同色画素の出力信号値から算出した信号値で置き換える補間ステップと、
を有することを特徴とする撮像装置の制御方法。
【請求項６】
前記撮像素子は、前記画素共有ユニットを構成する複数の画素同士で電荷電圧変換部及び増幅トランジスタを共有することを特徴とする請求項５に記載の撮像装置の制御方法。
【請求項７】
前記画素共有ユニット内の各画素が飽和しているか否かを判定する飽和判定ステップを有し、
前記補間ステップでは、前記飽和判定ステップにより飽和していると判定された画素に近接する画素であって、かつ前記補正要否判定ステップにより混色補正が必要であると判定された画素の出力信号値を、同じ画素共有ユニット内の同色画素の出力信号値から算出した信号値で置き換えることを特徴とする請求項５又は６に記載の撮像装置の制御方法。
【請求項８】
前記補正要否判定ステップでは、前記電荷漏れ込み量検出ステップにより検出された前記画素共有ユニット内の同色画素の電荷漏れ込み量の差分値に応じて、混色補正の要否を判定することを特徴とする請求項５乃至７のいずれか１項に記載の撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及びその制御方法に関するものである。
【背景技術】
【０００２】
近年、ビデオカメラやデジタルスチルカメラに用いられるＣＣＤやＣＭＯＳ等の固体撮像素子は、多画素化と小型化が望まれている。多画素化と小型化を両立するためには、１画素辺りの面積が小さくなるために画素感度の減少が懸念される。この問題を解決するために、ＣＭＯＳセンサにおいては、画素を構成する回路の一部分、例えば増幅用トランジスタやリセット用トランジスタを、水平方向、または、垂直方向に隣接または近接する複数の画素間で共有させる「画素共有技術」が注目されている。このような「画素共有技術」により、１画素当たりの回路を減らし、減らした分の面積をフォトダイオードに割り当てることができる。
【０００３】
しかしながら、「画素共有技術」を適用した固体撮像素子では、隣接あるいは近接する複数の画素間で回路を共有利用させるために、当該単位内における画素配列位置により、半導体構造上の周辺環境が異なる。このために、画素共有技術を用いる固体撮像素子では、回路を共有する複数の画素（画素共有ユニット）の配列パターンに応じた繰り返しパターンをもって回路レイアウトが形成されることになる。すなわち、回路を共有する複数の画素（画素共有ユニット）を１単位とした場合に、固体撮像素子上では、当該単位が、水平方向および垂直方向に、複数個繰り返し配列されるものである。それらの複数個の画素共有ユニットにおいて、各ユニット内の複数の画素配列パターン上で同じ位置になる画素は、異なるユニット同士でも画素の基本特性が揃うことになる。
【０００４】
しかし、各画素共有ユニット内の複数の画素配列パターン上で異なる位置になる画素間、すなわち隣接画素または近接画素間では、回路、レイアウトが異なるため、それらの画素の基本特性が異なるものになることは避けられない。異なる画素の基本特性の中で、特に隣接画素間で発生する混色特性は最終出力画像に大きな影響を与える。画素の配列パターン上で異なる位置における画素間の混色特性差により、全画面均一の被写体を撮影したとしても、単位内の隣接または近接画素間で正しい出力値が得られず、最終出力画像の品質が低下してしまうという問題が発生する。
【０００５】
このような状況において、特許文献１では、回路を共有する複数の画素単位内のそれぞれの画素配列位置に対応した複数個の補正パラメータを発生し、その中から補正パラメータを選択して補正を行う方法が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−１２４２８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述の特許文献１に開示された従来技術では、回路を共有する複数の画素単位（画素共有ユニット）内の、画素の配列パターン上で異なる位置における画素間の光学混色に対しては効果が得られる。しかし、画素単位内の一部の画素が飽和して隣接画素に漏れ混む電荷混色については効果が得られにくい。また、電荷混色は回路を共有する複数の画素単位（画素共有ユニット）内の画素の飽和の有無により発生現象が異なる。上述の特許文献１に開示された従来技術では、回路を共有する複数の画素単位内の各画素の飽和の有無を検出していない。そのため、飽和の有無により生じる異なる現象に対し、適応的な補正を行うことが出来ない。
【０００８】
本発明の目的は、回路を共有する複数の画素単位内の各画素の画素配列位置に応じた適応的な混色補正が可能な撮像装置を提供することである。
【課題を解決するための手段】
【０００９】
本発明は、上記目的を達成するためになされたものであり、請求項１に記載の撮像装置は、複数の画素が２次元状に配列され、２画素以上の同色画素を含む近接する複数の画素同士で構成要素の一部を共有する画素共有ユニットを複数備えた撮像素子と、各画素の電荷漏れ込み量を検出する電荷漏れ込み量検出手段と、前記電荷漏れ込み量検出手段により検出された電荷漏れ込み量に基づいて各画素の出力信号に対する混色補正の要否を判定する補正要否判定手段と、前記補正要否判定手段により混色補正が必要であると判定された画素の出力信号値を、同じ画素共有ユニット内の同色画素の出力信号値から算出した信号値で置き換える補間手段と、を有することを特徴とする。
【００１０】
また、請求項５に記載の撮像装置の制御方法は、複数の画素が２次元状に配列され、２画素以上の同色画素を含む近接する複数の画素同士で構成要素の一部を共有する画素共有ユニットを複数備えた撮像素子を有する撮像装置の制御方法であって、各画素の電荷漏れ込み量を検出する電荷漏れ込み量検出ステップと、前記電荷漏れ込み量検出ステップにより検出された電荷漏れ込み量に基づいて各画素の出力信号に対する混色補正の要否を判定する補正要否判定ステップと、前記補正要否判定ステップにより混色補正が必要であると判定された画素の出力信号値を、同じ画素共有ユニット内の同色画素の出力信号値から算出した信号値で置き換える補間ステップと、を有することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、近接する複数の画素同士で構成要素の一部を共有する画素共有ユニットを備えた撮像素子から得られる撮像データについて、画素共有ユニット内の各画素出力の不均一性を軽減することが出来る。
【図面の簡単な説明】
【００１２】
【図１】実施形態に係るデジタルカメラの機能ブロック図である。
【図２】実施形態に係るデジタルカメラのデジタル信号処理回路群部の機能ブロック図である。
【図３】実施形態に係るデジタルカメラの混色補正回路群部の機能ブロック図である。
【図４】実施形態に係る撮像素子の画素共有構成を示す図である。
【図５】実施形態の混色補正要否判定の流れを示すフローチャートである。
【図６】実施形態の混色補正要否判定の流れを示すフローチャートである。
【図７】実施形態の混色補正の流れを示すフローチャートである。
【図８】レッド光撮影時の撮像素子出力信号リニアリティカーブを示す図である。
【図９】Ｒ画素飽和時の隣接画素への電荷漏れ状態を示す図である。
【図１０】Ｂ画素飽和時の隣接画素への電荷漏れ状態を示す図である。
【図１１】ブルー光撮影時の撮像素子出力信号リニアリティカーブを示す図である。
【図１２】Ｒ画素飽和時の混色補正方法を示す図である。
【図１３】Ｂ画素飽和時の混色補正方法を示す図である。
【発明を実施するための形態】
【００１３】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。図１は、本発明が適用される撮像装置、例えばデジタルスチルカメラの構成の一例を示すブロック図である。ここでは、デジタルスチルカメラに適用する例に挙げて説明するが、デジタルスチルカメラへの適用に限られるものではなく、デジタルビデオカメラ等の撮像装置全般に対して適用可能である。
【００１４】
図１に示すように、本実施形態に係るデジタルスチルカメラは、光学系１、固体撮像素子である撮像素子２、ＡＦＥ（アナログフロントエンド）３、デジタル信号処理回路群４、カメラ制御部５、ヒューマンＩ／Ｆ制御（インターフェース）部６を有する。さらに、ユーザーインターフェース７、タイミングジェネレータ８、光学系駆動回路９を有する構成となっている。光学系１は、被写体（図示せず）からの入射光を撮像素子２の撮像面上に結像するレンズ１ａと、当該レンズ１ａを経た入射光の光量を制御する絞り１ｂとを有している。撮像素子２は、光学系１を通して入射した光を画素単位で光電変換して電気信号として出力する。撮像素子２の具体的な構成については後述する。なお、撮像素子２からの出力は複数チャンネル、例えば４チャネルとする。
【００１５】
ＡＦＥ３は、アナログ信号処理回路であり、撮像素子２から出力される４チャネルのアナログ信号に対して、Ｓ／Ｈ（サンプル／ホールド）やＡＧＣ（自動利得制御）などの信号処理を行った後、Ａ／Ｄ（アナログ／デジタル）変換する。デジタル信号処理回路群４は、ＡＦＥ３から供給される４チャンネルのデジタル信号に対して、カメラ制御部５からの指示にしたがって各種の信号処理を行う。デジタル信号処理回路群４内で行われる各種の信号処理とは、ホワイトバランス処理やガンマ処理、色差処理などのいわゆるカメラ信号処理や、カメラ制御用の検波データ（画面内の情報を示すデータ。明るさやコントラスト、色合い等）の計算処理を指す。これら各種の信号処理を行う回路部分に加えて、デジタル信号処理回路群４は、混色補正処理回路１０を有している。この混色補正処理回路１０の詳細については後述する。
【００１６】
カメラ制御部５は、例えばマイクロコンピュータによって構成され、デジタル信号処理回路群４から送られてきた検波データなどの情報を基に現在の入力画像の状態を把握する。そして、ヒューマンＩ／Ｆ制御部６を経由して送られてくる各種設定モードに応じたカメラ制御を行う。すなわち、デジタル信号処理回路群４にカメラ画制御用データを送信し、あるいは光学系駆動回路９にレンズ制御データや絞り制御データを送信する。また、タイミングジェネレータ８にタイミング制御データを送信し、あるいはＡＦＥ３にゲイン制御データを送信する。
【００１７】
デジタル信号処理回路群４、光学系駆動回路９、タイミングジェネレータ８およびＡＦＥ３は、カメラ制御部５から送られてきた制御値に応じた処理を行い、所望の信号処理・光学系１の駆動・タイミング発生およびゲイン処理を実行する。撮像素子２は、タイミングジェネレータ８が発生する各種のタイミング信号に基づいて、画素アレイ部から任意の領域の信号を順次取り出してＡＦＥ３へと出力する。
【００１８】
ユーザーが行うメニュー操作等については、ユーザーインターフェース７を介してヒューマンＩ／Ｆ制御部６で制御される。ヒューマンＩ／Ｆ制御部６は、例えばマイクロコンピュータによって構成され、ユーザーが現在どのような撮影モードを選択しているのか、あるいはどのような制御を望んでいるのか等を検知する。そして、カメラ制御部５に対してユーザー指示情報を送る。逆に、カメラ制御部５は、被写体距離やＦ値、シャッタースピード、倍率等のカメラ制御情報をヒューマンＩ／Ｆ制御部６に送信し、ユーザーインターフェース７を介して現在のカメラの情報をユーザーに知らせる。
【００１９】
次に、混色補正処理回路１０と撮像素子２の具体的な構成および動作について以下に説明する。図２は、デジタル信号処理回路群４のブロック構成図である。図２に示すように、デジタル信号処理回路群４は、デジタル信号処理回路１０１と混色補正処理回路群１０２、補正後のデジタル信号処理回路１０３、通信Ｉ／Ｆ１０４で構成される。通信Ｉ／Ｆ１０４は、カメラ制御部５と、デジタル信号処理回路１０１、混色補正処理回路群１０２、補正後のデジタル信号処理回路１０３、との通信を行うための通信Ｉ／Ｆである。
【００２０】
このデジタル信号処理回路群４では、まず、デジタル信号処理回路１０１によってデジタルクランプ、欠陥補正、ノイズ除去処理が施され、混色補正処理回路群１０２に入力される。ここまでは主にＹＣ処理前の各種補正を行う処理群といえる。その後、後段のデジタル信号処理回路１０３によって補間処理が行われた後にＹＣ処理により輝度信号、及びクロマ信号が生成され、最後に解像度変換処理を通してフォーマットに適したサイズで後段のビデオ系処理ブロックへと出力され最終画像が生成される。
【００２１】
図３は、混色補正処理回路群１０２におけるブロック構成図である。混色補正処理回路群１０２は、混色補正要否回路１０２１と、メモリ１０２２と、画素飽和判定回路１０２３と、混色補正回路１０２４からなる。混色補正要否回路１０２１は、回路を共有する複数の画素単位（以降は画素共有と記載）内の各画素の混色補正要否を判定する。メモリ１０２２は、混色補正要否回路１０２１で補正要と判定された画素共有内の画素配列位置を記憶する。画素飽和判定回路１０２３は、画素共有単位内の各画素の飽和の有無を検出する。混色補正回路１０２４は、デジタル信号処理回路１０１で信号処理された、Ｒ／Ｇｒ／Ｇｂ／Ｂ信号とメモリ１０２２に記憶された混色補正要画素の情報から混色補正処理を施す。
【００２２】
図４は、撮像素子２の全画素中の一部（横５画素、縦８画素）を示した図である。本実施形態の撮像素子２は、複数の画素が２次元状に配列され、近接する複数の画素間で構成要素の一部を共有する画素共有ユニットを複数備えている。複数の画素の各々は、フォトダイオード等の光電変換部を備えている。そして、光電変換部により光電変換された電荷は、転送トランジスタにより電荷電圧変換部としての浮遊拡散部（フローティング・ディフュージョン部）に転送されて電圧に変換される。さらに、増幅トランジスタにより浮遊拡散部の電圧に応じた信号が増幅されて垂直出力線に出力される構成となっている。また、リセットトランジスタにより、光電変換部及び浮遊拡散部の電荷をリセットすることができる。
【００２３】
本実施形態の撮像素子では、画素共有ユニットを構成する複数の画素同士で、浮遊拡散部、増幅トランジスタ、及びリセットトランジスタを共有している。本実施形態では、点線部で囲まれた縦４画素の単位で浮遊拡散部や増幅トランジスタなどの出力回路部を共有する縦４画素共有構成を例にとって説明する。また、１つの画素共有ユニットは、２画素以上の同色画素を含む。なお、本実施形態では、画素共有ユニットの配列パターンを縦４画素共有構成として説明するが、他の配列パターンにおいても適用可能である。また、撮像素子２の画素部カラーフィルタ構成をＲＧＢベイヤー配列として説明するが、他のカラーフィルタ構成においても適用可能である。
【００２４】
次に、本実施形態における混色補正の流れを図５、図６、図７のフローチャートを用いて説明する。まず、図５、図６のフローチャートを用いて、混色補正要非判定回路１０２１の動作説明、すなわち画素共有ユニット内の縦４画素の内、混色補正が必要な画素配列位置の判定を行う手法を説明する。なお、混色補正要否判定には、画素共有ユニット内の縦４画素の混色量を検出する必要がある。混色量を精度良く検出するためには、均一輝度面を有する被写体が必要となる。特に電荷混色の発生しやすい原色系のレッド（赤色）光、グリーン（緑色）光、ブルー（青色）光の均一輝度面が被写体として適している。
【００２５】
本実施形態では、カメラ出荷前の工場調整時にレッド光の均一輝度面を有する被写体を、Ｒ画素のみ飽和し、Ｇ画素、Ｂ画素へ電荷が漏れ混んでいる状態の画像と、Ｒ画素、Ｇ画素、Ｂ画素の全てが飽和しない状態の画像を撮影する。そのように撮影された２枚の画像に基づいて、画素共有ユニット内の縦４画素の混色量を検出し、混色補正が必要な画素配列位置の判定を行う流れを図５のフローチャートを用いて説明する。
【００２６】
Ｓ７０１において混色補正要否判定を開始し、Ｓ７０２においてＲ画素のみ飽和に到達する露光時間ｔ０を算出する。ここで、Ｓ７０２における露光時間ｔ０の算出方法を、図８を用いて説明する。図８は、レッド光均一輝度面を撮影した場合の撮像素子２のＲ画素出力、Ｇｒ画素出力、Ｇｂ画素出力、Ｂ画素出力のリニアリティカーブを示すグラフであり、ｘ軸は露光時間、ｙ軸はＲ画素、Ｇｒ画素、Ｇｂ画素、Ｂ画素の出力値である。
【００２７】
一般的な撮像素子が持つ特性として、通常露光量（均一輝度撮影時は露光時間）とＲ画素出力、Ｇｒ画素出力、Ｇｂ画素出力、Ｂ画素出力は、リニアな特性を有する。これに対し、図８に示すように、本実施形態の撮像素子におけるＲ画素出力、Ｇｒ画素出力、Ｇｂ画素出力、Ｂ画素出力の傾きが異なるのは、カラーフィルタにより感度が異なるためである。図８において、前述の「Ｒ画素のみが飽和に到達する露光時間」は、ｔ０である。図５のＳ７０２では、あらかじめ図８に示すリニアリティカーブを取得し、かつ撮像素子個々の感度ばらつきを考慮し、飽和するまでのおおよその露光時間ｔ０を算出する。
【００２８】
Ｓ７０３において、Ｒ画素のみ飽和し、Ｒ画素からＧ画素とＢ画素へ電荷が漏れ混んでいる状態の露光時間ｔ２を算出する。図８に示すように、露光時間ｔ２は、ｔ１よりも長く、かつ撮像素子個々の感度ばらつきを考慮し、Ｇｒ画素、Ｇｂ画素、Ｂ画素が飽和しない露光時間とする。Ｓ７０４において、Ｒ画素、Ｇ画素、Ｂ画素の全てが飽和しない露光時間で、露光時間ｔ２の整数分の１となる露光時間ｔ１を算出する。本実施例では、
ｔ１＝ｔ２÷２    ・・・（１）
であり、露光時間ｔ１は、露光時間ｔ２の２分の１であるものとする。ｔ０とｔ１を算出した後、Ｓ７０５において、レッド光均一輝度面を露光時間ｔ２で撮影する。すなわちＲ画素のみ飽和し、Ｇ画素、Ｂ画素へ電荷が漏れ混んでいる状態の画像を撮影する。その後、Ｓ７０６において、レッド光均一輝度面を露光時間ｔ１で撮影する。すなわち、Ｒ画素、Ｇ画素、Ｂ画素の全てが飽和しない画像を撮影する。
【００２９】
次に、Ｓ７０７〜Ｓ７１０において、Ｒ画素からＧ画素、Ｂ画素へ漏れ混んでいる電荷漏れ込み量、すなわち混色量の検出を行う。混色量検出の説明の前に、図９を用いて、縦４画素共有ユニット構成における電荷混色のメカニズムを説明する。図９は、図４で説明したように、撮像素子２の画素の一部（横５画素、縦８画素）を図示したもので、点線部で囲まれた縦４画素の単位で画素を構成する回路の一部を共有した縦４画素共有ユニット構成である。ここで、レッド光均一輝度面を撮影した際の隣接画素への電荷漏れをＫ１〜Ｋ８の矢印で表している。
【００３０】
画素共有ユニット内における画素配列位置により半導体構造上の周辺環境が異なるため、画素特性が画素配列位置により異なる。そのため、隣接画素への電荷漏れ特性も画素配列位置により異なる。図９では、画素共有ユニット内の最も下部の画素（Ｒ２画素）で隣接画素への電荷漏れが大きい状態をＫ１〜Ｋ４の矢印の大きさで表している。図９では、Ｒ２画素の隣接画素への電荷漏れ込み量が、Ｒ１画素の隣接画素への電荷漏れ込み量より多いため、Ｇｂ２画素の出力レベルがＧｂ１画素の出力レベルよりも大きくなる。すなわち、Ｇｂ２画素の行とＧｂ１画素の行の信号出力レベルが異なるため、この差分により最終画像として、赤色被写体撮影時に横スジが発生することになる。
【００３１】
なお、Ｇｂ１画素の出力値とＧｂ２画素の出力値は、図８のリニアリティカーブにおけるｔ０〜ｔ２期間のＧｂ１、Ｇｂ２の傾きとなる。図８のリニアリティカーブの点線が、隣接画素への電荷漏れが発生していないときのＧｂ画素出力の傾きで、点線の傾きよりも、Ｇｂ１、Ｇｂ２の傾きが大きくなればなるほど、Ｒ１画素、Ｒ２画素から隣接画素への電荷漏れ込み量が多いことになる。なお、本実施形態では、斜め４方向画素への混色の影響は十分無視できる程度に小さいものとして扱う。
【００３２】
図５のフローチャートに戻り、Ｓ７０７において、Ｓ７０５で撮影した露光時間ｔ１の  Ｇｂ画素の出力値Ｇｂ（ｔ１）から、Ｓ７０６で撮影した露光時間ｔ１の隣接画素への電荷漏れ込みが発生していない場合のＧｂ画素の出力信号値Ｇｂ（ｔ２）を算出する。前述した通りｔ１とｔ２には、式（１）の関係があるため、出力信号値Ｇｂ（ｔ２）は、以下の式（２）により算出できる。
Ｇｂ（ｔ２）＝Ｇｂ（ｔ１）×２  ・・・（２）
【００３３】
次に、Ｓ７０８において、露光時間ｔ２のＧｂ１画素の出力信号値Ｇｂ１（ｔ２）と、Ｇｂ２画素の出力信号値Ｇｂ２（ｔ２）をＳ７０６で取得した画像から算出する。Ｓ７０９において、Ｒ２画素からＧｂ２画素への混色量（電荷漏れ込み量）を算出する。Ｒ２画素からＧｂ２画素への混色量（電荷漏れ込み量）をＫ（Ｒ２）とすると、Ｇｂ２（ｔ２）とＧｂ（ｔ２）から、以下の式（３）により算出できる。
Ｋ（Ｒ２）＝Ｇｂ２（ｔ２）÷Ｇｂ（ｔ２）  ・・・（３）
【００３４】
同様に、Ｓ７１０で、Ｒ１画素からＧｂ１画素への混色量（電荷漏れ込み量）を算出する。Ｒ１画素からＧｂ１画素への混色量（電荷漏れ込み量）をＫ（Ｒ１）とすると、Ｇｂ１（ｔ２）とＧｂ（ｔ２）から、以下の式（４）により算出できる。
Ｋ（Ｒ１）＝Ｇｂ１（ｔ２）÷Ｇｂ（ｔ２）  ・・・（４）
【００３５】
次に、Ｓ７１１において、Ｓ７０９とＳ７１０で算出したＫ（Ｒ２）とＫ（Ｒ１）が、次の式（５）と式（６）を満たすかどうかを判定する。
Ｋ（Ｒ１）＞Ｋ  ・・・（５）
Ｋ（Ｒ２）＞Ｋ  ・・・（６）
【００３６】
ここで、Ｋは、最終画像として許容可能な混色量（電荷漏れ込み量）の最大値とし、あらかじめカメラの開発段階で設計パラメータとして算出しておく。式（５）と式（６）のいずれの式も成り立たない場合、許容可能な画像であると判断し、Ｓ７１２で混色補正は不要と判断され混色補正要否判定を終了する。式（５）と式（６）が成り立つ場合、Ｓ７１３において、以下の式（７）を満たすかどうかを判定する。
｜Ｋ（Ｒ１）−Ｋ（Ｒ２）｜＞Ｍ  ・・・（７）
【００３７】
Ｍ＝０の場合は、Ｋ（Ｒ１）＝Ｋ（Ｒ２）であり、Ｋ（Ｒ１）、Ｋ（Ｒ２）共に混色は発生しているものの、同一混色量であるためＧｂ１、Ｇｂ２の出力値差分による横スジは発生しない。｜Ｋ（Ｒ１）−Ｋ（Ｒ２）│に差分値が生じる場合は、最終画像として横スジが発生することになる。したがって、Ｍは、最終画像として横スジが許容可能なＫ（Ｒ１）とＫ（Ｒ２）の差分値とし、あらかじめカメラ開発段階で設計パラメータとして算出しておく。
【００３８】
式（７）が成り立たない場合、最終画像として横スジが許容可能な画像と判断し、Ｓ７１４において、混色補正は不要と判断され、混色補正要否判定を終了する。また、式（７）が成り立つ場合、Ｓ７１５において、Ｋ（Ｒ１）とＫ（Ｒ２）の比較を行う。比較を行った結果、Ｋ（Ｒ１）＞Ｋ（Ｒ２）である場合は、Ｋ（Ｒ１）の混色量がＫ（Ｒ２）の混色量より多く、最終画像として横スジが発生する可能性がある。そのため、Ｓ７１７において、Ｒ１画素の隣接画素であるＧｂ１画素をその出力信号に対する混色補正が必要な画素配列位置と判定し、メモリ１０２２に記録する。
【００３９】
Ｋ（Ｒ２）＞Ｋ（Ｒ１）である場合は、混色量（電荷漏れ込み量）Ｋ（Ｒ２）が混色量（電荷漏れ込み量）Ｋ（Ｒ１）より多く、最終画像として横スジが発生する可能性がある。そのため、Ｓ７１６において、Ｒ２画素の隣接画素であるＧｂ２画素をその出力信号に対する混色補正が必要な画素配列位置と判定し、メモリ１０２２に記録し、Ｓ７１８において、混色補正要否判定を終了する。また、ブルー光についても図１０と図１１を用いて同様の処理を行い、混色補正が必要な画素配列位置をメモリ１０２２に記録する。なお、グリーン光についても、レッド光やブルー光と同様な処理を行い混色補正が必要な画素配列位置をメモリ１０２２に記録しても構わない。また、混色量検出の精度は落ちるが、カメラ出荷後にカメラ内で同様の前述した一連の処理を行っても構わない。
【００４０】
次に、図７のフローチャートを用いて、図５と図６のフローチャートで検出した混色補正が必要な画素配列位置を混色補正回路１０２４で混色補正する動作一例を説明する。Ｓ８０１において、ユーザーが被写体の撮影を開始する。前述の通り、被写体からの入射光は、図１及び図２に示した光学系１、撮像素子２、ＡＦＥ３、デジタル信号処理回路１０１により、ＹＣ処理前のＲ／Ｇｒ／Ｇｂ／Ｂの各色のデジタル信号に変換される。次に、Ｓ８０２において、ＹＣ処理前のＲ／Ｇｒ／Ｇｂ／Ｂのデジタル信号のなかでＲ画素が飽和しているかどうかを画素飽和判定回路１０２３で１画素ずつ全ての画素に対して判定する。
【００４１】
Ｒ画素が飽和していると判定された場合、Ｓ８０３に進む。メモリ１０２２に記録されている混色補正が必要な画素配列位置（図１２のＣ部）にあるＧｂ２画素の出力信号値を、Ｇｂ１画素の出力信号値から予測される信号値を算出する。そして、算出された信号値に置き換える処理を行う。以降、この置換処理を補間と呼ぶことにする。ここでＧｂ１画素は、Ｇｂ２画素の上下にＢ１画素またはＢ２画素を挟んで近接し、混色補正が不要な画素配列位置（図１２のＡ部およびＢ部）にある画素である。Ｇｂ２画素を上下に近接する同色画素であるＧｂ１画素から補間を行う方法の一例として、式（８）に示す演算処理により、上下画素に隣接する同色画素の平均値に置き換える方法がある。
Ｇｂ２＝（上部隣接Ｇｂ１画素＋下部隣接Ｇｂ１画素）÷２  ・・・（８）
【００４２】
Ｓ８０２において、Ｒ画素が飽和していないと判定された場合には、隣接画素への電荷漏れ込みは発生していない判断し、Ｓ８０４に進む。Ｓ８０４では、Ｓ８０２と同様にして、ＹＣ処理前のＲ／Ｇｒ／Ｇｂ／Ｂのデジタル信号のなかでＢ画素が飽和しているかどうかを画素飽和判定回路１０２３で１画素ずつ全ての画素に対して判定する。
【００４３】
Ｂ画素が飽和していると判定された場合、Ｓ８０５において、式（９）に示す補間処理を行う。すなわち、メモリ１０２２に記録されている混色補正が必要な画素配列位置（図１３のＣ部）にあるＧｒ２画素を、その上下にＲ１画素またはＲ２画素を挟んで近接し、混色補正が不要な画素配列位置（図１３のＡ部およびＢ部）にあるＧｒ１画素から補間する。
Ｇｒ２＝（上部隣接Ｇｒ１画素＋下部隣接Ｇｒ１画素）÷２  ・・・（９）
【００４４】
Ｓ８０６において、Ｓ８０２〜Ｓ８０５の処理を全画素の飽和判定が終了するまで行う。そして、全画素の飽和判定処理が終了した場合には、Ｓ８０７において、混色補正が必要な画素配列位置に対し混色補正処理後のＲ／Ｇｒ／Ｇｂ／Ｂの全色のデジタル信号をデジタル信号処理回路１０３でＹＣ信号に変換し、最終画像であるＪＰＥＧ画像を生成する。
【００４５】
以上のように、Ｒ画素、Ｂ画素の各画素における画素飽和判定を行うことで、画面内のレッド光やブルー光による電荷漏れ込みの発生有無を判別する。そして、電荷漏れ込みが発生している画素に隣接し、かつ混色補正を必要とする画素配列位置のみ混色補正を行うことが可能となる。よって、必要最小限の混色補正を行うことが可能となり、解像感低下を最小限に抑え、隣接画素への電荷漏れによる横スジ、縦スジの発生を軽減することが可能となる。
【００４６】
なお、上記の実施形態は、本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならない。すなわち本発明はその技術思想、またはその主要な特徴から逸脱することはなく、様々な形で実施することができる。
【００４７】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００４８】
２  撮像素子
４  デジタル処理回路群
１０１  デジタル処理回路
１０２  混色補正回路群
１０３  デジタル信号処理回路
１０２１  混色補正要否判定回路
１０２３  画素飽和判定回路
１０２４  混色補正回路
【図１】
2014165522.tif 000003
【図２】
2014165522.tif 000004
【図３】
2014165522.tif 000005
【図４】
2014165522.tif 000006
【図５】
2014165522.tif 000007
【図６】
2014165522.tif 000008
【図７】
2014165522.tif 000009
【図８】
2014165522.tif 000010
【図９】
2014165522.tif 000011
【図１０】
2014165522.tif 000012
【図１１】
2014165522.tif 000013
【図１２】
2014165522.tif 000014
【図１３】
2014165522.tif 000015