(57)【特許請求の範囲】
【請求項１】
入射光を等方的に受光する複数の通常ピクセルと、入射光の一部を選択的に受光する複数の位相差ピクセルとを有するカラーイメージセンサと、
複数の前記通常ピクセルからの画素信号を同色同士で混合し、または複数の前記位相差ピクセルからの画素信号を同色同士で混合して同種混合画素の混合信号を生成する同種画素混合と、前記通常ピクセルと少なくとも１つの前記位相差ピクセルからの画素信号を同色同士で混合して異種混合画素の画素信号を生成する異種画素混合とを行い、前記同種混合画素と前記異種混合画素とから構成される混合画像を生成する画素混合部と、
前記通常ピクセル及び前記位相差ピクセルの同色同士での前記画素信号、または前記同種混合画素及び前記異種混合画素の同色同士での前記画素信号を用い、その差が最大となる第１方向を検出することにより、この第１方向に垂直な被写体のエッジを検出するエッジ検出部と、
前記異種画素混合が前記エッジをまたいで行われている場合に、前記第１方向に垂直で前記エッジに沿った第２方向に存在し、かつ補正すべき前記異種混合画素と同色である前記同種混合画素を用い、その画素信号による補間処理で、前記異種混合画素の画素信号を補正する補正部と、
を備える撮像装置。
【請求項２】
前記通常ピクセルには三原色に対応した少なくとも３種類があり、前記位相差ピクセルには前記三原色の１色に対応した少なくとも１種類がある請求項１記載の撮像装置。
【請求項３】
前記補正部は、前記第１方向に垂直で前記エッジに沿った第２方向に存在しており、補正すべき前記異種混合画素と同色の前記同種混合画素を用い、これらの同種混合画素の画素信号の平均値を算出して、補正すべき前記異種混合画素の画素信号を前記平均値で置き換える請求項２に記載の撮像装置。
【請求項４】
前記画素混合部は、４個の同色の画素信号を混合して前記混合画像を生成するものであり、前記異種画素混合では少なくとも１個の前記位相差ピクセルの画素信号を用いている請求項２に記載の撮像装置。
【請求項５】
前記画素混合部は、２個の同色の画素信号を混合して前記混合画像を生成するものであり、前記異種画素混合では１個の前記通常ピクセルと１個の前記位相差ピクセルとの各画素信号を用いている請求項２に記載の撮像装置。
【請求項６】
前記エッジ検出部は、前記異種画素混合によって画素信号が混合される前記通常ピクセルと前記位相差ピクセルを結ぶ方向と、該方向に垂直な方向との２方向について前記画素信号の差をそれぞれ算出する請求項１〜５のいずれか１項に記載の撮像装置。
【請求項７】
前記エッジ検出部は、前記画素信号の差を算出する場合に、補正すべき前記異種混合画素に対して互いに反対側にある画素の画素信号を用いる請求項６に記載の撮像装置。
【請求項８】
前記カラーイメージセンサは、複数の画素が正方配列された第１ピクセル群と、この第１ピクセル群と同じピッチで複数の画素が正方配列された第２ピクセル群とを有し、
前記第２ピクセル群の各画素は、前記第１ピクセル群の各画素に対して、斜め方向にずれた位置に配置され、
前記第１ピクセル群と前記第２ピクセル群には、それぞれ同じ配列の色フィルタが設けられている請求項１〜５のいずれか１項に記載の撮像装置。
【請求項９】
前記位相差ピクセルが、前記第１ピクセル群と前記第２ピクセル群の斜め方向に隣接する同色の画素に設けられている請求項８に記載の撮像装置。
【請求項１０】
前記位相差ピクセルは、各前記正方配列の行方向と列方向に沿って４画素毎に設けられ、前記位相差ピクセルの間に、前記位相差ピクセルと同色であり、前記位相差ピクセルと同じピクセル群に属する前記通常ピクセルが含まれている請求項９に記載の撮像装置。
【請求項１１】
入射光を等方的に受光する複数の通常ピクセルと、入射光の一部を選択的に受光する複数の位相差ピクセルとを有するカラーイメージセンサを用いて、被写体を撮像するステップと、
複数の前記通常ピクセルからの画素信号を同色同士で混合し、または複数の前記位相差ピクセルからの画素信号を同色同士で混合して同種混合画素の混合信号を生成する同種画素混合と、前記通常ピクセルと少なくとも１つの前記位相差ピクセルからの画素信号を同色同士で混合して異種混合画素の画素信号を生成する異種画素混合とを行い、前記同種混合画素と前記異種混合画素とから構成される混合画像を生成するステップと、
前記通常ピクセル及び前記位相差ピクセルの同色同士での前記画素信号、または前記同種混合画素及び前記異種混合画素の同色同士での前記画素信号を用い、その差が最大となる第１方向を検出することにより、この第１方向に垂直な被写体のエッジを検出するステップと、
前記異種画素混合が前記エッジをまたいで行われている場合に、前記第１方向に垂直で前記エッジに沿った第２方向に存在し、かつ補正すべき前記異種混合画素と同色である前記同種混合画素を用い、その画素信号による補間処理で、前記異種混合画素の画素信号を補正するステップと、
を備える画素補正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、焦点検出用の位相差ピクセルの画素信号から生成した欠陥混合画素の画素信号を補正する画素補正方法及び撮像装置に関する。
【背景技術】
【０００２】
デジタルカメラ、監視カメラ等の撮像装置には、焦点調節を自動的に行うオートフォーカス（ＡＦ）機能が標準的に備えられている。このＡＦ機能には、像のコントラストが最大になるように焦点調節を行うコントラストＡＦ方式や、視差による位相差に基づいて焦点調節を行う位相差ＡＦ方式等がある。コントラストＡＦ方式では、撮像レンズを移動しながら、コントラストの変曲点を見つけ出すことが必要であるが、位相差ＡＦ方式では各レンズ位置で焦点状態が分かるので、迅速なオートフォーカスが可能となる。【０００３】
位相差ＡＦ方式を採用した撮像装置では、対称な構造に形成されたピクセル（以下、通常ピクセルという）の他に、非対称な構造をした複数の焦点検出用のピクセル（以下、位相差ピクセルという）を有するイメージセンサ（固体撮像装置）が用いられる。通常ピクセルは、通常撮影モードで撮影される画像（通常画像）の画素信号（画素値）を得るために用いられる。位相差ピクセルは、位相差ＡＦ方式に用いるための位相差の情報を得るために用いられる。この位相差ピクセルは、通常ピクセルに対して開口の位置を左右にずらして形成され、フォトダイオードの右側部または左側部に入射した光を選択的に受光する。【０００４】
撮像レンズが合焦位置にセットされているときには、右側部の光を受光する右位相差ピクセル群と、左側部の光を受光する左位相差ピクセル群から読み出した２つの画素信号の波形は一致しており、その位相差がない。一方、撮像レンズが非合焦位置にセットされているときには、２つの画素信号波形にピントのずれに応じた位相差が現れる。また、前ピンと後ピンとで、２つの画素信号波形の位相の順序が変わる。そこで、位相差の情報を取り出して、撮像レンズを合焦位置にセットしている。【０００５】
位相差ピクセルを有するイメージセンサにおいて、通常ピクセルからの画素信号だけで通常画像を作成すると、位相差ピクセルの位置が画素欠落となるので、位相差ピクセルも用いて通常画像を作成するのが普通である。この位相差ピクセルは、その感度等が通常ピクセルと異なるので、通常画像の画素信号として、位相差ピクセルから得られる画素信号をそのまま使用することはできない。このために、通常画像の作成時には、位相差ピクセルからの画素信号を有する画素を欠陥画素とし、これに対して補正処理をしている。例えば、カラー通常画像の場合には、周辺の同色の通常ピクセルの画素信号を用いた補間により補正画素信号を作成する方法（以下、補間補正という）や、位相差ピクセルの画素信号にゲインを乗じる方法（以下、ゲイン補正という）が知られている（特許文献１〜３）。【０００６】
補間補正は、位相差ピクセルの周辺で被写体の変化が小さい場合には、補正痕が目立たない良好な補正を行うことができる。一方、ゲイン補正は、位相差ピクセルの周辺で被写体の変化が大きい場合に良好な補正を行うことができる。このため、位相差ピクセルの画素信号を補正する場合は、位相差ピクセルの周辺における被写体の特徴に応じて適切な補正方法が選ばれる。【０００７】
例えば、特許文献１では、位相差ピクセルの周辺において被写体の変化具合（エッジ）を検出し、その後に行うガンマ補正処理を考慮して補間補正とゲイン補正とを使い分けている。また、特許文献２では、位相差ピクセルの周辺において被写体の変化具合（方向性）を検出して、補間補正とゲイン補正とを使い分けており、特に位相差ピクセルの画素信号を補間補正する場合には、被写体が変化する方向に存在する通常ピクセルだけを使用することが開示されている。さらに、特許文献３には、補間補正で得た画素信号と、ゲイン補正で得た画素信号とを、所定の割合で重み付けをしてから加算して補正画素信号としている。この重み付けの割合は、位相差ピクセルの周辺における被写体の変化具合（均一性）に応じて変えている。【０００８】
ところで、最近の撮像装置には、通常の高精細な通常画像を生成する通常撮影モードに加え、低解像度であるが高感度な撮影が可能な画素混合モードを実行するものが知られている（特許文献４）。この画素混合モードは、複数のピクセルの画素信号を混合して、１個の混合画素の画素信号を作成するものである。この画素信号の混合は、画素加算または画素混合と称されている。【０００９】
画素混合モードでは、一定の規則に従って画素信号を混合することにより、混合画像を生成する。例えば、カラーイメージセンサでは、近接配置された同色ピクセルのうち、所定方向に並んだ２つのピクセルの画素信号を混合する。この画素混合を位相差ピクセルに対しても行うと、位相差ピクセルの配列にもよるが、通常ピクセルと通常ピクセルの混合、通常ピクセルと位相差ピクセルの混合、位相差ピクセルと位相差ピクセルの混合の３パターンが生じる。これらの画素混合のうち、通常ピクセル同士を混合するパターンを除き、位相差ピクセルの画素信号を加算する２つのパターンでは、画素混合で作成した新しい混合画素は、欠陥混合画素となるので、その画素信号の補正が必要となる。すなわち、位相差ピクセルを有するカラーイメージセンサでは、画素混合モードでの欠陥混合画素の個数が、通常画像での欠陥画素となる位相差ピクセルの個数よりも多いので、画素混合モードは通常撮影モードよりも画素信号の補正に時間がかかる。このため、特許文献４では、カラーイメージセンサにおける位相差ピクセルの配列を工夫して、同色の位相差ピクセルの画素混合は、位相差ピクセル同士で行なうことで、通常ピクセルと通常ピクセルとの混合と、位相差ピクセルと位相差ピクセルとの混合の２パターンにしている。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２０１２−００４７２９号公報
【特許文献２】特開２０１１−００７８８２号公報
【特許文献３】特開２０１０−０６２６４０号公報
【特許文献４】特開２０１１−２５０３２５号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
イメージセンサ上で位相差ピクセルを連続して配置すると、通常画像の画像データ（１フレーム分の画素信号で構成されたデータ）において、位相差ピクセルの補正が正確に行えない場合がある。例えば、位相差ピクセルの補正方法として補間補正が適切な場合に、位相差ピクセルの周辺の通常ピクセルの画素信号が用いられる。この際に、位相差ピクセルが連続して位置されていると、補間補正に必要な通常ピクセルが足りなくなったり、あるいは正確な補間が可能な方向が限られてしまったりするので、補正精度が悪く、補正痕が目立ってしまうことがある。【００１２】
そこで、通常撮影モードにおいて、補間補正の精度を確保するためには、少なくとも位相差ピクセルに最も近接する同色の画素は、全て通常ピクセルとすることが望ましい。このためには、位相差ピクセルと位相差ピクセルとの間に、位相差ピクセルと同色の通常ピクセルを１以上配置すればよい。しかし、こうすると、画素混合モードにおいて、位相差ピクセルと通常ピクセルとが混合されることになる。【００１３】
位相差ピクセルから得られる画素は欠陥画素となるので、この位相差ピクセルと通常ピクセルとが混合されると欠陥混合画素となる。この場合には、欠陥混合画素の個数が増大して補正に時間がかかるという問題もある。さらに、欠陥混合画素は、位相差ピクセルに基づいた欠陥画素とは特性が異なっている。この欠陥混合画素の画素信号の補正は、位相差ピクセルと同じ方法では正確に補正できない。例えば、画素混合モードで得られる混合画像において、被写体のエッジ（画素信号が急激に変化する境界線）をまたいで、位相差ピクセルと通常ピクセルとを混合して得た欠陥混合画素は、その画素信号の補正に時間がかかるというだけではなく、そもそも位相差ピクセルの画素信号を補正するための補間補正やゲイン補正では良い補正結果が得られないことが多い。【００１４】
こうした不具合が生じないように、特許文献４では、位相差ピクセルの配置を工夫して、通常ピクセルと位相差ピクセルとの混合を抑制している。しかし、通常ピクセルと位相差ピクセルとの混合を完全になくすことはできないので、通常ピクセルと位相差ピクセルとの混合で形成される欠陥混合画素の画素信号を正確に補正することが望まれている。【００１５】
本発明は、通常ピクセルと位相差ピクセルとの混合で生じる欠陥混合画素の画素信号を正確に補正することが可能な画素補正方法及び撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１６】
本発明の撮像装置は、カラーイメージセンサ、画素混合部、エッジ検出部、補正部を備える。カラーイメージセンサは、入射光を等方的に受光する複数の通常ピクセルと、入射光の一部を選択的に受光する複数の位相差ピクセルとを有する。画素混合部は、同種画素混合と異種画素混合とを行ない、複数の同種混合画素と複数の異種混合画素とを有する混合画像を生成する。同種画素混合は、複数の通常ピクセルからの画素信号を同色同士で混合し、または複数の位相差ピクセルからの画素信号を同色同士で混合して、同種混合画素の画素信号を生成する。異種画素混合は、通常ピクセルと少なくとも１つの位相差ピクセルからの画素信号を同色同士で混合して異種混合画素の画素信号を生成する。エッジ検出部は、通常ピクセル及び位相差ピクセルの同色同士での画素信号、または同種混合画素及び異種混合画素の同色同士での画素信号を用い、画素信号の差が最大となる第１方向を検出することにより、第１方向に垂直な被写体のエッジを検出する。補正部は、異種混合画素の画素信号を補正するものである。この異種混合画素の画素信号の補正では、異種画素混合がエッジをまたいだ画素間で行われている場合に、第１方向に垂直でエッジに沿った第２方向に存在し、かつ補正すべき異種混合画素と同色である同種混合画素を用い、その画素信号による補間処理が行われる。【００１７】
通常ピクセルは三原色に対応した少なくとも３種類とし、位相差ピクセルは三原色の１色に対応した少なくとも１種類とすることが好ましい。【００１８】
補正部は、第１方向に垂直でエッジに沿った第２方向に存在し、かつ補正すべき異種混合画素と同色の同種混合画素を用い、これらの同種混合画素の画素信号の平均値を算出して、補正すべき異種混合画素の画素信号を、この平均値で置き換えることが好ましい。【００１９】
画素混合部は、４個の同色の画素信号を混合して混合画像を生成し、そして異種画素混合では少なくとも１個の位相差ピクセルの画素信号を用いることが好ましい。【００２０】
画素混合部は、２個の同色の画素信号を混合して混合画像を生成し、そして異種画素混合では、１個の通常ピクセルと１個の位相差ピクセルとの各画素信号を用いるのが好ましい。【００２１】
エッジ検出部は、異種画素混合によって画素信号が混合される通常ピクセルと位相差ピクセルを結ぶ方向と、この方向に垂直な方向との２方向について画素信号の差をそれぞれ算出することが好ましい。【００２２】
エッジ検出部は、画素信号の差を算出する場合に、補正すべき異種混合画素に対して互いに反対側にある画素の画素信号を用いることが好ましい。【００２３】
イメージセンサは、複数のピクセルが正方配列された第１ピクセル群と、第１ピクセル群と同じのピッチで複数のピクセルが正方配列された第２ピクセル群とを有することが好ましい。この第２ピクセル群の各ピクセルは、第１ピクセル群の各ピクセルに対して、斜め方向にずれた位置に配置され、第１ピクセル群と第２ピクセル群には、それぞれ同じ配列の色フィルタが設けられている。この場合に、位相差ピクセルは、第１ピクセル群と第２ピクセル群の斜め方向に隣接する同色のピクセルに設けられていることが好ましい。【００２４】
また、位相差ピクセルは、正方配列の行方向と列方向に沿って４ピクセル毎に設けられ、位相差ピクセルの間に、位相差ピクセルと同色であり、位相差ピクセルと同じピクセル群に属する通常ピクセルが含まれていることが好ましい。【００２５】
本発明の画素補正方法は、撮像ステップ、画素混合ステップ、エッジ検出ステップ、補正ステップを備える。撮像ステップでは、入射光を等方的に受光する複数の通常ピクセルと、入射光の一部を選択的に受光する複数の位相差ピクセルとを有するカラーイメージセンサで被写体を撮像する。画素混合ステップでは、同種画素混合と異種画素混合とを行ない、複数の同種混合画素と複数の異種混合画素とを有する混合画像を生成する。同種画素混合は、複数の通常ピクセルからの画素信号を同色同士で混合し、または複数の位相差ピクセルからの画素信号を同色同士で混合して、同種混合画素の画素信号を生成する。異種画素混合は、通常ピクセルと少なくとも１つの位相差ピクセルからの画素信号を同色同士で混合して異種混合画素の画素信号を生成する。エッジ検出ステップでは、通常ピクセル及び位相差ピクセルの同色同士での画素信号、または同種混合画素及び異種混合画素の同色同士での画素信号を用い、画素信号の差が最大となる第１方向を検出することにより、第１方向に垂直な被写体のエッジを検出する。補正ステップでは、異種画素混合がエッジをまたいだ画素間で行われている場合に、第１方向に垂直でエッジに沿った第２方向に存在し、かつ補正すべき異種混合画素と同色である同種混合画素を用い、その画素信号による補間処理で異種混合画素の画素信号を補正する。
【発明の効果】
【００２６】
本発明では、複数の通常ピクセルの画素信号を同色同士で混合する同種画素混合と、位相差ピクセルと通常ピクセルの画素信号を同色同士で混合する異種画素混合を行い、また画素信号の差が最大となる方向を検出することにより被写体のエッジを検出する。そして、異種画素混合がエッジをまたいで行われた場合には、エッジの方向に存在し、かつ同色の同種混合画素の画素信号を用いた補間処理により、欠陥混合画素である異種混合画素の画素信号を補正する。これにより、異種混合画素の欠陥を適切に補正することができる。
【図面の簡単な説明】
【００２７】
【図１】デジタルカメラの前面側から見た斜視図である。
【図２】デジタルカメラの背面図である。
【図３】デジタルカメラの電気的構成を示すブロック図である。
【図４】カラーイメージセンサの構成を示す説明図である。
【図５】ピクセルの電気的構成を示す回路図である。
【図６】通常ピクセルの断面図である。
【図７】第１ピクセル群に設けられた位相差ピクセルの断面図である。
【図８】第２ピクセル群に設けられた位相差ピクセルの断面図である。
【図９】通常画像の画素配列を示す説明図である。
【図１０】第１混合画像の画素配列を示す説明図である。
【図１１】第２混合画像の画素配列を示す説明図である。
【図１２】画素信号補正処理部の構成を示すブロック図である。
【図１３】ゲインを算出する領域を示す説明図である。
【図１４】補間補正及びエッジ検出に用いる画素を示す説明図である。
【図１５】位相差ピクセルまたは欠陥混合画素の補正をする手順を示すフローチャートである。
【図１６】Ｘ方向に平行な被写体のエッジがある場合の通常画像の画素配列を示す説明図である。
【図１７】Ｘ方向に平行な被写体のエッジがある場合の第１混合画像の画素配列を示す説明図である。
【図１８】Ｘ方向に平行な被写体のエッジがある場合の第２混合画像の画素配列を示す説明図である。
【図１９】本発明の変形例に係る位相差ピクセルまたは欠陥混合画素の補正をする手順を示すフローチャートである。
【図２０】縦縞状の被写体を撮影した場合の通常画像の画素配列を示す説明図である。
【図２１】縦縞状の被写体を撮影した場合の第１混合画像の画素配列を示す説明図である。
【図２２】縦縞状の被写体を撮影した場合の第２混合画像の画素配列を示す説明図である。
【発明を実施するための形態】
【００２８】
図１及び図２は、撮像装置の一例としてデジタルカメラ１１を示してある。このデジタルカメラ１１は、カメラ本体１２、レンズ鏡筒１３を備える。カメラ本体１２には、フラッシュ発光部１４、操作部１５、表示部１６を備える。レンズ鏡筒１３は、カメラ本体１２の前面に設けられており、撮像レンズ１７を保持している。
【００２９】
フラッシュ発光部１４は、カメラ本体１２の前面に設けられており、低輝度自動発光モードや常時発光モードにおいて、撮影に同期して発光し、フラッシュ光を被写体に照射する。操作部１５は、電源ボタン１８、レリーズボタン（撮影指示部）１９、撮影モード選択ボタン２０等を有する。電源ボタン１８は、デジタルカメラ１１の電源をオン／オフする場合に操作される。
【００３０】
レリーズボタン１９は、撮影を実行する場合に押下されるものであり、Ｓ１スイッチ（半押し）、Ｓ２スイッチ（全押し）の２段階スイッチである。デジタルカメラ１１は、レリーズボタン１９が半押しされて、Ｓ１スイッチがオンになると、自動的にピント調節と露出量の算出を行う。続いてＳ２スイッチがオンになると、設定された撮影モードのもとで、露出量に応じた撮影を行なう。
【００３１】
モード選択ボタン２０は、デジタルカメラ１１の動作モードを切り替えるものである。デジタルカメラ１１の動作モードには、静止画像を得る静止画撮影モード、動画像を得る動画撮影モード、取得した静止画像や動画像を表示部１６に再生表示する再生モード等がある。さらに、静止画像撮影モードには、高精細な通常画像を生成する通常撮影モード、高感度な混合画像を生成する画素混合モード、ダイナミックレンジが広い画像を生成する広ダイナミックレンジ撮影モード等がある。
【００３２】
表示部１６は、カメラ本体１２の背面に設けられた液晶ディスプレイ等で構成されており、各種撮影モードで取得された画像や、各種設定を行うためのメニュー画面等が表示される。
【００３３】
図３に示すように、レンズ鏡筒１３内には、撮像レンズ１７、メカニカルシャッタ２０，絞り２１等が設けられている。図３では、撮像レンズ１７が模式的に１枚の光学レンズで描かれているが、実際にはピント調節をするためのフォーカシングレンズや焦点距離を調節するための変倍レンズ等の複数の光学レンズを有する。また、レンズ鏡筒１３には、撮像レンズ１７の各光学レンズを移動して、光軸上での位置調節をするレンズ駆動部２２と、メカニカルシャッタ２０の開閉動作や、絞り２１の開口サイズの調節を行うメカニカルシャッタ・絞り駆動部２３が設けられている。
【００３４】
レンズ鏡筒１３の光出射側には、カラーイメージセンサ２６が設けられている。カラーイメージセンサ２６は、単板式のカラーＣＭＯＳ型固体撮像素子である。また、カラーイメージセンサ２６は、撮像レンズ１７によって被写体の画像が形成される受光領域４０ａ（図４参照）を有し、この受光領域４０ａには、複数の通常ピクセルの他に、複数の位相差ピクセルがマトリクスに配列されている。カラーイメージセンサ２６は、イメージセンサ駆動部２７によって駆動され、ピクセル毎に１つの色画素信号（単に画素信号という）が読み出される。１フレーム分の画素信号はデジタル変換され、画像データ（いわゆるＲＡＷデータ）となる。このＲＡＷデータは、モード選択ボタン２０により選択された撮像モードに応じたものであり、例えば、通常撮影モードの場合に出力されるＲＡＷデータは、イメージセンサ２６の各ピクセルが出力する画素信号で構成されている。また、画素混合モードの場合では、ＲＡＷデータは、イメージセンサ２６の各ピクセルの画素信号を所定規則にしたがって混合した画素信号で構成されている。
【００３５】
ＣＰＵ２５は、操作部１５から入力される操作信号に基づいてデジタルカメラ１１の全体を統括的に制御する。例えば、レンズ駆動部２２、メカニカルシャッタ・絞り駆動部２３、イメージセンサ駆動部２７は、ＣＰＵ２５からの制御に基づいて作動する。また、フラッシュ発光部１４は、ＣＰＵ２５からの制御に基づき、撮影に同期してフラッシュ発光する。
【００３６】
さらに、ＣＰＵ２５は、制御バス２８に接続されており、この制御バス２８に接続されたメモリ制御部３０、ＡＦ検出部３１、画素信号処理部３２、圧縮伸張処理部３３、メディア制御部３４、表示制御部３５等の各部を制御する。
【００３７】
メモリ制御部３０には、ＳＤＲＡＭ等の一時記憶用のメモリ３６が接続されている。メモリ制御部３０は、カラーイメージセンサ２６から出力されたＲＡＷデータをメモリ３６に入力する。また、メモリ３６に記憶されたＲＡＷデータは、データバス２９を介してＡＦ検出部３１や画素信号処理部３２に読み出される。
【００３８】
ＡＦ検出部３１は、周知のように、ＲＡＷデータに含まれる複数の位相差ピクセルの画素信号に基づいて、視差に関する情報を表す合焦評価値を算出する。ＣＰＵ２５は、ＡＦ検出部３１からの合焦評価値に基づいてレンズ駆動部２２を駆動し、撮像レンズ１７のフォーカシングレンズを合焦位置に移動させる。
【００３９】
画素信号処理部３２は、ＲＡＷデータに対して、位相差ピクセルの画素信号（あるいは位相差ピクセルの画素信号を混合した混合画素の画素信号）を補正する画素信号補正処理、デモザイク処理、ガンマ補正処理、ＲＧＢ／ＹＣｒＣｂ変換処理等を行う（図１２参照）。これらの各種処理が施された画像データは、例えば、表示制御部３５を介して表示部１６に表示される。圧縮伸張処理部３３は、画素信号処理部３２によって各種処理が施された画像データを、ＪＰＥＧ等の所定の方式で圧縮する。
【００４０】
メディア制御部３４には、フラッシュメモリ等の不揮発性メモリで構成された記録メディア３７が接続されており、ＲＡＷデータや圧縮された画像データ等の各種画像データを、設定されたフォーマットで記録メディア３７に記録する。また、再生モードの場合には、メディア制御部３４は、記録メディア３７から画像データを読み出す。
【００４１】
図４に示すように、カラーイメージセンサ２６は、撮像部４０、読み出し用垂直走査回路４１、リセット回路４２、水平走査回路４３、出力アンプ４４、Ａ／Ｄ変換器４５、画素混合回路（画素混合部）４６を有している。撮像部４０は、受光領域４０ａ上に複数のピクセル５０が形成されており、これらは直交するＸ方向及びＹ方向に沿って２次元に配列されている。
【００４２】
ピクセル（画素とも呼ばれる）５０には、通常ピクセル５１ａ，５１ｂと、位相差ピクセル５２ａ，５２ｂの２種類がある。通常ピクセル５１ａ及び位相差ピクセル５２ａは、奇数行に配列され、第１のピクセル群を構成している。また、通常ピクセル５１ｂ及び位相差ピクセル５２ｂは、偶数行に配列され、第２のピクセル群を構成している。第１ピクセル群及び第２ピクセル群は、いずれも行方向（Ｘ方向）及び列方向（Ｙ方向）にピッチＰでピクセル５０が正方配列されたものである。第２ピクセル群のピクセル５０（通常ピクセル５１ｂ及び位相差ピクセル５２ｂ）は、第１ピクセル群のピクセル５０（通常ピクセル５１ａ及び位相差ピクセル５２ａ）に対して、Ｘ方向及びＹ方向にそれぞれ半ピッチ（Ｐ／２）だけずれた位置に配置されている。第１ピクセル群及び第２ピクセル群のピクセル配列は、全体としていわゆるハニカム配列である。
【００４３】
各ピクセル５０には、互いに分光透過特性が異なる赤フィルタ、緑フィルタ、青フィルタのうち、いずれかの色フィルタが設けられている。第１ピクセル群のピクセル５０に設けられた色フィルタの色を、大文字のＲ（赤）、Ｇ（緑）、Ｂ（青）で示している。第２ピクセル群のピクセル５０に設けられた色フィルタの色は、小文字のｒ（赤）、ｇ（緑）、ｂ（青）で示している。各色フィルタは、対応する色の波長域の光を透過させる。第１ピクセル群及び第２ピクセル群の色フィルタの色配列は同一であり、本実施形態ではそれぞれベイヤ配列である。このため、斜め２ピクセルに、第１ピクセル群と第２ピクセル群の同色の色フィルタが隣接している。
【００４４】
第１ピクセル群の位相差ピクセル５２ａは、Ｇフィルタを有し、Ｘ方向及びＹ方向に４ピクセルごとに配置されている。また、第２ピクセル群の位相差ピクセル５２ｂは、ｇフィルタを有し、Ｘ方向及びＹ方向に４ピクセルごとに配置されている。そして、第１ピクセル群の位相差ピクセル５２ａと第２ピクセル群の位相差ピクセル５２ｂは斜め方向に隣接しており、２ピクセル毎にペアを形成している。
【００４５】
第１ピクセル群の位相差ピクセル５２ａは、等方的な入射光のうち左側に入射した光を選択的に受光する左位相差ピクセルであり、第２ピクセル群の位相差ピクセル５２ｂは、右側に入射した光を選択的に受光する右位相差ピクセルである。これらの位相差ピクセル５２ａ，５２ｂの画素信号のペアは、ＡＦ制御時にＲＡＷデータから抽出され、ＡＦ検出部３１によって合焦評価値の算出に用いられる。一方、ＲＡＷデータから表示用あるいは記録用の画像を生成する場合には、位相差ピクセル５２ａ，５２ｂの画素信号、あるいは位相差ピクセル５２ａ，５２ｂの画素信号を加算して生成された混合画素の画素信号は画素信号処理部３２で補正される。
【００４６】
第１及び第２ピクセル群の位相差ピクセル５２ａ，５２ｂ以外のピクセルは、全て通常ピクセル５１ａ，５１ｂである。通常ピクセル５１ａ，５１ｂは、入射光を偏りなく受光する。第１ピクセル群の位相差ピクセル５２ａは４ピクセル毎に配置されているので、最も近接する２つの位相差ピクセル５２ａの間には、位相差ピクセル５２ａと同色のＧフィルタを有する通常ピクセル５１ａがある。同様に、第２画素群の位相差ピクセル５２ｂも４ピクセル毎に配置されているので、最も近接する２つの位相差ピクセル５２ｂの間には、位相差ピクセル５２ｂと同色のｇフィルタを有する通常ピクセル５１ｂがある。
【００４７】
読み出し用垂直走査回路４１は、行選択画素信号を、撮像部４０のピクセルの行毎に順次に出力する。リセット回路４２は、リセット画素信号をピクセルの行毎に順次に出力する。また、リセット回路４２は、第１ピクセル群及び第２ピクセル群にそれぞれに一括してリセット画素信号を出力することが可能である。
【００４８】
水平走査回路４３は、列選択画素信号を順次に出力し、行選択画素信号により選択されたピクセル行の各ピクセル５０から出力される画素信号を、出力アンプ４４に順次に転送する。出力アンプ４４は、画素信号を増幅してＡ／Ｄ変換器４５に入力する。Ａ／Ｄ変換器４５は、画素信号をデジタル化して出力する。通常撮影モードの場合には、Ａ／Ｄ変換器４５からの画素信号は、そのままＲＡＷデータとして出力される。一方、画素混合モードと広ダイナミックレンジモードの場合、Ａ／Ｄ変換器４５からの画素信号は、画素混合回路４６に入力される。
【００４９】
画素混合回路４６は、第１画素混合部４６ａと第２画素混合部４６ｂを有する。第１画素混合部４６ａは、斜め方向に隣接する第１ピクセル群と第２ピクセル群の同色の画素信号を加算する第１の画素混合を行う。第２混合部４６ｂは、第１の画素混合の後、さらに列方向（Ｙ方向）に隣接する２つの同色のピクセルからの画素信号を加算する第２の画素混合を行う。高感度の画像を得るための画素混合モードの場合には、これらの第１，第２画素混合部４６ａ，４６ｂによって合計４ピクセルの画素信号が加算された混合画素信号がＲＡＷデータとしてデータバス２９に出力される。広ダイナミックレンジモードの場合は、第１画素混合部４６ａによって第１の画素混合をした混合画素信号がＲＡＷデータとしてデータバス２９に出力される。
【００５０】
図５に示すように、各ピクセル５０は、フォトダイオード（光電変換素子）ＰＤ、リセットトランジスタＲＴｒ、アンプトランジスタＡＴｒ、選択トランジスタＳＴｒを有する。このように、各ピクセル５０は、３トランジスタ構成であり、各トランジスタは、例えば、ｎ型ＭＯＳトランジスタである。
【００５１】
各ピクセル５０には、行選択線５３とリセット線５４の２本の駆動線が接続されている。行選択線５３及びリセット線５４は、同じ行に属する複数のピクセル５０に接続されている。行選択線５３の端部は、読み出し用垂直走査回路４１に接続されている。リセット線５４の端部は、リセット回路４２に接続されている。
【００５２】
また、各ピクセル５０には、信号線５５が接続されている。信号線５５は、同じ列に属する複数のピクセル５０に接続されている。信号線５５の端部は、水平走査回路４３に接続されている。
【００５３】
フォトダイオードＰＤは、受光した光を光電変換して、その光量に応じた電荷を生成する。フォトダイオードＰＤは、アノードがグランドに接続されており、カソードがアンプトランジスタＡＴｒのゲート電極に接続されている。フォトダイオードＰＤのカソードとアンプトランジスタＡＴｒのゲート電極との接続部分に、フォトダイオードＰＤで生成された電荷を蓄積するフローティングディフュージョンＦＤが形成されている。
【００５４】
リセットトランジスタＲＴｒは、ソース電極がフローティングディフュージョンＦＤに接続され、ドレイン電極に電源電圧ＶＤＤが印加されている。リセットトランジスタＲＴｒは、リセット信号がリセット線ＲＳＴを介してゲート電極に与えられることによりオン状態となる。リセットトランジスタＲＴｒがオン状態となると、フローティングディフュージョンＦＤに電源電圧ＶＤＤが印加され、蓄積電荷が破棄される。
【００５５】
アンプトランジスタＡＴｒは、ゲート電極がフローティングディフュージョンＦＤに接続され、ドレイン電極に電源電位ＶＤＤが印加されている。アンプトランジスタＡＴｒは、フローティングディフュージョンＦＤの蓄積電荷に応じた電圧の画素信号（画素値）をソース電極から出力する。
【００５６】
選択トランジスタＳＴｒは、ドレイン電極がアンプトランジスタＡＴｒのソース電極に、ソース電極が信号線５５にそれぞれ接続されており、行選択信号が行選択線５３を介してゲートに与えられることによりオン状態となる。選択トランジスタＳＴｒがオン状態となると、アンプトランジスタＡＴｒのソース電極から出力された画素信号が信号線５５に出力される。
【００５７】
撮像部４０の露光方式には、ローリングシャッタ方式とグローバルシャッタ方式とがある。ローリングシャッタ方式では、メカニカルシャッタ２０を開状態とし、読み出し用垂直走査回路４１により、１ピクセル行ずつ行選択信号を行選択線５３に与えるとともに、リセット回路４２により、１ピクセル行ずつリセット信号をリセット線５４に与える。行選択信号が画素行に与えられている間に、水平走査回路４３が各信号線５５に出力される画素信号を順次に読み取るとともに、リセット信号が１つ前のピクセル行に与えられる。この読み出し及びリセット動作を、ピクセル行を変更しながら繰り返すことにより、１フレーム以上の画像データが得られる。このローリングシャッタ方式は、ＡＦ動作及び動画撮影モードで用いられる。
【００５８】
グローバルシャッタ方式では、メカニカルシャッタ２０を開状態とし、第１ピクセル群及び第２ピクセル群に一括してリセット信号を与えることで、一括リセットを行い、この後、所定時間後にメカニカルシャッタ２０を閉状態として、１ピクセル行ずつ行選択信号を与えることにより全ピクセルの画素信号を時系列に読み出す。これにより、１フレーム分の画像データが得られる。このグローバルシャッタ方式は、通常撮影モードと画素混合モードで用いられる。
【００５９】
広ダイナミックレンジ撮影モードでは、グローバルシャッタ方式において、第１ピクセル群と第２ピクセル群とにリセット信号を与えるタイミングを変更することで、第１ピクセル群と第２ピクセル群とで露光時間を変更する。例えば、第１ピクセル群を長時間露光、第２ピクセル群を短時間露光とすることで、第１ピクセル群から得られる画素信号が高感度信号となり、第２ピクセル群から得られる画素信号が低感度信号となる。これらを画素混合回路４６で混合することにより、広ダイナミックレンジの画像データが得られる。
【００６０】
なお、ピクセル５０は、３トランジスタ構成に限られず、フォトダイオードＰＤとフローティングディフュージョンＦＤとの間に転送トランジスタをさらに設けた４トランジスタ構成等であってもよい。
【００６１】
図６に示すように、カラーイメージセンサ２６は裏面照射型であり、通常ピクセル５１ａ，５１ｂは、ｐ型半導体基板６０中にフォトダイオードＰＤが形成されており、ｐ型半導体基板６０の光入射側とは反対側に配線層６１が形成されている。この配線層６１には、アモルファスシリコン等で形成された電極６２や、アルミニウム等で形成された配線６３，６４が設けられており、これらが前述の各トランジスタの電極や配線を構成している。
【００６２】
ｐ型半導体基板６０の光入射側には、アルミニウム等で形成された遮光膜６５が設けられている。通常ピクセル５１ａ，５１ｂでは、遮光膜６５中のフォトダイオードＰＤに対応する位置に、通常開口６５ａが設けられている。この通常開口６５ａは、その中心がフォトダイオードＰＤの中心とほぼ一致しており、フォトダイオードＰＤの光入射側を全て露呈させている。
【００６３】
遮光膜６５の光入射側には、色フィルタ（この例では、Ｇフィルタ）が設けられている。さらに、色フィルタの光入射側には、マイクロレンズ６６が形成されている。色フィルタは、染料や顔料が分散された樹脂材で形成されている。マイクロレンズ６６は、二酸化シリコンや透明樹脂材により形成されている。マイクロレンズ６６は、光軸がフォトダイオードＰＤの中心にほぼ一致しており、入射光をフォトダイオードＰＤに向けて集光する。マイクロレンズ６６から射出された光は、対応する色フィルタにより分光された色の光のみが、通常開口６５ａを通過してフォトダイオードＰＤに入射する。
【００６４】
通常ピクセル５１ａ，５１ｂは、左側からの入射光Ｌ１と右側からの入射光Ｌ２の両方を受光する。すなわち、通常ピクセル５１ａ，５１ｂは、入射光を偏りなく、等方的に受光する。
【００６５】
一方、図７に示すように、第１ピクセル群の位相差ピクセル５２ａでは、遮光膜６５中のフォトダイオードＰＤに対応する位置に、第１偏心開口６５ｂが設けられている。この第１偏心開口６５ｂは、その中心がフォトダイオードＰＤの中心より右側にずれており、フォトダイオードＰＤの光入射側の一部のみを露呈させる。
【００６６】
これにより、第１ピクセル群の位相差ピクセル５２ａでは、左側からの入射光Ｌ１は、遮光膜６５により遮光され、右側からの入射光Ｌ２は、第１偏心開口６５ｂを通過してフォトダイオードＰＤに入射する。したがって、第１ピクセル群の位相差ピクセル５２ａは、右側からの入射光Ｌ２を選択的に受光する。第１ピクセル群の位相差ピクセル５２ａのその他の構成は、通常ピクセル５１ａ，５１ｂと同じである。
【００６７】
また、図８に示すように、第２ピクセル群の位相差ピクセル５２ｂでは、遮光膜６５中のフォトダイオードＰＤに対応する位置に、第２偏心開口６５ｃが設けられている。この第２偏心開口６５ｃは、その中心がフォトダイオードＰＤの中心より左側にずれており、フォトダイオードＰＤの光入射側の一部のみを露呈させている。
【００６８】
これにより、第２ピクセル群の位相差ピクセル５２ｂでは、右側からの入射光Ｌ２は、遮光膜６５により遮光され、左側からの入射光Ｌ１は、第２偏心開口６５ｃを通過してフォトダイオードＰＤに入射する。したがって、第２ピクセル群の位相差ピクセル５２ｂは、左側からの入射光Ｌ１を選択的に受光する。第２ピクセル群の位相差ピクセル５２ｂのその他の構成は、通常ピクセル５１ａ，５１ｂと同じである。
【００６９】
第１及び第２ピクセル群の位相差ピクセル５２ａ，５２ｂは、左側または右側からの入射光のみを選択的に受光するため、通常ピクセル５１ａ，５１ｂと比較して受光量が小さく、感度が低い。また、位相差ピクセル５２ａ，５２ｂは通常ピクセル５１ａ，５１ｂと比較して光の入射角度に敏感であるため、撮像部４０中の位相差ピクセル５２ａ，５２ｂの位置に応じて感度がさらに上下する場合等の特性にも違いがある。このため、位相差ピクセル５２ａ，５２ｂの画素信号（あるいは位相差ピクセル５２ａ，５２ｂが混合された混合画素の画素信号）は、表示や記録のための画像データにおいては欠陥信号となるので、通常ピクセル５１ａ，５１ｂの画素信号（あるいは通常ピクセル５１ａ，５１ｂのみ混合した画素信号）とは区別される。
【００７０】
なお、位相差ピクセル５２ａ，５２ｂは、位相差ＡＦのために配置するものであり、位相差ピクセル５２ａ，５２ｂに由来する欠陥は必然的に生じるものである。また、位相差ピクセル５２ａ，５２ｂに由来する欠陥の位置は、位相差ピクセル５２ａ，５２ｂの配列に応じて予め定まっている。このため、カラーイメージセンサ２６の製造の問題や経時劣化等によって偶発的に発生し、その位置もランダムな欠陥（いわゆるキズ）とは異なる。本実施形態では、簡単のため偶発的な欠陥はないものとし、別段の説明をしない場合には、「欠陥画素」は位相差ピクセル５２ａ，５２ｂの画素信号を持った画素であり、「欠陥混合画素」は位相差ピクセル５２ａ，５２ｂの画素信号を混合して得た混合画素を意味する。また、「正常混合画素」は通常ピクセル５１ａ，５１ｂの画素信号を混合して得た混合画素を意味している。なお、偶発的な欠陥画素の補正方法は複数知られているので、これに対しては適宜な方法で補正すればよい。
【００７１】
次に、画素混合回路４６による画素混合処理について説明する。カラーイメージセンサ２６による撮影中に、撮像部４０の各ピクセル５０に蓄積された電荷は画素信号として読み出される。各画素信号は、Ａ／Ｄ変換器４５でデジタル変換され、画像データ（通常画像データ）７１として、混合処理回路４６に送られる。図９に示すように、画像データ７１は、１フレーム分の画素信号であり、各画素はピクセル５０に対応している。この画像データ７１は、通常撮影モードにおいてＲＡＷデータとして出力される。各画素内の記号は画素信号を表している。例えば、ＩR，ＩG，ＩBは、第１ピクセル群の通常ピクセル５１ａからの画素信号を表している。Ｉr，Ｉg，Ｉbは、第２ピクセル群の通常ピクセル５１ｂからの画素信号を表している。ＫG，Ｋgは、それぞれ第１及び第２ピクセル群の位相差ピクセル５２ａ，５２ｂからの画素信号を表している。各画素信号ＩR，ＩG，ＩB、Ｉr，Ｉg，Ｉb、ＫG，Ｋgの添字は、対応する色フィルタの色を表している。通常ピクセル５１ａ、５１ｂに基づいた画素は円で表してあるが、位相差ピクセル５２ａ，５２ｂに基づいた画素は半円で表してある。
【００７２】
第１画素混合部４６ａは、画素混合モード及び広ダイナミックレンジモードにおいて第１の画素混合を行い、通常画像データ７１から第１混合画像データ７２（図１０参照）を作成する。この第１の画素混合は、図９の破線枠で示すように、斜め方向に隣接する第１及び第２ピクセル群の隣接する同色のピクセルから得られた画素信号を加算または平均化するものである。具体的には、隣接する第１ピクセル群の赤色の通常ピクセル５１ａの画素信号ＩRと第２ピクセル群の赤色の通常ピクセル５１ｂの画素信号Ｉrとを混合する。同様に、各々隣接する第１ピクセル群の緑色の通常ピクセル５１ａの画素信号ＩGと第２ピクセル群の緑色の通常ピクセル５１ｂの画素信号Ｉgとを混合し、そして第１ピクセル群の青色の通常ピクセル５１ａの画素信号ＩBと第２ピクセル群の青色の通常ピクセル５１ｂの画素信号Ｉbとをそれぞれ混合する。また、位相差ピクセル５２ａ，５２ｂについても、通常ピクセル５１ａ，５１ｂと同様に、第１ピクセル群の位相差ピクセル５２ａの画素信号ＫGと、第２ピクセル群の位相差ピクセル５２ｂの画素信号Ｋgとを混合する。
【００７３】
図１０は、第１の画素混合で作成された第１混合画像データ７２を示している。この第１混合画像データ７２において、画素信号ＭR，ＭG，ＭBは、それぞれ通常ピクセル５１ａ，５１ｂの画素信号の混合で生成される。また、画素信号ＮGは、位相差ピクセル５２ａ，５２ｂの画素信号ＫG，Ｋgの混合で生成される。ここで、画素信号ＮGは、位相差ピクセル５２ａ，５２ｂの混合であることを示すために四角で表してある。なお、添字は色フィルタの色を表している。
【００７４】
このように第１の画素混合では、２ピクセル分の画素信号を混合処理して第１混合画素を作成する。この際に、通常ピクセル５１ａ，５１ｂは通常ピクセル５１ｂ，５１ａと混合され、位相差ピクセル５２ａ，５２ｂは位相差ピクセル５２ｂ，５２ａとだけ混合される。したがって、第１の混合処理は同種画素混合であり、それにより第１混合画素が色毎に生成される。
【００７５】
第１混合画像データ７２の第１混合画素は、斜め方向に隣接する２ピクセルを混合しているので、図１０に示すように正方配列になっている。なお、通常画像データ７１の画素は、カラーイメージセンサ２６のピクセル配列に対応してハニカム配列である。
【００７６】
第２画素混合部４６ａは、画素混合モードにおいて第２の画素混合を行い、第１混合画像データ７２から第２混合画像データ７３（図１１参照）を生成する。この第２の画素混合は、第１混合画像データ７２のうちＹ方向（列方向）に最も近接する同色の第１混合画素の画素信号を加算または平均化することにより、第２混合画素を生成する。すなわち、第１混合画像データ７２においては、任意の第１混合画素と、そのＹ方向に隣接（上側に隣接または下側に隣接）する第１混合画素との間では、色が異なっている。そこで、この異なった色の第１混合画素を飛ばして、図１０において破線で結んで示すように、Ｙ方向に最も近い２つの同色の第１混合画素を混合して、第２混合画素を作成する。
【００７７】
具体的には、位相差ピクセル由来の画素信号ＮGが存在しない列では、通常ピクセル由来の赤色の画素信号ＭRは、同じく通常ピクセル由来の赤色の画素信号ＭRと混合される（同種画素混合）。緑色及び青色の画素信号ＭG，ＭBも同様である。また、位相差ピクセル由来の画素信号ＮGがある列においても、同様の規則で画素信号を混合する。このため、位相差ピクセル由来の画素信号ＮGがある列では、赤色の画素信号ＭRは画素信号ＭRと混合されるが、画素信号ＮGは画素信号ＭGと混合される。赤色の画素信号ＭＲ同士を混合する画素混合は同種画素混合である。一方、画素信号ＮGは画素信号ＭGを混合する画素混合は、通常ピクセル５１ａ，５１ｂと位相差ピクセル５２ａ，５２ｂの各画素信号を含むので、異種画素混合である。
【００７８】
図１１は、第２混合画像データ７３の画素配列を示すものである。第２混合画素の画素信号ＰR，ＰG，ＰBは、通常ピクセル５１ａ，５１ｂの画素信号だけを混合する同種画素混合により生成されたものである。一方、画素信号ＱGは、通常ピクセル５１ａ，５１ｂと位相差ピクセル５２ａ，５２ｂの画素信号とを混合する異種画素混合により生成されたものである。また、位相差ピクセル５２ａ，５２ｂの画素信号を混合した第２混合画素は八角形で表してある。
【００７９】
図１２に示すように、信号処理部３２は、画素信号補正処理部（補正部）８１、デモザイク処理部８２、ガンマ補正処理部８３、ＲＧＢ／ＹＣｒＣｂ変換処理部８４等を備えている。
【００８０】
デモザイク処理部８２は、画素信号補正処理部８１で位相差ピクセル５２ａ，５２ｂや欠陥混合画素９１（図１４参照）の補正処理が行われたＲＡＷデータに対して、１つの画素が３色分の画素信号を持つように補間処理（デモザイク処理）する。これにより、１つの画素が色フィルタに対応する１色分の画素信号だけを有してＲＡＷデータは、デモザイク処理によって、１つ画素がそれぞれ赤色，緑色，青色の画素信号を有している画像データに変換される。なお、デモザイク処理部８２は、通常画像データ７１にデモザイク処理をする場合には、画素信号の配列がハニカム配列であるため、これを正方配列にするためにデータ補間も行う。
【００８１】
ガンマ補正処理部８３は、所定のガンマテーブルに基づいてガンマ補正処理を行う。ＲＧＢ／ＹＣｒＣｂ変換処理部８４は、ガンマ補正処理が行われた混合画像データ及び通常画像データに対してＹＣｂＣｒ変換を行う。
【００８２】
画素信号補正処理部８１は、第１演算部８６、第２演算部８７、エッジ検出部８８、補正方法選択部８９を有する。イメージセンサ２６からは、撮影モードに応じたＲＡＷデータが出力される。このＲＡＷデータは、前述したように、通常撮影モードでは通常画像データ７１、広ダイナミックレンジモードでは第１混合画像データ７２、画素混合モードでは第２画素混合データ７３である。画素信号補正処理部８１は、各種ＲＡＷデータに含まれる位相差ピクセル５２ａ，５２ｂに対応する欠陥画素の画素信号ＫG，Ｋgと、欠陥混合画素の画素信号ＮG，ＱGを補正する。
【００８３】
第１演算部８６は、欠陥画素の画素信号ＫG，Ｋgや、欠陥混合画素の画素信号ＮG，ＱGをゲイン補正によって補正して、ゲイン補正済み画素信号を作成する。例えば第２混合画像データ７３の欠陥混合画素の画素信号ＱGを補正する場合、正常混合画素の画素信号ＰGと欠陥混合画素の画素信号ＱGとの比に応じたゲインを欠陥混合画素の画素信号に乗算して、ゲイン補正済みの画素信号を作成する。
【００８４】
但し、乗算するゲインは、例えば、図１３に示すように撮像部４０をＡ１〜Ａ９の９個の領域に分割し、領域毎に作成される。例えば、第２混合画像データ７３の欠陥混合画素の画素信号ＱGを補正する場合に、第１演算部８６は、各領域Ａ１〜Ａ９において、正常混合画素の画素信号ＰGの平均値（以下、第１平均値という）と、欠陥混合画素の画素信号ＱGの平均値（以下、第２平均値という）を算出し、第１平均値と第２平均値の比を各領域Ａ１〜Ａ９のゲインγとして用いる（γ＝第１平均値／第２平均値）。このため、第１演算部８６が用いるゲインγは、各領域Ａ１〜Ａ９に応じて、さらには被写体に応じて異なる場合がある。
【００８５】
なお、第１混合画像データ７２の欠陥混合画素の画素信号ＮGや、通常画像データ７１の欠陥画素（位相差ピクセル５２ａ，５２ｂに対応した画素）の画素信号ＫG，Ｋgに対してゲイン補正をする場合も、第２混合画像データ７３のゲイン補正と同様である。
【００８６】
第２演算部８７は、欠陥画素の画素信号ＫG，Ｋg、欠陥混合画素の画素信号ＮG，ＱGを補間によって補正して、補間補正済み画素信号を作成する。例えば、図１４に示すように、第２混合画像データ７３の欠陥混合画素９１の画素信号ＱGを補間によって補正する場合に、第２演算部８７は、欠陥混合画素９１の周辺に存在する緑色の画素を用いて、補間補正済み画素信号を作成する。この周辺にある画素としては、例えば、欠陥混合画素９１の上下（Ｙ方向；列方向），左右（Ｘ方向；行方向），及び斜め方向（Ｙ＝±Ｘの各方向）に隣接し、あるいは最も近接した位置にある同色の正常混合画素を用いる。
【００８７】
具体的には、欠陥混合画素９１の左右で最も近接した位置にある正常混合画素９２ａ，９２ｅの各画素信号ＰGと、欠陥混合画素９１に対して右斜め方向に隣接する正常混合画素９２ｂ，９２ｆ及び左斜め方向に隣接する正常混合画素９２ｄ，９２ｈの各画素信号ＰGが使用される。また、本実施形態では、第２混合画像７３において、欠陥混合画素９１の上下で最も近接した位置にある画素は欠陥混合画素９２ｃ，９２ｇになっており、欠陥混合画素９１の補正のために欠陥混合画素を用いても適切な補正結果は得られないので、これらの各画素信号ＱGは使用しない。
【００８８】
第２演算部８７が正常混合画素を用いて補間補正済み画素信号を生成する方法は、エッジ検出部８８によるエッジ検出の結果によって異なる。エッジ検出部８８が、補正すべき欠陥混合画素９１の周辺において、第２の画素混合の混合方向（Ｙ方向。図１０参照）に、垂直（ほぼ垂直も含む）な被写体のエッジを検出した場合に、第２演算部８７は、検出されたエッジの方向に沿って、補正すべき欠陥混合画素９１の左右に最も近接する正常混合画素９２ａ，９２ｅの画素信号の平均値を補間補正済み画素信号とする。一方、欠陥混合画素９１の周辺において、第２の画素混合の混合方向にほぼ垂直な被写体のエッジが検出されなかった場合には、周辺の正常混合画素９２ａ，９２ｄ〜９２ｆ，９２ｈの各画素信号ＰGの平均値を補間補正済み画素信号とする。
【００８９】
また、第１混合画像データ７２の欠陥混合画素の画素信号ＮGや、通常画像データ７１の欠陥画素の画素信号ＫGを補正する場合も上述と同様である。但し、第１混合画像データ７２や通常画像データ７１の場合に、本実施形態ではエッジ検出部８８はエッジの検出を行わないので、第２演算部８７は、画素信号ＮGの欠陥混合画素や、画素信号ＫGの欠陥画素に対して、上下、左右、及び斜め方向に隣接し、あるいは最も近接した位置にある緑色の正常混合画素や、通常ピクセル５１ａ，５１ｂに対応した画素の画素信号の平均値を補間補正済み画素信号として用いる。また、第１混合画像データ７２や通常画像データ７１の場合は、欠陥混合画素や欠陥画素に対応した画素の上下に最も近接する緑色の画素も、通常ピクセル５１ａ，５１ｂの画素信号から生成された正常画素である。そこで、これらの正常画素の画素信号も補間補正済み画素信号の算出に使用する。
【００９０】
エッジ検出部８８は、画素混合モードの場合に作動し、補正すべき欠陥混合画素９１の上または周辺において、第２画素混合の混合方向にほぼ垂直な被写体のエッジがあるか否かを検出する。このエッジの検出には、補正すべき欠陥混合画素９１の周辺にある９個の緑色の正常混合画素及び欠陥混合画素９２ａ〜９２ｈの各画素信号ＰG，ＱGが用いられる（図１４参照）。
【００９１】
エッジ検出部８８は、エッジを検出するために、まず、第２の画素混合における混合方向に平行なＹ方向に沿って、正常混合画素及び欠陥混合画素９２ａ〜９２ｈの各画素信号ＰG，ＱGの差δY1〜δY3を算出し、さらにこれらの総和（以下、第１エッジ量という）ΔYを算出する。正常混合画素及び欠陥混合画素９２ａ〜９２ｈの各画素信号を、区別のためにＰａ，Ｐｂ，Ｑｃ，Ｐｄ〜Ｐｆ，Ｑｇ，Ｐｈで表す場合は、δY1＝｜Ｑｃ−Ｑｇ｜、δY2＝｜Ｐｂ−Ｐｈ｜、δY3＝｜Ｐｄ−Ｐｆ｜、ΔY＝δY1＋δY2＋δY3である。
【００９２】
同様に、第２の画素混合における混合方向に対して垂直なＸ方向に沿って、正常混合画素及び欠陥混合画素９２ａ〜９２ｈの各画素信号ＰG，ＱGの差δX1〜δX3を算出し、さらにこれらの総和（以下、第２エッジ量という）ΔXを算出する。δX1＝｜Ｐａ−Ｐｅ｜、δX2＝｜Ｐｂ−Ｐｄ｜、δX3＝｜Ｐｈ−Ｐｆ｜、ΔX＝δX1＋δX2＋δX3である。
【００９３】
さらに、エッジ検出部８８は、第１及び第２エッジ量ΔY，ΔXの差Ｄ＝ΔY−ΔXを算出し、所定の閾値（本実施形態では「０」とする）と比較する。第１及び第２エッジ量ΔY，ΔXの値は、これらの算出方法から分かる通り、それぞれ第１及び第２方向に沿った被写体の変化の強さを表しているので、これらの差分Ｄは、第１方向と第２方向のどちらに被写体の変化が強いかを表す。
【００９４】
例えば、補正すべき欠陥混合画素９１の周辺で、被写体がほぼ一様であり、変化が少ない場合には、第１及び第２エッジ量ΔY，ΔXは両方ともほぼ「０」になり、これらの差Ｄもほぼ「０」である。また、被写体が横縞状で、Ｙ方向に沿って変化が大きく、Ｘ方向に沿ったエッジがある場合に、第１エッジ量ΔYの値が大きくなり、第２エッジ量ΔXはほぼ「０」である。このため、概ねＤ＞０（特にＤ＞＞０）の場合、補正すべき欠陥混合画素９１の上あるいは近傍にＸ方向に沿った被写体のエッジがあることが検出できる。
【００９５】
逆に、被写体が縦縞状で、Ｘ方向に沿って変化が大きく、Ｙ方向に沿ったエッジがある場合は、第１エッジ量ΔYがほぼ「０」になり、第２エッジ量ΔXが大きな値になる。このため、概ねＤ＜０（特にＤ＜＜０）であれば、欠陥混合画素９１の上あるいはその近傍にＹ方向に沿った被写体のエッジがあることが検出できる。これにより、エッジ検出部８８は、第１及び第２のエッジ量ΔY，ΔXの差Ｄに基づいて、エッジの有無及び方向を検出する。このように、第１及び第２のエッジ量ΔY，ΔXの差Ｄを所定閾値と比較することは、画素信号の差Ｄが最大になる方向（第１方向）を検出して、この方向に垂直なエッジを検出することを意味している。なお、本実施形態では、閾値は「０」であるが、任意な値であってもよい。
【００９６】
エッジ検出部８８は、第１及び第２エッジ量ΔY，ΔXの差Ｄを所定閾値と比較した結果を補正方法選択部８９に入力する。この補正方法選択部８９は、比較結果に応じて、ゲイン補正と補間補正の一方を選択する。ゲイン補正が選択されると、第１演算部８６で作成されたゲイン補正済み画素信号で、欠陥画素の画素信号ＫG，Ｋg、あるいは欠陥混合画素の画素信号ＮG，ＱGが置き換えられる。また、補間補正が選択されると、第２演算部８７で作成された補間補正済み画素信号で、欠陥画素の画素信号ＫG，Ｋg、あるいは欠陥混合画素の画素信号ＮG，ＱGが置き換えられる。
【００９７】
例えば、第２画素混合データ７３の欠陥混合画素９１の画素信号ＱGの補正方法を選択する場合に、補正方法選択部８９は、エッジ検出部８８から入力される第１及び第２のエッジ量ΔY，ΔXの差Ｄと所定閾値との比較結果に基づいて、欠陥混合画素９１の補正方法を選択する。具体的には、補正方法選択部８９は、少なくともＤ＞０の場合に、必ず補間補正済み画素信号を選択する。また、ここで選択される補間補正済み画素信号は、補正すべき欠陥混合画素９１の左右に最も近接する正常混合画素９２ａ，９２ｅの各画素信号Ｐａ，Ｐｅの平均値である。
【００９８】
また、補正方法選択部８９は、第１画素混合データ７２の欠陥混合画素（画素信号ＮG）の補正方法を選択する場合、及び通常画像データ７１の欠陥画素の補正方法を選択する場合に、例えば、補正すべき欠陥混合画素及び欠陥画素（位相差ピクセル５２ａ、５２ｂに対応する画素）の近傍における被写体の像の細かさやコントラスト等を検出し、より補正痕が目立たないように、ゲイン補正済み画素信号と補間補正済み画素信号のいずれかを選択する。なお、この場合の補間補正済み画素信号は、欠陥画素や欠陥混合画素に対して、上下左右及び斜め方向に隣接する（あるいは各方向に沿って最も近い位置にある）通常ピクセル又は正常混合画素の画素信号の全てを用いて算出される。
【００９９】
次に、図１５を参照してデジタルカメラ１１の作用を説明する。まず、デジタルカメラ１１の電源を投入して撮影状態にすると、カラーイメージセンサ２６は通常画像データ７１をＲＡＷデータとして順次出力する。この通常画像データ７１は、通常撮影モードと同じように、位相差ピクセル５２ａ，５２ｂの画素信号ＫG，Ｋgの補正処理や、デモザイク処理等の各種処理が施され、表示部１６にライブビュー画像として表示される（Ｓ１０）。
【０１００】
レリーズボタン１９が押下され、Ｓ１スイッチがオンになると（Ｓ１１）、ＡＥ・ＡＦ制御が行われる（Ｓ１２）。ＡＥ制御部（図示せず）は、通常画像データから通常ピクセル５１ａ，５１ｂの画素信号を取り出して露出値を算出する。この露出値から、撮像時の絞り値とシャッタ速度とを算出する。ＡＦ制御では、ＡＦ検出部３１は、通常画像データ７１から位相差ピクセル５２ａ，５２ｂの画素信号ＫG，Ｋgを取得し、これらに基づいて合焦評価値を算出する。そして、この合焦評価値に基づいて、フォーカシングレンズが合焦位置まで繰り出される。
【０１０１】
レリーズボタン１９がさらに押下され、Ｓ２スイッチがオンになると（Ｓ１３）、事前に決定された露出条件で撮像が行われる（Ｓ１４）。この撮像では、カラーイメージセンサ２６は、予め選択された撮影モードに応じたＲＡＷデータを出力する。カラーイメージセンサ２６が出力したＲＡＷデータには、まず画素信号補正処理部８１によってＲＡＷデータに含まれる位相差ピクセル５２ａ，５２ｂの画素信号、あるいは欠陥混合画素の画素信号に対する補正処理が施される。その後、デモザイク処理、ガンマ補正処理、ＲＧＢ／ＹＣｒＣｂ変換処理等が順次施され、メモリ３６に記憶される。
【０１０２】
例えば、通常撮影モードが選択されている場合は（Ｓ１５でＮＯ）、ＲＡＷデータが通常画像データ７１（図９参照）である。この通常画像データ７１は、カラーイメージセンサ２６の各ピクセルの画素信号を読み出したものであり、画素混合をしていないので、通常画像データ７１の各画素は各ピクセルに対応している。カラーイメージセンサ２６では、第１ピクセル群の位相差ピクセル５２ａに対して、上下左右及び斜め方向で最も近接する第１ピクセル群の緑色のピクセルは、全て通常ピクセル５１ａであり、最大８個がある。また、第２ピクセル群の位相差ピクセル５２ｂに対して、上下左右及び斜め方向で最も近接する第２ピクセル群の緑色のピクセルも、全て通常ピクセル５１ｂであり、最大で８個がある。通常画像データ７１の位相差ピクセル５２ａ、５２ｂに対応する欠陥画素の補正は、最も近接した最大８個の通常ピクセル５１ａ又は５１ｂを使用して、ゲイン補正と補間補正のいずれも適切に行うことができる。そこで、補正方法選択部８９は、ゲイン補正と補間補正のうち、より補正痕が目立たない方を適宜選択して、位相差ピクセル５２ａ、５２ｂに基づく欠陥画素の正確な補正をすることができる（Ｓ１６）。
【０１０３】
広ダイナミックレンジモードが選択されている場合には（Ｓ１５でＮＯ）、カラーイメージセンサ２６は、通常画像データ７１に、第１画素混合部４６ａによって斜め方向に隣接する第１ピクセル群と第２ピクセル群の２ピクセル分の画素信号とをそれぞれ混合し、得られた第１混合画像データ７２をＲＡＷデータとして出力する。この第１混合画像データ７２では、位相差ピクセル５２ａ，５２ｂの画素信号を混合した欠陥混合画素の画素信号ＮGの上下左右及び斜め方向の各方向に最も近接する第１混合画素は、いずれも画素信号ＭGであり、欠陥混合画素の混合信号ＮGが存在しない。このため、ゲイン補正と補間補正はどちらも適切に行えるので、補正方法選択部８９は、ゲイン補正と補間による補正のうち、より補正痕が目立たない方を適宜選択して、欠陥混合画素の画素信号を補正する（Ｓ１６）。
【０１０４】
一方、画素混合モードが選択されている場合には（Ｓ１５でＹＥＳ）、カラーイメージセンサ２６は、第１画素混合部４６ａと第２画素混合部４６ｂによって第１の画素混合と第２の画素混合とを順番に行い、第２混合画像データ７３をＲＡＷデータとして出力する（Ｓ１７）。この第２混合画像データ７３に含まれる欠陥混合画素の画素信号ＱGは、第１及び第２の画素混合により、通常ピクセル５１ａ，５１ｂからの画素信号ＩG，Ｉgと位相差ピクセル５２ａ，５２ｂからの画素信号ＫG，Ｋgとを混合した画素信号であるから、被写体のエッジが近傍にある場合に、通常画像データ７１や第１混合画像データ７２と同じゲイン補正や補間補正をしても、正確に補正できないことがある。
【０１０５】
そこで、画素混合モードの撮影では、エッジ検出部８８によって被写体のエッジの有無及び方向を検出し、検出されたエッジの方向によっては、通常画像データ７１や第１混合画像データ７２の場合とは異なる方法で補正をする。
【０１０６】
具体的には、エッジ検出部８８は、Ｘ方向に沿った被写体のエッジの有無を表す第１エッジ量ΔYを算出する（Ｓ１８）。また、エッジ検出部８８は、Ｙ方向に沿った被写体のエッジの有無を表す第２エッジ量ΔXを算出する（Ｓ１９）。そして、第１エッジ量ΔYと第２エッジ量ΔXの差Ｄを算出し、差Ｄが所定閾値（０）と比較して、エッジ量が最大になる方向を検出することにより、エッジの検出を行う（Ｓ２０）。なお、Ｓ１８〜Ｓ２０がエッジ検出ステップである。
【０１０７】
第１及び第２エッジ量ΔY，ΔXの差Ｄが所定閾値（０）よりも大きいときは（Ｓ２０でＹＥＳ）、補正すべき欠陥混合画素の近傍に第１方向に沿った被写体のエッジが存在している場合である。そして、第２混合画像データ７３における欠陥混合画素の画素信号ＱGは、第２の画素混合では、Ｙ方向に近接する欠陥混合画素の画素信号ＮGと正常混合画素の画素信号ＭGとを混合することによって生成されるので、Ｘ方向に沿った被写体のエッジがあるときには、第２の画素混合で被写体のエッジをまたいで画素混合が行われている場合であるとみなすことができる。
【０１０８】
近傍にある２つの第１混合画素の画素信号ＮGと画素信号ＭGとを混合した第２混合画素の画素信号ＱGであっても、被写体のエッジをまたいだ画素混合によって生成された画素信号と、被写体のエッジをまたがない画素混合によって生成された画素信号とでは値が異なる。すなわち、被写体のエッジをまたいだ画素間の混合では、画素信号ＱGは特殊な値になっている。
【０１０９】
通常のゲイン補正に用いられるゲインγは、図１３に示す比較的広い各領域Ａ１〜Ａ９における画素信号ＱGと画素信号ＰGの平均的な感度比に基づいて算出されるので、エッジをまたがない画素混合によって生成された画素信号ＱGのゲイン補正に好適であるが、エッジをまたいだ画素混合によって生成された特殊な画素信号ＱGの補正には適さない。
【０１１０】
また、通常の補間によって画素信号ＱGを補正する場合に、補間に使用する画素信号ＰGの個数が被写体のエッジに対して一方の側に偏っていると、補間補正済み画素信号の値は、補間に使用する画素信号ＰGの個数が多い側の値に近くなる。逆に、補間に使用する画素信号ＰGの個数が被写体のエッジに対して他方の側に偏っている場合には、補間補正済み画素信号は、この他方の側の画素信号ＰGに近い値にある。このために、通常の補間による補正では、安定した正確な補正結果が得られにくい。
【０１１１】
第２演算部８７は、第１及び第２エッジ量ΔY，ΔXの差Ｄが所定閾値（０）よりも大きく、第２の画素混合において被写体のエッジをまたいだ画素混合が行われた可能性がある欠陥混合画素に対して、その画素信号ＱGを補正する補間補正済み画素信号を作成する場合には、この欠陥混合画素に対してエッジに沿った方向（Ｘ方向）にある画素信号ＰGだけを用いて補間補正済み画素信号を作成する。そして、補正方法選択部８９は、欠陥混合画素の画素信号ＱGを、エッジに沿った方向にある画素信号ＰGだけを用いて作成された補間補正済み画素信号に置き換える（Ｓ２０）。すなわち、被写体のエッジをまたいだ画素混合が行われた可能性がある欠陥混合画素の画素信号ＱGは、同じように被写体のエッジをまたいだ画素混合が行われた可能性がある近傍の正常混合画素の画素信号ＰGだけを使用して、補間による補正をする。なお、補間補正済み画素信号の作成や画素信号ＱGとの置き換えが、補正ステップである。
【０１１２】
被写体のエッジをまたいだ画素混合が行われた可能性がある欠陥混合画素の画素信号ＱGは、例えば、被写体のエッジ上にある画素信号であり、その補正目標は、同じように被写体のエッジ上にあり、補正の必要のない近傍の正常混合画素の画素信号である。このため、上述のようにエッジに沿った補間によって画素信号を補正すれば、正確な補正をすることができる。
【０１１３】
なお、第１及び第２エッジ量ΔY，ΔXの差Ｄが所定の閾値「０」以下の場合に（Ｓ１９でＮＯ）、補正すべき欠陥混合画素の近傍にＸ方向に沿ったエッジはないので、通常のゲイン補正や補間による補正によって画素信号ＱGを好適に補正することができる（Ｓ１６）。
【０１１４】
さらに具体的な例によって、上述の補正の作用を説明する。図１６に示すように、通常画像データ７１において、画素信号ＫG，Ｋgの欠陥画素の丁度真下に、Ｘ方向に沿ったエッジ１０１が通り、エッジ１０１の上側（Ｙ方向の上流側）が暗い領域（以下、暗領域という）１０２、エッジ１０１の下側（Ｙ方向下流側）が明るい領域（以下、明領域という）１０３である被写体を撮影したとする。また、位相差ピクセル５２ａ，５２ｂの感度は、通常ピクセル５１ａ，５１ｂの感度の１／２であり、暗領域１０２の画素信号ＩG，Ｉgの値が「５０」、暗領域１０２の画素信号ＫG，Ｋgの値が「２５」、明領域１０３の画素信号ＩG，Ｉgの値が「２００」、明領域１０３の画素信号ＫG，Ｋgの値が「１００」であるとする。
【０１１５】
この通常画像データ７１に対して第１の画素混合をして、第１混合画像データ７２を生成すると、図１７に示すように、被写体のエッジ１０１は、画素信号ＮGの欠陥混合画素の真下にあり、かつＸ方向に平行である。そして、暗領域１０２では、画素信号ＭGの値は「１００（＝５０＋５０）」であり、画素信号ＮGの値は「５０（＝２５＋２５）」である。また、明領域１０３では、画素信号ＭGの値は「４００（＝２００＋２００）」であり、画素信号ＮGの値（図示しない）の値は「２００（＝１００＋１００）」である。また、図１７において破線で結びつけてある混合画素が第２の画素混合によって混合されるものである。
【０１１６】
この第１混合画像データ７１に対して第２の画素混合をして、第２混合画像データ７３を生成すると、図１８に示すように、被写体のエッジ１０１が第２の画素混合でエッジ１０１をまたいで混合された画素信号の列（以下、エッジという）１０４になる。また、このエッジ１０４よりも上側が暗領域１０６であり、下側が明領域１０３である。そして、第２の画素混合によって生成される第２混合画素の画素信号が、２つの画素信号の平均から求められる場合に、暗領域１０６の画素信号ＰGの値は「１００（＝（１００＋１００）／２）」であり、画素信号ＱGの値は「７５（＝（５０＋１００）／２）」である。また、明領域１０７の画素信号ＰGの値は「４００（＝（４００＋４００）／２）」であり、画素信号ＱGの値は「３００（＝（２００＋４００）／２）」である。さらに、エッジ１０４上の画素信号ＰGの値は「２５０（＝（１００＋４００）／２）」であり、画素信号ＱGの値は「２２５（＝（５０＋４００）／２）」である。
【０１１７】
図１８の中心にあるエッジ１０４上の欠陥混合画素１１１（画素信号ＱG＝２２５）を各種方法で補正する場合を考える。まず、通常のゲイン補正をする場合、暗領域１０６における画素信号ＰGと画素信号ＱGの比は４：３であり、明領域１０７における画素信号ＰGと画素信号ＱGの比も４：３であるから、第１演算部８６が算出するゲインγは４／３である。このゲインγを欠陥混合画素１１１の画素信号ＱGにかけて得られるゲイン補正済み画素信号の値は「３００（＝２２５×４／３）」である。
【０１１８】
しかし、欠陥混合画素１１１の画素信号ＱGの補正目標値（最も正確に補正された場合の値）は、エッジ１０４上にある正常混合画素１１２ａ，１１２ｅと同じ「２５０」である。そのために、欠陥混合画素１１１をゲイン補正すると、エッジ１０４上に周辺よりも明るい画素になって、補正痕が目立つことになる。
【０１１９】
一方、欠陥混合画素１１１の周辺にある８個の画素１１２ａ〜１１２ｈを用い、エッジ検出部８８によってエッジ１０４を検出する場合は、δX1＝｜２５０−２５０｜＝０，δX2＝｜１００−１００｜＝０，δX3＝｜４００−４００｜＝０であるので、第１エッジ量ΔX＝０である。また、δY1＝｜７５−３００｜＝２２５，δY2＝｜１００−４００｜＝３００，δY3＝｜１００−４００｜＝３００であるから、第２エッジ量ΔY＝８２５である。このため、第１及び第２エッジ量ΔY，ΔXの差Ｄの値は、Ｄ＝８２５−０＝８２５＞０なので、欠陥混合画素１１１がＸ方向に沿ったエッジ１０４上にあることが検出される。
【０１２０】
そして、第２演算部８７は、欠陥混合画素１１１の左右方向（Ｘ方向）で最も近い位置にある正常混合画素１１２ａと１１２ｅの各画素信号ＰGの平均値「２５０」を補間補正済み画素信号とする。補正方法選択部８９は、欠陥混合画素１１１の画素信号ＱGをこの補間補正済み画素信号「２５０」に置き換えるので、欠陥混合画素１１１の画素信号ＱGは補正目標値に合致し、正確に補正される。
【０１２１】
なお、欠陥混合画素１１１の左右にある最も近い正常混合画素１１２ａ，１１２ｅと、欠陥混合画素１１１の斜め方向に隣接する正常混合画素１１２ｂ，１１２ｄ，１１２ｆ，１１２ｈの各画素信号ＰGを用いて補間補正済み画素信号を算出すると、その値は「２５０（＝（１００＋１００＋２５０＋２５０＋４００＋４００）／６）」である。このため、通常の補間による補正によっても欠陥混合画素１１１の画素信号ＱGを正確に補正することができるようにみえる。しかし、実際の被写体では、暗領域１０６の画素１１２ｂ，１１２ｄや明領域１０７の正常混合画素１１２ｆ，１１２ｈの各画素信号ＰGも補間補正済み画素信号に用いているために、誤差が大きくなることがある。これに対して、上述の第１方向のエッジ１０４に沿った補間による補正をすれば、エッジ１０４の画素だけを考慮してエッジ１０４上の欠陥混合画素１１１を補正できるので、実際の被写体でも誤差が少なく抑えられ、より正確な補正が可能である。
【０１２２】
上記実施形態では、第１及び第２エッジ量ΔY，ΔXの差Ｄが所定の閾値以下の場合には、従来の補正方法（Ｓ１６）によって第２画素混合データ７３の欠陥混合画素を補正しているが、第１及び第２エッジ量ΔY，ΔXの差Ｄが所定の閾値以下の場合に、図１９のＳ２７に示す条件を満たす場合には、ゲイン補正によって欠陥混合画素の画素信号を補正することが好ましい。
【０１２３】
図１９に示すように、第１及び第２エッジ量ΔY，ΔXの差Ｄが、所定閾値（例えば「０」）以下の場合に（Ｓ２０でＮＯ）、第１演算部８６が算出するゲイン補正済み画素信号Ｃｇと、第２演算部８７が算出する補間補正済み画素信号Ｃａの差の大きさ｜Ｃａ−Ｃｇ｜を算出し、閾値ＣTHと比較する（Ｓ２７）。そして、ゲイン補正済み画素信号Ｃｇと補間補正済み画素信号Ｃａの差｜Ｃａ−Ｃｇ｜が閾値ＣTHよりも大きい場合（Ｓ２７；Ｙｅｓ）は、欠陥混合画素の画素信号をゲイン補正済み画素信号に置き換える（Ｓ２８）。
【０１２４】
このように、第１及び第２エッジ量ΔY，ΔXの差Ｄが所定の閾値以下の場合に、さらにゲイン補正済み画素信号Ｃｇと補間補正済み画素信号Ｃａを比較し、ゲイン補正済み画素信号Ｃｇと補間補正済み画素信号Ｃａの値が大きく乖離している場合には、ゲイン補正済み画素信号Ｃｇを優先的に用いるようにすると、細かい縦縞状の被写体を撮影した場合に、好適な補正結果が得られる。
【０１２５】
図２０に示すように、比較的短い周期の縦縞の被写体を撮影し、通常画像データ７１において、エッジ１２１Ａ，１２１Ｂ、暗領域１２３Ａ，１２３Ｂ、明領域１２４があると仮定する。また、位相差ピクセル５２ａ，５２ｂの感度は通常ピクセル５１ａ，５１ｂの１／２であり、暗領域１２３Ａ，１２３Ｂの画素信号ＩG，Ｉgの値が「５０」、暗領域１２３Ａ，１２３Ｂの画素信号ＫG，Ｋgの値が「２５」、明領域１２４の画素信号ＩG，Ｉgの値が「２００」、明領域１２４の画素信号ＫG，Ｋgの値が「１００」であるとする。
【０１２６】
この場合、図２１に示すように、第１画素混合データ７２では、暗領域１２３Ａ，１２３Ｂの画素信号ＭGの値は「１００」，画素信号ＮGの値は「５０」（図示しない）であり、明領域１２４の画素信号ＭGの値は「４００」，画素信号ＮGの値は「３００」である。また、破線で結びつけてある画素信号が、第２の画素混合で混合される画素信号であるから、第２の画素混合においてもエッジ１２１Ａ，１２１Ｂをまたいで画素信号が加算されるものはない。したがって、図２２に示すように、第２画素混合データ７３では、暗領域１２３Ａ，１２３Ｂの画素信号ＰGの値は「１００」、画素信号ＱGの値は「７５」（図示しない）であり、明領域１２４の画素信号ＰGの値は「４００」，画素信号ＱGの値は「３００」である。
【０１２７】
次に、図２２の中央の欠陥混合画素１３１の画素信号ＱGを補正する場合を考える。第１エッジ量ΔXの値は「３００」であり、第２エッジ量ΔYの値は「０」であるので、第１及び第２エッジ量ΔX，ΔYの差Ｄは負である（Ｄ＝−３００＜０）。このため、第１演算部８６と第２演算部８７によってそれぞれゲイン補正済み画素信号Ｃｇと補間補正済み画素信号Ｃａがそれぞれ算出される。
【０１２８】
まず、ゲイン補正済み画素信号Ｃｇについては、暗領域１２３Ａ，１２３Ｂにおいても明領域１２４においても、画素信号ＰGと画素信号ＱGの比は４：３であるので、ゲインγは４／３である。このため、欠陥混合画素１３１のゲイン補正済み画素信号Ｃｇは「４００」である。一方、補間補正済み画素信号Ｃａは、欠陥混合画素１３１の周辺の混合画素１３２ａ〜１３２ｈのうち正常混合画素１３２ａ，１３２ｂ，１３２ｄ〜１３２ｆ，１３２ｈの各画素信号ＰGの平均値で算出される。このため、補間補正済み画素信号Ｃａは「２００」である。
【０１２９】
したがって、ゲイン補正済み画素信号Ｃｇと補間補正済み画素信号Ｃａには２倍の違いがあり、その差は「２００」である。また、欠陥混合画素１３１の画素信号ＱGの補正目標値は、同じ明領域１２４にある正常混合画素の画素信号ＰGと同じ「４００」であるから、細かい縦縞状の被写体を撮影した場合に正確な補正が可能なのはゲイン補正である。このため、ゲイン補正済み画素信号Ｃｇと補間補正済み画素信号Ｃａの差が大きい場合にゲイン補正が行われるようにしておけば、細かい縦縞状の被写体を撮影した場合でも好適な補正結果が得られる。
【０１３０】
上記実施形態では、カラーイメージセンサ２６に画素混合部４６が設けられており、画素混合モードで撮影をする場合に、カラーイメージセンサ２６が画素混合をしたＲＡＷデータを出力している。この代わりに、画素混合部４６をカラーイメージセンサ２６の外部（例えば、画素信号処理部３２）に設けてもよい。この場合に、カラーイメージセンサ２６は、常に通常画像データ７１を出力し、画素信号処理部３２で画素混合と、欠陥画素及び欠陥混合画素の補正を行う。
【０１３１】
また、画素信号補正処理部８１は、画素信号処理部３２に設けられているが、画素信号補正処理部８１をカラーイメージセンサ２６に設けてもよい。この場合に、画素混合モードで撮影するときは、カラーイメージセンサ２６で画素混合をし、その上で欠陥画素及び欠陥混合画素の補正をした画像データをＲＡＷデータとして出力させてもよい。
【０１３２】
被写体のエッジを検出する場合に、通常画像データ７１や第１混合画像データ７２を用いてもよい。通常画像データ７１や第１混合画像データ７２からエッジを検出する場合に、Ｘ方向の画素信号の差とＹ方向の画素信号の差を算出し、これらを比較することで、画素信号の差が最大の方向に対して垂直な方向にエッジがあることを検出できる。
【０１３３】
エッジ検出部８８は、Ｘ方向とＹ方向の２方向についてエッジ量ΔX，ΔYを算出しているが、さらに斜め方向等、他の方向のエッジ量を算出してもよい。すなわち、第２の画素混合において、画素信号を加算する方向に垂直なエッジを検出することができれば、エッジ量を算出する方向は任意である。３以上の方向についてエッジ量を算出する場合に、各方向のエッジ量の算出方法は、上記実施形態に準じる。また、３以上の方向についてエッジ量を算出する場合に、これらを比較し、エッジ量が最も大きい方向を検出すれば、この方向に垂直な方向にエッジがあることが検出できる。
【０１３４】
画素混合モードで撮影する場合に、合計で４個の画素信号を混合した第２混合画像データ７３を生成しているが、混合する画素信号の数は任意である。例えば、２個の画素信号を混合する場合でも、通常ピクセルと位相差ピクセルの画素信号を混合するものであれば、本発明は好適である。また、３以上の画素信号を混合した混合画像データを生成してもよい。
【０１３５】
欠陥画素及び欠陥混合画素を補間によって補正する場合に、補正すべき欠陥画素等の周囲にある数個の画素の画素信号を平均した値を補間補正済み画素信号としているが、補間の具体的な処理方法は任意である。例えば、多項式補間やスプライン補間によって補間補正済み画素信号を生成してもよい。
【０１３６】
カラーイメージセンサ２６の画素配列及び色配列がハニカムＥＸＲと呼ばれる配列になっているが、異種画素混合を行って画素混合データを生成するものであれば、カラーイメージセンサの画素配列及び色配列は任意である。例えば、ベイヤ配列のイメージセンサに位相差ピクセルを設ける場合においても、同種画素混合及び異種画素混合をして混合画素データを生成するのであれば、本発明を好適に用いることができる。
【０１３７】
第１ピクセル群と第２ピクセル群の斜め方向に隣接するピクセルの画素信号を混合し、その後、Ｙ方向の同色の２つの画素信号を混合しているが、画素混合をする画素信号の組み合わせや順序は任意である。
【０１３８】
また、第１の画素混合では画素信号を加算し、第２の画素混合では画素信号を平均しているが、画素混合を加算により行うか、平均により行うかは任意である。例えば、第１の画素混合を画素信号の平均で行なってもよい。また、第２の画素混合を画素信号の加算で行なってもよい。
【０１３９】
第１及び第２ピクセル群においてＸ方向及びＹ方向に４ピクセル毎に位相差ピクセル５２ａ，５２ｂが設けられているが、撮像部４０における位相差ピクセル５２ａ，５２ｂの配列は任意である。例えば、第１ピクセル群の位相差ピクセル５２ａと第２ピクセル群の位相差ピクセル５２ｂが隣接して設けられているが、これらは隣接していなくてもよい。
【０１４０】
カラーイメージセンサは、加色法の三原色であるＢ，Ｇ，Ｒの３種類のピクセルを有するが、更に特色例えば肌色のピクセル等を加えて４種類以上にしてもよい。また、加色法の三原色の代わりに、減色法の三原色であるＹ，Ｍ，Ｃのピクセルを用いてもよい。また、通常画素は全色に対して設けられ、位相差ピクセルはＧに対応して１種類だけ設けられている。しかし、位相差ピクセルは、２種類以上でもよい。例えば、Ｇ，Ｂ，Ｒの全色に対して位相差ピクセルを設けてもよい。
【０１４１】
なお、本発明は、デジタルカメラ、ビデオカメラの他に、カメラ機能が搭載された携帯電子機器（携帯電話機、ＰＤＡ、スマートフォン、ノート型コンピュータ等）にも利用することができる。
【符号の説明】
【０１４２】
１１  デジタルカメラ
２６  カラーイメージセンサ
５１ａ，５１ｂ  通常ピクセル
５２ａ，５２ｂ  位相差ピクセル
７１  通常画像データ
７２  第１混合画像データ
７３  第２混合画像データ
８１  画素信号補正処理部
１０１，１０４，１２１Ａ，１２１Ｂ  エッジ
【図１】
0005801002.tif 000002
【図２】
0005801002.tif 000003
【図３】
0005801002.tif 000004
【図４】
0005801002.tif 000005
【図５】
0005801002.tif 000006
【図６】
0005801002.tif 000007
【図７】
0005801002.tif 000008
【図８】
0005801002.tif 000009
【図９】
0005801002.tif 000010
【図１０】
0005801002.tif 000011
【図１１】
0005801002.tif 000012
【図１２】
0005801002.tif 000013
【図１３】
0005801002.tif 000014
【図１４】
0005801002.tif 000015
【図１５】
0005801002.tif 000016
【図１６】
0005801002.tif 000017
【図１７】
0005801002.tif 000018
【図１８】
0005801002.tif 000019
【図１９】
0005801002.tif 000020
【図２０】
0005801002.tif 000021
【図２１】
0005801002.tif 000022
【図２２】
0005801002.tif 000023