(57)【要約】【課題】リアルタイムで画素異常を検出することができる画像処理装置、撮像装置、画素異常検出方法およびプログラムを提供する。【解決手段】撮像素子２４によって生成された画像データに基づいて、単位画素毎に複数の光電変換素子の各々の出力値を比較して異常出力を検出する比較部３１１と、比較部３１１が異常出力を検出した単位画素における複数の光電変換素子の各々の出力値を用いて異常を推定する推定部３１２と、を備える。【選択図】図１
2018152829.tif 000002
【特許請求の範囲】
【請求項１】
複数の光電変換素子を１組の単位画素とし、該単位画素を二次元マトリクス状に複数配置した受光部と、前記単位画素毎に設けられ、前記単位画素の受光面に積層されてなるマイクロレンズと、を備える撮像素子によって生成された画像データに基づいて、前記単位画素毎に前記複数の光電変換素子の各々の出力値を比較して異常出力を検出する比較部と、
前記比較部が前記異常出力を検出した前記単位画素における前記複数の光電変換素子の各々の出力値を用いて異常を推定する推定部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記比較部は、隣接する前記単位画素の同じ位置の前記光電変換素子が出力した出力値の比率を比較することによって前記異常出力を検出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記推定部は、前記比較部によって前記単位画素における前記複数の光電変換素子の各々の出力値のうち、１つの出力値が他の出力値と異なると検出された場合、該１つの出力値を出力した前記光電変換素子を第１の画素異常であると推定することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記推定部は、前記比較部によって前記単位画素における前記複数の光電変換素子の各々の出力値のうち、一部の出力値が他の出力値と異なるレベルであると検出された場合、該一部の出力値を出力した前記光電変換素子を前記第１の画素異常と異なる第２の画素異常であると推定することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記第２の画素異常は、ゴースト光により生じる画素異常であり、
前記推定部は、前記単位画素における前記第２の画素異常の位置と他の光電変換素子の位置とに基づいて、前記ゴースト光の入射方向を推定することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記第１の画素異常は、点滅欠陥であることを特徴とする請求項２〜４のいずれか１つに記載の画像処理装置。
【請求項７】
前記推定部は、前記比較部が前記異常出力を検出した複数の前記単位画素の各々における前記複数の光電変換素子の各々が出力する出力値を用いて異常を推定することを特徴とする請求項３に記載の画像処理装置。
【請求項８】
前記推定部は、複数の前記単位画素の各々が前記比較部によって前記複数の光電変換素子の各々の出力値のうち、一部の出力値が他の出力値と異なるレベルであると検出された場合、該一部の出力値を出力した前記光電変換素子を前記第１の画素異常と異なる第２の画素異常であると推定することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記推定部は、異常と推定した前記光電変換素子の位置に関する位置情報を出力することを特徴とする請求項１〜８のいずれか１つに記載の画像処理装置。
【請求項１０】
前記推定部による推定の実施を指示する指示信号の入力を受け付ける入力部をさらに備え、
前記推定部は、前記入力部から前記指示信号が入力された場合、前記比較部が前記異常出力を検出した前記単位画素における前記複数の光電変換素子の各々の出力値を用いて異常を推定することを特徴とする請求項１〜９のいずれか１つに記載の画像処理装置。
【請求項１１】
前記撮像素子と、
請求項１〜１０のいずれか１つに記載の画像処理装置と、
前記撮像素子の受光面に被写体像を結像するレンズ部と、
を備えることを特徴とする撮像装置。
【請求項１２】
複数の光電変換素子を１組の単位画素とし、該単位画素を二次元マトリクス状に複数配置した受光部と、前記単位画素毎に設けられ、前記単位画素の受光面に積層されてなるマイクロレンズと、を備える撮像素子によって生成された画像データに基づいて、前記単位画素毎に前記複数の光電変換素子の各々の出力値を比較して異常出力を検出する比較ステップと、
前記比較ステップにおいて前記異常出力を検出した前記単位画素における前記複数の光電変換素子の各々の出力値を用いて異常を推定する推定ステップと、
を含むことを特徴とする画素異常検出方法。
【請求項１３】
画像処理装置に、
複数の光電変換素子を１組の単位画素とし、該単位画素を二次元マトリクス状に複数配置した受光部と、前記単位画素毎に設けられ、前記単位画素の受光面に積層されてなるマイクロレンズと、を備える撮像素子によって生成された画像データに基づいて、前記単位画素毎に前記複数の光電変換素子の各々の出力値を比較して異常出力を検出する比較ステップと、
前記比較ステップにおいて前記異常出力を検出した前記単位画素における前記複数の光電変換素子の各々の出力値を用いて異常を推定する推定ステップと、
を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像部によって生成された画像データに対応する画像の画素異常を判定する画像処理装置、撮像装置、画素異常検出方法およびプログラムに関する。
【背景技術】
【０００２】
従来、デジタルカメラ等の撮像装置において、瞳分割位相差方式によって焦点検出を行う技術が知られている（特許文献１参照）。この技術では、ＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）等の撮像素子の画素毎に２つの光電変換部と１つのマイクロレンズとを設け、この２つの光電変換部の各々から出力された２つの電気信号に基づいて、焦点検出を行う。
【０００３】
このような撮像素子は、製造時に全ての画素を正常な画素として製造することが非常に困難であり、入射光量に応じた電気信号を出力しない画素異常が発生するという問題が生じる。この問題を解決するため、撮像素子を構成する複数の光電変換部のうち、所定数の光電変換部の各々から出力される電気信号の平均値を算出し、この平均値を基準とする所定の範囲にない電気信号を出力した光電変換部を画素異常として検出する技術が知られている（特許文献２参照）。この技術では、所定数の光電変換部の各々から出力される電気信号の標準偏差を算出し、この算出した標準偏差の値に基づいて、平均値を算出するための光電変換部の数を設定する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−１２４９８４号公報
【特許文献２】特開２０１４−５７１４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した特許文献２では、平均値を算出するための数を設定するために複数回の標準偏差を算出しなければならないため、処理時間が遅延することによって、リアルタイムで画素異常を検出することができなかった。
【０００６】
本発明は、上記に鑑みてなされたものであって、リアルタイムで画素異常を検出することができる画像処理装置、撮像装置、画素異常検出方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、複数の光電変換素子を１組の単位画素とし、該単位画素を二次元マトリクス状に複数配置した受光部と、前記単位画素毎に設けられ、前記単位画素の受光面に積層されてなるマイクロレンズと、を備える撮像素子によって生成された画像データに基づいて、前記単位画素毎に前記複数の光電変換素子の各々の出力値を比較して異常出力を検出する比較部と、前記比較部が前記異常出力を検出した前記単位画素における前記複数の光電変換素子の各々の出力値を用いて異常を推定する推定部と、を備えることを特徴とする。
【０００８】
また、本発明に係る画像処理装置は、上記発明において、前記比較部は、隣接する前記単位画素の同じ位置の前記光電変換素子が出力した出力値の比率を比較することによって前記異常出力を検出することを特徴とする。
【０００９】
また、本発明に係る画像処理装置は、上記発明において、前記推定部は、前記比較部によって前記単位画素における前記複数の光電変換素子の各々の出力値のうち、１つの出力値が他の出力値と異なると検出された場合、該１つの出力値を出力した前記光電変換素子を第１の画素異常であると推定することを特徴とする。
【００１０】
また、本発明に係る画像処理装置は、上記発明において、記推定部は、前記比較部によって前記単位画素における前記複数の光電変換素子の各々の出力値のうち、一部の出力値が他の出力値と異なるレベルであると検出された場合、該一部の出力値を出力した前記光電変換素子を前記第１の画素異常と異なる第２の画素異常であると推定することを特徴とする。
【００１１】
また、本発明に係る画像処理装置は、上記発明において、前記第２の画素異常は、ゴースト光により生じる画素異常であり、前記推定部は、前記単位画素における前記第２の画素異常の位置と他の光電変換素子の位置とに基づいて、前記ゴースト光の入射方向を推定することを特徴とする。
【００１２】
また、本発明に係る画像処理装置は、上記発明において、前記第１の画素異常は、点滅欠陥であることを特徴とする。
【００１３】
また、本発明に係る画像処理装置は、上記発明において、前記推定部は、前記比較部が前記異常出力を検出した複数の前記単位画素の各々における前記複数の光電変換素子の各々が出力する出力値を用いて異常を推定することを特徴とする。
【００１４】
また、本発明に係る画像処理装置は、上記発明において、前記推定部は、複数の前記単位画素の各々が前記比較部によって前記複数の光電変換素子の各々の出力値のうち、一部の出力値が他の出力値と異なるレベルであると検出された場合、該一部の出力値を出力した前記光電変換素子を前記第１の画素異常と異なる第２の画素異常であると推定することを特徴とする。
【００１５】
また、本発明に係る画像処理装置は、上記発明において、前記推定部は、異常と推定した前記光電変換素子の位置に関する位置情報を出力することを特徴とする。
【００１６】
また、本発明に係る画像処理装置は、上記発明において、前記推定部による推定の実施を指示する指示信号の入力を受け付ける入力部をさらに備え、前記推定部は、前記入力部から前記指示信号が入力された場合、前記比較部が前記異常出力を検出した前記単位画素における前記複数の光電変換素子の各々の出力値を用いて異常を推定することを特徴とする。
【００１７】
また、本発明に係る撮像装置は、上記の撮像素子と、上記の画像処理装置と、前記撮像素子の受光面に被写体像を結像するレンズ部と、を備えることを特徴とする。
【００１８】
また、本発明に係る画素異常検出方法は、複数の光電変換素子を１組の単位画素とし、該単位画素を二次元マトリクス状に複数配置した受光部と、前記単位画素毎に設けられ、前記単位画素の受光面に積層されてなるマイクロレンズと、を備える撮像素子によって生成された画像データに基づいて、前記単位画素毎に前記複数の光電変換素子の各々の出力値を比較して異常出力を検出する比較ステップと、前記比較ステップにおいて前記異常出力を検出した前記単位画素における前記複数の光電変換素子の各々の出力値を用いて異常を推定する推定ステップと、を含むことを特徴とする。
【００１９】
また、本発明に係るプログラムは、画像処理装置に、複数の光電変換素子を１組の単位画素とし、該単位画素を二次元マトリクス状に複数配置した受光部と、前記単位画素毎に設けられ、前記単位画素の受光面に積層されてなるマイクロレンズと、を備える撮像素子によって生成された画像データに基づいて、前記単位画素毎に前記複数の光電変換素子の各々の出力値を比較して異常出力を検出する比較ステップと、前記比較ステップにおいて前記異常出力を検出した前記単位画素における前記複数の光電変換素子の各々の出力値を用いて異常を推定する推定ステップと、を実行させることを特徴とする。
【発明の効果】
【００２０】
本発明によれば、リアルタイムで画素異常を検出することができるという効果を奏する。
【図面の簡単な説明】
【００２１】
【図１】図１は、本発明の実施の形態１に係る撮像装置の機能構成を示すブロック図である。
【図２】図２は、本発明の実施の形態１に係る撮像素子を含む撮像部の構成を模式的に示す断面図である。
【図３】図３は、本発明の実施の形態１に係る撮像素子の構成を模式的に示す平面図である。
【図４】図４は、本発明の実施の形態１に係る撮像素子の単位画素の構成を模式的に示す斜視図である。
【図５Ａ】図５Ａは、本発明の実施の形態１に係る撮像素子の単位画素の別の構成を模式的に示す斜視図である。
【図５Ｂ】図５Ｂは、本発明の実施の形態１に係る撮像素子の単位画素の別の構成を模式的に示す斜視図である。
【図５Ｃ】図５Ｃは、本発明の実施の形態１に係る撮像素子の単位画素の別の構成を模式的に示す斜視図である。
【図６】図６は、本発明の実施の形態１に係る撮像装置が実行する処理の概要を示すフローチャートである。
【図７】図７は、図６の画素異常検出処理の概要を示すフローチャートである。
【図８】図８は、図７の画素異常検出処理で想到する単位画素の一例を示す図である。
【図９】図９は、図７の画素異常検出処理において１つのＰＤに点滅欠陥が発生した状況を示す図である。
【図１０】図１０は、図７の画素異常検出処理において単位画素に対して下方向からの入射光によりゴーストが発生している状況を示す図である。
【図１１】図１１は、本発明の実施の形態２に係る異常画素判定部が実行する画素異常検出処理の概要を示す図である。
【図１２】図１２は、図１１の画素異常検出処理で想到する隣接する単位画素の一例を示す図である。
【図１３】図１３は、図１２の隣接する単位画素の各ＰＤの出力値を模式的に示す図である。
【図１４】図１４は、本発明の実施の形態３に係る撮像装置が備える異常画素判定部が実行する画素異常検出処理の概要を示す図である。
【図１５】図１５は、図１４の画素異常検出処理において各ＰＤが通常画素の状況を示す図である。
【図１６】図１６は、図１４の画素異常検出処理において１つのＰＤに点滅欠陥が発生した状況を示す図である。
【図１７】図１７は、図１６の画素異常検出処理において単位画素に対して下方向からの入射光によりゴーストが発生している状況を示す図である。
【図１８】図１８は、図１６の画素異常検出処理において、弱いレベルのゴーストが発生している状況を示す図である。
【発明を実施するための形態】
【００２２】
以下、図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）について説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付して説明する。さらに、以下の説明では、画像処理装置の一例として、撮像装置に用いられる画像処理装置を説明する。
【００２３】
（実施の形態１）
〔撮像装置の構成〕
図１は、本発明の実施の形態１に係る撮像装置の機能構成を示すブロック図である。図１に示す撮像装置１は、撮像部２と、位相差画素処理部３と、画像処理部４と、外部メモリ５と、表示部６と、入力部７と、タッチパネル８と、バッテリー９と、内部メモリ１０と、バス１１と、システム制御部１２と、を備える。
【００２４】
撮像部２は、被写体を撮像して画像データを生成し、この生成した画像データを位相差画素処理部３およびバス１１へ出力する。撮像部２は、レンズ部２１と、絞り２２、シャッタ２３と、撮像素子２４と、を備える。
【００２５】
レンズ部２１は、被写体像を撮像素子２４の受光面に結像する。レンズ部２１は、複数のレンズを用いて構成され、システム制御部１２の制御のもと、被写体に対してズームまたはフォーカスを行う。
【００２６】
絞り２２は、システム制御部１２の制御のもと、レンズ部２１が集光した光の入射量を制限することによって露出の調整を行う。
【００２７】
シャッタ２３は、システム制御部１２の制御のもと、撮像素子２４の状態を露光状態または遮光状態に切り替える。シャッタ２３は、例えばフォーカルプレーンシャッタ等を用いて構成される。
【００２８】
撮像素子２４は、システム制御部１２の制御のもと、レンズ部２１が集光した被写体像の光束を受光して光電変換を行うことによって画像データ（電気信号）を生成して位相差画素処理部３およびバス１１へ出力する。
【００２９】
〔撮像素子の詳細な構成〕
ここで、上述した撮像素子２４の詳細な構成について説明する。
図２は、撮像素子２４を含む撮像部２の構成を模式的に示す断面図である。図３は、撮像素子２４の構成を模式的に示す平面図である。図４は、撮像素子２４の単位画素の構成を模式的に示す斜視図である。なお、図３において、水平方向をＨｎ（ｎ＝１以上の整数）とし、垂直方向をＶｎ（ｎ＝１以上の整数）として説明する。
【００３０】
図２〜図４に示すように、撮像素子２４は、複数の光電変換素子２４１を１組の単位画素Ｇ１とし、この単位画素Ｇ１を二次元マトリクス状に複数配置してなる受光部２４２と、Ｒ（赤色）、Ｇ（緑色）およびＢ（青色）のいずれか１つの光を透過するフィルタ（Ｒフィルタ、ＧフィルタおよびＢフィルタ）を単位画素Ｇ１毎に積層してなるベイヤー配列のカラーフィルタ２４３と、単位画素Ｇ１毎に設けられたマイクロレンズ２４４と、を備える。このように構成された撮像素子２４は、単位画素Ｇ１毎に、レンズ部２１の出射瞳Ｄ１、出射瞳Ｄ２、出射瞳Ｄ３（図示せず）、出射瞳Ｄ４（図示せず）および１つのマイクロレンズ２４４を透過した光束を互いに異なる受光位置の複数の光電変換素子２４１の各々で受光する。なお、図３では、撮像素子２４の一部の構成について説明したが、同様の光電変換素子分割構造は、撮像素子２４上の全領域になされており、特定領域（例えば中央領域）のみでなされているわけではない。
【００３１】
また、本実施の形態１では、単位画素Ｇ１を４つの光電変換素子２４１で構成していたが、これに限定されることなく、図５Ａ〜図５Ｃに示すように、単位画素Ｇ１を２つ以上の光電変換素子２４１を１組として構成するようにしてもよい。好ましくは、単位画素Ｇ１を３つ以上の光電変換素子２４１を１組として構成し、より好ましくは単位画素Ｇ１を４つ以上の光電変換素子２４１を１組として構成するようにしてもよい。この場合、図４と同様に、レンズ部２１の出射瞳は、光電変換素子２４１の数に応じて設定される。例えば、図５Ｃに示すように、３×３の９つの光電変換素子２４１で単位画素を構成する場合、レンズ部２１の出射瞳を９つに設定し、かつ、マイクロレンズ２４４を１つとする。
【００３２】
図１に戻り、撮像装置１の構成の説明を続ける。
位相差画素処理部３は、撮像部２が生成した画像データに基づいて、撮像部２の焦点状態を検出し、かつ、単位画素Ｇ１を構成する複数の光電変換素子２４１の各々の出力値を比較して異常出力を単位画素Ｇ１毎に検出する。位相差画素処理部３は、異常画素判定部３１と、焦点検出部３２と、を有する。なお、本実施の形態１では、位相差画素処理部３が画像処理装置として機能する。
【００３３】
異常画素判定部３１は、撮像部２が生成した画像データに基づいて、単位画素Ｇ１毎に単位画素Ｇ１を構成する複数の光電変換素子２４１の各々の出力値を比較して異常出力を検出し、この異常出力を検出した単位画素Ｇ１における複数の光電変換素子２４１の各々の出力値を用いて異常を推定する。異常画素判定部３１は、比較部３１１と、推定部３１２と、を有する。
【００３４】
比較部３１１は、単位画素Ｇ１毎に、単位画素Ｇ１を構成する複数の光電変換素子２４１の各々の出力値を比較して異常出力を検出する。
【００３５】
推定部３１２は、比較部３１１が異常出力を検出した単位画素Ｇ１における複数の光電変換素子２４１の各々の出力値を用いて異常を推定する。具体的には、比較部３１１は、単位画素Ｇ１における複数の光電変換素子２４１の各々の出力値のうち、１つの出力値が他の出力値と異なる場合、１つの出力値を出力した光電変換素子２４１を第１の画素異常として推定する。ここで、第１の画素異常とは、点滅欠陥（点滅欠陥画素）または長時間露光で発生する点滅欠陥（長時間露光で生じる点滅欠陥画素）である。また、推定部３１２は、単位画素Ｇ１における複数の光電変換素子２４１の各々の出力値のうち、一部の出力値が他の出力値と異なるレベルである場合、この一部の出力値を出力した複数の光電変換素子２４１を第２の画素異常であると推定する。ここで、第２の画素異常とは、ゴースト光によって出力値が異常を示すことである（異常画素）。さらに、推定部３１２は、第２の画素異常に対応する光電変換素子２４１と、他の光電変換素子２４１との位置から、撮像部２に入射したゴースト光の入射方向を推定する。
【００３６】
焦点検出部３２は、撮像部２が生成した画像データに基づいて、撮像部２の焦点状態を検出し、この検出した結果をシステム制御部１２へ出力する。
【００３７】
画像処理部４は、撮像部２が生成した画像データに対して、所定の画像処理を行って表示部６または外部メモリ５へ出力する。ここで、所定の画像処理とは、少なくとも、オプティカルブラック減算処理、ホワイトバランス調整処理、同時化処理、カラーマトリクス演算処理、γ補正処理、色再現処理およびエッジ強調処理、ノイズ低減処理等を含む基本の画像処理を行う。
【００３８】
外部メモリ５は、撮像装置１の外部から装着されるメモリカードを用いて構成され、図示しないメモリＩ／Ｆを介して撮像装置１に着脱自在に装着され、撮像部２が生成した画像データ（ＲＡＷデータ）や動画データ、画像処理部４が画像処理を施した画像データ（ＪＰＥＧ（Joint  Photographic  Experts  Group）形式の圧縮データ）を記録する。また、外部メモリ５は、システム制御部１２の制御のもと、バス１１を介して記録しているプログラム、画像データおよび各種情報を出力する。
【００３９】
表示部６は、システム制御部１２の制御のもと、バス１１を介して入力された画像データに対応する画像や撮像装置１の各種情報を表示する。表示部６は、液晶または有機ＥＬ（Electro  Luminescence）等を用いて構成される。
【００４０】
入力部７は、撮像装置１の各種の指示を与える。具体的には、入力部７は、撮像装置１の電源状態をオン状態またはオフ状態に切り替える電源スイッチ、静止画撮影の指示を与えるレリーズスイッチ、撮像装置１の各種設定を切り替える操作スイッチおよび動画撮影の指示を与える動画スイッチ等を有する。
【００４１】
タッチパネル８は、表示部６の表示領域に重畳して設けられ、外部からの物体が接触した接触位置を検出し、この検出した接触位置に応じた信号をバス１１へ出力する。
【００４２】
バッテリー９は、電池や昇圧回路を用いて構成され、撮像装置１を構成する各部に電力を供給する。
【００４３】
内部メモリ１０は、撮像装置１が実行する各種プログラムや処理中の各種情報を記録する。また、内部メモリ１０は、バス１１を介して撮像部２から入力される画像データ等を一時的に記録する。内部メモリ１０は、ＳＤＲＡＭ（Synchronous  Dynamic  Random  Access  Memory）やＦｌａｓｈメモリを用いて構成される。
【００４４】
バス１１は、撮像装置１の各構成部を接続する伝送路等を用いて構成され、撮像装置１の内部で発生した各種データを撮像装置１の各構成部に転送する。
【００４５】
システム制御部１２は、撮像装置１の各部を統括的に制御する。システム制御部１２は、ＣＰＵ（Central  Processing  Unit）やＡＳＩＣ（Application  Specific  Integrated  Circuit）等を用いて構成される。
【００４６】
〔撮像装置の処理〕
次に、撮像装置１が実行する処理について説明する。
図６は、撮像装置１が実行する処理の概要を示すフローチャートである。図６に示すように、システム制御部１２は、撮像部２に撮像を実行させ（ステップＳ１）、撮像部２によって生成された画像データに対応するライブビュー画像を表示部６に表示させる（ステップＳ２）。
【００４７】
続いて、異常画素判定部３１は、撮像部２が生成した画像データに対応する画像に対して、画素異常判定を開始する（ステップＳ３）。
【００４８】
その後、異常画素判定部３１は、撮像部２が生成した画像データに基づいて、単位画素Ｇ１毎に単位画素Ｇ１を構成する複数の光電変換素子２４１の各々の出力値を比較して画素異常を検出する画素異常検出処理を実行し（ステップＳ４）、画素異常判定を終了する（ステップＳ５）。なお、画素異常検出処理の詳細については、後述する。
【００４９】
続いて、焦点検出部３２は、撮像部２が生成した画像データに基づいて、撮像部２の焦点状態を検出して撮像部２の焦点を合焦させる（ステップＳ６）。
【００５０】
その後、入力部７に対して撮影の操作があった場合（ステップＳ７：Ｙｅｓ）、システム制御部１２は、撮像部２に撮影を実行させ、画像処理部４に撮像部２が生成した画像データに対して所定の画像処理を実行させて生成させた画像データを外部メモリ５に記録する（ステップＳ８）。この場合、システム制御部１２は、異常画素判定部３１が上述したステップＳ４で検出した撮像素子２４における異常と推定された光電変換素子２４１の位置に関する位置情報（撮像素子２４における画素座標）と、画素異常の種別（例えば点滅欠陥やゴーストによる異常）と、画像データと、を対応付けて外部メモリ５に記録する。例えば、システム制御部１２は、画像データのＥｘｉｆに画素異常の位置情報と画素異常の種別とを書き込むことによって外部メモリ５に記録する。なお、システム制御部１２は、異常画素判定部３１が上述したステップＳ４で検出した撮像素子２４における異常と推定された光電変換素子２４１の位置に関する位置情報（座標）と、画素異常の種別とを内部メモリ１０に記録してもよい。
【００５１】
続いて、入力部７に対して終了の操作があった場合（ステップＳ９：Ｙｅｓ）、撮像装置１は、本処理を終了する。これに対して、入力部７に対して終了の操作がなかった場合（ステップＳ９：Ｎｏ）、撮像装置１は、上述したステップＳ１へ戻る。
【００５２】
ステップＳ７において、入力部７に対して撮影の操作がなかった場合（ステップＳ７：Ｎｏ）、撮像装置１は、ステップＳ９へ移行する。
【００５３】
〔画素異常検出処理〕
次に、上述した図６のステップＳ４の画素異常検出処理の詳細について説明する。図７は、異常画素判定部３１が実行する画素異常検出処理の概要を示すフローチャートである。なお、図７においては、図８に示すように、４つの光電変換素子２４１（以下、左上から「ＰＤ１」、「ＰＤ２」、「ＰＤ３」および「ＰＤ４」という）を１組とする単位画素Ｇ１に対して画素異常を検出する例について説明する。また、以下において、４つのＰＤ１〜ＰＤ４のうちのいずれか１つを示す場合、単に「ＰＤ」と表現して記載する。さらに、以下においては、説明の便宜状、１つの単位画素Ｇ１に対して行う画素異常検出処理について説明するが、異常画素判定部３１は、撮像素子２４を構成する全ての単位画素Ｇ１に対して同様の画素異常検出処理を行う。
【００５４】
図７に示すように、まず、比較部３１１は、点滅欠陥の検出を開始し（ステップＳ１０１）、撮像部２が生成した画像データに基づいて、単位画素Ｇ１を構成する４つのＰＤ１〜ＰＤ４の各々が出力した出力値の比較を行い、複数の出力値のうち、いずれか１つの出力値が他の出力値よりも大きいことにより、１つのＰＤのみ異常が生じているか否かを判定する（ステップＳ１０２）。比較部３１１は、出力値の比較を行なう場合、レンズ部２１から撮像素子２４に入射される光量の特性から閾値を求めても良い。具体的には、射出瞳Ｄ１、Ｄ２の径とマイクロレンズ２４４上の結像面から前記射出瞳Ｄ１、Ｄ２までの距離で角度（射出瞳のＦｎｏ）が決まるため、事前に把握した撮像素子の特性から算出した値を用いて閾値とする。射出瞳のＦｎｏ、撮像素子２４の位置(中央部か周辺部か)によって閾値を変化させてもよい。閾値は、被写体により変化する為、ここでは倍率で規定する。一例としては、約５倍の差となる可能性がある為、輝度差の大小関係は５倍以上かどうかを閾値として、異常か否かを判断することが出来る。この閾値には、ノイズや被写体輝度を考慮した係数を考慮してもよい。被写体の輝度レベルが低い場合、ノイズの影響が大きくなることでの誤判定が懸念されるため、被写体輝度レベルに応じた係数を設定可能とする。後述に記載されるステップＳ１０５で判定するレベル差にも使用する。また、後述する実施の形態２、実施の形態３に対しても出力比較を実施する場合は、上記の判断を使用する。比較部３１１が１つのＰＤのみ異常が生じていると判定した場合（ステップＳ１０２：Ｙｅｓ）、推定部３１２は、単位画素Ｇ１を構成する４つのＰＤ１〜ＰＤ４のうち、他の出力値より大きい出力値を出力したＰＤを点滅欠陥と判定する（ステップＳ１０３）。具体的には、図９に示すように、推定部３１２は、ＰＤ１の出力値が他のＰＤ２〜ＰＤ４の出力値より大きい場合（ＰＤ１＞ＰＤ２，ＰＤ３，ＰＤ４）、単位画素Ｇ１を構成する４つのＰＤ１〜ＰＤ４のうち、他のＰＤ２〜ＰＤ４の出力値より大きい出力値を出力したＰＤ１を第１の画素異常である点滅欠陥と判定する。閾値設定として５倍となっている場合は、ＰＤ２〜ＰＤ４の最大値に対して５倍のレベル差があるかの判定を行なう。ステップＳ１０３の後、撮像装置１は、図６のメインルーチンへ戻る。
【００５５】
ステップＳ１０２において、比較部３１１が１つのＰＤのみ異常が生じていると判定していない場合（ステップＳ１０２：Ｎｏ）、撮像装置１は、ステップＳ１０４へ移行する。
【００５６】
続いて、比較部３１１は、上下左右方向のいずれかからのゴーストの検出を開始し（ステップＳ１０４）、単位画素Ｇ１を構成する４つのＰＤ１〜ＰＤ４の各々が出力した複数の出力値のうち、上下ペアの２つのＰＤまたは左右ペアの２つのＰＤの各々の出力値に所定レベル以上の差が生じているか比較する（ステップＳ１０５）。比較部３１１が単位画素Ｇ１を構成する４つのＰＤ１〜ＰＤ４の各々が出力した複数の出力値のうち、上下ペアの２つのＰＤまたは左右ペアの２つのＰＤの各々の出力値に所定レベル以上の差が生じると判定した場合（ステップＳ１０５：Ｙｅｓ）、推定部３１２は、上下からの入射光によるゴーストと判定する（ステップＳ１０６）。具体的には、推定部３１２は、図１０に示すように、下方向からの入射光によりゴーストが発生する場合において、上のペアの２つのＰＤ１とＰＤ２の平均出力値が下のペアの２つのＰＤ３とＰＤ４の平均出力値より大きいとき（(ＰＤ１＋ＰＤ２）／２＞（ＰＤ３＋ＰＤ４）／２）、下方向からの入射光によりＰＤ１およびＰＤ２にゴーストが発生した第２の画素異常と判定する。これに対して、推定部３１２は、上方向からの入射光によりゴーストが発生する場合において、下のペアの２つのＰＤ３とＰＤ４の平均出力値が上のペアの２つのＰＤ１とＰＤ２の平均出力値より大きいとき（（ＰＤ１＋ＰＤ２）／２＜（ＰＤ３＋ＰＤ４）／２）、上方向からの入射光によりＰＤ３およびＰＤ４にゴーストが発生した第２の画素異常と判定する。また、推定部３１２は、右方向からの入射光によりゴーストが発生する場合において、右のペアの２つのＰＤ２とＰＤ４の平均出力値が左のペアの２つのＰＤ１とＰＤ３の平均出力値より大きいとき（（ＰＤ２＋ＰＤ４）／２＞（ＰＤ１＋ＰＤ３）／２）、右方向からの入射光によりＰＤ２およびＰＤ４にゴーストが発生した第２の画素異常と判定する。さらに、推定部３１２は、左方向からの入射光によりゴーストが発生する場合において、左のペアの２つのＰＤ１とＰＤ３の平均出力値が右のペアの２つのＰＤ２とＰＤ４の平均出力値より大きいとき（（ＰＤ２＋ＰＤ４）／２＜（ＰＤ１＋ＰＤ３）／２）、左方向からの入射光によりＰＤ１およびＰＤ３にゴーストが発生した第２の画素異常と判定する。ステップＳ１０６の後、撮像装置１は、図６のメインルーチンへ戻る。
【００５７】
ステップＳ１０５において、比較部３１１が単位画素Ｇ１を構成する４つのＰＤ１〜ＰＤ４の各々が出力した複数の出力値のうち、上下ペアの２つのＰＤまたは左右ペアの２つのＰＤの各々の出力値に所定レベル以上の差が生じていないと判定した場合（ステップＳ１０５：Ｎｏ）、撮像装置１は、ステップＳ１０７へ移行する。
【００５８】
残りのＰＤの出力値で差が生じていないと判定した、推定部３１２は、単位画素Ｇ１を構成するＰＤ１〜ＰＤ４の各々が通常画素と判定する（ステップＳ１０７）。ステップＳ１０７の撮像装置１は、図６のメインルーチンへ戻る。
【００５９】
以上説明した本発明の実施の形態１によれば、比較部３１１が単位画素Ｇ１毎に複数の光電変換素子２４１の各々の出力値を比較して異常出力を検出し、比較部３１１が異常出力を検出した単位画素Ｇ１における複数の光電変換素子２４１の各々の出力値を用いて異常を推定するので、リアルタイムで画素異常を検出することができる。
【００６０】
また、本発明の実施の形態１によれば、推定部３１２が比較部３１１によって単位画素Ｇ１における複数の光電変換素子２４１の各々の出力値のうち、１つの出力値が他の出力値と異なると検出された場合、この１つの出力値を出力した光電変換素子２４１を第１の画素異常である点滅欠陥画素として検出することができる。
【００６１】
また、本発明の実施の形態１によれば、比較部３１１によって単位画素Ｇ１における複数の光電変換素子２４１の各々の出力値のうち、一部の出力値が他の出力値と異なるレベルであると検出された場合、この一部の出力値を出力した光電変換素子２４１を第２の画素異常として検出することができる。
【００６２】
なお、本発明の実施の形態１では、推定部３１２が撮像部２によって画像データが生成される毎に画素異常を検出していたが、例えば、入力部７から推定部３１２による推定の実施を指示する指示信号に応じて、単位画素Ｇ１における複数の光電変換素子２４１の各々の出力値を用いて異常を推定してもよい。即ち、推定部３１２は、入力部７の操作に応じた画素異常検出モードの設定の有無に応じて、単位画素Ｇ１における複数の光電変換素子２４１の各々の出力値を用いて異常を推定してもよい。
【００６３】
また、本実施の形態１では、推定部３１２が異常画素である点滅欠陥画素を検出した場合、画像処理部４が点滅欠陥画素の画素値を補正してもよい。例えば、画像処理部４は、以下の２つの補正方法にとって点滅欠陥画素の画素値を補正する。具体的には、画像処理部４は、図３において、座標がＨ５，Ｖ５のＰＤ１が点滅欠陥画素と検出された場合について行う補正方法について説明する。
補正方法１
画像処理部４は、同一単位画素内のＰＤ（図３のＰＤ２（Ｈ６，Ｖ５）、ＰＤ３（Ｈ５，Ｖ６）およびＰＤ４（Ｈ６，Ｖ６））の画素値を用いて補正する。
具体的には、画像処理部３は、点滅欠陥画素であるＰＤ１（Ｈ５，Ｖ５））の画素値を、ＰＤ２（Ｈ６，Ｖ５）の画素値、ＰＤ３（Ｈ５，Ｖ６）の画素値およびＰＤ４（Ｈ６，Ｖ６））の画素値で３点補間（画素値の平均値）することによって補正する。
補正方法２
画像処理部４は、隣り合う単位画素の同位置のＰＤの画素値で補正する。
具体的には、画像処理部３は、点滅欠陥画素であるＰＤ１（Ｈ５，Ｖ５））の画素値を、ＰＤ１（Ｈ９，Ｖ５）、ＰＤ１（Ｈ５，Ｖ１）、ＰＤ１（Ｈ１，Ｖ５）およびＰＤ１（Ｈ５，Ｖ９）の各々の画素値で上下左右補間（画素値の平均値）することによって補正する。
なお、画像処理部４は、上述した２つの補正方法を行う場合において、推定部３１２によって補正に用いる画素で点滅欠陥画素であると判定されているとき、その画素を補正に用いる画素から除外し、残りの画素の画素値を用いて補正する。
【００６４】
（実施の形態２）
次に、本発明の実施の形態２について説明する。本実施の形態２に係る撮像装置は、上述した実施の形態１に係る撮像装置１と同一の構成を有し、撮像装置が備える異常画素判定部が実行する画素異常検出処理が異なる。具体的には、上述した実施の形態１では、１つの単位画素Ｇ１を構成する４つのＰＤ１〜ＰＤ４の各々が出力する出力値を比較することによって、画素異常であるか否かを推定していたが、本実施の形態２では、隣接する単位画素間の同じ受光位置のＰＤが出力する出力値の比率を比較することによって、画素異常であるか否かを推定する。以下においては、本実施の形態２に係る撮像装置が備える異常画素判定部が実行する画素異常検出処理について説明する。なお、上述した実施の形態１に係る撮像装置１と同一の構成には同一の符号を付して説明を省略する。
【００６５】
〔画素異常検出処理〕
図１１は、本発明の実施の形態２に係る撮像装置１が備える異常画素判定部３１が実行する画素異常検出処理の概要を示すフローチャートである。なお、図１１においては、図１２に示すように、４つの光電変換素子２４１で構成される１組を単位画素Ｇ１（ＰＤ１１，ＰＤ１２，ＰＤ１３，ＰＤ１４）とし、この単位画素Ｇ１に隣接する同色のフィルタ（例えばＲフィルタ）が積層された４つの光電変換素子２４１で構成される１組を単位画素Ｇ２（ＰＤ２１，ＰＤ２２，ＰＤ２３，ＰＤ２４）とする。また、以下において、８つのＰＤ１１〜ＰＤ１４，ＰＤ２１〜ＰＤ２４のうちのいずれか１つを示す場合、単に「ＰＤ」と表現して記載する。また、図１３は、単位画素Ｇ１，Ｇ２の各ＰＤの出力値を模式的に示す図である。さらにまた、以下においては、説明の便宜状、２つの単位画素Ｇ１，Ｇ２に対して行う画素異常検出処理について説明するが、異常画素判定部３１は、撮像素子２４を構成する全ての単位画素に対して同様の画素異常検出処理を行う。
【００６６】
図１１に示すように、まず、比較部３１１は、点滅欠陥の検出を開始し（ステップＳ２０１）、撮像部２が生成した画像データに基づいて、隣接する単位画素Ｇ１，Ｇ２の同位置のＰＤの出力値の比率を算出する（ステップＳ２０２）。具体的には、図１２に示すように、比較部３１１は、ＰＤ１１／ＰＤ２１，ＰＤ１２／ＰＤ２２，ＰＤ１３／ＰＤ２３，ＰＤ１４／ＰＤ２４の各々の出力値の比率を算出する。具体的には、図１３に示すように、ＰＤ１１／ＰＤ２１＝１００／１０，ＰＤ１２／ＰＤ２２＝１００／１０，ＰＤ１３／ＰＤ２３＝１０００／１０，ＰＤ１４／ＰＤ２４＝１００／１０の各々の出力値の比率を算出する。
【００６７】
続いて、比較部３１１は、隣接する単位画素Ｇ１，Ｇ２における４つの受光位置の比率において、１つの比率だけ差異が大きいと判定した場合（ステップＳ２０３：Ｙｅｓ）、推定部３１２は、点滅欠陥と判定する（ステップＳ２０４）。この場合、推定部３１２は、比率が他の比率と異なる受光位置のＰＤを点滅欠陥と判定する。具体的には、図１２および図１３に示すように、推定部３１２は、単位画素Ｇ１および単位画素Ｇ２において、ＰＤ１３／ＰＤ２３の出力値の比率が他の比率と異なるため、ＰＤ１３およびＰＤ２３を点滅欠陥の候補として判定する。そして、比較部３１１は、単位画素Ｇ１におけるＰＤ１１〜ＰＤ１４の各々の出力値を比較する。その後、推定部３１２は、比較部３１１がＰＤ１３の出力値がＰＤ１１、ＰＤ１２およびＰＤ１４の出力値より大きいと判定した場合、ＰＤ１３を点滅欠陥が生じている第１の画素異常として判定する。一方、単位画素Ｇ１のＰＤ１１〜ＰＤ１４の出力値に差がない場合、推定部３１２は、単位画素Ｇ２に対して、同様の判定を行い、比較部３１１がＰＤ２１〜ＰＤ２４の各々の出力値を比較した結果に基づいて、ＰＤ２１〜Ｐ２４の各々の出力値のうち、出力値が大きいＰＤを点滅欠陥が生じている第１の画素異常として判定する。ステップＳ２０４の後、撮像装置１は、図６のメインルーチンへ戻る。
【００６８】
ステップＳ２０３において、比較部３１１が隣接する単位画素Ｇ１，Ｇ２における４つの受光位置の比率において、１つの比率だけ差異が大きくないと判定した場合（ステップＳ２０３：Ｎｏ）、推定部３１２は、単位画素Ｇ１，Ｇ２を構成する各ＰＤが通常画素と判定する（ステップＳ２０５）。ステップＳ２０５の後、撮像装置１は、図６のメインルーチンへ戻る。
【００６９】
以上説明した本発明の実施の形態２によれば、上述した実施の形態１と同様の効果を奏し、リアルタイムで画素異常を検出することができる。
【００７０】
（実施の形態３）
次に、本発明の実施の形態３について説明する。本実施の形態３に係る撮像装置は、上述した実施の形態１に係る撮像装置１と同一の構成を有し、撮像装置が実行する画素異常検出処理が異なる。具体的には、本実施の形態３では、複数の単位画素で出力値のばらつきが生じているか否かを判定することによって、点滅欠陥を判定する。以下においては、本実施の形態３に係る撮像装置が実行する画素異常検出処理について説明する。なお、上述した実施の形態１に係る撮像装置１と同一の構成には同一の符号を付して説明を省略する。
【００７１】
〔画素異常検出処理〕
図１４は、本発明の実施の形態３に係る撮像装置１が備える異常画素判定部３１が実行する画素異常検出処理の概要を示すフローチャートである。なお、図１４においては、上述した図８の４つの光電変換素子２４１（以下、左上から「ＰＤ１」、「ＰＤ２」、「ＰＤ３」および「ＰＤ４」という）を１組とする単位画素Ｇ１に対して画素異常を検出する例について説明する。また、以下において、４つのＰＤ１〜ＰＤ４のうちのいずれか１つを示す場合、単に「ＰＤ」と表現して記載する。さらに、以下においては、説明の便宜状、１つの単位画素Ｇ１に対して行う画素異常検出処理について説明するが、異常画素判定部３１は、撮像素子２４を構成する全ての単位画素Ｇ１に対して同様の画素異常検出処理を行う。
【００７２】
図１４に示すように、まず、比較部３１１は、画素異常の検出を開始し（ステップＳ３０１）、単位画素Ｇ１を構成する４つのＰＤ１〜ＰＤ４の各々が出力した４つの出力値のうち、最大値（ＭＡＸ）と最小値（ＭＩＮ）との差分が閾値Ｔｈ以上であるか否かを判定する（ステップＳ３０２）。比較部３１１が単位画素Ｇ１を構成する４つのＰＤ１〜ＰＤ４の各々が出力した４つの出力値のうち、最大値（ＭＡＸ）と最小値（ＭＩＮ）との差分が閾値Ｔｈ以上であると検出した場合（ステップＳ３０２：Ｙｅｓ）、撮像装置１は、後述するステップＳ３０４へ移行する。これに対して、単位画素Ｇ１を構成する４つのＰＤ１〜ＰＤ４の各々が出力した４つの出力値のうち、最大値（ＭＡＸ）と最小値（ＭＩＮ）との差分が閾値Ｔｈ以上でないと検出した場合（ステップＳ３０２：Ｎｏ）、撮像装置１は、後述するステップＳ３０３へ移行する。
【００７３】
ステップＳ３０３において、推定部３１２は、単位画素Ｇ１を構成する４つのＰＤ１〜ＰＤ４の各々が通常画素（正常画素）と判定する（ステップＳ３０３）。具体的には、図１５に示すように、推定部３１２は、単位画素Ｇ１を構成する４つのＰＤ１〜ＰＤ４の各々が出力した４つの出力値のうち、最大値（ＭＡＸ）と最小値（ＭＩＮ）との差分が閾値Ｔｈ以上でない場合、単位画素Ｇ１を構成する４つのＰＤ１〜ＰＤ４の各々が通常画素（正常画素）と判定する。ステップＳ３０３の後、撮像装置１は、図６のメインルーチンへ戻る。
【００７４】
ステップＳ３０４において、比較部３１１は、単位画素Ｇ１を構成する４つのＰＤ１〜ＰＤ４の各々の出力値を比較し、１つのＰＤのみで異常値が発生しているか否かを判定する。比較部３１１が単位画素Ｇ１を構成する４つのＰＤ１〜ＰＤ４の出力値を比較し、１つのＰＤのみで異常値が発生していると判定した場合（ステップＳ３０４：Ｙｅｓ）、推定部３１２は、異常値が発生している１つのＰＤを点滅欠陥と判定する（ステップＳ３０５）。具体的には、図１６に示すように、推定部３１２は、ＰＤ１の出力値が、他のＰＤ２，ＰＤ３およびＰＤ４の各々の出力値と異なる場合、ＰＤ１を第１の画素異常である点滅欠陥と判定する。ステップＳ３０５の後、撮像装置１は、図６のメインルーチンへ戻る。
【００７５】
ステップＳ３０４において、比較部３１１が単位画素Ｇ１を構成する４つの光電変換素子２４１の出力値を比較し、１つのＰＤのみで異常値が発生していないと判定した場合（ステップＳ３０４：Ｎｏ）、撮像装置１は、ステップＳ３０６へ移行する。
【００７６】
続いて、比較部３１１は、ゴーストの検出を開始し（ステップＳ３０６）、複数の単位画素Ｇ１で２つ以上のＰＤで異常値が発生する傾向が生じているか否かを判定する（ステップＳ３０７）。具体的には、比較部３１１は、同色のフィルタが積層された複数の単位画素Ｇ１同士で、２つ以上のＰＤで異常値が発生する傾向が生じているか否かを判定する。例えば、比較部３１１は、水平、垂直ラインにおける複数の単位画素Ｇ１、内部メモリ１０の容量に応じて定まる単位画素Ｇ１の数、および予め設定された水平および垂直の2つ以上の単位画素Ｇ１の数、のいずれか１つ以上の方法で各単位画素Ｇ１で２つ以上のＰＤで異常値が発生しているか否かを判定する。比較部３１１が複数の単位画素Ｇ１で２つ以上のＰＤで異常値が発生していると判定した場合（ステップＳ３０７：Ｙｅｓ）、推定部３１２は、ゴーストが生じていると判定する（ステップＳ３０８）。具体的には、図１７に示すように、推定部３１２は、下方向からの入射光によってＰＤ１，ＰＤ２にゴーストが生じていると判定する。また、図１８に示すように、推定部３１２は、弱いレベルのゴーストが発生した際の検出精度を高めるため、２×２以上単位画素領域で、所定数以上の単位画素でゴースト（例えば１≒２＞３≒４）が生じている場合、ゴーストと判定と判定する。これにより、通常被写体と弱いレベルのゴーストとを判定することができる。ステップＳ３０８の後、撮像装置１は、図６のメインルーチンへ戻る。
【００７７】
ステップＳ３０７において、比較部３１１が複数の単位画素Ｇ１で２つ以上のＰＤで異常値が発生する傾向が生じていないと判定した場合（ステップＳ３０７：Ｎｏ）、推定部３１２は、単位画素Ｇ１を構成する４つのＰＤのうち、２つ以上のＰＤで点滅欠陥が生じている連続点滅欠陥と判定する（ステップＳ３０９）。ステップＳ３０９の後、撮像装置１は、図６のメインルーチンへ戻る。
【００７８】
以上説明した本発明の実施の形態３によれば、上述した実施の形態１と同様の効果を奏し、リアルタイムで画素異常を検出することができる。
【００７９】
（その他の実施の形態）
また、本発明に係る撮像装置は、デジタルスチルカメラ以外にも、デジタルビデオカメラ、撮像機能を有するタブレット型携帯機器等の電子機器および内視鏡や顕微鏡で撮像された医療用、産業用分野の画像データに対応する画像を表示する表示装置等にも適用することができる。
【００８０】
また、本発明に係る撮像装置に実行させるプログラムは、インストール可能な形式または実行可能な形式のファイルデータでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital  Versatile  Disk）、ＵＳＢ媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【００８１】
また、本発明に係る撮像装置に実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。さらに、本発明に係る撮像装置に実行させるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【００８２】
なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。
【００８３】
このように、本発明は、ここでは記載していない様々な実施の形態を含みうるものであり、請求の範囲によって特定される技術的思想の範囲内で種々の設計変更等を行うことが可能である。
【符号の説明】
【００８４】
１・・・撮像装置；２・・・撮像部；３・・・位相差画素処理部；４・・・画像処理部
；５・・・外部メモリ；６・・・表示部；７・・・入力部；８・・・タッチパネル；９・・・バッテリー；１０・・・内部メモリ；１１・・・バス；１２・・・システム制御部；２１・・・レンズ部；２２・・・絞り；２３・・・シャッタ；２４・・・撮像素子；３１・・・異常画素判定部；３２・・・焦点検出部；２４１・・・光電変換素子；２４２・・・受光部；２４３・・・カラーフィルタ；２４４・・・マイクロレンズ；３１１・・・比較部；３１２・・・推定部；Ｇ１，Ｇ２・・・単位画素
【図１】
2018152829.tif 000003
【図２】
2018152829.tif 000004
【図３】
2018152829.tif 000005
【図４】
2018152829.tif 000006
【図５Ａ】
2018152829.tif 000007
【図５Ｂ】
2018152829.tif 000008
【図５Ｃ】
2018152829.tif 000009
【図６】
2018152829.tif 000010
【図７】
2018152829.tif 000011
【図８】
2018152829.tif 000012
【図９】
2018152829.tif 000013
【図１０】
2018152829.tif 000014
【図１１】
2018152829.tif 000015
【図１２】
2018152829.tif 000016
【図１３】
2018152829.tif 000017
【図１４】
2018152829.tif 000018
【図１５】
2018152829.tif 000019
【図１６】
2018152829.tif 000020
【図１７】
2018152829.tif 000021
【図１８】
2018152829.tif 000022