(57)【要約】      （修正有）【課題】測距用画素において解像度を向上させた補間方法を提供する。【解決手段】２次元に配列された複数の画素と、複数の画素の出力に対して平滑化フィルタおよび先鋭化フィルタを適用して、画像における各々の画素値を算出する信号処理部とを備える。複数の画素は、第１方向において連続して設けられ、第１の波長の入射光を光電変換する複数の第１の画素と、第１方向において連続して、複数の第１の画素に対して半ピッチずれて設けられる、第２の波長の入射光を光電変換する複数の第２の画素とを有する。【選択図】図４
2019154039.tif 000002
【特許請求の範囲】
【請求項１】
２次元に配列された複数の画素と、
前記複数の画素の出力に対して平滑化フィルタおよび先鋭化フィルタを適用して、画像における各々の画素値を算出する信号処理部と
を備え、
前記複数の画素は、
第１方向において連続して設けられ、第１の波長の入射光を光電変換する複数の第１の画素と、
前記第１方向において連続して、前記複数の第１の画素に対して半ピッチずれて設けられる、第２の波長の入射光を光電変換する複数の第２の画素と
を有する、撮像素子。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子および撮像装置に関する。
【０００２】
従来、非ベイヤ配列を有する撮像素子の出力信号を、ベイヤ配列の信号に変換する技術が知られている。（例えば、特許文献１参照）。
［先行技術文献］
［特許文献］
［特許文献１］  特開２０１３−２５４０７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、近接する２つの画素の出力信号を加算して、ベイヤ配列における１つの画素信号を生成するので解像度が低下する。
【課題を解決するための手段】
【０００４】
本発明の第１の態様においては、２次元に配列された複数の画素と、複数の画素の出力に対して平滑化フィルタおよび先鋭化フィルタを適用して、画像における各々の画素値を算出する信号処理部とを備え、複数の画素は、第１方向において連続して設けられ、第１の波長の入射光を光電変換する複数の第１の画素と、第１方向において連続して、複数の第１の画素に対して半ピッチずれて設けられる、第２の波長の入射光を光電変換する複数の第２の画素とを有する、撮像素子を提供する。
【０００５】
本発明の第２の態様においては、上記記載の撮像素子を備える、撮像装置を提供する。
【０００６】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【０００７】
【図１】一眼レフカメラ４００の断面図である。
【図２】撮像素子２００の構成例を示すブロック図である。
【図３】第１の実施形態における撮像チップ１０の一部の領域を拡大した図である。
【図４】判定・補間領域４０において、第１方向に連続性がある場合を示す図である。
【図５】判定・補間領域４０において、第２方向に連続性がある場合を示す図である。
【図６】判定・補間領域４１を示す図である。
【図７Ａ】判定・補間領域４０における各画素と補間生成される画素値の位置との対応関係を示す図である。
【図７Ｂ】判定・補間領域４０に対応する位置において補間生成された画素値を示す模式図である。
【図８】第２の実施形態における加算モードとフィルタ処理モードとを切り替える処理を説明するフローチャート７０である。
【発明を実施するための形態】
【０００８】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【０００９】
図１は、一眼レフカメラ４００の断面図である。撮像装置の一例としての一眼レフカメラ４００は、撮像素子２００、レンズユニット５００およびカメラボディ６００を備える。カメラボディ６００には、レンズユニット５００が装着される。レンズユニット５００は、その鏡筒内に、光軸４１０に沿って配列された光学系を備え、入射する被写体光束をカメラボディ６００の撮像素子２００へ導く。
【００１０】
本例においては、撮像装置として一眼レフカメラ４００を例に説明するが、カメラボディ６００を撮像装置と捉えてもよい。また、撮像装置は、ミラーユニットを備えるレンズ交換式カメラに限らず、ミラーユニットを持たないレンズ交換式カメラ、ミラーユニットの有無に関わらずレンズ一体式カメラであってもよい。また、本例において光軸４１０に沿って被写体光束が進む方向を第３方向とする。第３方向に対して垂直であって、かつ、互いに垂直な方向を、第１方向および第２方向とする。
【００１１】
カメラボディ６００には、レンズマウント５５０が結合される。カメラボディ６００は、ボディマウント６６０よりも第３方向の側にミラー６７２を備える。ミラー６７２は、レンズユニット５００から第３方向に入射する被写体光束に対して傾けて設けられる斜設位置と、被写体光束から退避する退避位置との間で回転可能であるように軸に固定される。
【００１２】
ミラー６７２が斜設位置にある場合、レンズユニット５００を通じて入射した被写体光束の多くはミラー６７２に反射されてピント板６５２に導かれる。ピント板６５２は、撮像素子２００の受光面と共役な位置に配されて、レンズユニット５００の光学系が形成した被写体像を可視化する。ピント板６５２に形成された被写体像は、ペンタプリズム６５４およびファインダ光学系６５６を通じてファインダ６５０から観察される。
【００１３】
ピント板６５２、ペンタプリズム６５４、ミラー６７２は、構造体としてのミラーボックス６７０に支持される。撮像素子２００は、ミラーボックス６７０に取り付けられる。ミラー６７２が退避位置に退避し、シャッタユニット３４０の先幕および後幕が開状態となれば、レンズユニット５００を透過する被写体光束は、撮像素子２００の受光面に到達する。
【００１４】
撮像素子２００に対してシャッタユニット３４０とは逆側には、ボディ基板６２０および背面表示部６３４が順次配置される。液晶パネル等が採用される背面表示部６３４は、カメラボディ６００の背面に位置する。ボディ基板６２０には、ＣＰＵ６２２、画像処理部６２４等の電子回路が実装される。撮像素子２００の出力は、画像処理部６２４へ引き渡される。
【００１５】
図２は、撮像素子２００の構成例を示すブロック図である。撮像素子２００は、撮像チップ１０および信号処理チップ３０を備える。撮像チップ１０には、第３方向から光束が入射する。撮像チップ１０は、第３方向において信号処理チップ３０に積層される。撮像チップ１０は、バンプ１５を通じて、信号処理チップ３０に電気的に接続される。撮像チップ１０は、第１方向および第２方向において２次元に配列された複数の光電変換部を有する。複数の光電変換部の各々は入射光を光電変換する。つまり、複数の光電変換部の各々は、第３方向から入射する光束の光量に応じて電荷を生成する。なお、光電変換部は画素の一部として機能する。当該画素は、光電変換部の出力を処理してよい。撮像チップ１０は、変換したアナログの画像信号を信号処理チップ３０の信号処理部３２へ出力する。
【００１６】
信号処理チップ３０は、信号処理部３２、ＡＤ変換部３４、および、焦点検出部３６を有する。信号処理部３２は、撮像チップ１０から出力されるアナログの画像信号に所定のアナログ信号処理をする。信号処理部３２は、増幅回路およびＣＤＳ(相関二重サンプリング)回路などを有する。増幅回路は、アナログの画像信号の信号電圧値を増幅する。また、ＣＤＳ回路は、ノイズによる当該信号電圧値のばらつきを補正する。
【００１７】
ＡＤ変換部３４は、信号処理部３２から出力されたアナログの画像信号をデジタルの画像信号に変換する。ＡＤ変換部３４は、デジタルの画像信号を信号処理部３２および焦点検出部３６に出力する。
【００１８】
信号処理部３２は、ＡＤ変換部３４から出力されるデジタルの画像信号に対して、特定の演算を行う。信号処理部３２は、フィルタ処理モードと加算処理モードとを有する。信号処理部３２は、フィルタ処理モードのときは、デジタルの画像信号に対して方向性判定ならびに平滑化フィルタおよび先鋭化フィルタを適用する。信号処理部３２は、当該フィルタを適用して画像における各々の画素値を算出する。また、信号処理部３２は、加算処理モードのときは、デジタルの画像信号を加算して画像における各々の画素値を算出する。信号処理部３２は、フィルタ処理モードおよび加算処理モードのいずれか一方を選択してよい。信号処理部３２において算出された画素値の情報は、画像処理部６２４に出力される。つまり、信号処理部３２は、画像を画像処理部６２４に出力する前に、画像を前処理する。
【００１９】
焦点検出部３６は、入射光が通過した光学系の焦点位置を検出する。具体的には、焦点検出部３６は、デジタルの画像信号に基づいて、一対の像の像ズレ量を検出する。さらに、焦点検出部３６は、像ズレ量に応じた演算を行い、予定結像面に対する現在の結像面の偏差であるデフォーカス量を算出する。当該デフォーカス量を調整するべく、一眼レフカメラ４００のレンズユニット５００の位置が調整される。
【００２０】
画像処理部６２４は、画像処理ＡＳＩＣ６２５および記録部６０を有する。画像処理ＡＳＩＣ６２５は、記録部６０をワークスペースとして種々の画像処理を施し、画像データを生成する。画像処理ＡＳＩＣ６２５は、ＪＰＥＧファイル形式の画像データを生成する場合は、ホワイトバランス処理、ガンマ処理等を施した後に圧縮処理を実行する。生成された画像データは、記録部６０に記録される。また、背面表示部６３４は、当該記録部６０に記録された画像データに応じた画像を予め設定された時間の間表示する。
【００２１】
図３は、第１の実施形態における撮像チップ１０の一部の領域を拡大した図である。本例において複数の光電変換部１７の各々は、第１および第２方向に平行な対角線を有する正方形である。各光電変換部１７は、各画素の一部として機能する。一の画素の一部として機能する一の光電変換部１７は、第１方向および第２方向において行列状に配置される。なお、一の画素は光電変換部１７の出力を処理する信号処理機能も有してよい。光電変換部１７には、第３方向において、マイクロレンズ１２が重ねて設けられる。図３において、マイクロレンズ１２を円で示す。１つのマイクロレンズ１２は、レンズユニット５００を通じて入射する光を、対応して設けられた光電変換部１７に導く。本例の光電変換部１７は、マイクロレンズ１２と重なる位置において設けられた、フォトダイオードであってよい。
【００２２】
複数の光電変換部１７には、赤色（Ｒ）、緑色（Ｇ）または青色（Ｂ）の波長の光をそれぞれ透過させるフィルタが設けられる。緑色（Ｇ）の波長の入射光を透過させるフィルタが設けられた光電変換部１７‐Ｇは、第１方向および第２方向において連続して設けられる。赤色（Ｒ）の波長の入射光を透過させるフィルタが設けられた光電変換部１７‐Ｒは、第１方向において連続して設けられる。青色（Ｂ）の波長の入射光を透過させるフィルタが設けられた光電変換部１７‐Ｂも、第１方向において連続して設けられる。複数の光電変換部１７‐Ｒおよび１７‐Ｂは、複数の光電変換部１７‐Ｇに対して半ピッチずれて設けられる。なお、本例においては、第１の光電変換部を光電変換部１７‐Ｇとし、第２の光電変換部を光電変換部１７‐Ｂとし、第３の光電変換部を光電変換部１７‐Ｒとして説明する。しかしながら、他の例においては、第２の光電変換部を光電変換部１７‐Ｒとし、第３の光電変換部を光電変換部１７‐Ｂとしてもよい。
【００２３】
本例において半ピッチとは、光電変換部１７における第１方向に平行な対角線の長さの半分の長さ、および、光電変換部１７における第２方向に平行な対角線の長さの半分の長さを意味する。また、半ピッチとは、第１方向における光電変換部１７の繰り返し長さの半分、および、第２方向における光電変換部１７の繰り返し長さの半分を意味してもよい。複数の光電変換部１７‐Ｒおよび１７‐Ｂが複数の光電変換部１７‐Ｇに対して半ピッチずれて設けられるので、第１および第２方向に設けられた複数の光電変換部１７‐Ｇ間における複数の隙間には、複数の光電変換部１７‐Ｒおよび１７‐Ｂが設けられる。
【００２４】
複数の光電変換部１７‐Ｇは、第１方向に連続して設けられて直線形状を構成する。複数の光電変換部１７‐Ｂおよび１７‐Ｒも同様に、第１方向に連続して設けられて直線形状を構成する。そして、当該直線形状は、複数の光電変換部１７‐Ｇ、１７‐Ｒ、１７‐Ｇ、および、１７‐Ｂの順に第２方向に設けられる。直線形状の当該１７‐Ｇ、１７‐Ｒ、１７‐Ｇ、および、１７‐Ｂのセットからなるパターンは、第２方向において繰り返して設けられる。
【００２５】
各々の光電変換部１７は、開口領域を有する。また各々の光電変換部１７は、開口領域および遮光領域を有してもよい。本例においては、複数の光電変換部１７の各々が、開口領域および遮光領域を有する。また、本例では、各々の光電変換部１７における開口領域および遮光領域の面積が略等しい。図３において遮光領域を斜線により示す。遮光領域においては、入射光が光電変換に用いられない。一方、開口領域においては、入射光が光電変換に用いられる。
【００２６】
本例の撮像素子２００は、光電変換部１７において、フォトダイオードが配線層よりもマイクロレンズ１２側に設けられる裏面照射型の撮像素子２００である。しかし、光電変換部１７において、配線層がフォトダイオードよりもマイクロレンズ１２側に設けられる表面照射型の撮像素子２００としてもよい。表面照射型では、入射光が部分的に配線層により遮られる。裏面照射型では、表面照射型のように入射光が部分的に配線層により遮られないので、入射光の変換効率を表面照射型よりも高くすることができる。
【００２７】
本例では、光電変換部１７‐Ｇは、第２方向において領域が二分割される。二分割されたうちの一方が開口領域であり、他方が遮光領域である。第１方向において隣接する光電変換部１７‐Ｇは、開口領域と遮光領域とが交互に入れ替わる。
【００２８】
また本例では、光電変換部１７‐Ｂおよび１７‐Ｒは、第１方向において領域が二分割される。二分割されたうちの一方が開口領域であり、他方が遮光領域である。第２方向において隣接する光電変換部１７‐Ｂおよび１７‐Ｒは、開口領域と遮光領域とが交互に入れ替わる。
【００２９】
第２方向に隣接する２つの光電変換部１７‐Ｇの遮光領域と、第１方向に隣接する２つの光電変換部１７‐Ｒの遮光領域とは、互いに隣接して正方形の遮光領域を形成する。当該正方形の遮光領域は、第１方向および第２方向に平行な辺を有する正方形である。
【００３０】
さらに、第２方向に隣接する２つの光電変換部１７‐Ｇの遮光領域と、第１方向に隣接する２つの光電変換部１７‐Ｂの遮光領域とは、互いに隣接して遮光領域を形成する。当該正方形の遮光領域は、第１方向および第２方向に平行な辺を有する正方形である。
【００３１】
光電変換部１７の開口領域は焦点検出に用いられる。第１方向に隣接する複数の光電変換部１７‐Ｇにおいて、第２方向に開口領域を有する複数の光電変換部１７‐Ｇと第２方向の逆方向に開口領域を有する複数の光電変換部１７‐Ｇとは、焦点検出に用いられる。本例において、複数の光電変換部１７‐Ｇは、第１方向および第１方向の逆方向において交互に遮光領域を有し、かつ、第２方向および第２方向の逆方向において交互に遮光領域を有する。それゆえ、複数の光電変換部１７‐Ｇは、第１方向および第２方向において焦点検出に用いることができる。これにより、遮光領域を有する光電変換部１７が第１方向または第２方向のいずれか一方だけに連続して設けられる場合と比較して、焦点検出精度を向上させることができる。
【００３２】
また、複数の光電変換部１７‐Ｂおよび１７‐Ｒは、第１方向において焦点検出に用いることができる。なお、変形例として、撮像素子２００は、１つの光電変換部１７が第１方向および第２方向のいずれかにおいて一対の開口領域を有する画素分割方式を採用してもよい。当該一対の開口領域は、互いに分離して設けられる。また、当該一対の開口領域に対応して設けられたフォトダイオードから、互いに独立して電荷を読み出すことが可能である。複数の光電変換部１７を画素分割方式とすることによっても、焦点検出をすることができる。
【００３３】
フィルタ処理モードにおける信号処理部３２は最初に、判定・補間領域４０において方向性判定を行う。方向性判定とは、複数の光電変換部１７における出力信号に基づいて、第１方向および第２方向の少なくとも一つの方向における出力信号の連続性を判定することである。判定・補間領域４０において、第１方向または第２方向において連続して設けられる複数の光電変換部１７の出力信号の差分値が予め定められた閾値以下である場合に、信号処理部３２は第１方向または第２方向に連続性があると判断する。例えば、判定・補間領域４０において、第１方向で隣接する４つの光電変換部１７−Ｒの出力信号の差分値が予め定められた閾値以下である場合に、信号処理部３２は第１方向に連続性があると判断する。
【００３４】
フィルタ処理モードにおける信号処理部３２は、方向性判定の後に、判定・補間領域４０において補間処理を行う。補間処理は、方向性判定に基づいて、フィルタを画素毎に調整して適用する。フィルタを適用することにより画素値が算出される。なお、フィルタを画素に適用するとは、光電変換部１７の出力信号に対してフィルタ処理することを意味する。フィルタ処理後の出力信号を画素値と称する。各々の画素値は、最終的に出力される画像における複数の画素の各々に対応する。
【００３５】
例えば信号処理部３２は、第１方向に連続性があると判断した場合に、第１方向連続性用のフィルタを適用する。同様に、第２方向に連続性があると判断した場合には、第２方向連続性用のフィルタを適用する。本例において、第１方向連続性用のフィルタは、図４から図６における垂直方向に連続性がある場合のフィルタである。また、第２方向連続性用のフィルタは、図４から図６における第２方向に連続性がある場合のフィルタである。
【００３６】
フィルタ処理モードにおけるフィルタとは、出力される画像の１つの画素値を算出するための、複数の光電変換部１７の出力信号に対する演算を指す。本例のフィルタは、平滑化フィルタおよび先鋭化フィルタを有する。平滑化フィルタは、出力される画像において隣接する画素値を滑らかに連続的にする演算である。本例では、平滑化フィルタとして特定の位置に重みを付けて出力するガウシアンフィルタを用いる。先鋭化フィルタは、出力される画像において明暗を強調するまたはエッジを強調する演算である。本例では、先鋭化フィルタとしてラプラシアンフィルタを用いる。なお、ＩＩＲ（Ｉｎｆｉｎｉｔｅ  Ｉｍｐｕｌｓｅ  Ｒｅｓｐｏｎｓｅ）フィルタ等で実現されるバターワース（Ｂｕｔｔｅｒｗｏｒｔｈ）型のフィルタを用いてもよい。
【００３７】
判定・補間領域４０の形状は、予め定められる。本例の判定・補間領域４０は、少なくとも、第２方向に平行な３行かつ第１方向に平行な４列の光電変換部１７‐Ｇと、第２方向に平行な２行かつ第１方向に平行な３列の光電変換部１７‐Ｂと、第２方向に平行な４行かつ第１方向に平行な２列の光電変換部１７‐Ｒとを含む。判定・補間領域４０は、互いに隣接する２つの光電変換部１７‐Ｇおよび２つの光電変換部１７‐Ｂの境界の位置を中心４２とする。中心４２は、第２方向に平行な３行の光電変換部１７‐Ｇのうち、第２行目にある２つの光電変換部１７‐Ｇの境界に位置する。中心４２は、円に囲まれた数字で示されている。判定・補間領域４０に設けられる複数の光電変換部１７は、中心４２を通る第１方向に平行な直線および第２方向に平行な直線に対して線対称である。なお、判定・補間領域４０の形状は、上記の形態に限定されない。判定・補間領域４０の形状は、方向性判定および補間処理を適用できる限りにおいて、任意の形状とすることができる。
【００３８】
特許文献１に記載の従来方式では、２つの光電変換部１７−Ｇの出力信号の値を加算することにより、１画素分に相当する緑色（Ｇ）用の出力信号を得ていた。しかし、２つの光電変換部１７‐Ｇを用いて１画素分に相当する緑色（Ｇ）用の出力信号を得るので、画像における画素密度は半分に低下する。これに対して本例では、２つの光電変換部１７‐Ｇと２つの光電変換部１７‐Ｂとの境界の位置、および、２つの光電変換部１７‐Ｂと２つの光電変換部１７‐Ｒとの境界の位置に、周辺の画素の出力信号を用いて緑色（Ｇ）、青色（Ｂ）および赤色（Ｒ）の画素値をそれぞれ生成する。これにより、従来方式と比較して、画像における画素密度を向上させることができる。
【００３９】
図４は、判定・補間領域４０において、第１方向に連続性がある場合を示す図である。なお、図４においては図面を見易くするために、図３で記載したマイクロレンズ１２、開口領域および遮光領域の記載を省略する。なお、Ｇは緑色用の光電変換部１７‐Ｇを簡易的に示す。また、Ｇに続く数字は説明のために記載した座標番号である。以降においては、アルファベット１文字および座標番号により光電変換部１７の種類および位置を特定する。Ｂは光電変換部１７−Ｂを示し、Ｒは光電変換部１７‐Ｒを示す。
【００４０】
（第１方向性判定）信号処理部３２は、判定・補間領域４０内において第１方向で互いに隣接する光電変換部１７の出力信号の差分を計算してよい。これにより信号処理部３２は、第１方向の連続性を判定する。本例では、信号処理部３２は、第１方向で互いに隣接するＲの出力信号の差分を計算する。つまり、信号処理部３２は、Ｒ１１、Ｒ２１、Ｒ３１およびＲ４１を含む領域４６−１、ならびに、Ｒ１２、Ｒ２２、Ｒ３２およびＲ４２を含む領域４６−２の少なくとも一方について、互いに隣接するＲの出力信号の差分を計算する。
【００４１】
仮に領域４６−１において、［Ｒ１１，Ｒ２１，Ｒ３１，Ｒ４１］の出力信号が［９０，９０，９１，９１］であったとする。この場合、互いに隣接するＲの出力信号の差分ベクトル［Ｒ１１−Ｒ２１，Ｒ２１−Ｒ３１，Ｒ３１−Ｒ４１］は、［０，−１，０］となる。また仮に、領域４６−１において、［Ｒ１１，Ｒ２１，Ｒ３１，Ｒ４１］の出力信号が［９０，１０，９１，１０］であったとする。この場合、互いに隣接するＲの出力信号の差分ベクトルは、［８０，−８１，８１］となる。信号処理部３２は、例えば、差分値ベクトルの各成分の絶対値が１０以下である場合に連続性があると判断してよい。この例では、信号処理部３２は、差分ベクトル［０，−１，０］については第１方向に連続性があると判定し、差分ベクトル［８０，−８１，８１］については第１方向に連続性がないと判定する。なお、連続性があると判定する差分ベクトルの成分の閾値は、プログラム修正により適宜定められてよい。
【００４２】
（第１方向性がある場合の補間処理：ｇ３３）信号処理部３２は方向性判定の後に、判定・補間領域４０において補間処理を行う。信号処理部３２は、第１方向において方向性があると判定する場合、判定・補間領域４０におけるａ行×ｂ列個のＧの出力信号に平滑化フィルタを適用する。なお、ａはｂよりも大きな自然数であり、本例ではａ＝３、ｂ＝２である。
【００４３】
本例の信号処理部３２は、判定・補間領域４０における３行×２列個のＧの出力信号（数１）に対してガウシアンフィルタを適用する。（数２）は、ガウシアンフィルタの一例である。
【数１】
2019154039.tif 000003
【数２】
2019154039.tif 000004
【００４４】
そして、信号処理部３２は、（数１）および（数２）の畳み込み（コンボリューション）の値を算出する。畳み込みの演算は、Ｍ行Ｎ列の行列について、下記の（数３）により算出される。なお、Ｍ、Ｎ、ｍおよびｎは自然数である。ただし（数３）において、Ｍが偶数のとき、ｍ１＝−ｍ／２，ｍ２＝ｍ／２であり、Σの演算においてｍ＝０は除く。また、Ｍが奇数のとき、ｍ１＝−（ｍ−１）／２，ｍ２＝（ｍ−１）／２である。さらに、（数３）において、Ｎが偶数のとき、ｎ１＝−ｎ／２，ｎ２＝ｎ／２であり、Σの演算においてｎ＝０は除く。また、Ｎが奇数のとき、ｎ１＝−（ｎ−１）／２，ｎ２＝（ｎ−１）／２である。
【数３】
2019154039.tif 000005
【００４５】
本例では、（数３）において、関数ｈ＝（数２），関数ｆ＝（数１），Ｍ＝３，Ｎ＝２である。また、ｍ１＝−１，ｍ２＝１である。ｎ１＝−１，ｎ２＝１であり、Σの演算においてｎ＝０は除く。ここで、ｍ２が（数１）および（数２）の第１行を指定し、ｍ１が（数１）および（数２）の第３行を指定し、ｎ２が（数１）および（数２）の第１列を指定し、ｎ１が（数１）および（数２）の第２列を指定するとする。これにより、ガウシアンフィルタを適用したｇ３３‐Ｇは、ｇ３３‐Ｇ＝（１×Ｇ１２＋２×Ｇ２２＋１×Ｇ３２＋１×Ｇ１３＋２×Ｇ２３＋１×Ｇ３３）／８となる。
【００４６】
また信号処理部３２は、判定・補間領域４０におけるｃ行×ｄ列個のＲの出力信号に先鋭化フィルタを適用する。なお、ｃはｄよりも大きな自然数であり、本例ではｃ＝４、ｄ＝２である。本例の信号処理部３２は、判定・補間領域４０における４行×２列個のＲの出力信号（数４）に対してラプラシアンフィルタを適用する。（数５）は、ラプラシアンフィルタの一例である。
【数４】
2019154039.tif 000006
【数５】
2019154039.tif 000007
【００４７】
そして、信号処理部３２は、（数４）および（数５）の畳み込み（コンボリューション）の値を算出する。畳み込みの演算は（数３）と同様である。本例では、（数３）において、関数ｈ＝（数５），関数ｆ＝（数４），Ｍ＝４，Ｎ＝２である。また、ｍ１＝−２，ｍ２＝２であり、Σの演算においてｎ＝０は除く。ｎ１＝−１，ｎ２＝１であり、Σの演算においてｎ＝０は除く。ここで、ｍ２が（数４）および（数５）の第１行を指定し、ｍ１が（数４）および（数５）の第４行を指定し、ｎ２が（数４）および（数５）の第１列を指定し、ｎ１が（数４）および（数５）の第２列を指定するとする。これにより、ラプラシアンフィルタを適用したｇ３３‐Ｌは、ｇ３３‐Ｌ＝（−１×Ｒ１１＋１×Ｒ２１＋１×Ｒ３１−１×Ｒ４１−１×Ｒ１２＋１×Ｒ２２＋１×Ｒ３２−１×Ｒ４２）／８となる。
【００４８】
信号処理部３２は、平滑化フィルタを適用した値と先鋭化フィルタを適用した値との和をとることにより、中心４２の位置に対応するＧの画素値を算出する。つまり、ｇ３３‐Ｇとｇ３３‐Ｌとの和を中心４２における補正後の画素値ｇ３３とする。このように本例では、ｇ３３の画素値を算出するために、Ｇのガウシアンに加えてＲのラプラシアンも加える。これにより、ｇ３３‐Ｇだけをｇ３３とする場合と比較して、画素値をより精度よく算出することができる。
【００４９】
（第１方向性がある場合の補間処理：ｂ３３，ｒ３３）信号処理部３２は、画素値ｇ３３を算出するとともに、Ｂの出力信号を補正したｂ３３を算出する。信号処理部３２は、判定・補間領域４０におけるｋ行×ｌ列個のＢの出力信号に平滑化フィルタを適用した値を、中心４２の位置に対応するＢの画素値として算出する。本例では、ｋはｌよりも大きな自然数であり、ｋ＝２、ｌ＝１である。本例の信号処理部３２は、判定・補間領域４０における２行×１列個のＢの出力信号（数６）に対してガウシアンフィルタを適用する。そして、（数６）および（数７）の畳み込みを補正後の画素値ｂ３３として算出する。なお、（数７）は、ガウシアンフィルタの一例である。
【数６】
2019154039.tif 000008
【数７】
2019154039.tif 000009
【００５０】
本例では、（数３）において、関数ｈ＝（数７），関数ｆ＝（数６），Ｍ＝２，Ｎ＝１である。また、ｍ１＝−１，ｍ２＝１であり、Σの演算においてｎ＝０は除く。ｎ１＝ｎ２＝０である。ここで、ｍ２が（数６）および（数７）の第１行を指定し、ｍ１が（数６）および（数７）の第２行を指定し、ｎ１およびｎ２が（数６）および（数７）の第１列を指定するとする。これにより、ガウシアンフィルタを適用したｂ３３は、ｂ３３＝（１×Ｂ１２＋１×Ｂ２２）／２となる。
【００５１】
信号処理部３２は、さらにＲの出力信号を補正したｒ３３を算出する。信号処理部３２は、判定・補間領域４０におけるｐ行×ｑ列個のＲの出力信号に平滑化フィルタを適用した値を、中心４２の位置に対応するＲの画素値として算出する。本例では、ｐはｑよりも大きな自然数であり、ｐ＝４、ｑ＝２である。本例の信号処理部３２は、判定・補間領域４０における４行×２列個のＲの出力信号（数８）に対してガウシアンフィルタを適用する。そして、信号処理部３２は、（数８）および（数９）の畳み込みを補正後の画素値ｒ３３として算出する。なお、（数９）は、ガウシアンフィルタの一例である。
【数８】
2019154039.tif 000010
【数９】
2019154039.tif 000011
【００５２】
本例では、（数３）において、関数ｈ＝（数９），関数ｆ＝（数８），Ｍ＝４，Ｎ＝２である。ｍ１＝−２，ｍ２＝２であり、Σの演算においてｎ＝０は除く。ｎ１＝−１，ｎ２＝１であり、Σの演算においてｎ＝０は除く。ここで、ｍ２が（数８）および（数９）の第１行を指定し、ｍ１が（数８）および（数９）の第４行を指定し、ｎ２が（数８）および（数９）の第１列を指定し、ｎ１が（数８）および（数９）の第２列を指定するとする。これにより、ガウシアンフィルタを適用したｒ３３は、ｒ３３＝（１×Ｒ１１＋３×Ｒ２１＋３×Ｒ３１＋１×Ｒ４１＋１×Ｒ１２＋３×Ｒ２２＋３×Ｒ３２＋１×Ｒ４２）／１６となる。
【００５３】
図５は、判定・補間領域４０において、第２方向に連続性がある場合を示す図である。図４と同様に、マイクロレンズ１２、開口領域および遮光領域の記載を省略する。
【００５４】
（第２方向性判定）信号処理部３２は、判定・補間領域４０内において第２方向で互いに隣接する光電変換部１７の出力信号の差分を計算してよい。これにより信号処理部３２は、第２方向の連続性を判定する。本例では、信号処理部３２は、第２方向で互いに隣接するＢの出力信号の差分を計算する。つまり、信号処理部３２は、Ｂ１１、Ｂ１２およびＢ１３を含む領域４８−１、ならびに、Ｂ２１、Ｂ２２およびＢ２３を含む領域４８−２の少なくとも一方について、互いに隣接するＢの出力信号の差分を計算する。
【００５５】
仮に領域４８−１において、［Ｂ１１，Ｂ１２，Ｂ１３］の出力信号が［９０，９１，９１］であったとする。この場合、互いに隣接するＲの出力信号の差分ベクトル［Ｂ１１−Ｂ１１，Ｂ１２−Ｂ１３］は、［−１，０］となる。また仮に、領域４８−１において、［Ｂ１１，Ｂ１２，Ｂ１３］の出力信号が［９０，１０，９１］であったとする。この場合、互いに隣接するＢの出力信号の差分ベクトルは、［８０，−８１］となる。信号処理部３２は、例えば、差分値ベクトルの各成分の絶対値が１０以下である場合に連続性があると判断してよい。この例では、信号処理部３２は、差分ベクトル［−１，０］については第２方向に連続性があると判定し、差分ベクトル［８０，−８１］については第２方向に連続性がないと判定する。なお、連続性があると判定する差分ベクトルの成分の閾値は、プログラム修正により適宜定められてよい。
【００５６】
（第２方向性がある場合の補間処理：ｇ３３）信号処理部３２は方向性判定の後に、判定・補間領域４０において補間処理を行う。信号処理部３２は、第２方向において方向性があると判定する場合、判定・補間領域４０におけるｒ行×ｓ列個のＧの出力信号に平滑化フィルタを適用する。なお、ｒはｓよりも小さな自然数であり、本例ではｒ＝３、ｓ＝４である。これにより、判定・補間領域４０の中心４２における画素値ｇ３３を算出する。
【００５７】
本例の信号処理部３２は、判定・補間領域４０における３行×４列個のＧの出力信号（数１０）に対してガウシアンフィルタを適用する。なお、（数１１）は、ガウシアンフィルタの一例である。
【数１０】
2019154039.tif 000012
【数１１】
2019154039.tif 000013
【００５８】
そして、信号処理部３２は、（数１０）および（数１１）の畳み込みの値を算出する。本例では、（数３）において、関数ｈ＝（数１１），関数ｆ＝（数１０），Ｍ＝３，Ｎ＝４である。また、ｍ１＝−１，ｍ２＝１である。ｎ１＝−２，ｎ２＝２であり、Σの演算においてｎ＝０は除く。ここで、ｍ２が（数１０）および（数１１）の第１行を指定し、ｍ１が（数１０）および（数１１）の第３行を指定し、ｎ２が（数１０）および（数１１）の第１列を指定し、ｎ１が（数１０）および（数１１）の第４列を指定するとする。これにより、ガウシアンフィルタを適用したｇ３３‐Ｇは、ｇ３３‐Ｇ＝（１×Ｇ１１＋２×Ｇ２１＋１×Ｇ３１＋３×Ｇ１２＋６×Ｇ２２＋３×Ｇ３２＋３×Ｇ１３＋６×Ｇ２３＋３×Ｇ３３＋１×Ｇ１４＋２×Ｇ２４＋１×Ｇ３４）／３２となる。
【００５９】
また信号処理部３２は、判定・補間領域４０におけるｔ行×ｕ列個のＢの出力信号に先鋭化フィルタを適用する。なお、ｔはｕよりも小さな自然数であり、本例ではｔ＝２、ｕ＝３である。本例の信号処理部３２は、判定・補間領域４０における２行×３列個のＢの出力信号（数１２）に対してラプラシアンフィルタを適用する。なお、（数１３）は、ラプラシアンフィルタの一例である。
【数１２】
2019154039.tif 000014
【数１３】
2019154039.tif 000015
【００６０】
そして、信号処理部３２は、（数１２）および（数１３）の畳み込みの値を算出する。本例では、（数３）において、関数ｈ＝（数１３），関数ｆ＝（数１２），Ｍ＝２，Ｎ＝３である。また、ｍ１＝−１，ｍ２＝１であり、Σの演算においてｎ＝０は除く。ｎ１＝−１，ｎ２＝１である。ここで、ｍ２が（数１２）および（数１３）の第１行を指定し、ｍ１が（数１２）および（数１３）の第２行を指定し、ｎ２が（数１２）および（数１３）の第１列を指定し、ｎ１が（数１２）および（数１３）の第３列を指定するとする。これにより、ラプラシアンフィルタを適用したｇ３３‐Ｌは、ｇ３３‐Ｌ＝（−１×Ｂ１１−１×Ｂ２１＋２×Ｂ１２＋２×Ｂ２２−１×Ｂ１３−１×Ｂ２３）／８となる。
【００６１】
平滑化フィルタを適用した値と先鋭化フィルタを適用した値との和をとることにより、中心４２の位置に対応するＧの画素値を算出する。つまり、ｇ３３‐Ｇとｇ３３‐Ｌとの和を中心４２における補正後の画素値ｇ３３とする。このように本例では、ｇ３３の画素値を算出するために、Ｇのガウシアンに加えてＢのラプラシアンも加える。したがって、ｇ３３‐Ｇだけをｇ３３とする場合と比較して、画像をより先鋭化することができる。
【００６２】
（第２方向性がある場合の補間処理：ｂ３３，ｒ３３）信号処理部３２は、Ｇの出力信号を補正したｇ３３を算出するとともに、Ｂの出力信号を補正したｂ３３を算出する。信号処理部３２は、判定・補間領域４０におけるｖ行×ｗ列個のＢの出力信号に平滑化フィルタを適用した値を、中心４２の位置に対応するＢの画素値として算出する。本例では、ｖはｗよりも小さな自然数であり、ｖ＝２、ｗ＝３である。本例の信号処理部３２は、判定・補間領域４０における２行×３列個のＢの出力信号（数１４）に対してガウシアンフィルタを適用する。そして、信号処理部３２は、（数１４）および（数１５）の畳み込みの値を補正後の画素値ｂ３３として算出する。なお、（数１５）は、ガウシアンフィルタの一例である。
【数１４】
2019154039.tif 000016
【数１５】
2019154039.tif 000017
【００６３】
本例では、（数３）において、関数ｈ＝（数１５），関数ｆ＝（数１４），Ｍ＝２，Ｎ＝３である。したがって、ｍ１＝−１，ｍ２＝１であり、Σの演算においてｍ＝０は除く。また、ｎ１＝−１，ｎ２＝１である。ここで、ｍ２が（数１４）および（数１５）の第１行を指定し、ｍ１が（数１４）および（数１５）の第２行を指定し、ｎ２が（数１４）および（数１５）の第１列を指定し、ｎ１が（数１４）および（数１５）の第３列を指定するとする。これにより、ガウシアンフィルタを適用したｂ３３は、ｂ３３＝（１×Ｂ１１＋１×Ｂ２１＋２×Ｂ１２＋２×Ｂ２２＋１×Ｂ１３＋１×Ｂ２３）／８となる。
【００６４】
同様に、信号処理部３２は、判定・補間領域４０におけるｘ行×ｙ列個のＲの出力信号に平滑化フィルタを適用した値を、中心４２の位置に対応するＲの画素値として算出する。本例では、ｘとｙとは等しい自然数であり、ｘ＝ｙ＝２である。本例の信号処理部３２は、判定・補間領域４０における２行×２列個のＲの出力信号（数１６）に対してガウシアンフィルタを適用する。そして、信号処理部３２は、（数１６）および（数１７）の畳み込みの値を補正後の画素値ｒ３３として算出する。なお、（数１７）は、ガウシアンフィルタの一例である。
【数１６】
2019154039.tif 000018
【数１７】
2019154039.tif 000019
【００６５】
本例では、（数３）において、関数ｈ＝（数１７），関数ｆ＝（数１６），Ｍ＝２，Ｎ＝２である。したがって、ｍ１＝−１，ｍ２＝１であり、Σの演算においてｍ＝０は除く。また、ｎ１＝−１，ｎ２＝１であり、Σの演算においてｎ＝０は除く。ここで、ｍ２が（数１６）および（数１７）の第１行を指定し、ｍ１が（数１６）および（数１７）の第２行を指定し、ｎ２が（数１６）および（数１７）の第１列を指定し、ｎ１が（数１６）および（数１７）の第２列を指定するとする。これにより、ガウシアンフィルタを適用したｒ３３は、ｒ３３＝（１×Ｒ１２＋１×Ｒ３１＋１×Ｒ２２＋１×Ｒ３２）／４となる。
【００６６】
図６は、判定・補間領域４１を示す図である。判定・補間領域４１は、判定・補間領域４０を第１方向および第２方向に１ピッチ分だけ移動させた領域である。なお、１ピッチは半ピッチの２倍の長さである。判定・補間領域４１は、互いに隣接する２つのＧおよび２つのＲの境界の位置を中心４４とする。判定・補間領域４１は、少なくとも、第２方向に平行な３行、かつ、第１方向に平行な４列のＧと、第２方向に平行な４行、かつ、第１方向に平行な２列のＢと、第２方向に平行な２行、かつ、第１方向に平行な３列のＲとを含む。判定・補間領域４１におけるＢおよびＲの配置は、判定・補間領域４０におけるＲおよびＢの配置にそれぞれ対応する。
【００６７】
信号処理部３２は、判定・補間領域４０での処理と同様に、判定・補間領域４１において方向性判定および補間処理をする。補間処理により、中心４４の位置にお行ける画素値ｇ４４、ｂ４４およびｒ４４を生成する。
【００６８】
（第１方向性がある場合の補間処理：ｇ４４）信号処理部３２は第１方向に連続性があると判定した後に、判定・補間領域４１において補間処理を行う。信号処理部３２は、第１方向において方向性があると判定する場合、判定・補間領域４１におけるａ行×ｂ列個のＧの出力信号に平滑化フィルタを適用する。なお、ａはｂよりも大きな自然数であり、本例ではａ＝３、ｂ＝２である。これにより、判定・補間領域４１の中心４４における画素値ｇ４４を算出する。
【００６９】
本例の信号処理部３２は、判定・補間領域４１における３行×２列個のＧの出力信号（数１８）に対してガウシアンフィルタを適用する。（数１９）は、ガウシアンフィルタの一例である。
【数１８】
2019154039.tif 000020
【数１９】
2019154039.tif 000021
【００７０】
そして、信号処理部３２は、（数１８）および（数１９）の畳み込みの値を算出する。本例では、（数３）において、関数ｈ＝（数１９），関数ｆ＝（数１８），Ｍ＝３，Ｎ＝２である。また、ｍ１＝−１，ｍ２＝１である。ｎ１＝−１，ｎ２＝１であり、Σの演算においてｎ＝０は除く。ここで、ｍ２が（数１８）および（数１９）の第１行を指定し、ｍ１が（数１８）および（数１９）の第３行を指定し、ｎ２が（数１８）および（数１９）の第１列を指定し、ｎ１が（数１８）および（数１９）の第２列を指定するとする。これにより、ガウシアンフィルタを適用したｇ４４−Ｇは、ｇ４４‐Ｇ＝（１×Ｇ２３＋２×Ｇ３３＋１×Ｇ４３＋１×Ｇ２４＋２×Ｇ３４＋１×Ｇ４４）／８となる。
【００７１】
また信号処理部３２は、判定・補間領域４１におけるｃ行×ｄ列個のＢの出力信号に先鋭化フィルタを適用する。なお、ｃはｄよりも大きな自然数であり、本例ではｃ＝４、ｄ＝２である。本例の信号処理部３２は、判定・補間領域４１における４行×２列個のＢの出力信号（数２０）に対してラプラシアンフィルタを適用する。（数２１）は、ラプラシアンフィルタの一例である。
【数２０】
2019154039.tif 000022
【数２１】
2019154039.tif 000023
【００７２】
そして、信号処理部３２は、（数２０）および（数２１）の畳み込みの値を算出する。本例では、（数３）において、関数ｈ＝（数２１），関数ｆ＝（数２０），Ｍ＝４，Ｎ＝２である。また、ｍ１＝−２，ｍ２＝２であり、Σの演算においてｎ＝０は除く。ｎ１＝−１，ｎ２＝１であり、Σの演算においてｎ＝０は除く。ここで、ｍ２が（数２０）および（数２１）の第１行を指定し、ｍ１が（数２０）および（数２１）の第４行を指定し、ｎ２が（数２０）および（数２１）の第１列を指定し、ｎ１が（数２０）および（数２１）の第２列を指定するとする。これにより、ラプラシアンフィルタを適用したｇ４４‐Ｌは、ｇ４４‐Ｌ＝（−１×Ｂ１２＋１×Ｂ２２＋１×Ｂ３２−１×Ｂ４２−１×Ｂ１３＋１×Ｂ２３＋１×Ｂ３３−１×Ｂ４３）／８となる。
【００７３】
平滑化フィルタを適用した値と先鋭化フィルタを適用した値との和をとることにより、中心４４の位置に対応するＧの画素値を算出する。つまり、ｇ４４‐Ｇとｇ４４‐Ｌとの和を中心４４における補正後の画素値ｇ４４とする。
【００７４】
（第１方向性がある場合の補間処理：ｂ４４，ｒ４４）信号処理部３２は、画素値ｇ４４を算出するとともに、Ｂの画素値を補正したｂ４４を算出する。信号処理部３２は、判定・補間領域４１におけるｋ行×ｌ列個のＢの出力信号に平滑化フィルタを適用した値を、中心４２の位置に対応するＢの画素値として算出する。本例では、ｋはｌよりも大きな自然数であり、ｋ＝４、ｌ＝２である。本例の信号処理部３２は、判定・補間領域４１における４行×２列個のＢの出力信号（数２２）に対してガウシアンフィルタを適用する。そして、信号処理部３２は、（数２２）および（数２３）の畳み込みの値を補正後の画素値ｂ４４として算出する。なお、（数２３）は、ガウシアンフィルタの一例である。
【数２２】
2019154039.tif 000024
【数２３】
2019154039.tif 000025
【００７５】
本例では、（数３）において、関数ｈ＝（数２３），関数ｆ＝（数２２），Ｍ＝４，Ｎ＝２である。ｍ１＝−２，ｍ２＝２であり、Σの演算においてｎ＝０は除く。ｎ１＝１，ｎ２＝１であり、Σの演算においてｎ＝０は除く。ここで、ｍ２が（数２２）および（数２３）の第１行を指定し、ｍ１が（数２２）および（数２３）の第４行を指定し、ｎ２が（数２２）および（数２３）の第１列を指定し、ｎ１が（数２２）および（数２３）の第２列を指定するとする。これにより、ガウシアンフィルタを適用したｂ４４は、ｂ４４＝（１×Ｂ１２＋３×Ｂ２２＋３×Ｂ３２＋１×Ｂ４２＋１×Ｂ１３＋３×Ｂ２３＋３×Ｂ３３＋１×Ｂ４３）／１６となる。
【００７６】
信号処理部３２は、さらにＲの画素値を補正したｒ４４を算出する。信号処理部３２は、判定・補間領域４１におけるｐ行×ｑ列個のＲの出力信号に平滑化フィルタを適用した値を、中心４２の位置に対応するＲの画素値として算出する。本例では、ｐはｑよりも大きな自然数であり、ｐ＝２、ｑ＝１である。本例の信号処理部３２は、判定・補間領域４１における２行×１列個のＲの出力信号（数２４）に対してガウシアンフィルタを適用する。そして、信号処理部３２は、（数２４）および（数２５）の畳み込みの値を補正後の画素値ｒ４４として算出する。なお、（数２５）は、ガウシアンフィルタの一例である。
【数２４】
2019154039.tif 000026
【数２５】
2019154039.tif 000027
【００７７】
本例では、（数３）において、関数ｈ＝（数２５），関数ｆ＝（数２４），Ｍ＝２，Ｎ＝１である。また、ｍ１＝−１，ｍ２＝１であり、Σの演算においてｎ＝０は除く。ｎ１＝ｎ２＝０である。ここで、ｍ２が（数２４）および（数２５）の第１行を指定し、ｍ１が（数２４）および（数２５）の第２行を指定し、ｎ１およびｎ２が（数２４）および（数２５）の第１列を指定するとする。これにより、ガウシアンフィルタを適用したｒ４４は、ｒ４４＝（１×Ｒ３２＋１×Ｒ４２）／２となる。
【００７８】
（第２方向性がある場合の補間処理：ｇ４４）信号処理部３２は第２方向に連続性があると判定した後に、判定・補間領域４１において補間処理を行う。信号処理部３２は、第２方向において方向性があると判定する場合、判定・補間領域４１におけるｒ行×ｓ列個のＧの出力信号に平滑化フィルタを適用する。なお、ｒはｓよりも小さな自然数であり、本例ではｒ＝３、ｓ＝４である。これにより、判定・補間領域４０の中心４４における画素値ｇ４４を算出する。
【００７９】
本例の信号処理部３２は、判定・補間領域４１における３行×４列個のＧの出力信号（数２６）に対してガウシアンフィルタを適用する。なお、（数２７）は、ガウシアンフィルタの一例である。
【数２６】
2019154039.tif 000028
【数２７】
2019154039.tif 000029
【００８０】
そして、信号処理部３２は、（数２６）および（数２７）の畳み込みの値を算出する。本例では、（数３）において、関数ｈ＝（数２７），関数ｆ＝（数２６），Ｍ＝３，Ｎ＝４である。また、ｍ１＝−１，ｍ２＝１である。ｎ１＝−２，ｎ２＝２であり、Σの演算においてｎ＝０は除く。ここで、ｍ２が（数２６）および（数２７）の第１行を指定し、ｍ１が（数２６）および（数２７）の第３行を指定し、ｎ２が（数２６）および（数２７）の第１列を指定し、ｎ１が（数２６）および（数２７）の第４列を指定するとする。これにより、ガウシアンフィルタを適用したｇ４４‐Ｇは、ｇ４４‐Ｇ＝（１×Ｇ２２＋２×Ｇ３２＋１×Ｇ４２＋３×Ｇ２３＋６×Ｇ３３＋３×Ｇ４３＋３×Ｇ２４＋６×Ｇ３４＋３×Ｇ４４＋１×Ｇ２５＋２×Ｇ３５＋１×Ｇ４５）／３２となる。
【００８１】
また信号処理部３２は、判定・補間領域４１におけるｔ行×ｕ列個のＲの出力信号に先鋭化フィルタを適用する。なお、ｔはｕよりも小さな自然数であり、本例ではｔ＝２、ｕ＝３である。本例の信号処理部３２は、判定・補間領域４１における２行×３列個のＲの出力信号（数２８）に対してラプラシアンフィルタを適用する。なお、（数２９）は、ラプラシアンフィルタの一例である。
【数２８】
2019154039.tif 000030
【数２９】
2019154039.tif 000031
【００８２】
そして、信号処理部３２は、（数２８）および（数２９）の畳み込みの値を算出する。本例では、（数３）において、関数ｈ＝（数２９），関数ｆ＝（数２８），Ｍ＝２，Ｎ＝３である。また、ｍ１＝−１，ｍ２＝１であり、Σの演算においてｎ＝０は除く。ｎ１＝−１，ｎ２＝１である。ここで、ｍ２が（数２８）および（数２９）の第１行を指定し、ｍ１が（数２８）および（数２９）の第２行を指定し、ｎ２が（数２８）および（数２９）の第１列を指定し、ｎ１が（数２８）および（数２９）の第３列を指定するとする。これにより、ラプラシアンフィルタを適用したｇ４４‐Ｌは、ｇ４４‐Ｌ＝（−１×Ｒ３１−１×Ｒ４１＋２×Ｒ３２＋２×Ｒ４２−１×Ｒ３３−１×Ｒ４３）／８となる。
【００８３】
平滑化フィルタを適用した値と先鋭化フィルタを適用した値との和をとることにより、中心４４の位置に対応するＧの画素値を算出する。つまり、ｇ４４‐Ｇとｇ４４‐Ｌとの和を中心４４における補正後の画素値ｇ４４とする。
【００８４】
（第２方向性がある場合の補間処理：ｂ４４，ｒ４４）信号処理部３２は、画素値ｇ４４を算出するとともに、Ｒの出力信号を補正した画素値ｒ４４を算出する。信号処理部３２は、判定・補間領域４１におけるｖ行×ｗ列個のＲの出力信号に平滑化フィルタを適用した値を、中心４２の位置に対応するＲの画素値として算出する。本例では、ｖはｗよりも小さな自然数であり、ｖ＝２、ｗ＝３である。本例の信号処理部３２は、判定・補間領域４１における２行×３列個のＲの出力信号（数３０）に対してガウシアンフィルタを適用する。そして、信号処理部３２は、（数３０）および（数３１）の畳み込みの値を補正後の画素値ｒ４４として算出する。なお、（数３１）は、ガウシアンフィルタの一例である。
【数３０】
2019154039.tif 000032
【数３１】
2019154039.tif 000033
【００８５】
本例では、（数３）において、Ｍ＝２，Ｎ＝３である。したがって、ｍ１＝−１，ｍ２＝１であり、Σの演算においてｍ＝０は除く。また、ｎ１＝−１，ｎ２＝１である。ここで、ｍ２が（数３０）および（数３１）の第１行を指定し、ｍ１が（数３０）および（数３１）の第２行を指定し、ｎ２が（数３０）および（数３１）の第１列を指定し、ｎ１が（数３０）および（数３１）の第３列を指定するとする。これにより、ガウシアンフィルタを適用したｒ４４は、ｒ４４＝（１×Ｒ３１＋１×Ｒ４１＋２×Ｒ３２＋２×Ｒ４２＋１×Ｒ３３＋１×Ｒ４３）／８となる。
【００８６】
同様に、信号処理部３２は、判定・補間領域４１におけるｘ行×ｙ列個のＢの出力信号に平滑化フィルタを適用した値を、中心４４の位置に対応するＢの画素値として算出する。本例では、ｘとｙとは等しい自然数であり、ｘ＝ｙ＝２である。本例の信号処理部３２は、判定・補間領域４１における２行×２列個のＢの出力信号（数３２）に対してガウシアンフィルタを適用する。そして、信号処理部３２は、（数３２）および（数３３）の畳み込みの値を補正後の画素値ｂ４４として算出する。なお、（数３３）は、ガウシアンフィルタの一例である。
【数３２】
2019154039.tif 000034
【数３３】
2019154039.tif 000035
【００８７】
本例では、（数３）において、Ｍ＝２，Ｎ＝２である。したがって、ｍ１＝−１，ｍ２＝１であり、Σの演算においてｍ＝０は除く。また、ｎ１＝−１，ｎ２＝１であり、Σの演算においてｎ＝０は除く。ここで、ｍ２が（数３２）および（数３３）の第１行を指定し、ｍ１が（数３２）および（数３３）の第２行を指定し、ｎ２が（数３２）および（数３３）の第１列を指定し、ｎ１が（数３２）および（数３３）の第２列を指定するとする。これにより、ガウシアンフィルタを適用したｂ４４は、ｂ４４＝（１×Ｂ２２＋１×Ｂ３２＋１×Ｂ２３＋１×Ｂ３３）／４となる。
【００８８】
図７Ａは、判定・補間領域４０における各画素と補間生成される画素値の位置との対応関係を示す図である。図４と同様に、マイクロレンズ１２、開口領域および遮光領域の記載を省略する。図７Ｂは判定・補間領域４０に対応する位置において補間生成された画素値を示す図である。図７Ａの中心４２の位置において補間処理された画素値ｇ３３、ｂ３３およびｒ３３は、図７Ｂの中心４２の位置における画素値ｇ３３、ｂおよびｒにそれぞれ対応する。同様に、図７Ａの中心４４の位置において補間処理された画素値ｇ４４、ｂ４４およびｒ４４は、図７Ｂの中心４４の位置における画素値ｇ４４、ｂおよびｒにそれぞれ対応する。
【００８９】
図７Ａの判定・補間領域４０における中心４２および中心４４以外の７つの実線の円は、互いに隣接する２つのＧおよび２つのＲの境界の位置、ならびに、互いに隣接する２つのＧおよび２つのＢの境界の位置を示す。当該７つの実線の円の位置に補間処理により生成される画素値は、判定・補間領域４０および４１と同様の処理をして生成されてよい。各実線の円に対応する位置において補間処理により生成された画素値ｇ、ｂおよびｒが、図７Ｂに対応して示されている。例えば、Ｇ１１、Ｇ１２、Ｒ１１およびＲ２１の境界の位置において補間処理により生成された画素値ｇ２２、ｂ２２およびｒ２２が、図７Ｂにおいてｇ２２、ｂおよびｒとして示されている。なお、図７Ａにおける点線の円は、図７Ｂにおける点線の円に対応する。
【００９０】
本例では、正方形の光電変換部１７を第１方向及び第２方向に配列する。第２方向において互いに隣接する２つのＧと、第１方向において互いに隣接する２つのＢまたは２つのＲとの境界位置において、Ｒ、ＧおよびＢの出力信号を用いて補間後の画素値ｒ、ｇおよびｂをそれぞれ生成する。したがって、従来のように隣接画素同士の出力信号を加算する場合と比較して、解像度を上げることができる。また、ガウシアンフィルタに加えてラプラシアンフィルタを用いるので、ガウシアンフィルタだけを用いる場合と比較して、画像をより先鋭化することができる。したがって、色再現性を犠牲にせずに、解像度を向上させることができる。
【００９１】
本例においては、第２方向に平行な３行かつ第１方向に平行な４列のＧを有する判定・補間領域４０および４１について、画素値を補間処理する方法について述べた。なお、判定・補間領域４０および４１が、さらに多くのＧ、ＢおよびＲを含むように拡張すれば、第２方向および第１方向の方向性判定の精度をさらに向上させることができる。また、画素値を補間処理する場合に、フィルタのカーネルサイズを小さくすれば演算量を減らすことができる。例えば、第１方向に連続性がある場合に、ｇ３３用のガウシアンフィルタを本例の３行×２列から３行×１列へとすれば、演算量を減らすことができる。同様に、第２方向に連続性がある場合に、ｇ３３用のガウシアンフィルタを本例の３行×４列から１行×４列とすれば、演算量を減らすことができる。これにより処理速度を向上させることができる。
【００９２】
（変形例）第１の実施形態においては、全ての光電変換部１７が遮光領域および開口領域を有する例を説明した。しかしながら、遮光領域および開口領域を有するＧを、第２方向においてだけ連続して設ける構成としてもよい。また、遮光領域および開口領域を有するＲを、第１方向においてだけ連続して設ける構成としてもよい。遮光領域を有する光電変換部１７の出力信号は、遮光領域を有しない光電変換部１７の出力信号の半分となる。そこで、遮光領域を有する光電変換部１７の画素値を予め２倍する処理を施す。これにより、他の画素の画素値と同様に方向性判定および補間処理を適用することができる。
【００９３】
図８は、第２の実施形態における加算モードとフィルタ処理モードとを切り替える処理を説明するフローチャート７０である。ユーザが本体電源を入れて撮像モードをオンにすることにより、本例のフローが開始される（ステップ７１）。その後、信号処理部３２は被写体を撮像する画像をライブビュー表示するか否か判定する（ステップ７２）。例えば信号処理部３２は、シャッターレリーズが押下されていない場合は画像をライブビュー表示してよい。これに対し、信号処理部３２は、シャッターレリーズが押下された場合は画像を撮像してデータとして記録部６０に保存してよい。信号処理部３２は、ライブビュー表示とするか否かを切り替える切替部を有する。
【００９４】
切替部は、画像をライブビュー表示する場合に、第１方向および第２方向の一方において隣接する２つの画素の信号値の加算により生成する加算モードを選択する（ステップ７３）。これに対し、切替部は、ライブビュー表示をせずに画像をデータとして記録部６０に保存する場合に、平滑化フィルタおよび先鋭化フィルタを適用するフィルタ処理モードを選択する（ステップ７４）。なお、フィルタ処理モードにおいては、信号処理部３２が、第１実施形態における方向性判定および補間処理をする。
【００９５】
加算モードまたはフィルタ処理モードでの出力表示の後、信号処理部３２は撮像モードが継続されるか否かを判断する（ステップ７５）。撮像モードが継続されない場合には、信号処理部３２は処理を終了する。例えば、ユーザが一眼レフカメラ４００の電源をオフにした場合、または、ユーザが撮像モードをオフにする場合には、信号処理部３２は処理を終了する（ステップ７６）。撮像モードが継続される場合には、信号処理部３２は処理を継続する。例えば、ユーザが撮像モードを維持する場合には、信号処理部３２は処理を継続する（ステップ７７）。当該処理により、ライブビュー表示では、加算モードにより粗い画像を表示するので、信号処理部３２の処理負担を軽減することができる。それゆえ、動く被写体を表示し続ける場合に表示が途切れることを防ぐことができる。これに対して、画像をデータとして保存する場合には、ライブビュー表示よりも先鋭な画像をデータとして記録することができる。
【００９６】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００９７】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順序で実施することが必須であることを意味するものではない。
【符号の説明】
【００９８】
１０  撮像チップ、１２  マイクロレンズ、１５  バンプ、１７  光電変換部、３０  信号処理チップ、３２  信号処理部、３４  ＡＤ変換部、３６  焦点検出部、４０  判定・補間領域、４１  判定・補間領域、４２  中心、４４  中心、４６  領域、４８  領域、６０  記録部、７０  フローチャート、２００  撮像素子、３４０  シャッタユニット、４１０  光軸、４００  一眼レフカメラ、５００  レンズユニット、５５０  レンズマウント、６００  カメラボディ、６２０  ボディ基板、６２２  ＣＰＵ、６２４  画像処理部、６２５  画像処理ＡＳＩＣ、６３４  背面表示部、６５０  ファインダ、６５２  ピント板、６５４  ペンタプリズム、６５６  ファインダ光学系、６６０  ボディマウント、６７０  ミラーボックス、６７２  ミラー
【図１】
2019154039.tif 000036
【図２】
2019154039.tif 000037
【図３】
2019154039.tif 000038
【図４】
2019154039.tif 000039
【図５】
2019154039.tif 000040
【図６】
2019154039.tif 000041
【図７Ａ】
2019154039.tif 000042
【図７Ｂ】
2019154039.tif 000043
【図８】
2019154039.tif 000044