(57)【要約】【課題】より画質劣化の少ない位相差画素の映像出力用の画素値を算出することができるようにする。【解決手段】高周波信号判定部は、位相差画素が配置された撮像部から出力された画素信号に基づいて、位相差画素の周辺領域である参照領域が、特定方向の高周波信号領域であるかを判定する。合成比率決定部は、参照領域が特定方向の高周波信号領域ではないと判定された場合に、参照領域の画素差分を用いて、ゲイン倍補間方法による位相差画素の補間値と、周辺画素補間方法による位相差画素の補間値の合成比率を決定する。本技術は、例えば、固体撮像装置からの画素信号を処理する信号処理装置等に適用できる。【選択図】図４
2014179939.tif 000002
【特許請求の範囲】
【請求項１】
位相差画素が配置された撮像部から出力された画素信号に基づいて、前記位相差画素の周辺領域である参照領域が、特定方向の高周波信号領域であるかを判定する高周波信号判定部と、
前記参照領域が特定方向の高周波信号領域ではないと判定された場合に、前記参照領域の画素差分を用いて、ゲイン倍補間方法による前記位相差画素の補間値と、周辺画素補間方法による前記位相差画素の補間値の合成比率を決定する合成比率決定部と
を備える信号処理装置。
【請求項２】
前記合成比率決定部は、前記参照領域の画素差分が小さくなる方向の画素差分値に基づいて、前記合成比率を決定する
請求項１に記載の信号処理装置。
【請求項３】
前記高周波信号判定部は、前記参照領域の画素値の標準偏差が所定の閾値より小さく、かつ、前記方向の画素差分値が所定の閾値よりも小さく、かつ、前記方向が前記位相差画素の遮蔽方向と等しい場合に、前記参照領域が特定方向の高周波信号領域であると判定する
請求項２に記載の信号処理装置。
【請求項４】
前記高周波信号判定部は、特定方向の周波数を検波するフィルタを用いて、前記参照領域が特定方向の高周波信号領域であるかを判定する
請求項１に記載の信号処理装置。
【請求項５】
前記合成比率決定部は、前記参照領域の画素差分が小さくなる方向の画素差分値と前記合成比率を対応付けたテーブルを用いて、前記方向の画素差分値に対応する合成比率を、前記合成比率として決定する
請求項１に記載の信号処理装置。
【請求項６】
前記特定方向は、前記位相差画素の遮蔽方向である
請求項１に記載の信号処理装置。
【請求項７】
前記参照領域が平坦部であるかを判定する平坦判定部をさらに備え、
前記高周波信号判定部は、前記参照領域が平坦部ではないと判定された場合に、前記参照領域が特定方向の高周波信号領域であるかを判定する
請求項１に記載の信号処理装置。
【請求項８】
前記平坦判定部は、前記参照領域の画素値の標準偏差と、前記参照領域の画素差分が小さくなる方向の画素差分値とに基づいて、前記参照領域が平坦部であるかを判定する
請求項７に記載の信号処理装置。
【請求項９】
前記参照領域が浅い角度のエッジ方向を有する領域であるかを判定するエッジ判定部をさらに備え、
前記高周波信号判定部は、前記参照領域が浅い角度のエッジ方向を有する領域ではないと判定された場合に、前記参照領域が特定方向の高周波信号領域であるかを判定する
請求項１に記載の信号処理装置。
【請求項１０】
前記エッジ判定部は、前記参照領域の画素値の標準偏差と、前記参照領域の画素差分が小さくなる方向の画素差分値とに基づいて、前記参照領域が浅い角度のエッジ方向を有する領域であるかを判定する
請求項９に記載の信号処理装置。
【請求項１１】
前記参照領域がフォーカスがずれている領域であるかを判定するインフォーカス判定部をさらに備え、
前記合成比率決定部は、前記参照領域が、特定方向の高周波信号領域ではなく、かつ、フォーカスがずれている領域ではないと判定された場合に、前記合成比率を決定する
請求項１に記載の信号処理装置。
【請求項１２】
前記インフォーカス判定部は、前記位相差画素の遮蔽方向に沿った周辺の領域である参照領域内のダイナミックレンジと画素差分絶対値とに基づいて、前記参照領域がフォーカスがずれている領域であるかを判定する
請求項１１に記載の信号処理装置。
【請求項１３】
ゲイン倍補間方法による前記位相差画素の補間値を算出するゲイン倍補間値演算部と、
周辺画素補間方法による前記位相差画素の補間値を算出する周辺画素補間値演算部と
をさらに備え、
前記周辺画素補間演算部は、前記参照領域が特定方向の高周波信号領域であると判定された場合に、前記位相差画素に対して前記参照領域の画素差分が小さくなる方向に位置する周辺の同色画素の画素値から、前記位相差画素の補間値を算出する
請求項１に記載の信号処理装置。
【請求項１４】
位相差画素が配置された撮像部から出力された画素信号を処理する信号処理装置が、
前記位相差画素の周辺領域である参照領域が、特定方向の高周波信号領域であるかを判定し、
前記参照領域が特定方向の高周波信号領域ではないと判定された場合に、前記参照領域の画素差分を用いて、ゲイン倍補間方法による前記位相差画素の補間値と、周辺画素補間方法による前記位相差画素の補間値の合成比率を決定する
信号処理方法。
【請求項１５】
位相差画素が配置された撮像部から出力された画素信号に基づいて、前記位相差画素の周辺領域である参照領域と、前記参照領域より広い探索範囲に設定される前記参照領域と同じ大きさの探索領域との類似度を、前記探索範囲内の複数の前記探索領域それぞれについて計算し、その計算結果の総和である類似度総和を算出する類似度総和算出部と、
算出された前記類似度総和に応じて、ゲイン倍補間方法による前記位相差画素の補間値と、周辺画素補間方法による前記位相差画素の補間値の合成比率を決定する合成比率決定部と
を備える信号処理装置。
【請求項１６】
前記探索範囲内の複数の前記探索領域それぞれについて、前記参照領域と前記探索領域との類似度を算出する類似度算出部をさらに備え、
前記類似度総和算出部は、前記類似度算出部により算出された前記類似度を用いて、前記類似度総和を算出する
請求項１５に記載の信号処理装置。
【請求項１７】
算出された前記類似度総和の信頼度合いを決定するための基準値を算出する信頼基準値算出部をさらに備え、
前記合成比率決定部は、前記基準値に対する前記類似度総和の割合に基づいて、前記合成比率を決定する
請求項１５に記載の信号処理装置。
【請求項１８】
ゲイン倍補間方法による前記位相差画素の補間値を算出するゲイン倍補間値演算部と、
周辺画素補間方法による前記位相差画素の補間値を算出する周辺画素補間値演算部と
をさらに備える
請求項１５に記載の信号処理装置。
【請求項１９】
前記周辺画素補間値演算部は、前記位相差画素に対応する前記探索領域内の画素である対応画素の画素値を、前記参照領域と前記探索領域との類似度を前記類似度総和で正規化して求められる前記対応画素の重み係数で乗算した乗算結果を、全ての前記探索領域について加算した総和を求めることにより、前記位相差画素の補間値を算出する
請求項１８に記載の信号処理装置。
【請求項２０】
位相差画素が配置された撮像部から出力された画素信号を処理する信号処理装置が、
前記位相差画素の周辺領域である参照領域と、前記参照領域より広い探索範囲に設定される前記参照領域と同じ大きさの探索領域との類似度を、前記探索範囲内の複数の前記探索領域それぞれについて計算し、その計算結果の総和である類似度総和を算出し、
算出された前記類似度総和に応じて、ゲイン倍補間方法による前記位相差画素の補間値と、周辺画素補間方法による前記位相差画素の補間値の合成比率を決定する
信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、信号処理装置および信号処理方法に関し、特に、より画質劣化の少ない位相差画素の映像出力用の画素値を算出することができるようにする信号処理装置および信号処理方法に関する。
【背景技術】
【０００２】
近年、複数の画素を行列状に配置した画素領域内に、映像出力用の通常画素に加えて、焦点検出用の位相差画素を配置した固体撮像装置が提案されている。
【０００３】
このような固体撮像装置では、位相差画素の映像出力用の画素値を補正して求める必要がある。画素値の補正方法には、位相差画素の画素値をゲイン倍して求める方法や、位相差画素の周辺にある周辺画素の画素値から求める方法がある。
【０００４】
また、特許文献１では、位相差画素のゲイン倍による補間値と、周辺画素の画素値からの補間値を、周辺画素の画素値の合計輝度とエッジ量に応じて切り替えて、位相差画素の映像出力用の画素値を求める方法が開示されている。
【０００５】
また例えば、特許文献２では、位相差画素のゲイン倍による補間値と、周辺画素の画素からの補間値を、所定の合成割合で合成した値を、位相差画素の映像出力用の画素値とする方法が提案されている。特許文献２に開示の方法では、合成割合は、位相差画素の周辺同色画素の標準偏差値σと平均値ａの比σ／ａに基づいて決定される。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１２−４７２９号公報
【特許文献２】特開２０１０−６２６４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１に開示の方法では、周辺画素の画素値の合計輝度とエッジ量を用いた判定条件に基づいて、位相差画素のゲイン倍による補間値と、周辺画素の画素値からの補間値を切り替えて利用するため、判定条件の境界付近の画素値となるような位相差画素では、補正が失敗し、アーティファクト（補正残り）が大きくなることがあった。
【０００８】
また特許文献２に開示の方法では、位相差画素の遮蔽方向に沿った方向の高周波信号に対してもゲイン倍の補間値を利用して補正しており、サンプリングの影響により誤補正となることが多い。
【０００９】
以上のように、従来の位相差画素の映像出力用の画素値の算出方法については、改善の余地がある。
【００１０】
本技術は、このような状況に鑑みてなされたものであり、より画質劣化の少ない位相差画素の映像出力用の画素値を算出することができるようにするものである。
【課題を解決するための手段】
【００１１】
本技術の第１の側面の信号処理装置は、位相差画素が配置された撮像部から出力された画素信号に基づいて、前記位相差画素の周辺領域である参照領域が、特定方向の高周波信号領域であるかを判定する高周波信号判定部と、前記参照領域が特定方向の高周波信号領域ではないと判定された場合に、前記参照領域の画素差分を用いて、ゲイン倍補間方法による前記位相差画素の補間値と、周辺画素補間方法による前記位相差画素の補間値の合成比率を決定する合成比率決定部とを備える。
【００１２】
本技術の第１の側面の信号処理方法は、位相差画素が配置された撮像部から出力された画素信号を処理する信号処理装置が、前記位相差画素の周辺領域である参照領域が、特定方向の高周波信号領域であるかを判定し、前記参照領域が特定方向の高周波信号領域ではないと判定された場合に、前記参照領域の画素差分を用いて、ゲイン倍補間方法による前記位相差画素の補間値と、周辺画素補間方法による前記位相差画素の補間値の合成比率を決定する。
【００１３】
本技術の第１の側面においては、位相差画素の周辺領域である参照領域が、特定方向の高周波信号領域であるかが判定され、前記参照領域が特定方向の高周波信号領域ではないと判定された場合に、前記参照領域の画素差分を用いて、ゲイン倍補間方法による前記位相差画素の補間値と、周辺画素補間方法による前記位相差画素の補間値の合成比率が決定される。
【００１４】
本技術の第２の側面の信号処理装置は、位相差画素が配置された撮像部から出力された画素信号に基づいて、前記位相差画素の周辺領域である参照領域と、前記参照領域より広い探索範囲に設定される前記参照領域と同じ大きさの探索領域との類似度を、前記探索範囲内の複数の前記探索領域それぞれについて計算し、その計算結果の総和である類似度総和を算出する類似度総和算出部と、算出された前記類似度総和に応じて、ゲイン倍補間方法による前記位相差画素の補間値と、周辺画素補間方法による前記位相差画素の補間値の合成比率を決定する合成比率決定部とを備える。
【００１５】
本技術の第２の側面の信号処理方法は、位相差画素が配置された撮像部から出力された画素信号を処理する信号処理装置が、前記位相差画素の周辺領域である参照領域と、前記参照領域より広い探索範囲に設定される前記参照領域と同じ大きさの探索領域との類似度を、前記探索範囲内の複数の前記探索領域それぞれについて計算し、その計算結果の総和である類似度総和を算出し、算出された前記類似度総和に応じて、ゲイン倍補間方法による前記位相差画素の補間値と、周辺画素補間方法による前記位相差画素の補間値の合成比率を決定する。
【００１６】
本技術の第２の側面においては、位相差画素の周辺領域である参照領域と、前記参照領域より広い探索範囲に設定される前記参照領域と同じ大きさの探索領域との類似度が、前記探索範囲内の複数の前記探索領域それぞれについて計算され、その計算結果の総和である類似度総和が算出され、算出された前記類似度総和に応じて、ゲイン倍補間方法による前記位相差画素の補間値と、周辺画素補間方法による前記位相差画素の補間値の合成比率が決定される。
【００１７】
信号処理装置は、独立した装置であっても良いし、他の装置に組み込まれるモジュール（信号処理回路）であっても良い。
【発明の効果】
【００１８】
本技術の第１及び第２の側面によれば、より画質劣化の少ない位相差画素の映像出力用の画素値を算出することができる。
【図面の簡単な説明】
【００１９】
【図１】本技術が適用された固体撮像装置の概略構成を示すブロック図である。
【図２】画素アレイ部の画素配列構成例を示す図である。
【図３】固体撮像装置の基板構成について説明する図である。
【図４】信号処理回路の第１の実施の形態のブロック図である。
【図５】ゲイン倍補間方法と周辺画素補間方法のそれぞれが不得意なケースについて説明する図である。
【図６】平坦判定部の処理例を説明する図である。
【図７】高周波信号判定部のソーベルフィルタの例を示す図である。
【図８】インフォーカス判定処理を説明する図である。
【図９】ブレンド率決定テーブルを示す図である。
【図１０】第１の実施の形態の画素補間処理を説明するフローチャートである。
【図１１】周辺画素補間の従来例を説明する図である。
【図１２】信号処理回路の第２の実施の形態のブロック図である。
【図１３】類似度match_w(P,Q)の算出方法を説明する図である。
【図１４】類似度総和match_wsum(P)の算出方法を説明する図である。
【図１５】補間値neighbor_pixの算出方法を説明する図である。
【図１６】第２の実施の形態の画素補間処理を説明するフローチャートである。
【図１７】信号処理回路が独立した形態を示すブロック図である。
【図１８】本技術を適用した電子機器としての撮像装置の構成例を示すブロック図である。
【発明を実施するための形態】
【００２０】
以下、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．信号処理回路を含む固体撮像装置の概略構成例
２．信号処理回路の第１の実施の形態
３．信号処理回路の第２の実施の形態
【００２１】
＜固体撮像装置の概略構成例＞
図１は、本技術が適用された固体撮像装置の概略構成を示すブロック図である。
【００２２】
図１の固体撮像装置１は、画素アレイ部１１、AD変換部１２、水平転送部１３、信号処理回路１４、タイミング制御部１５、および画素駆動部１６を含んで構成される。画素アレイ部１１、AD変換部１２、水平転送部１３、タイミング制御部１５、および画素駆動部１６は、撮像部１７を構成する。
【００２３】
画素アレイ部１１は、光電変換部となるフォトダイオードと、複数の画素トランジスタ（いわゆるMOSトランジスタ）を有する画素を、２次元アレイ状に（行方向および列方向に）複数配置して構成されている。複数の画素トランジスタは、例えば転送トランジスタ、リセットトランジスタ及び増幅トランジスタの３つのトランジスタで構成することができる。画素は、その他、選択トランジスタを追加した４つのトランジスタで構成することもできる。
【００２４】
図２は、画素アレイ部１１の画素配列構成例を示している。
【００２５】
画素アレイ部１１は、図２に示されるように、映像出力用の画素（以下、通常画素ともいう。）のなかに、焦点検出用の画素（以下、位相差画素ともいう。）が、所定の配列で配置された構成を有している。
【００２６】
図２Aは、画素内の受光領域の右側または左側の一部が遮光された位相差画素が、行方向に配置された例を示している。本明細書では、図２Aに示されるような位相差画素の遮蔽方向を、水平方向の遮蔽方向と呼ぶことにする。
【００２７】
右側の一部が遮光された位相差画素と、左側の一部が遮光された位相差画素の画素信号には、遮光位置の相違により、像のずれが発生する。この２つの位相差画素の画素信号の位相ずれ量に基づいて、デフォーカス量を算出し、撮影レンズを調整（移動）することで、オートフォーカスを達成することができる。
【００２８】
図２Bは、画素内の受光領域の上側または下側の一部が遮光された位相差画素が、列方向に配置された例を示している。本明細書では、図２Bに示されるような位相差画素の遮蔽方向を、垂直方向の遮蔽方向と呼ぶことにする。
【００２９】
図２Cは、画素内の受光領域の右上斜め方向または左下斜め方向の一部が遮光された位相差画素が、右上斜め方向に配置された例を示している。本明細書では、図２Cに示されるような位相差画素の遮蔽方向を、右上斜め方向の遮蔽方向と呼ぶことにする。また、図示は省略するが、画素内の受光領域の左上斜め方向または右下斜め方向の一部が遮光された位相差画素が、左上斜め方向に配置される場合もある。そのような位相差画素の遮蔽方向を、左上斜め方向の遮光方向と呼ぶことにする。
【００３０】
なお、図２では、説明を簡単にするため、各遮光方向の位相差画素を個別に説明したが、実際には、各種の遮蔽方向の位相差画素が混在する場合もある。また、位相差画素が配置される位置も、規則的に配置される場合に限らずに、ランダムに配置される場合もある。
【００３１】
図１に戻り、AD変換部１２は、画素アレイ部１１の画素列ごとに配置された複数のADC(Analog-Digital Converter)を有し、１行分の画素から出力されるアナログの画素信号に対して、画素列ごとに、CDS(Correlated Double Sampling；相関２重サンプリング)処理し、さらにAD変換処理する。AD変換処理後のデジタルの画素信号は、水平転送部１３に出力される。
【００３２】
水平転送部１３は、水平走査回路などで構成され、AD変換部１２内の各ADCに記憶されているデジタルの画素信号を、順次、所定のタイミングで信号処理回路１４に出力する。
【００３３】
信号処理回路１４は、水平転送部１３から供給される画素信号に対して、所定のデジタル信号処理を行う。具体的には、信号処理回路１４は、位相差画素に対して、映像出力用の画素値を算出する画素補間処理（画素補正処理）を行う。また、信号処理回路１４は、黒レベル調整、列ばらつき補正など、画素補間処理以外のデジタル信号処理も行うことができる。
【００３４】
タイミング制御部１５は、垂直同期信号、水平同期信号などの各種のタイミング信号を生成するタイミングジェネレータなどによって構成される。タイミング制御部１５は、タイミングジェネレータで生成された各種のタイミング信号を、AD変換部１２、水平転送部１３、信号処理回路１４、及び画素駆動部１６に供給し、各部の動作タイミングを制御する。
【００３５】
画素駆動部１６は、例えばシフトレジスタによって構成され、画素アレイ部１１の各画素を行単位で、順次、垂直方向に選択走査し、各画素の光電変換部において受光量に応じて生成された信号電荷に基づく画素信号を、AD変換部１２に出力させる。
【００３６】
以上のように構成される固体撮像装置１は、例えば、CDS処理とAD変換処理を行うADCが画素列ごとに配置されたカラムAD方式のCMOSイメージセンサとして構成される。
【００３７】
＜固体撮像装置の基板構成＞
次に、図３を参照して、固体撮像装置１の基板構成について説明する。
【００３８】
図１の固体撮像装置１は、シリコン（Si）等の半導体基板を用いて、図３A乃至図３Cに示される第１乃至第３の基板構成のいずれかを採用して、作成することができる。
【００３９】
図３Aは、固体撮像装置１の第１の基板構成を示している。
【００４０】
図３Aの固体撮像装置１は、１つの半導体基板２１内に、画素領域２２と、制御回路２３と、信号処理するためのロジック回路２４とを搭載して構成される。図３Aにおける画素領域２２には、例えば、図１の画素アレイ部１１が含まれ、図３Aにおける制御回路２３には、図１のAD変換部１２、水平転送部１３、タイミング制御部１５、画素駆動部１６などが含まれる。また、図３Aにおけるロジック回路２４には、図１の信号処理回路１４が含まれる。
【００４１】
図３Bは、固体撮像装置１の第２の基板構成を示している。
【００４２】
第２の基板構成では、固体撮像装置１が、第１の半導体基板２５と、第２の半導体基板２６が積層された構造となっており、第１の半導体基板２５には、画素領域２２と制御回路２３が形成され、第２の半導体基板２６には、ロジック回路２４が形成されている。
【００４３】
図３Cは、固体撮像装置１の第３の基板構成を示している。
【００４４】
第３の基板構成においても、第２の基板構成と同様に、第１の半導体基板２５と第２の半導体基板２６が積層された構造となっている。しかし、第１の半導体基板２５には、画素領域２２のみが形成されており、第２の半導体基板２６に、制御回路２３とロジック回路２４が形成されている。
【００４５】
固体撮像装置１は、以上のような構成を採用することができる。
【００４６】
次に、信号処理回路１４が行う画素補間処理の詳細について説明する。
【００４７】
信号処理回路１４は、画素アレイ部１１で検出された位相差画素の画素値を補間処理することで、映像出力用の画素値を算出して出力する。
【００４８】
＜信号処理回路の第１の実施の形態＞
初めに、信号処理回路１４の第１の実施の形態について説明する。
【００４９】
第１の実施の形態の信号処理回路１４は、第１の合成比率決定方法により決定した合成比率に基づいて、位相差画素の画素値をゲイン倍して求めるゲイン倍補間方法による補間値と、位相差画素の周辺画素の画素値を用いて補間する周辺画素補間方法による補間値を合成し、位相差画素の補間値を算出する。
【００５０】
＜信号処理回路の機能構成ブロック図＞
図４は、信号処理回路１４の第１の実施の形態の機能構成例を示すブロック図である。
【００５１】
信号処理回路１４は、水平転送部１３（図１）から供給される画素信号に対応する画素アレイ部１１の各画素を、順次、注目画素に設定する。そして、信号処理回路１４は、位相差画素が注目画素に設定された場合に、位相差画素の映像出力用の画素値を算出する処理を行う。
【００５２】
信号処理回路１４は、メモリ部３１、条件判定部３２、ブレンド率決定部３３、画素補正値決定部３４、および出力画像生成部３５により構成される。
【００５３】
メモリ部３１は、水平転送部１３（図１）から供給される各画素の画素信号を記憶する。メモリ部３１は、画素アレイ部１１の全画素数分の記憶容量を有するものでもよいし、画素補間処理に必要な画素アレイ部１１の複数行分の記憶容量を有するものでもよい。
【００５４】
メモリ部３１に記憶された各画素の画素信号は、必要に応じて、条件判定部３２および出力画像生成部３５によって読み出される。
【００５５】
条件判定部３２は、第１の方法による補間値と、第２の方法による補間値の合成比率であるブレンド率αを決定するための条件を判定する。第１の方法は、事前の測定により予め作成し記憶しておいた補正マップ（補正値テーブル）に基づいて、位相差画素の画素値をゲイン倍して求める方法であり、第２の方法は、位相差画素の周辺にある周辺画素の画素値から求める方法である。以下では、補間マップに基づく第１の方法を、ゲイン倍補間（方法）といい、周辺画素値に基づく第２の方法を、周辺画素補間（方法）という。
【００５６】
ブレンド率αは、０≦α≦１の値を取り、α＝１である場合には、周辺画素の画素値から求める第２の方法による補間値がそのまま採用され、α＝０である場合には、位相差画素の画素値をゲイン倍して求める第１の方法による補間値がそのまま採用される。
【００５７】
図５を参照して、ゲイン倍補間方法と周辺画素補間方法のそれぞれが不得意なケースについて説明する。
【００５８】
位相差画素の画素値をゲイン倍して求めるゲイン倍補間方法は、図５Aに示されるような、フォーカスがずれている領域の位相差画素を補間するのが不得意である。
【００５９】
また、ゲイン倍補間方法は、インフォーカス画像において、図５Bにおいて破線で囲んだ部分のような、位相差画素の遮蔽方向と同じ方向の高周波信号を持つ領域の位相差画素を補間するのが不得意である。
【００６０】
また当然ながら、ゲイン倍補間方法は、補正マップを作成したときと異なる色温度のオブジェクト画像の位相差画素を補間するのも不得意である。
【００６１】
一方、周辺画素補間方法は、例えば、位相差画素の周辺テクスチャがエッジ方向判定処理の方向分解能を超えた角度をもつ場合、補間値算出のための参照画素がエッジ方向と一致しない方向の画素となっていると、良好な補間ができない。
【００６２】
具体的には、図５Cにおいて破線で囲んだ領域の位相差画素を補間するのが不得意である。図５Cにおいて破線で囲んだ領域の画像は、例えば、０°の方向と４５°の方向の間の１５°や３０°の方向、９０°の方向と４５°の方向の間の７５°や６０°の方向が、画素差分が最も小さい方向となっている画像である。このような画素差分が最も小さい方向が、エッジ方向判定処理の方向分解能を超える方向を、浅い角度のエッジ方向と呼ぶことにする。
【００６３】
以上のように、ゲイン倍補間方法と周辺画素補間方法のそれぞれには、補間が不得意な画像があり、かつ、その２つの補間方法が不得意な画像は、排他的な関係にある。
【００６４】
従って、条件判定部３２は、注目画素に設定された位相差画素周辺の画像のテクスチャ情報に基づいて、ゲイン倍補間方法による補間値と、周辺画素補間方法による補間値とのブレンド率αを決定するための条件を判定する。
【００６５】
図４に戻り、条件判定部３２は、平坦判定部４１、エッジ判定部４２、高周波信号判定部４３、および、インフォーカス判定部４４を有する。
【００６６】
平坦判定部４１は、注目画素に設定された位相差画素の周辺画素に基づいて、注目画素の周辺が平坦部であるか否かを判定する。
【００６７】
図６は、平坦判定部４１の処理例を説明する図である。
【００６８】
平坦判定部４１は、図６Aに示されるように、位相差画素である注目画素を中心として、注目画素とその周辺の領域を、参照領域（第１の参照領域）に設定する。図６Aの例では、丸（○）が付された画素が注目画素を示しており、注目画素を中心とする７×５（水平方向×垂直方向）画素の領域が、参照領域に設定されている。図６Aの各画素のパターン（模様）の違いは、R（赤）、G（緑）、B（青）の色の違いを示している。
【００６９】
平坦判定部４１は、設定した参照領域内の、注目画素と同色の複数の画素の画素値（輝度値）を用いて、参照領域の画素値の平均ave_areaおよび標準偏差std_areaを算出する。
【００７０】
また、平坦判定部４１は、参照領域のグラディエント（値）gradを算出する。
【００７１】
参照領域のグラディエントgradは、次のように計算される。
【００７２】
まず、平坦判定部４１は、図６B乃至図６Eに示されるように、遮蔽方向に対応する、水平方向、垂直方向、右上斜め方向、および左上斜め方向の各方向について、参照領域内の隣接する同色画素どうしの画素差分値の平均値（画素差分平均値）を算出する。図６B乃至図６Eでは、１５組の同色画素のペアの画素差分値が算出され、それらの平均値が、画素差分平均値として算出される。
【００７３】
そして、平坦判定部４１は、水平方向、垂直方向、右上斜め方向、および左上斜め方向の各方向のうち、画素差分平均値が最小となる方向である最小方向を判定する。また、平坦判定部４１は、その最小方向の画素差分平均値（画素差分平均値の最小値）を、注目画素の参照領域のグラディエント（値）gradとする。
【００７４】
平坦判定部４１は、以上のようにして算出した注目画素の参照領域の標準偏差std_areaとグラディエントgradを用いて、注目画素の参照領域が平坦部であるか否かを判定する。より具体的には、平坦判定部４１は、注目画素の参照領域の標準偏差std_areaとグラディエントgradが所定の基準より低い値である場合、換言すれば、注目画素の参照領域の標準偏差std_areaが、予め決定された閾値LO_STD_TH以下であり、かつ、注目画素のグラディエントgradが、予め決定された閾値LO_GRD_TH以下である場合、注目画素の参照領域が平坦部であると判定する。
【００７５】
注目画素の参照領域は平坦部であると判定される場合には、注目画素周辺が、補正マップを作成したときと異なる色温度のオブジェクト画像である場合が含まれる。この場合、ゲイン倍補間方法により画素値を補間すると、補正残りが生じることがある。一方、周辺画素補間方法を平坦部の画素に適用して画素値を補間すると、周辺画素との連続性が保たれ、画素値を良好に補正することができる。
【００７６】
したがって、注目画素の参照領域が平坦部であると判定された場合には、後述するように、信号処理回路１４は、注目画素に対して、周辺画素補間方法のみを用いて、画素値を補間する。
【００７７】
図４に戻り、エッジ判定部４２は、上述した注目画素の参照領域の標準偏差std_areaとグラディエントgradを用いて、注目画素の参照領域が浅い角度のエッジ方向を有する領域であるか否かを判定する。具体的には、注目画素の参照領域の標準偏差std_areaとグラディエントgradが所定の基準より高い値である場合、換言すれば、注目画素の参照領域の標準偏差std_areaが、閾値HI_STD_THより大であり、かつ、注目画素のグラディエントgradが、閾値HI_GRD_THより大である場合、エッジ判定部４２は、注目画素の参照領域が浅い角度のエッジ方向を有する領域であると判定する。
【００７８】
参照領域に浅い角度のエッジ方向を有する注目画素を、周辺画素補間方法により良好に補間しようとすると、注目画素周辺の広範な範囲の画素を使って補間することが必要となるが、そのような広範な範囲の画素を使って補間するのは、実際の処理では困難である（現実的には難しい）。仮に、参照領域に浅い角度のエッジ方向を有する領域の注目画素を、注目画素周辺の狭い範囲内の画素を使って周辺画素補間方法により補間すると、補正残り（アーティファクト）が発生してしまい、画質劣化を招くこととなる。
【００７９】
したがって、参照領域が浅い角度のエッジ方向を有する領域であると判定された場合には、後述するように、信号処理回路１４は、注目画素に対して、ゲイン倍補間方法のみを用いて、画素値を補間する。
【００８０】
高周波信号判定部４３は、上述した注目画素の参照領域の標準偏差std_area及びグラディエントgradと、参照領域のエッジ方向direcitonの判定結果を用いて、注目画素の参照領域が高周波信号領域であるか否かを判定する。
【００８１】
高周波信号判定部４３は、注目画素の参照領域のグラディエント（値）gradとして採用した方向を、参照領域のエッジ方向direcitonと判定する。換言すれば、高周波信号判定部４３は、水平方向、垂直方向、右上斜め方向、および左上斜め方向の各方向のうち、複数の同色画素どうしの画素差分平均値が最小である方向を、参照領域のエッジ方向direcitonと判定する。
【００８２】
そして、高周波信号判定部４３は、注目画素の参照領域の標準偏差std_area及びグラディエントgradと、参照領域のエッジ方向direcitonが、以下の式（１）の判定条件を満たすか否かにより、注目画素の参照領域が高周波信号領域であるか否かを判定する。
std_area < HI_FREQ_STD_TH
&&  grad < HI_FREQ_GRAD_TH
&&  direction == MASK_DIRECTION      ・・・・・・・・（１）
【００８３】
式（１）によれば、注目画素の参照領域の標準偏差std_areaが、高周波信号判定用の標準偏差閾値HI_FREQ_STD_THより小さく、かつ、注目画素の参照領域のグラディエントgradが、高周波信号判定用のグラディエント閾値HI_FREQ_GRAD_THよりも小さく、かつ、注目画素の参照領域のエッジ方向direcitonが、注目画素の遮蔽方向MASK_DIRECTIONと等しい場合に、注目画素の参照領域が高周波信号領域であると判定される。
【００８４】
ナイキスト周波数近傍の領域において、位相差画素を、ゲイン倍補間方法により補間すると、補間に失敗することがある。特に、位相差画素の遮蔽方向に沿うエッジ上の画素では、サンプリングの影響により誤補正となることが多い。そのため、注目画素の参照領域が遮蔽方向に沿った高周波信号を有する領域であるかどうかを検出し、注目画素の参照領域が遮蔽方向に沿った高周波信号を有する領域であると判定された場合には、注目画素の参照領域のエッジ方向に沿った周辺画素の画素値を用いて、周辺画素補間方法により補間することで、画素値を良好に補正することができる。
【００８５】
したがって、注目画素の参照領域が遮蔽方向に沿った高周波信号を有する領域であると判定された場合には、後述するように、信号処理回路１４は、注目画素に対して、注目画素の参照領域のエッジ方向direcitonに沿った周辺画素の画素値を用いて、周辺画素補間方法のみを用いて、画素値を補間する。
【００８６】
なお、高周波信号判定部４３は、特定方向の周波数を検波するフィルタを用いて、注目画素の参照領域が高周波信号領域であるか否かを判定することも可能である。
【００８７】
高周波信号判定部４３が、特定方向の周波数を検波するフィルタを用いて、注目画素の参照領域が高周波信号領域であるか否かを判定する場合のフィルタには、例えば、ソーベル（Sobel）フィルタを採用することができる。
【００８８】
図７は、特定方向の周波数を検波するフィルタを用いて、参照領域のエッジ方向が特定方向の高周波信号領域であるか否かを判定する場合のフィルタ例としてのソーベルフィルタの例を示している。
【００８９】
図７Aは、参照領域の高周波のエッジ方向が水平方向であるか否かを判定するソーベルフィルタの例を示している。
【００９０】
図７Bは、参照領域の高周波のエッジ方向が垂直方向であるか否かを判定するソーベルフィルタの例を示している。
【００９１】
図７Cは、参照領域の高周波のエッジ方向が右上斜め方向であるか否かを判定するソーベルフィルタの例を示している。
【００９２】
図７Dは、参照領域の高周波のエッジ方向が左上斜め方向であるか否かを判定するソーベルフィルタの例を示している。
【００９３】
例えば、このようなソーベルフィルタにより計算される値のうち、予め決定された閾値HI_FREQ_Sobel_THより大である方向が存在する場合、高周波信号判定部４３は、閾値HI_FREQ_Sobel_THより大である方向をエッジ方向とする高周波信号領域が存在すると判定することができる。
【００９４】
次に、インフォーカス判定部４４は、注目画素である位相差画素と、その周辺の画素の画素値を比較することで、注目画素の参照領域がフォーカスがずれている領域であるか否か（アウトフォーカスか、または、インフォーカスか）を判定する。
【００９５】
図８は、インフォーカス判定部４４が行うインフォーカス判定処理を説明する図である。
【００９６】
インフォーカス判定部４４は、位相差画素である注目画素を中心として、注目画素とその周辺の領域とからなる参照領域（第２の参照領域）を設定する。ここで設定される参照領域は、図８に示されるように、上述した平坦判定部４１等で設定される参照領域（第１の参照領域）と異なり、注目画素を中心として遮蔽方向に沿った複数の画素で構成される領域である。参照領域内の注目画素の色と異なる色の画素の画素値には、注目画素と同色の周辺画素値から算出した補間値が用いられる。
【００９７】
まず、インフォーカス判定部４４は、参照領域内の注目画素と同色の画素値のダイナミックレンジdrangeを算出し、算出されたダイナミックレンジdrangeが、フォーカスずれ判定用のダイナミックレンジ閾値TEX_FOCUS_DRANGE_THよりも大きいか否かを判定する。
TEX_FOCUS_DRANGE_TH < drange      ・・・・・・・・（２）
【００９８】
また、インフォーカス判定部４４は、参照領域内の隣接画素のそれぞれについて計算される画素差分絶対値である各グラディエントphase_gradが、フォーカスずれ判定用のグラディエント下限閾値TEX_FOCUS_GRAD_LOWER_THとグラディエント上限閾値TEX_FOCUS_GRAD_UPPER_THの範囲内であるか否かを判定する。
TEX_FOCUS_GRAD_LOWER_TH < phase_grad < TEX_FOCUS_GRAD_UPPER_TH  ・・・・（３）
【００９９】
インフォーカス判定部４４は、計算されたダイナミックレンジdrangeが式（２）を満たし、かつ、計算された全てのグラディエントphase_gradが式（３）を満たす場合、注目画素である位相差画素には、位相のずれた信号が乗っており、フォーカスがずれていると判定する。
【０１００】
以上のように、インフォーカス判定部４４は、強いエッジ付近の位相差画素から位相差を検出することで、注目画素の参照領域がフォーカスがずれている領域であるか否かを判定することができる。
【０１０１】
図４の条件判定部３２の平坦判定部４１、エッジ判定部４２、高周波信号判定部４３、および、インフォーカス判定部４４それぞれは、判定した結果を、ブレンド率決定部３３に供給する。
【０１０２】
ブレンド率決定部３３は、条件判定部３２からの判定結果に基づき、ゲイン倍補間方法による補間値と、周辺画素補間方法による補間値の合成比率であるブレンド率αを決定する。
【０１０３】
具体的には、平坦判定部４１から、注目画素の参照領域が平坦部であるという判定結果が供給された場合、ブレンド率決定部３３は、ブレンド率αを１（α＝１）に決定する。
【０１０４】
また、エッジ判定部４２から、注目画素の参照領域が浅い角度のエッジ方向を有する領域であるという判定結果が供給された場合、ブレンド率決定部３３は、ブレンド率αを０（α＝０）に決定する。
【０１０５】
さらに、高周波信号判定部４３から、注目画素の参照領域が高周波信号領域であるという判定結果が供給された場合、ブレンド率決定部３３は、ブレンド率αを１（α＝１）に決定する。
【０１０６】
また、インフォーカス判定部４４から、注目画素の参照領域がフォーカスがずれている領域であるという判定結果が供給された場合、ブレンド率決定部３３は、ブレンド率αを１（α＝１）に決定する。
【０１０７】
一方、注目画素の参照領域が、平坦部であるとも、浅い角度のエッジ方向を有する領域であるとも、高周波信号領域であるとも判定されず、また、フォーカスがずれている領域とも判定されない場合、ブレンド率決定部３３は、ブレンド率αを、高周波信号判定部４３で計算された注目画素の参照領域のグラディエントgradを用いて、次のように決定する。
【０１０８】
グラディエントgradの大きさは、方向判定結果の信頼度に相当すると考えることができる。したがって、グラディエントgradが小さいほど、その方向にエッジが存在せず、画素補間時にその方向の周辺画素の画素値を信頼してよいことを表す。
【０１０９】
そこで、ブレンド率決定部３３は、例えば、図９に示されるような、グラディエントgradが大きくなるに従って、ブレンド率αが０＜α＜１の範囲内で徐々に小さくなるように、グラディエントgradとブレンド率αとを対応付けたブレンド率決定テーブルを、内部に記憶している。ブレンド率決定部３３は、そのブレンド率決定テーブルを用いて、高周波信号判定部４３で計算された注目画素の参照領域のグラディエントgradに対応するブレンド率αを選択し、注目画素のブレンド率αとして決定する。
【０１１０】
なお、図９に示すようなブレンド率決定テーブルの他、例えば、グラディエントgradの大きさを複数のレベルに分類し、各レベルに対応するブレンド率αをブレンド率決定テーブルとして記憶するものでもよい。
【０１１１】
ブレンド率決定部３３は、決定したブレンド率αを、画素補正値決定部３４に供給する。
【０１１２】
画素補正値決定部３４は、ブレンド率決定部３３から供給されたブレンド率αを用いて、注目画素としての位相差画素の補間値を計算して、出力画像生成部３５に供給する。
【０１１３】
画素補正値決定部３４は、ゲイン倍補間値演算部５１、周辺画素補間値演算部５２、および合成補間値演算部５３により構成される。
【０１１４】
ゲイン倍補間値演算部５１は、補正マップに基づいて、位相差画素の画素値をゲイン倍して求めるゲイン倍補間方法による補間値gained_pixを算出する。補正マップは、自然光と同条件の均一な白色光源を撮影した画像を用いて、位相差画素の画素値と、その周辺画素の画素値との関係から、予め生成されて、記憶されている。
【０１１５】
周辺画素補間値演算部５２は、高周波信号判定部４３の判定結果である、注目画素の参照領域のエッジ方向direcitonを用いて、注目画素の周辺の同色画素の画素値から、補間値dir_pixを算出する。より具体的には、周辺画素補間値演算部５２は、注目画素に隣接するエッジ方向direcitonの複数の同色画素の平均値を、周辺画素補間による補間値dir_pixとして算出する。高周波信号判定部４３の判定結果である、注目画素の参照領域のエッジ方向direcitonを用いて、グラディエント（画素差分）が小さくなる方向の周辺画素の画素値を用いることで、補間精度を向上させることができる。
【０１１６】
合成補間値演算部５３は、次式（４）により、位相差画素である注目画素の補間値corr_pixを算出して、出力画像生成部３５に供給する。
corr_pix = α × dir_pix + （１−α） × gained_pix    ・・・・・（４）
【０１１７】
出力画像生成部３５は、メモリ部３１に記憶されている画素値と、合成補間値演算部５３から供給された補間値を用いて、映像出力用の画素信号と焦点検出用の画素信号を、後段に出力する。
【０１１８】
より詳しくは、出力画像生成部３５は、メモリ部３１に記憶された位相差画素の画素信号を、焦点検出用の画素信号として出力する。
【０１１９】
また、出力画像生成部３５は、メモリ部３１に記憶された通常画素の画素値と、位相差画素の画素値を合成補間値演算部５３から供給された補間値で補間した画素値で構成される各画素の画素信号を、映像出力用の画素信号として、出力する。
【０１２０】
第１の実施の形態の信号処理回路１４は、以上のような構成により、位相差画素の画素値を補間する処理を行う。
【０１２１】
＜画素補間処理のフローチャート＞
次に、図１０のフローチャートを参照して、信号処理回路１４による、位相差画素の画素値を補間する補間値を演算する画素補間処理を説明する。
【０１２２】
初めに、ステップＳ１において、信号処理回路１４は、メモリ部３１に記憶されている所定の画素を注目画素に設定する。例えば、信号処理回路１４は、メモリ部３１に画素値が記憶されている一フレーム分の各画素のうち、ラスタスキャン順で読み出す場合の先頭の画素を注目画素に設定する。
【０１２３】
ステップＳ２において、信号処理回路１４は、設定した注目画素が位相差画素であるか否かを判定し、位相差画素ではないと判定した場合、処理をステップＳ１７に進める。
【０１２４】
一方、ステップＳ２で、注目画素が位相差画素であると判定された場合、処理はステップＳ３に進み、平坦判定部４１は、注目画素の参照領域内（第１の参照領域内）の同色の複数の画素の画素値の平均ave_areaおよび標準偏差std_areaを算出する。なお、後述するように、平坦判定には、標準偏差std_areaのみが利用されるため、平均ave_areaの計算は省略することができる。
【０１２５】
ステップＳ４において、平坦判定部４１は、注目画素の参照領域のグラディエント（値）gradを算出する。より詳しくは、平坦判定部４１は、水平方向、垂直方向、右上斜め方向、および左上斜め方向の各方向の複数の同色画素どうしの画素差分平均値を計算し、そのなかの最小値を、注目画素の参照領域のグラディエントgradとする。
【０１２６】
ステップＳ５において、平坦判定部４１は、算出された参照領域の標準偏差std_areaとグラディエントgradを用いて、注目画素の参照領域が平坦部であるかを判定する。
【０１２７】
ステップＳ５では、算出された参照領域の標準偏差std_areaとグラディエントgradが所定の基準より低い値である場合、換言すれば、算出された参照領域の標準偏差std_areaが、予め決定された閾値LO_STD_TH以下であり、かつ、算出されたグラディエントgradが、予め決定された閾値LO_GRD_TH以下である場合、注目画素の参照領域は平坦部であると判定される。
【０１２８】
ステップＳ５で、注目画素の参照領域が平坦部であると判定された場合、処理はステップＳ６に進み、平坦判定部４１は、判定結果をブレンド率決定部３３に供給する。ブレンド率決定部３３は、判定結果に基づいて、ブレンド率αを１（α＝１）に決定する。決定されたブレンド率αは、画素補正値決定部３４に供給され、処理はステップＳ１４に進む。
【０１２９】
一方、ステップＳ５で、注目画素の参照領域が平坦部ではないと判定された場合、処理はステップＳ７に進み、平坦判定部４１は、判定結果をエッジ判定部４２に供給する。エッジ判定部４２は、ステップＳ７において、算出された参照領域の標準偏差std_areaとグラディエントgradを用いて、注目画素の参照領域が浅い角度のエッジ方向を有する領域であるかを判定する。
【０１３０】
具体的には、算出された参照領域の標準偏差std_areaとグラディエントgradが所定の基準より高い値である場合、換言すれば、算出された参照領域の標準偏差std_areaが、閾値HI_STD_THより大であり、かつ、算出されたグラディエントgradが、閾値HI_GRD_THより大である場合、エッジ判定部４２は、注目画素の参照領域が浅い角度のエッジ方向を有する領域であると判定する。
【０１３１】
ステップＳ７で、注目画素の参照領域が浅い角度のエッジ方向を有する領域であると判定された場合、処理はステップＳ８に進み、エッジ判定部４２は、判定結果をブレンド率決定部３３に供給する。ブレンド率決定部３３は、判定結果に基づいて、ブレンド率αを０（α＝０）に決定する。決定されたブレンド率αは、画素補正値決定部３４に供給され、処理はステップＳ１４に進む。
【０１３２】
一方、ステップＳ７で、注目画素の参照領域が浅い角度のエッジ方向を有する領域ではないと判定された場合、処理はステップＳ９に進み、エッジ判定部４２は、判定結果を高周波信号判定部４３に供給する。高周波信号判定部４３は、ステップＳ９において、注目画素の参照領域の標準偏差std_area及びグラディエントgradと、参照領域のエッジ方向direcitonの判定結果を用いて、注目画素の参照領域が高周波信号領域であるかを判定する。
【０１３３】
具体的には、高周波信号判定部４３は、算出された参照領域の標準偏差std_area及びグラディエントgradと、参照領域のエッジ方向direcitonが、上述した式（１）の判定条件を満たすか否かにより、注目画素の参照領域が高周波信号領域であるか否かを判定する。
【０１３４】
なお、上述したように、ステップＳ９の処理として、特定方向の周波数を検波するフィルタを用いて、注目画素の参照領域が高周波信号領域であるか否かを判定するようにしてもよい。
【０１３５】
ステップＳ９で、注目画素の参照領域が高周波信号領域であると判定された場合、処理は、上述したステップＳ６に進む。
【０１３６】
一方、ステップＳ９で、注目画素の参照領域が高周波信号領域ではないと判定された場合、処理はステップＳ１０に進み、高周波信号判定部４３は、判定結果をインフォーカス判定部４４に供給する。ステップＳ１０において、インフォーカス判定部４４は、参照領域内（第２の参照領域内）の注目画素と同色の画素値のダイナミックレンジdrangeを算出する。
【０１３７】
ステップＳ１１において、インフォーカス判定部４４は、参照領域内の隣接画素のそれぞれについて、画素差分絶対値であるグラディエントphase_gradを算出する。
【０１３８】
そして、ステップＳ１２において、インフォーカス判定部４４は、算出されたダイナミックレンジdrangeと各グラディエントphase_gradに基づいて、注目画素の参照領域がフォーカスがずれている領域であるかを判定する。
【０１３９】
具体的には、算出されたダイナミックレンジdrangeが式（２）を満たし、かつ、算出された全てのグラディエントphase_gradが式（３）を満たす場合、注目画素である位相差画素には、位相のずれた信号が乗っており、注目画素の参照領域は、フォーカスがずれている領域であると判定される。
【０１４０】
ステップＳ１２で、フォーカスがずれている領域であると判定された場合、処理は上述したステップＳ６に進む。
【０１４１】
一方、ステップＳ１２で、フォーカスがずれている領域ではないと判定された場合、処理はステップＳ１３に進み、インフォーカス判定部４４は、判定結果を、ブレンド率決定部３３に供給する。また、ステップＳ１３では、ブレンド率決定部３３は、条件判定部３２からの判定結果に基づき、ブレンド率αを決定する。具体的には、ブレンド率決定部３３は、図９に示したようなブレンド率決定テーブルを用いて、高周波信号判定部４３で計算された注目画素の参照領域のグラディエントgradに対応するブレンド率αを、注目画素のブレンド率αとして決定する。決定されたブレンド率αは、画素補正値決定部３４に供給される。
【０１４２】
ステップＳ１３の後、処理はステップＳ１４に進み、ゲイン倍補間値演算部５１は、補正マップに基づいて、位相差画素の画素値をゲイン倍して求めるゲイン倍補間方法による補間値gained_pixを算出する。
【０１４３】
ステップＳ１５において、周辺画素補間値演算部５２は、注目画素の参照領域のエッジ方向direcitonを用いて、注目画素の周辺の同色画素の画素補間による補間値dir_pixを算出する。
【０１４４】
ステップＳ１６において、合成補間値演算部５３は、式（４）により、位相差画素である注目画素の補間値corr_pixを算出して、出力画像生成部３５に供給する。
【０１４５】
ステップＳ１７において、信号処理回路１４は、メモリ部３１に記憶されている全ての画素を注目画素としたかを判定する。
【０１４６】
ステップＳ１７で、全ての画素を注目画素としていないと判定された場合、処理はステップＳ１８に進み、信号処理回路１４は、まだ注目画素とされていない次の画素を注目画素に設定して、処理をステップＳ２に戻す。これにより、新たに設定された注目画素に対して、上述したステップＳ２からステップＳ１７までの処理が実行される。
【０１４７】
一方、ステップＳ１７で、全ての画素を注目画素としたと判定された場合、図９の画素補間処理が終了する。
【０１４８】
以上のように、第１の実施の形態の信号処理回路１４によれば、位相差画素の参照領域に対し、特定方向の高周波（位相差画素の遮蔽方向に沿う高周波）の有無が検出される。そして、参照領域が特定方向の高周波信号を有する領域ではないと判定された場合に、参照領域の画素差分を用いて、ブレンド率αが決定される。
【０１４９】
これにより、ゲイン倍補間方法による補間値と、周辺画素値に基づく周辺画素補間値とを適切な比率で合成することができ、より画質劣化の少ない位相差画素の映像出力用の画素値を算出することができる。
【０１５０】
＜信号処理回路の第２の実施の形態＞
次に、信号処理回路１４の第２の実施の形態について説明する。
【０１５１】
第２の実施の形態の信号処理回路１４は、第２の合成比率決定方法により決定した合成比率に基づいて、ゲイン倍補間方法による補間値と、周辺画素補間方法による補間値を合成し、位相差画素の補間値を算出する。
【０１５２】
第１の実施の形態では、周辺画素補間方法として、エッジ方向に沿った周辺画素の画素値を用いて、補間値が算出されていた。
【０１５３】
これに対し、第２の実施の形態の周辺画素補間方法では、注目画素を中心とする平面的な領域内の画素値を用いて、補間値が算出される。そして、第２の合成比率決定方法には、周辺画素補間方法として、そのように平面的な領域内の画素値を用いて補間値を算出するのに適した合成比率の決定方法が採用されている。
【０１５４】
＜平面的な領域で補間する周辺画素補間の手法例＞
初めに、図１１を参照して、平面的な領域の画素値を用いて画素値を補間する周辺画素補間方法の例について簡単に説明する。
【０１５５】
図１１において、画素領域の中心に位置する、格子模様が付された位相差画素は、補間対象の注目画素を示している。また、注目画素を中心とする周辺の領域が、参照領域Pに設定される。図１１の例では、破線で示される、注目画素を中心とする５×５の画素領域が、参照領域Pに設定されている。
【０１５６】
また、注目画素の周辺に位置する、注目画素と同色の画素が、注目対応画素に設定される。注目対応画素は、注目画素に対応して、重み計算を行う画素である。図１１の例では、注目画素を中心とする５×５の同色画素（ただし、注目画素を除く）それぞれが、注目対応画素に設定されている。
【０１５７】
そして、複数の注目対応画素それぞれに対して、参照領域Pと同じ位置関係および大きさの領域が、探索領域Qに設定される。図１１では、２つの注目対応画素に対応する探索領域Qが、一点鎖線で示されている。
【０１５８】
以上より、注目画素の補間値算出のために利用される画素領域である探索範囲Rは、参照領域Pより広い範囲に設定され、図１１では、太実線で示される、１３×１３の領域となる。
【０１５９】
注目画素の補間値の算出では、初めに、注目画素v(i)の参照領域Pと注目対応画素v(j)の探索領域Qの類似度に基づいて、複数の注目対応画素v(j)それぞれの重み係数ｗ（i,j）が決定される。ここで、重み係数ｗ（i,j）は、０≦ｗ（i,j）≦１、Σj ｗ（i,j）＝１となる値である。
【０１６０】
そして、複数の注目対応画素v(j)の画素値を、それぞれの重み係数ｗ（i,j）に応じて、乗算した和Σj ｗ（i,j）v(j)が、注目画素の補間値として算出される。このような画素の補間手法は、例えば、「A. Buades, B. Coll, J.M. Morel ”A non local algorithm for image denoising”IEEE Computer Vision and Pattern Recognition 2005, Vol 2, pp: 60-65, 2005.」などに開示されている。
【０１６１】
このような注目画素を中心とする平面的な領域で補間する手法のみで、位相差画素を補間した場合、浅い角度のエッジ等、参照領域内に類似する平面領域（パッチ）が存在せず、類似度の総和が低くなってしまうような場合に、アーティファクトが発生し、画質の劣化を招く。
【０１６２】
したがって、やはり、注目画素を中心とする平面的な領域内の画素値を用いて補間する手法による補間値と、位相差画素の画素値をゲイン倍して求める手法による補間値を、所定の合成比率で合成して、最終的な補間値を求めるのが望ましい。
【０１６３】
そのため、第２の実施の形態の信号処理回路１４は、このような平面的な領域内の画素値を用いて補間値を算出する手法に適した合成比率の決定方法を採用してブレンド率αを決定し、補間値を算出する。
【０１６４】
なお、第２の実施の形態で採用されている第２の合成比率決定方法は、図１１を参照して説明した周辺画素補間方法に限らず、平面的な領域内の画素値を用いて、補間値を算出するものに広く適用することができる。
【０１６５】
＜信号処理回路の機能構成ブロック図＞
図１２は、信号処理回路１４の第２の実施の形態の機能構成例を示すブロック図である。
【０１６６】
図１２において、上述した第１の実施の形態と対応する部分については同一の符号を付してあり、その説明は適宜省略する。
【０１６７】
図１２に示される信号処理回路１４は、メモリ部３１、出力画像生成部３５、類似度判定部８１、ブレンド率決定部８２、及び画素値補正決定部８３により構成される。
【０１６８】
すなわち、第２の実施の形態の構成は、メモリ部３１と出力画像生成部３５については第１の実施の形態と共通し、類似度判定部８１、ブレンド率決定部８２、及び画素値補正決定部８３については第１の実施の形態と相違する。
【０１６９】
類似度判定部８１は、類似度算出部９１、類似度総和算出部９２、および信頼基準値算出部９３により構成される。
【０１７０】
類似度算出部９１は、注目画素に対して設定される探索範囲R内の複数の探索領域Qそれぞれについて、注目画素を中心とする参照領域Pと探索領域Qとの類似度match_w(P,Q)を、式（５）により算出する。
【数１】
2014179939.tif 000003
【０１７１】
図１３は、類似度算出部９１による類似度match_w(P,Q)の算出方法を説明する図である。
【０１７２】
類似度算出部９１は、類似度match_w(P,Q)として、参照領域Pと探索領域Qの対応する画素どうしの画素値v(p)とv(q)の差分絶対値和を計算し、それを領域内の差分計算した画素の個数ｎで除算した値を計算する。なお、類似度算出部９１は、参照領域Pと探索領域Qの領域内の位相差画素については、差分計算を行わない。図１３の格子模様で示される注目画素と、その右隣の画素は、位相差画素であるため、差分計算は行われていない。
【０１７３】
次に、類似度総和算出部９２は、探索範囲R内の類似度計算結果の総和である類似度総和match_wsum(P)を式（６）により算出する。
【数２】
2014179939.tif 000004
【０１７４】
図１４は、類似度総和算出部９２による類似度総和match_wsum(P)の算出方法を説明する図である。
【０１７５】
類似度総和算出部９２は、探索範囲R内で計算された類似度match_w(P,Q)の総和を計算し、その計算結果を、類似度総和match_wsum(P)とする。
【０１７６】
類似度総和match_wsum(P)は、ブレンド率α算出のための評価値、および、周辺画素の画素値を用いた補間値dir_pixを算出するための正規化係数として利用される。
【０１７７】
信頼基準値算出部９３は、ブレンド率決定部８２においてブレンド率αを決定する際に、類似度総和match_wsum(P)の信頼度合いを決定するための係数となる類似度信頼基準値match_ref_valを算出する。
【０１７８】
例えば、信頼基準値算出部９３は、参照領域Pの各画素の画素値v(p)に対して、とり得る類似度総和match_wsum(P)の最大値（最悪値）を、類似度信頼基準値match_ref_valとして算出する。
【０１７９】
換言すれば、信頼基準値算出部９３は、参照領域Pの画像と最も一致しない仮想画像の探索領域Qmaxを想定し、その仮想画像の探索領域Qmaxを用いて計算された類似度総和match_wsum(P)を、類似度信頼基準値match_ref_valとして算出する。
【０１８０】
あるいはまた、実際の参照領域Pの画像と関係なく、類似度総和match_wsum(P)の最大値と想定される所定値を予め決定しておき、その所定値を、類似度信頼基準値match_ref_valとして用いてもよい。
【０１８１】
ブレンド率決定部８２は、類似度信頼基準値match_ref_valに対する類似度総和match_wsum(P)の割合に基づいて、ブレンド率αを決定する。
【０１８２】
具体的には、ブレンド率αは、次式（７）により決定される。
【数３】
2014179939.tif 000005
【０１８３】
式（７）において、AおよびBは、周辺画素の画素値から算出した補間値の寄与割合を調整する合成率調整用係数である。
【０１８４】
図１２に戻り、画素補正値決定部８３は、ゲイン倍補間値演算部１０１、周辺画素補間値演算部１０２、および合成補間値演算部１０３により構成される。
【０１８５】
ゲイン倍補間値演算部１０１は、第１の実施の形態のゲイン倍補間値演算部５１と同様に、補正マップに基づいて、位相差画素の画素値をゲイン倍して求めるゲイン倍補間方法による補間値gained_pixを算出する。
【０１８６】
周辺画素補間値演算部１０２は、探索範囲Rにおいて注目対応画素とした、注目画素と同色の周辺画素を用いて、周辺画素補間による補間値neighbor_pixを算出する。
【０１８７】
図１５は、周辺画素補間値演算部１０２による補間値neighbor_pixの算出方法を説明する図である。
【０１８８】
初めに、周辺画素補間値演算部１０２は、次式（８）により、探索範囲R内の各注目対応画素の重み係数w(P,Q)を算出する。
【数４】
2014179939.tif 000006
【０１８９】
式（８）で表されるように、探索範囲R内の各注目対応画素の重み係数w(P,Q)は、注目対応画素を中心とする探索領域Qと参照領域Pとの類似度match_w(P,Q)を、類似度総和match_wsum(P)で正規化した値で算出される。
【０１９０】
次に、周辺画素補間値演算部１０２は、次式（９）により、補間値neighbor_pixを算出する。
【数５】
2014179939.tif 000007
【０１９１】
式（８）で表されるように、補間値neighbor_pixは、探索範囲R内の注目対応画素の画素値V(q)と重み係数w(P,Q)の積の総和で算出される。
【０１９２】
合成補間値演算部１０３は、次式（１０）により、位相差画素である注目画素の補間値corr_pixを算出して、出力画像生成部３５に供給する。
corr_pix = α ×neighbor_pix + （１−α） × gained_pix    ・・・・・（１０）
【０１９３】
第２の実施の形態では、信号処理回路１４は、以上のような構成により、位相差画素の画素値を補間する処理を行う。
【０１９４】
＜画素補間処理のフローチャート＞
図１６のフローチャートを参照して、第２の実施の形態の信号処理回路１４による画素補間処理を説明する。
【０１９５】
初めに、ステップＳ４１において、信号処理回路１４は、メモリ部３１に記憶されている所定の画素を注目画素に設定する。例えば、信号処理回路１４は、メモリ部３１に画素値が記憶されている一フレーム分の各画素のうち、ラスタスキャン順で読み出す場合の先頭の画素を注目画素に設定する。
【０１９６】
ステップＳ４２において、信号処理回路１４は、設定した注目画素が位相差画素であるか否かを判定し、位相差画素ではないと判定した場合、処理をステップＳ５０に進める。
【０１９７】
一方、ステップＳ４２で、注目画素が位相差画素であると判定された場合、処理はステップＳ４３に進む。ステップＳ４３において、類似度算出部９１は、注目画素に対して設定される探索範囲R内の複数の探索領域Qそれぞれについて、注目画素の参照領域Pと探索領域Qとの類似度match_w(P,Q)を、式（５）により算出する。算出された類似度match_w(P,Q)は、ブレンド率決定部８２および画素補正値決定部８３に供給される。
【０１９８】
ステップＳ４４において、類似度総和算出部９２は、式（６）により、探索範囲R内の各探索領域Qと参照領域Pとの類似度match_w(P,Q)に基づいて、類似度総和match_wsum(P)を算出する。算出された類似度総和match_wsum(P)は、ブレンド率決定部８２に供給される。
【０１９９】
ステップＳ４５において、信頼基準値算出部９３は、例えば、とり得る類似度総和match_wsum(P)の最大値を計算することにより、類似度信頼基準値match_ref_valを算出する。
【０２００】
ステップＳ４６において、ブレンド率決定部８２は、類似度信頼基準値match_ref_valと類似度総和match_wsum(P)を用いて、式（７）により、ブレンド率αを決定する。
【０２０１】
ステップＳ４７において、ゲイン倍補間値演算部１０１は、補正マップに基づいて、ゲイン倍補間方法による補間値gained_pixを算出する。
【０２０２】
ステップＳ４８において、周辺画素補間値演算部１０２は、探索範囲Rにおいて注目対応画素とした注目画素周辺の同色画素を用いて、周辺画素補間による補間値neighbor_pixを算出する。
【０２０３】
ステップＳ４９において、合成補間値演算部１０３は、式（１０）により、位相差画素である注目画素の補間値corr_pixを算出して、出力画像生成部３５に供給する。
【０２０４】
ステップＳ５０において、信号処理回路１４は、メモリ部３１に記憶されている全ての画素を注目画素としたかを判定する。
【０２０５】
ステップＳ５０で、全ての画素を注目画素としていないと判定された場合、処理はステップＳ５１に進み、信号処理回路１４は、まだ注目画素とされていない次の画素を注目画素に設定して、処理をステップＳ４２に戻す。これにより、新たに設定された注目画素に対して、上述したステップＳ４２からステップＳ５０までの処理が実行される。
【０２０６】
一方、ステップＳ５０で、全ての画素を注目画素としたと判定された場合、図１６の画素補間処理が終了する。
【０２０７】
以上のように、第２の実施の形態の信号処理回路１４によれば、位相差画素の参照領域Pと、探索範囲R内の各探索領域Qとの類似度match_w(P,Q)の総和である類似度総和match_wsum(P)に応じて、ブレンド率αが決定される。より詳しくは、類似度信頼基準値match_ref_valに対する類似度総和match_wsum(P)の割合に基づいて、ブレンド率αが決定される。
【０２０８】
これにより、注目画素を平面的な領域の画素値で補間する周辺画素補間方法を採用した場合の、ゲイン倍補間方法による補間値と、周辺画素値に基づく周辺画素補間値の合成比率を適切に設定することができ、より画質劣化の少ない位相差画素の映像出力用の画素値を算出することができる。
【０２０９】
以上説明した信号処理回路１４の画素補間処理によれば、位相差画素の画素情報のみを利用したゲイン倍補間方法と、位相差画素の周辺画素の画素情報を利用した周辺画素補間方法を組み合わせるので、双方の手法の欠点を補った補間性能を得ることができる。
【０２１０】
また、ゲイン倍補間方法による補間値と、周辺画素補間方法による補間値のブレンド率（合成比率）αを決定する際、各補間手法の不得意とするテクスチャを検出して、ブレンド率αに反映するので、より画質劣化の少ない位相差画素の映像出力用の画素値を算出することができる。
【０２１１】
なお、信号処理回路１４は、第１および第２の実施の形態の両方の構成を有し、例えば、撮像画像から抽出される特徴量、撮像モード、操作部から指示されたユーザの設定操作、などに応じて、第１の実施の形態と第２の実施の形態のいずれかの画素補間処理を選択的に実行できるようにすることができる。
【０２１２】
勿論、信号処理回路１４が、上述した第１の実施の形態または第２の実施の形態のいずれか一方の構成のみを有するものでもよい。第１の実施の形態の信号処理回路１４は、第２の実施の形態の信号処理回路１４よりも少ない演算量で実現可能であり、少ないハードウェア構成で実現することができるメリットがある。一方、第２の実施の形態の信号処理回路１４は、第１の実施の形態の信号処理回路１４と比べて、高周波判定を行う必要がなく、ブレンド率αの計算が容易であるというメリットがある。
【０２１３】
＜その他の実施の形態＞
次に、上述した位相差画素の画素補間処理を行う信号処理回路のその他の実施の形態について説明する。
＜信号処理回路が独立した形態＞
図１７は、上述した位相差画素の画素補間処理を行う信号処理回路が信号処理装置として独立した形態となった構成例を示している。
【０２１４】
すなわち、上述した例では、図１を参照して説明したように、画素補間処理を行う信号処理回路１４が、固体撮像装置１の一部として組み込まれていた。
【０２１５】
しかし、図１７の例では、図１の撮像部１７に対応する固体撮像装置２２１と、それとは別に設けられた、図１の信号処理回路１４に対応する信号処理装置２２２とで構成されている。
【０２１６】
信号処理装置２２２は、固体撮像装置２２１から出力される画素信号に基づいて、上述した画素補間処理を行い、映像出力用の画素信号を出力する。また、信号処理装置２２２は、位相差画素の画素信号を、焦点検出用の画素信号として出力する。
【０２１７】
＜電子機器への適用例＞
本技術を適用した固体撮像装置および信号処理装置は、例えば、デジタルスチルカメラやデジタルビデオカメラなどの撮像装置、撮像機能を備えた携帯電話機、または、撮像機能を備えたオーディオプレーヤといった各種の電子機器に適用することができる。また、固体撮像装置および信号処理装置は、ワンチップとして形成された形態であってもよいし、撮像部と信号処理回路とがまとめてパッケージングされた撮像機能を有するモジュール状の形態であってもよい。
【０２１８】
図１８は、本技術を適用した電子機器としての撮像装置の構成例を示すブロック図である。
【０２１９】
図１８の撮像装置３００は、レンズ群などからなる光学部３０１、上述した固体撮像装置２２１の構成を有する固体撮像装置（撮像デバイス）３０２、および、上述した信号処理回路１４の機能を有するDSP(Digital Signal Processor)回路３０３を備える。また、撮像装置３００は、フレームメモリ３０４、表示部３０５、記録部３０６、操作部３０７、および電源部３０８も備える。DSP回路３０３、フレームメモリ３０４、表示部３０５、記録部３０６、操作部３０７および電源部３０８は、バスライン３０９を介して相互に接続されている。
【０２２０】
光学部３０１は、被写体からの入射光（像光）を取り込んで固体撮像装置３０２の撮像面上に結像する。固体撮像装置３０２は、光学部３０１によって撮像面上に結像された入射光の光量を画素単位で電気信号に変換して画素信号として出力する。
【０２２１】
表示部３０５は、例えば、液晶パネルや有機EL(Electro Luminescence)パネル等のパネル型表示装置からなり、固体撮像装置３０２で撮像された動画または静止画を表示する。記録部３０６は、固体撮像装置３０２で撮像された動画または静止画を、ハードディスクや半導体メモリ等の記録媒体に記録する。
【０２２２】
操作部３０７は、ユーザによる操作の下に、撮像装置３００が持つ様々な機能について操作指令を発する。電源部３０８は、DSP回路３０３、フレームメモリ３０４、表示部３０５、記録部３０６および操作部３０７の動作電源となる各種の電源を、これら供給対象に対して適宜供給する。
【０２２３】
また、本技術は、可視光の入射光量の分布を検知して画像として撮像する固体撮像装置への適用に限らず、赤外線やＸ線、あるいは粒子等の入射量の分布を画像として撮像する固体撮像装置や、広義の意味として、圧力や静電容量など、他の物理量の分布を検知して画像として撮像する指紋検出センサ等の固体撮像装置（物理量分布検知装置）全般に対して適用可能である。
【０２２４】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２２５】
なお、本技術は以下のような構成も取ることができる。
（１）
位相差画素が配置された撮像部から出力された画素信号に基づいて、前記位相差画素の周辺領域である参照領域が、特定方向の高周波信号領域であるかを判定する高周波信号判定部と、
前記参照領域が特定方向の高周波信号領域ではないと判定された場合に、前記参照領域の画素差分を用いて、ゲイン倍補間方法による前記位相差画素の補間値と、周辺画素補間方法による前記位相差画素の補間値の合成比率を決定する合成比率決定部と
を備える信号処理装置。
（２）
前記合成比率決定部は、前記参照領域の画素差分が小さくなる方向の画素差分値に基づいて、前記合成比率を決定する
前記（１）に記載の信号処理装置。
（３）
前記高周波信号判定部は、前記参照領域の画素値の標準偏差が所定の閾値より小さく、かつ、前記方向の画素差分値が所定の閾値よりも小さく、かつ、前記方向が前記位相差画素の遮蔽方向と等しい場合に、前記参照領域が特定方向の高周波信号領域であると判定する
前記（２）に記載の信号処理装置。
（４）
前記高周波信号判定部は、特定方向の周波数を検波するフィルタを用いて、前記参照領域が特定方向の高周波信号領域であるかを判定する
前記（１）または（２）に記載の信号処理装置。
（５）
前記合成比率決定部は、前記参照領域の画素差分が小さくなる方向の画素差分値と前記合成比率を対応付けたテーブルを用いて、前記方向の画素差分値に対応する合成比率を、前記合成比率として決定する
前記（１）乃至（４）のいずれかに記載の信号処理装置。
（６）
前記特定方向は、前記位相差画素の遮蔽方向である
前記（１）乃至（５）のいずれかに記載の信号処理装置。
（７）
前記参照領域が平坦部であるかを判定する平坦判定部をさらに備え、
前記高周波信号判定部は、前記参照領域が平坦部ではないと判定された場合に、前記参照領域が特定方向の高周波信号領域であるかを判定する
前記（１）乃至（６）のいずれかに記載の信号処理装置。
（８）
前記平坦判定部は、前記参照領域の画素値の標準偏差と、前記参照領域の画素差分が小さくなる方向の画素差分値とに基づいて、前記参照領域が平坦部であるかを判定する
前記（７）に記載の信号処理装置。
（９）
前記参照領域が浅い角度のエッジ方向を有する領域であるかを判定するエッジ判定部をさらに備え、
前記高周波信号判定部は、前記参照領域が浅い角度のエッジ方向を有する領域ではないと判定された場合に、前記参照領域が特定方向の高周波信号領域であるかを判定する
前記（１）乃至（８）のいずれかに記載の信号処理装置。
（１０）
前記エッジ判定部は、前記参照領域の画素値の標準偏差と、前記参照領域の画素差分が小さくなる方向の画素差分値とに基づいて、前記参照領域が浅い角度のエッジ方向を有する領域であるかを判定する
前記（９）に記載の信号処理装置。
（１１）
前記参照領域がフォーカスがずれている領域であるかを判定するインフォーカス判定部をさらに備え、
前記合成比率決定部は、前記参照領域が、特定方向の高周波信号領域ではなく、かつ、フォーカスがずれている領域ではないと判定された場合に、前記合成比率を決定する
前記（１）乃至（１０）のいずれかに記載の信号処理装置。
（１２）
前記インフォーカス判定部は、前記位相差画素の遮蔽方向に沿った周辺の領域である参照領域内のダイナミックレンジと画素差分絶対値とに基づいて、前記参照領域がフォーカスがずれている領域であるかを判定する
前記（１１）に記載の信号処理装置。
（１３）
ゲイン倍補間方法による前記位相差画素の補間値を算出するゲイン倍補間値演算部と、
周辺画素補間方法による前記位相差画素の補間値を算出する周辺画素補間値演算部と
をさらに備え、
前記周辺画素補間演算部は、前記参照領域が特定方向の高周波信号領域であると判定された場合に、前記位相差画素に対して前記参照領域の画素差分が小さくなる方向に位置する周辺の同色画素の画素値から、前記位相差画素の補間値を算出する
前記（１）乃至（１２）のいずれかに記載の信号処理装置。
（１４）
位相差画素が配置された撮像部から出力された画素信号を処理する信号処理装置が、
前記位相差画素の周辺領域である参照領域が、特定方向の高周波信号領域であるかを判定し、
前記参照領域が特定方向の高周波信号領域ではないと判定された場合に、前記参照領域の画素差分を用いて、ゲイン倍補間方法による前記位相差画素の補間値と、周辺画素補間方法による前記位相差画素の補間値の合成比率を決定する
信号処理方法。
（１５）
位相差画素が配置された撮像部から出力された画素信号に基づいて、前記位相差画素の周辺領域である参照領域と、前記参照領域より広い探索範囲に設定される前記参照領域と同じ大きさの探索領域との類似度を、前記探索範囲内の複数の前記探索領域それぞれについて計算し、その計算結果の総和である類似度総和を算出する類似度総和算出部と、
算出された前記類似度総和に応じて、ゲイン倍補間方法による前記位相差画素の補間値と、周辺画素補間方法による前記位相差画素の補間値の合成比率を決定する合成比率決定部と
を備える信号処理装置。
（１６）
前記探索範囲内の複数の前記探索領域それぞれについて、前記参照領域と前記探索領域との類似度を算出する類似度算出部をさらに備え、
前記類似度総和算出部は、前記類似度算出部により算出された前記類似度を用いて、前記類似度総和を算出する
前記（１５）に記載の信号処理装置。
（１７）
算出された前記類似度総和の信頼度合いを決定するための基準値を算出する信頼基準値算出部をさらに備え、
前記合成比率決定部は、前記基準値に対する前記類似度総和の割合に基づいて、前記合成比率を決定する
前記（１５）または（１６）に記載の信号処理装置。
（１８）
ゲイン倍補間方法による前記位相差画素の補間値を算出するゲイン倍補間値演算部と、
周辺画素補間方法による前記位相差画素の補間値を算出する周辺画素補間値演算部と
をさらに備える
前記（１５）乃至（１７）のいずれかに記載の信号処理装置。
（１９）
前記周辺画素補間値演算部は、前記位相差画素に対応する前記探索領域内の画素である対応画素の画素値を、前記参照領域と前記探索領域との類似度を前記類似度総和で正規化して求められる前記対応画素の重み係数で乗算した乗算結果を、全ての前記探索領域について加算した総和を求めることにより、前記位相差画素の補間値を算出する
前記（１８）に記載の信号処理装置。
（２０）
位相差画素が配置された撮像部から出力された画素信号を処理する信号処理装置が、
前記位相差画素の周辺領域である参照領域と、前記参照領域より広い探索範囲に設定される前記参照領域と同じ大きさの探索領域との類似度を、前記探索範囲内の複数の前記探索領域それぞれについて計算し、その計算結果の総和である類似度総和を算出し、
算出された前記類似度総和に応じて、ゲイン倍補間方法による前記位相差画素の補間値と、周辺画素補間方法による前記位相差画素の補間値の合成比率を決定する
信号処理方法。
【符号の説明】
【０２２６】
１  固体撮像装置，  １４  信号処理回路，  １７  撮像部，  ３２  条件判定部，  ３３  ブレンド率決定部，  ３４  画素補正値決定部，  ４１  平坦判定部，  ４２  エッジ判定部，  ４３  高周波信号判定部，  ４４  インフォーカス判定部，  ５１  ゲイン倍補間値演算部，  ５２  周辺画素補間値演算部，  ５３  合成補間値演算部，  ８１  類似度判定部，  ８２  ブレンド率決定部，  ８３  画素補正値決定部，  ９１  類似度算出部，  ９２  類似度総和算出部，  ９３  信頼基準値算出部，  １０１  ゲイン倍補間値演算部，  １０２  周辺画素補間値演算部，  １０３  合成補間値演算部，  ２２１  固体撮像装置，  ２２２  信号処理装置
【図１】
2014179939.tif 000008
【図２】
2014179939.tif 000009
【図３】
2014179939.tif 000010
【図４】
2014179939.tif 000011
【図５】
2014179939.tif 000012
【図６】
2014179939.tif 000013
【図７】
2014179939.tif 000014
【図８】
2014179939.tif 000015
【図９】
2014179939.tif 000016
【図１０】
2014179939.tif 000017
【図１１】
2014179939.tif 000018
【図１２】
2014179939.tif 000019
【図１３】
2014179939.tif 000020
【図１４】
2014179939.tif 000021
【図１５】
2014179939.tif 000022
【図１６】
2014179939.tif 000023
【図１７】
2014179939.tif 000024
【図１８】
2014179939.tif 000025