【手続補正書】
【提出日】令和1年5月30日(2019.5.30)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の画素を有するとともに、各画素は１つのマイクロレンズと、前記マイクロレンズを介した光を受光する少なくとも第１の光電変換領域と第２の光電変換領域とを有するように構成された撮像素子から得られた信号を処理する信号処理装置であって、
前記複数の画素の中の、第１の画素内の第１の光電変換領域からの信号に異常がある場合に、前記異常のある第１の光電変換領域の信号を補間するための補間手段を有し、前記補間手段は前記第１の画素内の第２の光電変換領域からの信号に対して所定の係数をかけることによって前記異常のある第１の光電変換領域からの信号を補間するように構成されているとともに、前記係数は前記第１の画素の周辺の少なくとも一つの周辺画素内の第２の光電変換領域の信号と前記少なくとも一つの周辺画素内の第１の光電変換領域の信号の比率に基づき決まる係数であることを特徴とする信号処理装置。
【請求項２】
前記補間手段が前記比を求めるときに用いる前記周辺画素は、前記第１の光電変換領域を含む画素と異なる色の画素であることを特徴とする請求項１に記載の信号処理装置。
【請求項３】
前記補間手段は、所定の条件を満たす場合に、前記処理対象の画素に隣接し、かつ、前記処理対象の画素と異なる色の画素を前記周辺画素として選択し、前記所定の条件を満たさない場合に、前記処理対象に隣接せず、かつ、前記処理対象の画素と同色の画素を前記周辺画素として選択することを特徴とする請求項１または２に記載の信号処理装置。
【請求項４】
前記所定の条件は、前記処理対象の画素に基づいて設定した領域において、いずれか１つの色に対応する画素の信号が他の色に対応する画素の信号より大きく、かつ、その差が閾値を超えていることを特徴とする請求項３に記載の信号処理装置。
【請求項５】
前記補間手段は、前記複数の周辺画素の光電変換領域のうち、欠陥のある光電変換部を含む光電変換領域に対する係数を、０に設定することを特徴とする請求項１乃至４のいずれか１項に記載の信号処理装置。
【請求項６】
前記補間手段は、前記周辺画素のそれぞれにおいて、前記第３の光電変換領域と前記第４の光電変換領域との信号の比に応じ、前記係数を設定することを特徴とする請求項１乃至５のいずれか１項に記載の信号処理装置。
【請求項７】
前記周辺画素のうち、前記画素を挟んで対称な位置にある２つの画素のそれぞれにおいて、前記第３の光電変換領域の信号と第４の光電変換領域の信号との比を算出し、
前記補間手段は、前記信号の比の違いに応じて前記係数を設定することを特徴とする請求項６に記載の信号処理装置。
【請求項８】
前記補間手段は、前記信号の比の違いが大きいほど、小さい前記係数を設定することを特徴とする請求項７に記載の信号処理装置。
【請求項９】
前記補間手段は、前記信号の比の違いが予め定められた閾値より大きい場合、前記係数に０を設定することを特徴とする請求項８に記載の信号処理装置。
【請求項１０】
前記複数の画素の前記光電変換部のそれぞれの出力が飽和のレベルに達していることを検出する検出手段を有し、
前記検出手段は、少なくとも一部の前記光電変換部の出力が飽和のレベルに達していることが検出された画素に含まれる光電変換領域に対する係数を、０に設定することを特徴とする請求項１乃至９のいずれか１項に記載の信号処理装置。
【請求項１１】
前記補間手段は、第２の光電変換領域の信号および前記比を用いずに前記第１の光電変換領域の信号に対して補間を行う第２の補間を行うものであって、前記第１の補間と前記第２の補間のいずれかを選択することを特徴とする請求項１乃至１０のいずれか１項に記載の信号処理装置。
【請求項１２】
前記補間手段は、前記第２の光電変換領域が欠陥のある光電変換部を含む場合には、前記周辺画素の前記第３の光電変換領域の信号を用いて、前記第２の補間を行うことを特徴とする請求項１１に記載の信号処理装置。
【請求項１３】
前記第２の補間では、
前記周辺画素の前記第３の光電変換領域の信号の平均を用いて行うことを特徴とする請求項１２に記載の信号処理装置。
【請求項１４】
欠陥のある光電変換部を示す情報を記憶する記憶手段を有し、
前記補間手段は、前記記憶手段により記憶された情報が示す光電変換部を含む光電変換領域を、前記第１の補間の対象にすることを特徴とする請求項１乃至１３のいずれか１項に記載の信号処理装置。
【請求項１５】
複数の画素を有するとともに、各画素は１つのマイクロレンズと、前記マイクロレンズを介した光を受光する少なくとも第１の光電変換領域と第２の光電変換領域とを有するように構成された撮像素子から得られた信号を処理する信号処理方法であって、
前記複数の画素の中の、第１の画素内の第１の光電変換領域からの信号に異常がある場合に、前記異常のある第１の光電変換領域の信号を補間するための補間ステップを有し、前記補間手段は前記第１の画素内の第２の光電変換領域からの信号に対して所定の係数をかけることによって前記異常のある第１の光電変換領域からの信号を補間するように構成されているとともに、前記係数は前記第１の画素の周辺の少なくとも一つの周辺画素内の第２の光電変換領域の信号と前記少なくとも一つの周辺画素内の第１の光電変換領域の信号の比率に基づき決まる係数であることを特徴とする信号処理方法。
【請求項１６】
複数の画素を有するとともに、各画素は１つのマイクロレンズと、前記マイクロレンズを介した光を受光する少なくとも第１の光電変換領域と第２の光電変換領域とを有するように構成された撮像素子から得られた信号を処理する、信号処理用のコンピュータプログラムであって、
前記複数の画素の中の、第１の画素内の第１の光電変換領域からの信号に異常がある場合に、前記異常のある第１の光電変換領域の信号を補間するための補間ステップを有し、前記補間手段は前記第１の画素内の第２の光電変換領域からの信号に対して所定の係数をかけることによって前記異常のある第１の光電変換領域からの信号を補間するように構成されているとともに、前記係数は前記第１の画素の周辺の少なくとも一つの周辺画素内の第２の光電変換領域の信号と前記少なくとも一つの周辺画素内の第１の光電変換領域の信号の比率に基づき決まる係数であることを特徴とする信号処理用コンピュータプログラム。
【請求項１７】
請求項１６のコンピュータプログラムを記憶した、コンピュータで読み取り可能な記憶媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】発明の名称
【補正方法】変更
【補正の内容】
【発明の名称】信号処理装置、信号処理方法、プログラムおよび記憶媒体
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００２
【補正方法】変更
【補正の内容】
【０００２】
１つのマイクロレンズに対して、複数の光電変換部を有する画素を複数備えた撮像素子が知られている。この撮像素子のそれぞれの画素において、複数の光電変換部の一部の光電変換部とそれ以外の光電変換部とから信号を読み出し、読み出した信号の位相差を求めることで、被写体までの距離情報を得ることができる。この複数の光電変換部の一部の光電変換部に欠陥がある場合や、この一部の光電変換部に接続される回路に不具合がある場合には、この光電変換部から読み出された信号はそのままでは位相差検出に用いることができない。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
そこで、補間によって得られた信号の精度をさらに向上させるために、補間する際に信号を参照する光電変換部を含む画素の位置の自由度を向上させるとともに、状況に応じて参照する光電変換部から読み出された信号に適切な優先度を設けることが望ましい。
本発明は、正常ではない信号を出力する光電変換部に対して高い精度で信号を補間することができる装置を提供することを目的とする。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
本発明は、複数の画素を有するとともに、各画素は１つのマイクロレンズと、前記マイクロレンズを介した光を受光する少なくとも第１の光電変換領域と第２の光電変換領域とを有するように構成された撮像素子から得られた信号を処理する信号処理装置であって、前記複数の画素の中の、第１の画素内の第１の光電変換領域からの信号に異常がある場合に、前記異常のある第１の光電変換領域の信号を補間するための補間手段を有し、前記補間手段は前記第１の画素内の第２の光電変換領域からの信号に対して所定の係数をかけることによって前記異常のある第１の光電変換領域からの信号を補間するように構成されているとともに、前記係数は前記第１の画素の周辺の少なくとも一つの周辺画素内の第２の光電変換領域の信号と前記少なくとも一つの周辺画素内の第１の光電変換領域の信号の比率に基づき決まる係数であることを特徴とする信号処理装置を提供する。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
本発明によれば、１つのマイクロレンズに対して複数の光電変換部を有する画素を複数備えた撮像素子からの信号を処理する信号処理装置において、正常ではない信号を出力する光電変換部に対して高い精度で信号を補間することが可能となる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
図１は、本発明の実施形態に係る信号処理装置の一例としての撮像装置の構成を示すブロック図である。同図において、撮像素子１００は、撮像光学系で形成された被写体の光学像を電気信号に光電変換する。撮像素子１００は後述するＣＰＵ（中央処理装置）１０３等によって制御され、静止画または動画を撮像する。また、後述するように、撮像素子は、複数色からなるカラーフィルタに覆われている。ＡＦＥ（アナログフロントエンド）１０１は、撮像素子１００から出力されたアナログの画像信号に対して、ゲイン調整や所定の量子化ビットに対応してデジタル変換を行う。ＴＧ（タイミングジェネレータ）１０２は、撮像素子１００およびＡＦＥ１０１の駆動タイミングを制御する。本実施形態では、撮像素子１００の外部にＡＦＥ１０１、ＴＧ１０２を配置しているが、それらは撮像素子内に内蔵される構成であってもかまわない。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
上述のように、ＣＰＵ１０３は撮像素子の各部を制御するためのコンピュータプログラムを実行する。操作部１０４は、撮像命令や撮像条件等の設定をＣＰＵ１０３に対して行う。表示部１０５は、撮像した静止画像や動画像およびメニュー等の表示を行うディスプレイである。ＲＡＭ１０６は、ＡＦＥ１０１でデジタル変換された画像データや、後述の画像処理部１０８で処理された画像データを記憶する画像データ記憶手段の機能と、ＣＰＵ１０３が動作を行う際のワークメモリの機能を兼備する。なお、本実施形態では、これらの機能を、ＲＡＭ１０６を用いて行うようにしているが、アクセス速度が十分に速くて動作上問題のないレベルのメモリであれば、他のメモリを適用することも可能である。ＲＯＭ１０７は、ＣＰＵ１０３が各部の動作を制御するためにロードして実行するコンピュータプログラムを格納する記憶媒体として機能する。また、撮像素子１００における欠陥のある光電変換部位置や信号の飽和レベルなどの情報も、工場出荷時から、ＲＯＭ１０７に格納されている。なお、ここでいう欠陥のある光電変換部とは、光電変換部の構成自体に欠陥があるものだけでなく、光電変換部に接続される回路に欠陥があるものも含む。すなわち、結果的に出力される信号が正常ではないとみなされる光電変換部を、欠陥のある光電変換部ということとする。画像処理部１０８は、撮像された静止画または動画の補正や圧縮等の処理を行う。また、後述するＡ像データとＢ像データへの分離機能や、画像の補正機能や、静止画像、動画像の生成機能を備える。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
フォーカルプレーンシャッタ１１１は、静止画撮像時に露光秒時を調節する。本実施形態では、フォーカルプレーンシャッタ１１１にて撮像素子１００の露光秒時を調節する構成であるが、これに限られるものではなく、撮像素子１００が電子シャッタ機能を有し、制御パルスで露光秒時を調節する構成であってもよい。フォーカス駆動回路１１２は、光学系の焦点位置を変更するものであり、ＡＦ演算部１０９の焦点検出結果に基づいてフォーカスアクチュエータ１１４の駆動を制御し、フォーカスレンズとしての第３レンズ１１９を光軸方向に進退駆動して焦点調節を行う。絞り駆動回路１１３は、絞りアクチュエータ１１５の駆動を制御して絞り１１７の開口径を制御する。第１レンズ１１６は、撮像光学系（共通光学系）の先端に配置され、光軸方向に進退可能に保持される。絞り１１７は、その開口径を調節することで撮像時の光量を調節する。そして、絞り１１７およびズームレンズとしての第２レンズ１１８は一体となって光軸方向に進退し、第１レンズ１１６の進退動作との連動により、変倍作用（ズーム機能）を実現する。第３レンズ１１９は、光軸方向の進退により、撮像光学系の焦点を調節する。相関演算部１２０は、撮像素子１００から出力される画素信号を用いて相関演算を行う。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【００１８】
図２は、撮像素子１００の構成を説明するための図である。図２（ａ）は、撮像素子１００の構成を示す。図２（ａ）において、撮像素子は、画素が２次元に配列された画素アレイ１００ａと、画素アレイ１００ａの画素の行を選択する垂直走査回路１００ｄ、画素アレイ１００ａの画素の列を選択する水平走査回路１００ｃを持つ。また、撮像素子１００はさらに、画素アレイ１００ａの画素のうち、垂直走査回路１００ｄおよび水平走査回路１００ｃによって選択される画素の信号を読み出すための読み出し回路１００ｂを備える。垂直走査回路１００ｄは、画素アレイ１００ａの行を選択し、ＣＰＵ１０３から出力される水平同期信号に基づき、ＴＧ１０２から出力される読み出しパルスを、選択行において有効にする。読み出し回路１００ｂは列毎に設けられたアンプやメモリを有し、走査行の画素信号を、アンプを介してメモリに格納する。メモリに格納された１行分の画素信号は、水平走査回路１００ｃによって列方向に順に選択され、出力回路１００ｅを介して外部に出力される。この動作を繰り返し、すべての画素の信号を外部に出力する。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
撮像素子１００の画素アレイ１００ａを図２（ｂ）に示す。図２（ｂ）において、マイクロレンズアレイは、水平方向にｈ個、垂直方向にｖ個配置されたマイクロレンズ１００ｆを含む。ＰＤ（フォトダイオード）１００ｈ、１００ｇは光電変換を行う光電変換部であり、後述するＡ像用光電変換部、Ｂ像用光電変換部を構成する。各画素は、ＰＤ２つに対して１つのマイクロレンズ１００ｆが上部に配置される構成となっている。すなわち、各画素は、１つのマイクロレンズに対して光電変換部を複数備える。マイクロレンズ１００ｆを共有している２つのＰＤで１画素を構成する場合、画素アレイ１００ａは水平方向にｈ個、垂直方向にｖ個の画素を含む。ＰＤ１００ｈとＰＤ１００ｇで蓄積された信号は、後述する画素転送動作によって、同時または独立に電圧に信号に変換され、前述した読出し動作によって外部に出力される。ＰＤ１００ｈとＰＤ１００ｇは、マイクロレンズを介して分割された瞳からの光を入射する、瞳分割構成となっており、互いに位相差を持った別々の像が入射される。そのため、ＰＤ１００ｈとＰＤ１００ｇの信号を読み出し、前述の相関演算部１２０において相関演算処理を行い、その結果を用いて前述のＡＦ演算部１０９でフォーカスレンズの駆動量を計算することができる。ここではＰＤ１００ｈをＡ像用光電変換部、ＰＤ１００ｇをＢ像用光電変換部とする。図２（ｂ）では、マイクロレンズ１つに対してＰＤが２つ配置される構成であるが、これに限られるものではない。マイクロレンズ１つに対してＰＤが上下または左右に複数配置される構成であっても本発明を適用することができ、または４つ以上に瞳分割することもできる。たとえば、図２（ｃ）では、ＰＤが４つ配置される例を示している。画素１００ｉは、ＰＤ１００ｊ、ＰＤ１００ｋ、ＰＤ１００ｍおよびＰＤ１００ｎを有する。ＰＤ１００ｊ、ＰＤ１００ｋ、ＰＤ１００ｍおよびＰＤ１００ｎには、それぞれ異なる瞳からの異なる位相の像が入射し、別々に信号を読み出すことが可能である。もしくは、状況に応じ、ＰＤ１００ｊとＰＤ１００ｋの信号を加算して読み出し、ＰＤ１００ｍとＰＤ１００ｎの信号を加算して読み出すことで、水平方向の位相差を相関演算部１２０での演算を経て取得することができる。または、ＰＤ１００ｊとＰＤ１００ｍの信号を加算して読み出し、ＰＤ１００ｋとＰＤ１００ｎの信号を加算して読み出すことで、垂直方向の位相差を相関演算部１２０での演算を経て取得することができる。このように、ＰＤから得られた信号を位相差検出のために使うことができる。図２（ｄ）は、各マイクロレンズに対して配置されたカラーフィルタを示す図である。図２（ｄ）での１マスは、１つのマイクロレンズに対応するカラーフィルタを意味する。マイクロレンズに書いてある「Ｒ」、「Ｂ」および「Ｇ」の文字は、カラーフィルタの色相を表しており、それぞれ「赤」、「青」および「緑」に相当する。本実施形態では、図２（ｄ）で示したように、ベイヤー配列のカラーフィルタに基づいて説明するが、この限りでなく、たとえばイエロー、マゼンダ、シアン、グリーンの４つの色相が２×２に配置されたカラーフィルタなどを用いても実施できる。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００４４
【補正方法】変更
【補正の内容】
【００４４】
＜欠陥のある光電変換部から読み出された信号の補間方法＞
次に、本実施形態における欠陥がある光電変換部から読み出された信号の補間方法について説明する。図５は、マイクロレンズ１つに対して２つのＰＤが配置される構成において、１つの画素の１つのＰＤにのみ欠陥がある場合を示す図である。ここで、画素５００の左に配置されているＰＤ５０１に欠陥があり、正しい信号を取得できないため、このＰＤ５０１の信号が補間の対象となる。これに対し同じ画素５００の右に配置されているＰＤ５０２には欠陥がないものとする。なお、各々の画素の上部に書いてある文字は、カラーフィルタの色相を表している。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００６５
【補正方法】変更
【補正の内容】
【００６５】
そして、上記の比Ｒ５１０、Ｒ５２０、Ｒ５３０およびＲ５４０を互いに比較し、偏差の大きい画素に対して小さい加重係数を設定した上で、加重平均して補間後の信号値を算出する。
つまり例えば
Ｓ６０１＝Ｓ６０２ｘ（ｗ１ｘＲ５１０＋ｗ２ｘＲ５２０＋ｗ３ｘＲ５３０＋ｗ４ｘＲ５４０）・・・（式５−２）
という計算によって補間値Ｓ６０１を求めてもよい。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００６７
【補正方法】変更
【補正の内容】
【００６７】
同様に、補間の対象となる画素５００の左右にある画素５３０と画素５４０とのそれぞれの２つのＰＤの信号値の比Ｒ５３０とＲ５４０とを算出し、比の差｜Ｒ５３０−Ｒ５４０｜も算出する。この差が予め定められた閾値以上の値となれば、加重係数ｗ３とｗ４とともに、０に設定する。もし、｜Ｒ５１０−Ｒ５２０｜と｜Ｒ５１０−Ｒ５２０｜の両方が閾値以上の場合には、加重係数ｗ１乃至ｗ４を全て１にする。あるいは、｜Ｒ５１０−Ｒ５２０｜と｜Ｒ５１０−Ｒ５２０｜の大きさの比率に反比例するように、加重係数を加重係数ｗ１乃至ｗ４を設定する。すなわち、｜Ｒ５１０−Ｒ５２０｜のほうが小さければ、画素Ｒ５１０とＲ５２０に対応する加重係数ｗ１およびｗ２を加重係数ｗ３およびｗ４よりも大きくすればよい。反対に、｜Ｒ５１０−Ｒ５２０｜のほうが大きければ、加重係数ｗ１およびｗ２を加重係数ｗ３およびｗ４よりも小さくすればよい。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００７９
【補正方法】変更
【補正の内容】
【００７９】
ここで、第１乃至第４の光電変換領域の信号値をそれぞれ、ＳＳ１、ＳＳ２、ＳＳ３、ＳＳ４と定義すれば、上記の（式６）および（式７）の代わりに、下記の（式８）を用いることもできる。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００８１
【補正方法】変更
【補正の内容】
【００８１】
ただし、上記のＮは、計算に用いる周辺画素の数である。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００８７
【補正方法】変更
【補正の内容】
【００８７】
第２の補間は、背景技術で説明した技術と同様の補間である。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】００８８
【補正方法】変更
【補正の内容】
【００８８】
後述の図８のステップＳ８０８では、画像処理部１０８は、欠陥のある光電変換部を含む画素と同じカラーフィルタに対応する複数の周辺画素に含まれ、かつ、マイクロレンズに対して欠陥のある光電変換部の信号と同じ位置に存在する光電変換部を選択する。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】００９９
【補正方法】変更
【補正の内容】
【００９９】
（その他の実施形態）
以上の実施形態は、撮像装置での実施をもとに説明したが、撮像装置に限定するものではない。たとえば、撮像素子を内蔵した携帯機器などで実施してもよい。