【手続補正書】
【提出日】平成31年4月17日(2019.4.17)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数のマイクロレンズを有し、当該複数のマイクロレンズそれぞれに複数の光電変換部が割り当てられて、当該複数の光電変換部ごとに１つの画素をなす撮像素子と、
前記撮像素子の各画素から画像信号を読み出す読み出し手段と、
前記読み出し手段により前記撮像素子において視差が異なる画像信号を読み出す領域を制御する読み出し制御手段と、
前記読み出し手段により前記領域から読み出された画像信号を用いて深さ情報を取得する情報取得手段と、
前記画像信号と前記深さ離情報と前記領域の情報とを関連付けた画像情報を記録する記録手段と、を有することを特徴とする撮像装置。
【請求項２】
前記記録手段に記録されている深さ情報を補間することにより、前記領域外であって前記画像信号が得られない領域の同じ位置における深さ情報を求める補間手段をさらに有することを特徴とする請求項１に記載の撮像装置。
【請求項３】
複数のマイクロレンズを有し、当該複数のマイクロレンズそれぞれに複数の光電変換部が割り当てられて、当該複数の光電変換部ごとに１つの画素をなす撮像素子と、
前記撮像素子の各画素から画像信号を読み出す読み出し手段と、
前記読み出し手段により前記撮像素子において視差が異なる画像信号を読み出す領域を制御する読み出し制御手段と、
前記読み出し手段により前記領域から読み出された画像信号を用いて深さ情報を取得する情報取得手段と、
前記情報取得手段により得られた深さ情報を補間することにより、前記領域外であって前記画像信号が得られない領域の同じ位置における深さ情報を求める補間手段と、を有することを特徴とする撮像装置。
【請求項４】
前記画像信号と前記深さ情報と前記領域の情報とを関連付けた画像情報を記録する記録手段をさらに有することを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記深さ情報は、前記視差が異なる画像信号を相関演算して得られる被写体の距離情報であり、
前記補間手段は、線形補間により前記距離情報を補間することを特徴とする請求項２または４に記載の撮像装置。
【請求項６】
前記補間手段は、前記画像信号を読み出す領域における距離情報の垂直方向の画素の差分、斜め方向の画素の差分を求め、その差分に基づいて適応的に距離情報を補間することを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記補間手段は、前記画像信号の解像度を高くすることで前記深さ情報を補間することを特徴とする請求項２、４、６のいずれか１項に記載の撮像装置。
【請求項８】
前記情報取得手段により取得された深さ情報に基づいて被写体の合焦状態を判定し、当該被写体を合焦状態にするように焦点調節を行う焦点調節手段をさらに有し、
前記読み出し制御手段は、前記焦点調節手段により光学系を駆動するための駆動情報に基づいて前記領域を制御することを特徴とする請求項１ないし７のいずれか１項に記載の撮像装置。
【請求項９】
前記読み出し制御手段は、前記駆動情報が微小の場合には画面全体を前記領域に設定することを特徴とする請求項８に記載の撮像装置。
【請求項１０】
外部装置と通信する通信手段をさらに有し、
前記通信手段は、前記記録手段に記録されている画像情報を前記外部装置に送信し、前記外部装置により求められた画像情報を受信することを特徴とする請求項２、４ないし７のいずれか１項に記載の撮像装置。
【請求項１１】
前記補間手段は、前記読み出し手段により読み出された画像信号と、前記読み出し制御手段により得られる前記領域の情報と、前記情報取得手段により得られた深さ情報とに基づいて、前記領域外であって前記画像信号が得られない領域の同じ位置における深さ情報を求め、
前記画像信号と前記補間手段により得られた深さ情報が前記画像信号と前記領域外の位置情報とに関連付けられて前記記録手段に記録されることを特徴とする請求項２、４ないし７のいずれか１項に記載の撮像装置。
【請求項１２】
複数のマイクロレンズを有し、当該複数のマイクロレンズそれぞれに複数の光電変換部が割り当てられて、当該複数の光電変換部ごとに１つの画素をなす撮像素子と、
前記撮像素子の各画素から画像信号を読み出す読み出し手段と、
前記読み出し手段により前記撮像素子において視差が異なる画像信号を読み出す領域を制御する読み出し制御手段と、を有する撮像装置の制御方法であって、
前記読み出し手段により前記領域から読み出された画像信号を用いて深さ情報を取得するステップと、
前記画像信号と前記深さ情報と前記領域の情報とを関連付けた画像情報を記録手段に記録するステップと、を有することを特徴とする撮像装置の制御方法。
【請求項１３】
複数のマイクロレンズを有し、当該複数のマイクロレンズそれぞれに複数の光電変換部が割り当てられて、当該複数の光電変換部ごとに１つの画素をなす撮像素子と、
前記撮像素子の各画素から画像信号を読み出す読み出し手段と、
前記読み出し手段により前記撮像素子において視差が異なる画像信号を読み出す領域を制御する読み出し制御手段と、を有する撮像装置の制御方法であって、
前記読み出し手段により前記領域から読み出された画像信号を用いて深さ情報を取得するステップと、
前記深さ情報を補間することにより、前記領域外であって前記画像信号が得られない領域の同じ位置における深さ情報を求めるステップと、を有することを特徴とする撮像装置の制御方法。
【請求項１４】
請求項１２または１３に記載された制御方法を、撮像装置のコンピュータに実行させるためのプログラム。
【請求項１５】
請求項１２または１３に記載された制御方法を、撮像装置のコンピュータに実行させるためのプログラムを記憶したコンピュータによる読み取りが可能な記憶媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
上記課題を解決し、目的を達成するために、本発明の撮像装置は、複数のマイクロレンズを有し、当該複数のマイクロレンズそれぞれに複数の光電変換部が割り当てられて、当該複数の光電変換部ごとに１つの画素をなす撮像素子と、前記撮像素子の各画素から画像信号を読み出す読み出し手段と、前記読み出し手段により前記撮像素子において視差が異なる画像信号を読み出す領域を制御する読み出し制御手段と、前記読み出し手段により前記領域から読み出された画像信号を用いて深さ情報を取得する情報取得手段と、前記画像信号と前記深さ情報と前記領域の情報とを関連付けた画像情報を記録する記録手段と、を有する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
また、本発明の撮像装置は、複数のマイクロレンズを有し、当該複数のマイクロレンズそれぞれに複数の光電変換部が割り当てられて、当該複数の光電変換部ごとに１つの画素をなす撮像素子と、前記撮像素子の各画素から画像信号を読み出す読み出し手段と、前記読み出し手段により前記撮像素子において視差が異なる画像信号を読み出す領域を制御する読み出し制御手段と、前記読み出し手段により前記領域から読み出された画像信号を用いて深さ情報を取得する情報取得手段と、前記情報取得手段により得られた深さ情報を補間することにより、前記領域外であって前記画像信号が得られない領域の同じ位置における深さ情報を求める補間手段と、を有する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００７６
【補正方法】変更
【補正の内容】
【００７６】
図７において、９００は画像情報の一例である。画像情報９００は、ヘッダ部７００とデータ部８００で構成される。ヘッダ部７００は、輝度・色差信号の先頭アドレス７１０と、輝度・色差信号のデータサイズ７１１、距離情報の先頭アドレス７２０と、位相差のデータサイズ７２１、距離情報取得領域の先頭アドレス７３０と、距離情報のデータサイズ７３１が記録される。データ部８００は、輝度・色差信号のデータ８１１、距離情報のデータ８２１、距離情報取得領域のデータ８３１が記録される。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００８６
【補正方法】変更
【補正の内容】
【００８６】
Ｓ９０５では、距離情報補間部１４は、Ｓ９０４で選択された２種類の評価値に基づき、割合α６〜α１０、α１６〜α２０を求める。割合は、例えば、Ｓ９０４により垂直方向の評価値Ｖ７と、斜め方向１の評価値Ｐ７が選択された場合、割合α７は以下の式１を用いて求める。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００９０
【補正方法】変更
【補正の内容】
【００９０】
Ｈｄ７＝（ｄ２＋ｄ１２）／２・・・（３）
３．（α７＞１）の場合
斜め方向１の割合が強いため、以下の式４を用いて水平方向からの位相差Ｈｄ７を取得する。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００９４
【補正方法】変更
【補正の内容】
【００９４】
なお、本実施形態では位相差取得領域を１行おきに設定していたが、複数画行ごとに設定した場合も同様に、公知の線形補間、適応補間を用いて補間することができる。また、本実施形態では、位相差取得領域を１行おきに設定していたが、全行に設定してもよく、そうすることで、補間することなく、全ての画素について位相差を取得することができる。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００９９
【補正方法】変更
【補正の内容】
【００９９】
実施形態２の撮像装置は、距離情報補間部１４に代えて通信部１５を有している。通信部１５は、有線通信または無線通信により、外部装置との間で記録部１０に記録されている画像信号と画像情報を送受信することができる。まず、通信部１５は補間前の位相差を含む画像情報を外部装置に送信する。補間前の位相差を含む画像情報を受信した外部装置は、前述した位相差補間処理を行い、補間後の位相差を含む画像情報を撮像装置１００に送信する。撮像装置１００は、通信部１５を介して画像情報を受信すると、補間後の位相差を含む画像情報を記録部１０に記録する。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】０１０２
【補正方法】変更
【補正の内容】
【０１０２】
図１２は、実施形態３の撮像装置１００の構成を示している。なお、実施形態３において、実施形態１と同様の要素には同一の符号付して説明を省略する。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】０１０３
【補正方法】変更
【補正の内容】
【０１０３】
実施形態３の撮像装置は、距離情報補間部１４が、信号処理部９で処理された画像信号と、信号読み出し制御部４からの位相差取得領域と、測距部６からの位相差情報とを取得し、これらの情報に基づいて位相差取得領域外の位相差情報が得られない領域の距離情報を補間する。距離情報補間部１４は、補間後の位相差を記録部１０に出力し、記録部１０は信号処理部９で処理された画像信号と、信号読み出し制御部４からの位相差取得領域と、距離情報補間部１４により得られた位相差情報とを関連付けて画像情報として記録する。