【手続補正書】
【提出日】平成30年9月5日(2018.9.5)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮像光学系の射出瞳における異なる複数の領域を通過した光束のそれぞれを光電変換する複数の画素を含む画素群と、該画素群ごとに設けられた光学素子とをそれぞれが備える第１及び第２の撮像系と、
該第１及び第２の撮像系のうち少なくとも一方により取得される複数の視差画像に基づいて被写体距離を算出する画像処理手段とを有することを特徴とする撮像装置。
【請求項２】
前記第１及び第２の撮像系の光軸は、互いに非平行であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記光学素子は、マイクロレンズであることを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記第１及び第２の撮像系の光軸間の角度は、前記第１及び第２の撮像系の画角の半値以下であることを特徴とする請求項１から３の何れか１項に記載の撮像装置。
【請求項５】
前記画像処理手段は、
前記第１及び第２の撮像系の画角が互いに重畳する重畳領域では、前記第１の撮像系により取得される複数の視差画像及び前記第２の撮像系により取得される複数の視差画像のうち少なくとも二つの視差画像に基づいて被写体距離を算出し、
前記第１及び第２の撮像系の画角が互いに重畳しない非重畳領域では、前記第１及び第２の撮像系の何れか一方により取得される複数の視差画像に基づいて被写体距離を算出することを特徴とする請求項１から４の何れか１項に記載の撮像装置。
【請求項６】
前記画像処理手段は、前記重畳領域では、前記第１の撮像系により取得される複数の視差画像の合成画像と、前記第２の撮像系により取得される複数の視差画像の合成画像とに基づいて被写体距離を算出することを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記画像処理手段は、前記重畳領域では、前記第１の撮像系により取得される複数の視差画像のうち少なくとも一つの視差画像と、前記第２の撮像系により取得される複数の視差画像のうち少なくとも一つの視差画像とに基づいて被写体距離を算出することを特徴とする請求項５に記載の撮像装置。
【請求項８】
前記画像処理手段は、画像選択情報に基づいて前記第１の撮像系により取得される複数の視差画像及び前記第２の撮像系により取得される複数の視差画像から少なくとも二つの視差画像を選択し、前記重畳領域では該選択された視差画像に基づいて被写体距離を算出することを特徴とする請求項５に記載の撮像装置。
【請求項９】
前記画像処理手段は、前記重畳領域における分割領域ごとに前記少なくとも二つの視差画像を選択することを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記画像選択情報は、前記第１及び第２の撮像系の収差に関する情報であることを特徴とする請求項８又は９に記載の撮像装置。
【請求項１１】
前記画像処理手段は、前記重畳領域では、
前記複数の画素のうち何れかの画素値が所定値よりも大きい場合、前記第１の撮像系により取得される複数の視差画像のうち少なくとも一つの視差画像と、前記第２の撮像系により取得される複数の視差画像のうち少なくとも一つの視差画像とを選択し、該選択された視差画像に基づいて被写体距離を算出し、
前記画素値が前記所定値よりも小さい場合、前記第１の撮像系により取得される複数の視差画像の合成画像と、前記第２の撮像系により取得される複数の視差画像の合成画像とに基づいて被写体距離を算出することを特徴とする請求項５に記載の撮像装置。
【請求項１２】
複数の画素と該画素ごとに設けられた光学素子とを備える第３の撮像系を更に有することを特徴とする請求項１から４の何れか１項に記載の撮像装置。
【請求項１３】
前記画像処理手段は、
前記第１及び第２の撮像系の何れか一方の画角と前記第３の撮像系の画角とが互いに重畳する重畳領域では、前記第１及び第２の撮像系の何れか一方により取得される画像と、前記第３の撮像系により取得される画像とに基づいて被写体距離を算出し、
前記第１又は第２の撮像系の画角と前記第３の撮像系とが重畳しない非重畳領域では、前記第１及び第２の撮像系の何れか一方により取得される複数の視差画像に基づいて被写体距離を算出することを特徴とする請求項１２に記載の撮像装置。
【請求項１４】
前記第１及び第２の撮像系のそれぞれは、
前記第１及び第２の撮像系の画角が互いに重畳する重畳領域に対応する画素領域では、画素ごとに設けられた光学素子を備え、
前記第１及び第２の撮像系の画角が互いに重畳しない非重畳領域に対応する画素領域では、前記画素群ごとに設けられた光学素子を備えることを特徴とする請求項１から４の何れか１項に記載の撮像装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
本発明の一側面としての撮像装置は、撮像光学系の射出瞳における異なる複数の領域を通過した光束のそれぞれを光電変換する複数の画素を含む画素群と、該画素群ごとに設けられた光学素子とをそれぞれが備える第１及び第２の撮像系と、該第１及び第２の撮像系のうち少なくとも一方により取得される複数の視差画像に基づいて被写体距離を算出する画像処理手段とを有することを特徴とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
画像ＩＭＧｌおよび視差画像ＩＭＧｒから位置の異なる同一の被写体領域を抽出する方法について、図２を参照して説明する。図２は、画像座標の説明図である。図２において、各画像の左上を原点、水平方向をＺ軸、垂直方向をＹ軸とする。また、視差画像ＩＭＧｌ上の画素（Ｚ，Ｙ）の輝度をＦ１（Ｚ，Ｙ）とし、視差画像ＩＭＧｒ上の画素（Ｚ，Ｙ）の輝度をＦ２（Ｚ，Ｙ）とする。視差画像ＩＭＧｌ上の画素（Ｚ，Ｙ）に対応する視差画像ＩＭＧｒの画素（Ｚ，Ｙ）を抽出するには、視差画像ＩＭＧｌの画素（Ｚ，Ｙ）の輝度Ｆ１（Ｚ，Ｙ）と最も類似する輝度の視差画像ＩＭＧｒの画素を探せばよい。図２において、視差画像ＩＭＧｌおよび視差画像ＩＭＧｒ上の縦線画素がそれぞれ対応する画素である。ただし、一般的に任意の画素と最も類似した画素を探すことは難しいため、対応する画素の近傍の画素も用いるブロックマッチング処理で類似画素を探索する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【００１８】
ブロックサイズが３である場合のブロックマッチング処理について説明する。視差画像ＩＭＧｌの任意の画素（Ｚ，Ｙ）と、その前後の２つの画素（Ｚ−１、Ｙ）、（Ｚ＋１、Ｙ）の輝度はそれぞれ、Ｆ１（Ｚ，Ｙ）、Ｆ１（Ｚ−１，Ｙ）、Ｆ１（Ｚ＋１，Ｙ）である。一方、視差画像ＩＭＧｒ上の画素（Ｚ，Ｙ）からＺ方向にｋだけずれた画素（Ｚ＋ｋ，Ｙ）と、その前後の２つの画素（Ｚ＋ｋ−１，Ｙ），（Ｚ＋ｋ＋１，Ｙ）の輝度はそれぞれ、Ｆ２（Ｚ＋ｋ，Ｙ），Ｆ２（Ｚ＋ｋ−１，Ｙ），Ｆ２（Ｚ＋ｋ＋１，Ｙ）である。このとき、視差画像ＩＭＧｌの画素と視差画像ＩＭＧｒの画素との類似度Ｅは、以下の式（５）で定義される。
2017067636.tif 000001
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
式（５）において、逐次ｋの値を変えて類似度Ｅの値を計算し、類似度Ｅが最も小さくなる画素（Ｚ＋ｋ、Ｙ）が、視差画像ＩＭＧｌの画素（Ｚ，Ｙ）に対応する。このようにして得られた対応する被写体領域の位置の差分が視差量である。