【手続補正書】
【提出日】平成29年4月17日(2017.4.17)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の視差画像の複数の相対差分情報に基づいて該複数の視差画像の第一不要成分を決定するステップと、
前記複数の視差画像および前記第一不要成分に基づいて該第一不要成分が低減された第一画像を生成するステップと、
前記第一画像にボケを付加してボケ画像を生成するステップと、
前記ボケ画像および前記第一画像に基づいてマスクを作成するステップと、
前記第一不要成分および前記マスクに基づいて第二不要成分を決定するステップと、を有することを特徴とする画像処理方法。
【請求項２】
前記第一不要成分は、視差成分と、不要光が撮像面に到達したことにより生じた成分と、を含むことを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記複数の相対差分情報は、前記複数の視差画像のそれぞれを基準画像として設定し、該複数の視差画像のうち該基準画像を除く他の視差画像のそれぞれと該基準画像との差分を算出することで求められる情報であることを特徴とする請求項１または２に記載の画像処理方法。
【請求項４】
前記第二不要成分は、不要光が撮像面に到達したことにより生じる成分であることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理方法。
【請求項５】
前記第一不要成分を決定するステップにおいて、
前記複数の視差画像のうち不要成分を決定する対象となる視差画像を基準画像として得られた複数の相対差分情報を負の値を切り捨てた２次元データとして取得し、
前記２次元データの各位置において各相対差分情報の間の最大値を抽出し、前記基準画像における前記第一不要成分を決定する、ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理方法。
【請求項６】
前記ボケ画像を生成するステップにおいて、前記第一画像に対してボケを付加するフィルタを用いて、前記ボケ画像を生成することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理方法。
【請求項７】
前記フィルタによるボケの付加量を、前記視差画像を撮像した際の撮影条件に基づいて決定することを特徴とする請求項６に記載の画像処理方法。
【請求項８】
前記フィルタによるボケの付加量を、前記視差画像における被写体の距離情報に基づいて決定することを特徴とする請求項６または７に記載の画像処理方法。
【請求項９】
前記マスクを作成するステップにおいて、前記ボケ画像から前記第一画像を減算して得られた差分情報に基づいて、前記マスクを作成することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理方法。
【請求項１０】
前記マスクに対してボケを付加するステップをさらに有することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理方法。
【請求項１１】
前記第二不要成分を決定するステップにおいて、該第二不要成分として、前記第一不要成分および前記マスクに基づいて前記複数の視差画像の少なくとも一つにおける不要成分を決定し、
前記少なくとも一つの視差画像から前記第二不要成分を低減するステップを更に有することを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理方法。
【請求項１２】
前記複数の視差画像を合成することで得られた合成画像から前記第二不要成分を低減するステップを更に有し、
前記第二不要成分を決定するステップにおいて、該第二不要成分として、前記第一不要成分の合成値および前記マスクに基づいて前記合成画像に含まれる不要成分を決定することを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理方法。 
【請求項１３】
前記第一不要成分の合成値は、前記複数の視差画像のそれぞれの第一不要成分を平均した値であることを特徴とする請求項１２に記載の画像処理方法。
【請求項１４】
前記第二不要成分を決定するステップにおいて、前記複数の視差画像の少なくとも１つまたは前記複数の視差画像を合成することで得られた合成画像における一部の領域に対して該第二不要成分を決定することを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理方法。
【請求項１５】
前記複数の視差画像は、撮像光学系の瞳のうち互いに異なる領域を通過した複数の光束に基づいて生成された複数の画像であることを特徴とする請求項１乃至１４のいずれか１項に記載の画像処理方法。
【請求項１６】
前記第二不要成分に関する情報を用いて、前記複数の視差画像の少なくとも一つにゴースト成分を付加するステップを更に有することを特徴とする請求項１乃至１５のいずれか１項に記載の画像処理方法。
【請求項１７】
複数の視差画像の複数の相対差分情報に基づいて該複数の視差画像の第一不要成分を決定する第一不要成分決定手段と、
前記複数の視差画像および前記第一不要成分に基づいて該第一不要成分が低減された第一画像を生成する画像生成手段と、
前記第一画像にボケを付加してボケ画像を生成するボケ画像生成手段と、
前記ボケ画像および前記第一画像に基づいてマスクを作成するマスク作成手段と、
前記第一不要成分および前記マスクに基づいて第二不要成分を決定する第二不要成分決定手段と、を有することを特徴とする画像処理装置。
【請求項１８】
光学像を光電変換して複数の視差画像を出力する撮像素子と、請求項１７に記載の画像処理装置を有することを特徴とする撮像装置。
【請求項１９】
撮像光学系を更に有し、
前記複数の視差画像は、前記撮像光学系の瞳のうち互いに異なる領域を通過した複数の光束に基づいて生成された複数の画像であり、
前記撮像素子は、一つのマイクロレンズを共有する複数の画素を有し、
前記複数の画素は、前記撮像光学系の瞳のうち互いに異なる領域を通過した前記複数の光束を受光するように構成されていることを特徴とする請求項１８に記載の撮像装置。
【請求項２０】
複数の視差画像の複数の相対差分情報に基づいて該複数の視差画像の第一不要成分を決定するステップと、
前記複数の視差画像および前記第一不要成分に基づいて該第一不要成分が低減された第一画像を生成するステップと、
前記第一画像にボケを付加してボケ画像を生成するステップと、
前記ボケ画像および前記第一画像に基づいてマスクを作成するステップと、
前記第一不要成分および前記マスクに基づいて第二不要成分を決定するステップと、をコンピュータに実行させるように構成されていることを特徴とする画像処理プログラム。 
【請求項２１】
請求項２０に記載の画像処理プログラムを記憶していることを特徴とする記憶媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
本発明の一側面としての画像処理方法は、複数の視差画像の複数の相対差分情報に基づいて該複数の視差画像の第一不要成分を決定するステップと、前記複数の視差画像および前記第一不要成分に基づいて該第一不要成分が低減された第一画像を生成するステップと、前記第一画像にボケを付加してボケ画像を生成するステップと、前記ボケ画像および前記第一画像に基づいてマスクを作成するステップと、前記第一不要成分および前記マスクに基づいて第二不要成分を決定するステップとを有する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
本発明の他の側面としての画像処理装置は、複数の視差画像の複数の相対差分情報に基づいて該複数の視差画像の第一不要成分を決定する第一不要成分決定手段と、前記複数の視差画像および前記第一不要成分に基づいて該第一不要成分が低減された第一画像を生成する画像生成手段と、前記第一画像にボケを付加してボケ画像を生成するボケ画像生成手段と、前記ボケ画像および前記第一画像に基づいてマスクを作成するマスク作成手段と、前記第一不要成分および前記マスクに基づいて第二不要成分を決定する第二不要成分決定手段とを有する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
本発明の他の側面としての撮像装置は、光学像を光電変換して複数の視差画像を出力する撮像素子と、前記画像処理装置を有する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
本発明の他の側面としての画像処理プログラムは、複数の視差画像の複数の相対差分情報に基づいて該複数の視差画像の第一不要成分を決定するステップと、前記複数の視差画像および前記第一不要成分に基づいて該第一不要成分が低減された第一画像を生成するステップと、前記第一画像にボケを付加してボケ画像を生成するステップと、前記ボケ画像および前記第一画像に基づいてマスクを作成するステップと、前記第一不要成分および前記マスクに基づいて第二不要成分を決定するステップと、をコンピュータに実行させるように構成されている。