【手続補正書】
【提出日】平成27年8月21日(2015.8.21)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮影光学系によって結像された被写体像の光線角度情報を含む撮像画像を得るためのマイクロレンズアレイを配した撮像素子から出力された撮像画像を処理する画像処理装置であって、
前記撮像素子から出力された前記撮像画像を取得する取得手段と、
前記取得手段によって取得された前記撮像画像を前記光線角度情報に基づいて再構成することにより再構成画像を生成する再構成処理手段と、
前記再構成処理手段によって生成された前記再構成画像における欠陥画素を検出する欠陥検出手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記再構成処理手段によって前記撮像画像を再構成するための再構成情報を設定する再構成情報設定手段をさらに備え、
前記再構成情報設定手段によって前記再構成情報が設定された場合に、前記欠陥検出手段は、前記再構成情報に基づいて前記再構成処理手段によって生成された前記再構成画像における前記欠陥画素を検出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記再構成情報設定手段によって設定される前記再構成情報は、前記撮影光学系からの結像距離であり、
前記欠陥検出手段は、前記再構成情報設定手段によって設定された前記再構成情報に基づいて前記欠陥画素の検出パラメータを制御することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記検出パラメータは、前記欠陥画素の検出枠のサイズおよび前記欠陥画素の判定のためのしきい値のうちの少なくとも１つであることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記欠陥検出手段によって検出された前記欠陥画素を補正する欠陥画素補正手段をさらに備えたことを特徴とする請求項２乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記撮像素子に配された複数の光電変換素子のうちの欠陥素子の座標を記録するメモリと、
前記メモリに記録された前記欠陥素子の前記座標に基づいて、前記取得手段によって取得された前記撮像画像を構成する前記光電変換素子の信号のうち、前記欠陥素子に対応する信号を補正する欠陥素子補正手段と、
をさらに備えたことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記欠陥素子補正手段は、前記再構成情報に基づいて前記欠陥素子に対応する信号を補正する補正手段を有することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記欠陥素子補正手段は、前記再構成画像を生成する際に前記欠陥素子に対応する前記信号が用いられることとなる再構成面上における座標を判定し、前記再構成面上における前記座標での前記再構成画像の生成において信号が用いられることとなる他の前記光電変換素子を補正値生成用素子として決定し、前記補正値生成用素子の画素値に基づいて前記欠陥素子の画素値を補正することを特徴とする請求項６又は７に記載の画像処理装置。
【請求項９】
前記欠陥素子補正手段は、複数の前記補正値生成用素子の前記画素値の算術平均値又は加重平均値に基づいて、前記欠陥素子の前記画素値を補正することを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記再構成処理手段は、再構成面において結像した前記再構成画像が得られるように、前記撮像素子に配された複数の光電変換素子の各々によって得られた信号を合成することによって、前記再構成画像を生成することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記欠陥検出手段は、前記再構成画像のうちの一の画素の画素値と、前記一の画素の周辺に位置する他の画素の画素値とを比較することによって、前記一の画素が前記欠陥画素であるか否かを判定することを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
【請求項１２】
前記欠陥検出手段は、前記再構成画像のうちの前記一の画素の前記画素値と、前記一の画素の周辺に位置する複数の前記他の画素の前記画素値の平均値又は中央値とを比較することによって、前記一の画素が前記欠陥画素であるか否かを判定することを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記欠陥検出手段は、前記欠陥画素の候補を第１の条件によって検出し、前記欠陥画素の前記候補のうちから前記欠陥画素を前記第１の条件とは異なる第２の条件によって検出することを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
【請求項１４】
撮影光学系によって結像された被写体像の光線角度情報を含む撮像画像を得るためのマイクロレンズアレイを配した撮像素子から出力された撮像画像を処理する画像処理方法であって、
前記撮像素子から出力された前記撮像画像を取得する取得ステップと、
前記取得ステップで取得された前記撮像画像を前記光線角度情報に基づいて再構成するための再構成情報を設定する再構成情報設定ステップと、
前記再構成情報設定ステップで設定された前記再構成情報に従って前記撮像画像を再構成して再構成画像を生成する再構成処理ステップと、
前記再構成処理ステップで生成された前記再構成画像の欠陥画素を検出する欠陥検出ステップと、
前記欠陥検出ステップで検出された前記欠陥画素を補正する欠陥画素補正ステップと、
を備えたことを特徴とする画像処理方法。
【請求項１５】
撮影光学系によって結像された被写体像の光線角度情報を含む撮像画像を得るためのマイクロレンズアレイを配した撮像素子から出力された撮像画像を処理する画像処理装置を制御するためのプログラムであって、
コンピュータを、
前記撮像素子から出力された前記撮像画像を取得する取得手段、
前記取得手段によって取得された前記撮像画像を前記光線角度情報に基づいて再構成して再構成画像を生成する再構成処理手段、
前記再構成処理手段によって生成された前記再構成画像の欠陥画素を検出する欠陥検出手段、
として機能させるプログラム。
【請求項１６】
請求項１５に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【請求項１７】
コンピュータを、請求項１乃至１３のいずれか１項に記載された画像処理装置の各手段として機能させるプログラム。
【請求項１８】
コンピュータを、請求項１乃至１３のいずれか１項に記載された画像処理装置の各手段として機能させるプログラムを格納した記憶媒体。
【請求項１９】
撮影光学系によって結像された被写体像の光線角度情報を含む撮像画像を得るためのマイクロレンズアレイを配した撮像素子と、
請求項１乃至１３のいずれか１項に記載の画像処理装置と、
ユーザの入力を受け付ける操作部材と、
前記操作部材が受け付けたユーザの入力に従って前記画像処理装置を制御する制御手段と
を備えることを特徴とする撮像装置。
【請求項２０】
被写体像の光線角度情報を含む撮像画像を処理する画像処理装置であって、
前記撮像画像を取得する取得手段と、
前記取得手段によって取得された前記撮像画像を前記光線角度情報に基づいて再構成することにより再構成画像を生成する再構成処理手段と、
前記再構成処理手段によって生成された前記再構成画像における欠陥画素を検出する欠陥検出手段と、
を備えたことを特徴とする画像処理装置。
【請求項２１】
被写体像の光線角度情報を含む撮像画像を処理する画像処理装置であって、
前記撮像画像を取得する取得手段と、
所望の結像面で結像した画像を前記光線角度情報に基づいて前記撮像画像から生成する画像処理手段と、
前記画像処理手段によって生成された前記画像における欠陥画素を検出する欠陥検出手段と、
を備えたことを特徴とする画像処理装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００５６
【補正方法】変更
【補正の内容】
【００５６】
そして、上記の各光線(実線)は、ＭＬＡ２の後方に配置された撮像素子３の光電変換素子ＰＤ２１１，ＰＤ２１２，ＰＤ２１３，ＰＤ２１４およびＰＤ２１５に入射する。これら５つの光電変換素子の信号は、元を辿れば理解できるように被写体Ａ２を構成する１点から撮影光学系１に向かって出た光線のうち、各々角度情報の異なるものである。しかし、リフォーカスを行わず、ＭＬＡ２のピッチで決定する解像度で画像を得る限りにおいては、これら５つの信号を合算処理してよい。ステップＳ３０８の暫定の再構成画像はこのようにして得られたものである。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００５７
【補正方法】変更
【補正の内容】
【００５７】
Ｓ３０９で、例えば、撮影者が、リフォーカス情報設定手段１８を操作して、被写体Ａ１を目標とするようなリフォーカス情報の設定を行ったとする。撮影光学系１の主点から被写体距離ａ１にある被写体Ａ１を構成する１点から発生した光線(図に破線で示す)は、（式１）から考察しても明らかなように、ｂ２よりも撮影光学系１に近い結像距離ｂ１に集まる。したがって、これらの光線は、各々異なるＭＬの後方に存在する光電変換素子ＰＤ２６，ＰＤ２５，ＰＤ２４，ＰＤ２３およびＰＤ２２に入射する。例えばＰＤ２４に入射した光線は、撮影光学系１の光軸を通過した光線角度成分であり、ＰＤ２６およびＰＤ２２に入射した光線は、撮影光学系１の絞り口径端を通過した光線角度成分である。ＰＤ２５およびＰＤ２３は、上記の中間的な光線角度成分である。ＰＤ２４は、ＭＬの後方に存在する光電変換素子のうち中心象限である。ＰＤ２６およびＰＤ２２は、最端部の象限であり、ＰＤ２５およびＰＤ２３は、上記の中間的な象限である。このように、被写体Ａ１の１点から発生した光線で、撮影光学系１の異なる瞳領域を通過した光線は、ＭＬＡによる瞳分割機能により異なるＭＬに対応する光電変換素子に入射してイメージシフトを結果する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００６２
【補正方法】変更
【補正の内容】
【００６２】
最後に、ステップＳ３１２において、システム制御部１５は信号処理部９により欠陥画素の補正、ホワイトバランス補正、ガンマ補正等の各種信号処理を行わせ、ステップＳ３１３にて記録媒体１２に最終的な画像を記録する。以上で、図３の一連のフローは終了する。