【手続補正書】
【提出日】平成28年2月8日(2016.2.8)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
同一時間に同一被写体を異なる視点につき撮像して得られた複数の画像信号であって、各画素が予め定められた複数の色成分のうちのいずれか１つの色成分の信号強度を示す画像信号を取得する取得手段と、
前記取得手段により取得された前記複数の画像信号のうち、同一被写体距離に存在する同一の被写体像に対応する画素を特定する特定手段と、
前記特定手段により特定された前記対応する画素の各々について、画素に存在しない色成分の信号強度を前記対応する画素のうちの他の画素の該色成分の信号強度を用いて生成する生成手段と、を有する
ことを特徴とする画像処理装置。
【請求項２】
前記生成手段は、前記画素に存在しない色成分の信号強度として、前記他の画素の該色成分の信号強度を使用することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記生成手段は、前記画素に存在しない色成分の信号強度を、前記他の画素の該色成分の信号強度を用いて補間することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記生成手段は、前記対応する画素のうちの１つの前記画像信号に含まれる画素について、該１つの画像信号の撮影位置の近傍で撮影された前記画像信号から前記特定手段により特定された画素の信号強度を用いて補間することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記特定手段は、前記複数の画像信号間の像の位相差を検出することで、前記同一被写体距離に存在する同一の被写体像に対応する画素を特定することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記複数の画像信号は、撮像装置により撮像された原画像信号であって、画素の各々が、前記撮像装置の撮像光学系において通過した瞳領域及び入射方向の組み合わせが異なる光束に対応した、前記複数の色成分のうちのいずれか１つの色成分の信号強度を示す原画像信号から、同一の瞳領域を通過した光束に対応する画素を結合させることで各々得られることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記生成手段により前記画素に存在しない色成分の信号強度が生成された画像信号を記録する記録手段をさらに有することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
同一時間に同一被写体を異なる視点につき撮像し、各画素が予め定められた複数の色成分のうちのいずれか１つの色成分の信号強度を示す複数の画像信号を出力する撮像手段と、
前記撮像手段により出力された前記複数の画像信号のうち、同一被写体距離に存在する同一の被写体像に対応する画素を特定する特定手段と、
前記特定手段により特定された前記対応する画素の各々について、画素に存在しない色成分の信号強度を前記対応する画素のうちの他の画素の該色成分の信号強度を用いて生成する生成手段と、を有する
ことを特徴とする撮像装置。
【請求項９】
画像処理装置の取得手段が、同一時間に同一被写体を異なる視点につき撮像して得られた複数の画像信号であって、各画素が予め定められた複数の色成分のうちのいずれか１つの色成分の信号強度を示す画像信号を取得する取得工程と、
前記画像処理装置の特定手段が、前記取得工程において取得された前記複数の画像信号のうち、同一被写体距離に存在する同一の被写体像に対応する画素を特定する特定工程と、
前記画像処理装置の生成手段が、前記特定工程において特定された前記対応する画素の各々について、画素に存在しない色成分の信号強度を前記対応する画素のうちの他の画素の該色成分の信号強度を用いて生成する生成工程と、を有する
ことを特徴とする画像処理装置の制御方法。
【請求項１０】
撮像装置の撮像手段が、同一時間に同一被写体を異なる視点につき撮像し、各画素が予め定められた複数の色成分のうちのいずれか１つの色成分の信号強度を示す複数の画像信号を出力する撮像工程と、
前記撮像装置の特定手段が、前記撮像工程において出力された前記複数の画像信号のうち、同一被写体距離に存在する同一の被写体像に対応する画素を特定する特定工程と、
前記撮像装置の生成手段が、前記特定工程において特定された前記対応する画素の各々について、画素に存在しない色成分の信号強度を前記対応する画素のうちの他の画素の該色成分の信号強度を用いて生成する生成工程と、を有する
ことを特徴とする撮像装置の制御方法。
【請求項１１】
コンピュータを、請求項１乃至７のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項１２】
コンピュータに、請求項１０に記載の撮像装置の制御方法の各工程を実行させるためのプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は、画像処理装置、撮像装置、制御方法、及びプログラムに関し、特に撮影後に出力データから任意の被写体距離に合焦した画像を生成する技術に関する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００２
【補正方法】変更
【補正の内容】
【０００２】
近年、デジタルカメラ等の撮像装置において、撮影時に光場の情報、即ち光の強度分布と進行方向とを出力データとして記録することで、記録後に該出力データから任意の被写体距離に合焦した画像を生成する技術が提案されている。このような撮像装置では、マイクロレンズアレイを介して撮像素子の各画素（光電変換素子）に撮像レンズの異なる瞳領域を通過した光束を結像させることにより、様々な方向から入射した光を分離して記録する方法等が用いられている（特許文献１、２）。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
前述の目的を達成するために、本発明の画像処理装置は、以下の構成を備えることを特徴とする。具体的には画像処理装置は、同一時間に同一被写体を異なる視点につき撮像して得られた複数の画像信号であって、各画素が予め定められた複数の色成分のうちのいずれか１つの色成分の信号強度を示す画像信号を取得する取得手段と、取得手段により取得された複数の画像信号のうち、同一被写体距離に存在する同一の被写体像に対応する画素を特定する特定手段と、特定手段により特定された対応する画素の各々について、画素に存在しない色成分の信号強度を対応する画素のうちの他の画素の該色成分の信号強度を用いて生成する生成手段と、を有することを特徴とする。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
・「再構成画像」
ＬＦデータから生成される、任意の焦点面の位置に合焦した画像。具体的にはＬＦデータから同一の瞳領域を通過した画素で生成される複数（瞳分割数）の画像について、生成する被写体距離に存在する被写体の像が一致するように位置合わせを行い、対応する画素の画素値を合算（重ね合わせ）することで得られる画像。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００３５
【補正方法】変更
【補正の内容】
【００３５】
Ｓ３０４で、カメラ制御部１０１は、Ｓ３０２において生成された瞳分割数の輝度画像から輝度画像（注目輝度画像）を選択し、該画像を分割した各領域について他の輝度画像との画像信号間の位相差を検出する。即ち、本ステップにおいてカメラ制御部１０１は、注目輝度画像を分割した各領域に存在する被写体像について、注目輝度画像と他の輝度画像とのデフォーカス量を位相差検出方式で取得する。被写体が強い鏡面反射成分を有さないランバート面とみなせる場合、輝度画像において該被写体に対応する像は、光束が通過する分割瞳領域に依らず、即ち光束の入射方向に依らず同じ輝度値を示す。このためカメラ制御部１０１は、同一の被写体距離に存在する被写体が各ＲＡＷ画像においてどの位置に存在するかを把握することができる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００４０
【補正方法】変更
【補正の内容】
【００４０】
また本実施形態では、各マイクロレンズ２０に割り当てられた画素群から１つずつ画素を抽出して輝度画像を生成している。このようにして生成された輝度画像は、撮像光学系２０２をマイクロレンズ２０に割り当てられた画素の数に分割した限定的な瞳領域を通過する、所謂絞り状態で得られた光束に対応している。即ち、被写界深度が深いため、様々な被写体距離に存在する被写体像について位相差が検出できる。しかしながら、本発明の実施において各被写体の位相差検出のために生成される輝度画像はこれに限られず、少なくとも２種類の瞳領域に対応する輝度画像が位相差検出のために用いられればよい。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００４４
【補正方法】変更
【補正の内容】
【００４４】
再構成画像の水平１ラインの各画素は、このような５種類の水平ラインから適切な画素の画素値を積算することで生成される。積算に用いられる画素は、生成する再構成画像が対応する被写体距離（再構成画像において合焦する被写体に対応する距離）に応じて異なる。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００４５
【補正方法】変更
【補正の内容】
【００４５】
例えば、ＬＦデータの撮影時に合焦していた被写体距離に存在する被写体については、光束が通過する撮像光学系２０２の瞳領域によらず、各マイクロレンズ２０に対応する画素群において同一の座標に結像される。即ち、該被写体については合焦しているため、瞳領域ごとに画像を生成したとしても該被写体の像に位相差は生じない。このため、撮影時に設定されていた被写体距離に合焦した再構成画像を生成する場合、各画素はマイクロレンズ２０に対応する画素群のうちの同一位置関係にある画素を足し合わせる、即ち図５において縦方向に並んだ画素群５０２が１画素の生成のために積算される。つまり、画素群５０２は、撮像時の焦点位置において合焦している被写体像の同一部分に対応する光束が通過する画素群である。図では画素群５０２についてのみ枠を用いて示したが、撮影時に設定された焦点位置に合焦した再構成画像の水平１ラインを生成するためには、横軸に並んだ他の画素についても同様に縦方向に並んだ画素群を積算すればよい。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００４６
【補正方法】変更
【補正の内容】
【００４６】
一方、図２（ｂ）の画素２１に対応して生成された水平ラインと画素２５に対応して生成された水平ラインとにおいて、２画素分の位相差が生じている被写体に合焦した再構成画像を生成する場合、図５に示した画素群５０３が１画素の生成のために積算される。即ち、該被写体について合焦する被写体距離においては位相差がなくなるため、図示されたように画素群５０３の画素５０４と画素５０５は、該被写体距離に合焦した再構成画像において合焦する同一の被写体像についての光束に対応している。図では画素群５０３についてのみ枠を用いて示したが、撮影時に設定された焦点位置に合焦した再構成画像の水平１ラインを生成するためには、各画素について設定された同様の傾き（画像の位相差によって決まる）を有する枠に含まれる画素群を積算すればよい。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００４７
【補正方法】変更
【補正の内容】
【００４７】
なお、再構成画像の生成において積算される画素群を示す枠の傾きは、生成する再構成画像に対応する焦点面の位置が、ＬＦデータの撮影時に設定されていた焦点位置から遠いか小さいかによって正負が異なる。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００５５
【補正方法】変更
【補正の内容】
【００５５】
例えば図７（ａ）及び（ｂ）に示されるように、撮影時にデジタルカメラ１００からの距離が異なる被写体７０１及び７０２が画角に含まれる場合について考える。また、該状況についてのＲＡＷ−ＬＦデータが、被写体７０１と被写体７０２の中間にある任意の距離７０３の被写体に合焦する設定で取得されたとする。このとき、ＲＡＷ−ＬＦデータから生成した各分割瞳領域についてのＲＡＷ画像は、再構成画像を生成する際と同様に、特定の被写体距離で位相差がなくなる被写体に注目することで、各画素に不足している色成分の信号強度を補間することができる。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００７２
【補正方法】変更
【補正の内容】
【００７２】
以上説明したように、本実施形態の画像処理装置は、好適に色再現した画像を再構成可能なＬＦデータを生成することができる。具体的には画像処理装置は、同一時間に同一被写体を異なる位置で撮像して得られた複数の画像信号であって、各画素が予め定められた複数の色成分のうちのいずれか１つの色成分の信号強度を示す画像信号を取得する。そして取得した複数の画像信号のうち、同一被写体距離に存在する同一の被写体像に対応する画素を特定し、該対応する画素の各々について、画素に存在しない色成分の信号強度を対応する画素のうちの他の画素の該色成分の信号強度を用いて生成する。