【手続補正書】
【提出日】平成27年9月24日(2015.9.24)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮像装置により撮影された画像信号であって、画素の各々が、前記撮像装置の撮像光学系において通過した瞳領域及び入射方向の組み合わせが異なる光束に対応している画像信号を取得する取得手段と、
前記取得手段により取得された前記画像信号から、特定の被写体距離の被写体に合焦する再構成画像を生成する生成手段であって、前記再構成画像の各画素に対応する前記画像信号の画素の画素値を合算することで前記再構成画像を生成する生成手段と、を有する画像処理装置であって、
設定された前記再構成画像の生成条件に従って、前記再構成画像の生成を行う被写体距離を決定する決定手段と、
前記決定手段により決定された被写体距離についての前記再構成画像の生成において、各画素に対応する前記画像信号の画素のうち、画素値の合算に使用する画素を、前記再構成画像の生成条件に従って選択する選択手段と、を有する
ことを特徴とする画像処理装置。
【請求項２】
前記再構成画像の生成条件として、被写界ぼけの再現を優先すること、あるいは前記再構成画像におけるＳ／Ｎ比を優先することが設定されている場合に、
前記決定手段は、前記再構成画像の生成を行う被写体距離を、前記画像信号の撮影時に前記撮像装置において設定されていた被写体距離に決定し、
前記選択手段は、前記各画素に対応する前記画像信号の画素の全てを、前記画素値の合算に使用する画素として選択する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記再構成画像の生成条件として、被写界深度の広い再構成画像の生成を優先することが設定されている場合に、前記選択手段は、前記各画素に対応する前記画像信号の画素のうち、前記撮像光学系の射出瞳の中央領域に対応する画素を、前記画素値の合算に使用する画素として選択することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記画像信号について、所定の被写体が存在する被写体距離を検出する検出手段をさらに有し、
前記決定手段は、前記再構成画像の生成条件として、前記所定の被写体に合焦することが設定されている場合に、前記検出手段により検出された前記所定の被写体が存在する被写体距離を、前記再構成画像の生成を行う被写体距離に決定する
ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記検出手段は、１つの被写体距離について前記生成手段により生成された、異なる光線方向に対応する２種類の再構成画像に基づいて、所定の被写体が存在する被写体距離を検出することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記生成手段により生成された前記再構成画像と、前記画像信号とを関連付けて記録する記録手段をさらに有することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記再構成画像は、サムネイル画像として前記画像信号に関連付けられて前記記録手段により記録されることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
撮像装置により撮影された画像信号であって、画素の各々が、前記撮像装置の撮像光学系において通過した瞳領域及び入射方向の組み合わせが異なる光束に対応している画像信号を取得する取得手段と、
前記取得手段により取得された前記画像信号から、特定の被写体距離の被写体に合焦する再構成画像を生成する生成手段であって、前記再構成画像の各画素に対応する前記画像信号の画素の画素値を合算することで前記再構成画像を生成する生成手段と、を有する画像処理装置の制御方法であって、
前記画像処理装置の決定手段が、設定された前記再構成画像の生成条件に従って、前記再構成画像の生成を行う被写体距離を決定する決定工程と、
前記画像処理装置の選択手段が、前記決定工程において決定された被写体距離についての前記再構成画像の生成において、各画素に対応する前記画像信号の画素のうち、画素値の合算に使用する画素を、前記再構成画像の生成条件に従って選択する選択工程と、を有する
ことを特徴とする画像処理装置の制御方法。
【請求項９】
コンピュータを、請求項１乃至７のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項１０】
１つのマイクロレンズに複数の画素が対応する撮像素子から出力された画像信号を取得する取得手段と、
前記取得手段により取得された前記画像信号から、特定の被写体距離の被写体に合焦する再構成画像を生成する生成手段であって、前記再構成画像の各画素に対応する前記画像信号の画素の画素値を合算することで前記再構成画像を生成する生成手段と、を有する画像処理装置であって、
設定された前記再構成画像の生成条件に従って、前記再構成画像の生成を行う被写体距離を決定する決定手段と、
前記決定手段により決定された被写体距離についての前記再構成画像の生成において、各画素に対応する前記画像信号の画素のうち、画素値の合算に使用する画素を、前記再構成画像の生成条件に従って選択する選択手段と、を有する
ことを特徴とする画像処理装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は、画像処理装置、制御方法、及びプログラムに関し、特に撮影後に出力データから任意の被写体距離に合焦した画像を生成する技術に関する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００２
【補正方法】変更
【補正の内容】
【０００２】
近年、デジタルカメラ等の撮像装置において、撮影時に光の強度分布との進行方向とを出力データとして記録することで、記録後に該出力データから任意の被写体距離に合焦した画像を生成する技術が提案されている。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００３
【補正方法】変更
【補正の内容】
【０００３】
非特許文献１では、マイクロレンズアレイを介して撮像素子の各画素（光電変換素子）に撮像レンズの異なる瞳領域を通過した光束を結像させることにより、様々な方向から入射した光を分離して記録する方法（Light Field Photography）が開示されている。このようにして得られた出力データ（Light Field Data。以下、ＬＦデータ）は、隣り合う画素が異なる方向から入射した光束を記録している。ＬＦデータからは、各マイクロレンズに対応付けられた画素から、同一の方向の光束を抽出することで、該方向から撮影した画像を生成することができる。また、任意の被写体距離を設定し、該被写体距離に対応する面における１点を通過した光束を記録している画素の出力を加算することで、撮影後に特定の被写体距離に合焦した画像のピクセルを擬似的に生成（再構成）することができる。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
上述したように、非特許文献１のような方法で記録されたＬＦデータは、画像として閲覧するためには再構成処理を必要とする。再構成処理による再構成画像の生成においては、任意の被写体距離を設定し、該被写体距離に対応する再構成面について再構成画像の各画素の生成に使用する画素の特定等を行う必要がある。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
ところで、例えば画像閲覧アプリケーション等による一覧表示等、再構成処理を行う被写体距離をユーザが都度設定することは現実的ではないことがある。このような場合、一時的にＬＦデータの内容をユーザが確認するために、予め再構成処理が行われる被写体距離がデフォルト値として設定されていることが好ましい。しかしながら、ＬＦデータに対応する再構成画像の生成を行うデフォルトの被写体距離については、これまで特に定めはなかった。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
また再構成画像の生成について、画素の並べ替えを必要としない撮像面（撮影時の焦点位置に対応する）をデフォルトとして再構成処理を行う方法が考えられる。しかしながら、撮像面について生成された再構成画像は、必ずしもＬＦデータの内容を示す好適な画像とは限らなかった。例えば、特定の被写体が画像に含まれているか否かを判断する際に、撮影時の焦点位置の被写界深度内に存在しない被写体については、その判断を行うことができなかった。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
前述の目的を達成するために、本発明の画像処理装置は、以下の構成を備える。
撮像装置により撮影された画像信号であって、画素の各々が、撮像装置の撮像光学系において通過した瞳領域及び入射方向の組み合わせが異なる光束に対応している画像信号を取得する取得手段と、取得手段により取得された画像信号から、特定の被写体距離の被写体に合焦する再構成画像を生成する生成手段であって、再構成画像の各画素に対応する画像信号の画素の画素値を合算することで再構成画像を生成する生成手段と、を有する画像処理装置であって、設定された再構成画像の生成条件に従って、再構成画像の生成を行う被写体距離を決定する決定手段と、決定手段により決定された被写体距離についての再構成画像の生成において、各画素に対応する画像信号の画素のうち、画素値の合算に使用する画素を、再構成画像の生成条件に従って選択する選択手段と、を有することを特徴とする
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
［実施形態］
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、撮像装置の一例としての、撮影後にＬＦデータから任意の被写体距離に合焦した画像を生成可能なデジタルカメラに、本発明を適用した例を説明する。しかし本発明は、ＬＦデータから任意の被写体距離に合焦した画像を生成することが可能な任意の機器に適用可能である。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
また、本明細書において、以下の用語を定義して説明する。
・「ライトフィールド（ＬＦ：Light Field）データ」
本実施形態のデジタルカメラ１００が有する撮像部１０６から出力される画像信号。画像信号の画素の各々は、通過した撮像光学系１０４の瞳領域及び入射方向の組み合わせが異なる光束に対応した信号強度を示している。ＬＦデータは、光線空間情報とも呼ばれる。
・「再構成画像」
ＬＦデータから生成される、任意の被写体距離に合焦した画像。具体的には生成する被写体距離に対応する焦点面（再構成面）での画素配置に従ってＬＦデータの画素を並び替え、再構成画像の１画素に対応する画素の画素値を合算することで該画素の画素値を得る。再構成面における画素配置は、再構成面に撮像素子が存在した場合に入射する光束を入射方向に基づいて決定される。該画素配置において１つのマイクロレンズに対応する画素の画素値を足し合わせることで、再構成画像の１画素を生成することができる。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】変更
【補正の内容】
【００２５】
画像処理部１０９は、ＤＦＥ１０８による補正処理が適用されたＬＦデータに対して、色変換処理等の各種画像処理を適用する。また本実施形態では画像処理部１０９は、ＬＦデータから任意の被写体距離に合焦する画像（再構成画像）の生成する処理も行う。再構成画像の生成は、例えば上述した非特許文献１に示されるような「Light Field Photography」の手法を用いればよい。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】変更
【補正の内容】
【００２８】
このため以下では、撮影により得られたＬＦデータの各画素に入射した光束の光路を、射出瞳内の通過した瞳領域の座標（ｕ，ｖ）と、対応するマイクロレンズの位置座標（ｘ’，ｙ’）として各光束を規定して説明する。再構成画像の生成においては、再構成画像を生成する任意の被写体距離に対応する再構成面上の画素（ｘ，ｙ）について、該点を通過する光路を有する光束を積分することで画素値を得ることができる。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００３２
【補正方法】変更
【補正の内容】
【００３２】
表示部１１０は、例えば小型ＬＣＤ等のデジタルカメラ１００が有する表示装置である。表示部１１０は、画像処理部１０９により生成された、任意の被写体距離に合焦した画像を表示する。上述したように、本実施形態の撮像部１０６から出力されるアナログ画像信号をＡ／Ｄ変換して得られるＬＦデータは、隣り合う画素において像が連結しない。このため表示部１１０には、ＬＦデータではなく画像処理部１０９により生成された画像データが表示される。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００３３
【補正方法】変更
【補正の内容】
【００３３】
記録媒体１１１は、例えばデジタルカメラ１００が有する内蔵メモリや、メモリカードやＨＤＤ等のデジタルカメラ１００に着脱可能に接続される記録装置である。記録媒体１１１には、ＬＦデータ、及びこれらのＬＦデータから生成された任意の被写体距離に合焦する画像が記録される。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００３７
【補正方法】変更
【補正の内容】
【００３７】
Ｓ６０２で、制御部１０１は、記録用のＬＦデータに付加する付加画像の生成方法を決定する。本実施形態では、ＬＦデータの内容確認が容易なように、ＬＦデータから好適な被写体距離に対応する画像を生成し、付加画像として該ＬＦデータに付加して記録する。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００４５
【補正方法】変更
【補正の内容】
【００４５】
つまり、２種類の再構成画像は光軸のずれによる像のずれを有しているため、２つの画像について相関演算を行うことで、各被写体について像のずれ量（瞳分割位相差）を検出することができる。このように得られた像のずれ量から、ＬＦデータの撮影範囲に含まれる各被写体について合焦する被写体距離を取得することができ、例えば特定の被写体に合焦する再構成画像を付加画像として生成することができる。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００４６
【補正方法】変更
【補正の内容】
【００４６】
特定の被写体距離に対応する再構成面が図８の面８０１である場合、中央の画素８０２を通過する光束に対応する画素については、図示されるようにＬＦデータの５つのマイクロレンズに対応付けられた画素群内に分布する。簡単のため、再構成処理において図８の縦方向についてのみ、画素の並び替えを行う場合を考えると、例えば図９に示されるように、画素８０２の生成に用いられる画素は分布する。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】００６０
【補正方法】変更
【補正の内容】
【００６０】
このようにすることで、ＬＦデータの内容を示す好適な画像を関連付けて記録することができる。またユーザに被写体距離の設定を行わせる必要がないため、ＬＦデータの内容を示す画像を表示する際の処理を高速化することができる。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】００６３
【補正方法】変更
【補正の内容】
【００６３】
以上説明したように、本実施形態の画像処理装置はＬＦデータの内容を好適に示す再構成画像を生成することができる。具体的には画像処理装置は、設定された再構成画像の生成条件に従って、再構成画像の生成を行う被写体距離を決定する。また決定手段により決定した被写体距離についての再構成画像の生成において、各画素に対応する画像信号の画素のうち、画素値の合算に使用する画素を、再構成画像の生成条件に従って選択し、再構成画像を生成する。