【手続補正書】
【提出日】平成28年5月2日(2016.5.2)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像信号の画素の各々が、通過した撮像光学系の瞳領域及び入射方向の組み合わせが異なる光束に対応する画像を取得する取得手段と、
所定の被写体距離の範囲のうち、合焦評価を行う評価対象の被写体距離を決定する決定手段と、
前記取得手段により取得された画像信号から、前記決定手段により決定された前記評価対象の被写体距離の被写体に合焦する再構成画像を生成する生成手段であって、再構成画像の各画素に対応する該画像信号の画素の画素値を合算することで再構成画像を生成する生成手段と、を有し、
前記生成手段は、生成する再構成画像の所定の領域内の画素について、前記所定の被写体距離の範囲について生成可能な１つの再構成画像において該領域内の画素の生成時に合算可能な前記画像信号の画素に応じて、画素値を合算する前記画像信号の画素を異ならせる
ことを特徴とする画像処理装置。
【請求項２】
前記生成手段は、前記所定の被写体距離の範囲について生成可能な再構成画像の中から、前記所定の領域内の画素の生成時に合算可能な前記画像信号の画素数が最も少ない画素を特定し、生成する再構成画像の前記所定の領域内の画素の生成時に、該最も少ない画素と同数の前記画像信号の画素の画素値を合算することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記生成手段は、前記最も少ない画素についての前記生成時に合算可能な前記画像信号の画素の位置の対応位置に存在する画素を、生成する再構成画像の前記所定の領域内の画素の生成時に画素値を合算することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記生成手段は、前記所定の被写体距離の範囲について生成可能な全ての再構成画像において、前記所定の領域内の画素の生成時に常に合算可能な前記画像信号の画素の位置の対応位置に存在する画素を、生成する再構成画像の前記所定の領域内の画素の生成時に前記画像信号の画素値を合算することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記生成手段は、生成する再構成画像の前記所定の領域内の画素の生成時に画素値を合算する前記画像信号の画素数が所定の数に満たない場合に、前記所定の領域を生成する再構成画像に含めないことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記合算可能な前記画像信号の画素は、前記画像信号に含まれる、前記所定の領域内の画素に結像する光束に対応する画素を含むことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記合算可能な前記画像信号の画素は、前記画像信号を撮像した撮像素子に含まれる、光学像に対応しない画素値を出力する光電変換素子から出力された画素を含むことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
前記合算可能な前記画像信号の画素は、前記画像信号を撮像した際に、前記撮像光学系に生じた口径食により光学像が結像されなかった画素を含むことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
前記合算可能な前記画像信号の画素は、前記画像信号のうちの画素値が飽和している画素を含むことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
【請求項１０】
画像信号の画素の各々が、通過した撮像光学系の瞳領域及び入射方向の組み合わせが異なる光束に対応する画像を撮像する撮像手段と、
所定の被写体距離の範囲のうち、合焦評価を行う評価対象の被写体距離を決定する決定手段と、
前記撮像手段により撮像された画像信号から、前記決定手段により決定された前記評価対象の被写体距離の被写体に合焦する再構成画像を生成する生成手段であって、再構成画像の各画素に対応する該画像信号の画素の画素値を合算することで再構成画像を生成する生成手段と、を有し、
前記生成手段は、生成する再構成画像の所定の領域内の画素について、前記所定の被写体距離の範囲について生成可能な１つの再構成画像において該領域内の画素の生成時に合算可能な前記画像信号の画素に応じて、画素値を合算する前記画像信号の画素を異ならせる
ことを特徴とする撮像装置。
【請求項１１】
画像処理装置の取得手段が、画像信号の画素の各々が、通過した撮像光学系の瞳領域及び入射方向の組み合わせが異なる光束に対応する画像を取得する取得工程と、
前記画像処理装置の決定手段が、所定の被写体距離の範囲のうち、合焦評価を行う評価対象の被写体距離を決定する決定工程と、
前記画像処理装置の生成手段が、前記取得工程において取得された画像信号から、前記決定工程において決定された前記評価対象の被写体距離の被写体に合焦する再構成画像を生成する生成工程であって、再構成画像の各画素に対応する該画像信号の画素の画素値を合算することで再構成画像を生成する生成工程と、を有し、
前記生成手段は前記生成工程において、生成する再構成画像の所定の領域内の画素について、前記所定の被写体距離の範囲について生成可能な１つの再構成画像において該領域内の画素の生成時に合算可能な前記画像信号の画素に応じて、画素値を合算する前記画像信号の画素を異ならせる
ことを特徴とする画像処理装置の制御方法。
【請求項１２】
撮像装置の撮像手段が、画像信号の画素の各々が、通過した撮像光学系の瞳領域及び入射方向の組み合わせが異なる光束に対応する画像を撮像する撮像工程と、
前記撮像装置の決定手段が、所定の被写体距離の範囲のうち、合焦評価を行う評価対象の被写体距離を決定する決定工程と、
前記撮像装置の生成手段が、前記撮像工程において撮像された画像信号から、前記決定工程において決定された前記評価対象の被写体距離の被写体に合焦する再構成画像を生成する生成工程であって、再構成画像の各画素に対応する該画像信号の画素の画素値を合算することで再構成画像を生成する生成工程と、を有し、
前記生成手段は前記生成工程において、生成する再構成画像の所定の領域内の画素について、前記所定の被写体距離の範囲について生成可能な１つの再構成画像において該領域内の画素の生成時に合算可能な前記画像信号の画素に応じて、画素値を合算する前記画像信号の画素を異ならせる
ことを特徴とする撮像装置の制御方法。
【請求項１３】
コンピュータを、請求項１乃至９のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項１４】
コンピュータに、請求項１２に記載の撮像装置の制御方法の各工程を実行させるためのプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は、画像処理装置、撮像装置、制御方法、及びプログラムに関し、特に撮影後に任意の被写体距離に合焦した画像を生成する技術に関する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００２
【補正方法】変更
【補正の内容】
【０００２】
近年、撮影後に任意の被写体距離に合焦した画像を生成可能な撮像装置がある。このような撮像装置では、撮像素子内の複数の光電変換素子に対してマイクロレンズが割り当てられ、１つのマイクロレンズに対応付けられた光電変換素子の各々に対して、撮影光学系の異なる瞳領域を通過した光束が結像される。該撮像装置により得られた撮像素子の各画素の出力信号を、合焦させる焦点面での光束の通過位置に応じて並べ替えて瞳分割数分の画素値を加算することで、任意の被写体距離に合焦した画像の各画素は生成される（特許文献１）。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
前述の目的を達成するために、本発明の画像処理装置は、以下の構成を備えることを特徴とする。具体的には画像処理装置は、画像信号の画素の各々が、通過した撮像光学系の瞳領域及び入射方向の組み合わせが異なる光束に対応する画像を取得する取得手段と、所定の被写体距離の範囲のうち、合焦評価を行う評価対象の被写体距離を決定する決定手段と、取得手段により取得された画像信号から、決定手段により決定された評価対象の被写体距離の被写体に合焦する再構成画像を生成する生成手段であって、再構成画像の各画素に対応する該画像信号の画素の画素値を合算することで再構成画像を生成する生成手段と、を有し、生成手段は、生成する再構成画像の所定の領域内の画素について、所定の被写体距離の範囲について生成可能な１つの再構成画像において該領域内の画素の生成時に合算可能な画像信号の画素に応じて、画素値を合算する画像信号の画素を異ならせることを特徴とする。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
［実施形態］
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、画像処理装置の一例としての、撮影後に任意の被写体距離に合焦した画像を生成可能なカメラシステムに、本発明を適用した例を説明する。しかし、本発明は、任意の被写体距離に合焦した画像を生成可能な任意の機器に適用可能である。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
また、本明細書において、以下の用語を定義して説明する。
・「ライトフィールド（ＬＦ：Light Field）データ」
本実施形態のデジタルカメラ１００が有する撮像部１０２から出力される画像信号。画像信号の画素の各々は、通過した撮像光学系２０２の瞳領域及び入射方向の組み合わせが異なる光束に対応した信号強度を示している。ＬＦデータは、光線空間情報とも呼ばれる。
・「再構成画像」
ＬＦデータから生成される、任意の被写体距離に合焦した画像。具体的には生成する被写体距離に対応する焦点面（再構成面）での画素配置に従ってＬＦデータの画素を並び替え、再構成画像の１画素に対応する画素の画素値を合算することで該画素の画素値を得る。通常画素値を合算する画素数は、瞳分割数になる。ＬＦデータの撮影時の合焦面、即ち撮像素子上（撮像面）の画素配置が図４のようである場合、再構成画像を生成する再構成面が決定されると、該再構成面における各画素は、撮像面における各画素に入射する光束の入射方向を考慮して決定される。具体的には、再構成面における画素配置は再構成面に撮像素子が存在した場合に入射する光束を入射方向に基づいて決定し、該画素配置において１つのマイクロレンズに対応する画素の画素値を足し合わせることで、再構成画像の１画素を生成することができる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正の内容】
【００２２】
《合焦評価処理》
以下、任意の被写体距離に合焦した再構成画像を生成する例として、このような構成をもつ本実施形態のデジタルカメラ１００の、被写体に合焦する合焦位置を探索して評価する合焦評価処理について、図３のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、カメラ制御部１０１が、例えばＲＯＭに記憶されている対応する処理プログラムを読み出し、ＲＡＭに展開して実行することにより実現することができる。なお、本合焦評価処理は、例えばデジタルカメラ１００が撮影モードで起動中にレリーズボタンの半押し操作がなされたことに応じて実行されるオートフォーカス（ＡＦ）処理の過程でＬＦデータの取得命令がなされた際に開始されるものとして説明する。本合焦評価処理は、ＡＦ処理の過程でフォーカスレンズの１つの位置について撮像されたＬＦデータから複数の被写体距離について再構成画像を生成し、その各々についてコントラスト評価を行う。そして、該コントラスト評価の結果から、次にＬＦデータを取得する被写体距離の決定がなされる。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正の内容】
【００２４】
そしてカメラ制御部１０１は、以下のＳ３０２乃至Ｓ３０７で、再構成画像を生成してコントラスト評価を行う被写体距離の範囲について、所定の刻み幅で評価を行う被写体距離を選択しながらループ処理を行い、各被写体距離についてコントラスト評価を行う。コントラスト評価を行う被写体距離の範囲は、例えばＬＦデータを取得した際のフォーカスレンズの位置に対応する被写体距離を中心とした、所定の範囲であってよい。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】変更
【補正の内容】
【００２５】
Ｓ３０２で、カメラ制御部１０１は、コントラスト評価を行う被写体距離の範囲のうち、予め定められた全ての被写体距離についてＳ３０２乃至Ｓ３０７のループ処理が実行されたか否かを判断する。カメラ制御部１０１は、全ての被写体距離についてコントラスト評価が行われていない場合は処理をＳ３０４に移し、行われている場合は処理をＳ３０８に移す。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【００２６】
Ｓ３０３で、カメラ制御部１０１は、コントラスト評価を行う被写体距離（評価対象距離）を決定する。評価対象距離の決定は、例えば評価対象の被写体距離の範囲のうちの最小距離を初期値とし、順次、所定の距離を加えて得られた被写体距離に決定するものであってよい。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】変更
【補正の内容】
【００２７】
Ｓ３０４で、カメラ制御部１０１は、評価対象距離に対応する再構成面での画素配置にＬＦデータの画素列を並び替える。例えば、図４（ａ）に示されるように、垂直方向に並んだ画素についての画素列は、図４（ｂ）に示されるように再構成画像を生成する再構成面に応じて、光束の入射方向を考慮して決定される。図４（ｂ）では、撮像面が撮像時のフォーカスレンズに係る被写体距離に対応しており、該撮像面での配置が取得したＬＦデータの画素配列となっている。なお、再構成面における画素列の並び替えの情報は、予めフォーカスレンズの位置及びそのとき設定される再構成面の被写体距離に関連付けられてテーブルとしてＲＯＭに格納されていてもよいし、本ステップで所定の関係式を用いて決定されるものであってもよい。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００３６
【補正方法】変更
【補正の内容】
【００３６】
本実施形態のデジタルカメラ１００では、生成した再構成画像についてのコントラスト評価は水平ラインごとに行われる。即ち、図２（ａ）に示した評価対象領域４０内に含まれるマイクロレンズ群の水平方向に並んだマイクロレンズ２０に対応する画素について、コントラスト評価を行う。後述する本実施形態のコントラスト評価処理では、水平ラインの最大値の画素値が評価に用いられるため、最大値の画素値の生成条件を被写体距離の範囲で均一にしておく必要がある。つまり、１つの水平ラインについて画質むらによる評価精度の低下を回避するために、１つの水平ラインの画素についての実質的なＦ値が均一であり、かつ異なる再構成面においても該水平ラインの実質的なＦ値が均一であるように生成する必要がある。即ち、被写体距離の範囲について生成される複数の再構成画像において、同一の垂直位置に存在する水平ラインは、被写体距離によらずライン上の全画素について加算されたＬＦデータの画素数を同数にする必要がある。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００３７
【補正方法】変更
【補正の内容】
【００３７】
例えば、再構成画像において図４（ｃ）に示されるような像高の低い位置では、図４（ｂ）のように水平ラインの各々はいずれの再構成面でも参照可能なＬＦデータの画素が存在する。このため、被写体距離の範囲について生成する複数の再構成画像において、像高が低い位置にある水平ラインでは、被写体距離によらず垂直方向の全ての画素を加算対象としてよい。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００３９
【補正方法】変更
【補正の内容】
【００３９】
本実施形態のデジタルカメラ１００では、このような再構成画像における像高によって合算可能なＬＦデータの画素数が変化することに基づいて、同一の条件で画素を生成する再構成画像の領域（水平ライン）について、加算対象の画素数が均一となるように制御する。具体的にはコントラスト評価を行う被写体距離の範囲において生成される全ての再構成画像において、同一の水平ラインに含まれる画素の生成時に合算可能なＬＦデータの画素の数が最も少ない画素に合わせて、加算対象とする画素を決定する。例えば図６（ａ）の画素６０１については、再構成面６１３において生成時に合算可能な画素数が最小の３となるため、他の再構成面においても画素６０１については合算可能な画素列のうち３つの画素を加算対象とする。また、均一なＦ値の実現の観点では、再構成面における画素配列において同一の位置に存在する画素が加算対象とされることが好ましい。即ち、図７（ｂ）、（ｃ）、及び（ｄ）の例では、上から３画素が加算対象の画素とし、各再構成面において対応位置に存在する画素を生成時に合算すればよい。つまり、コントラスト評価において比較対象となる画素のＦ値を均一にすることで、コントラストＡＦの制度をより向上させることができる。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００４０
【補正方法】変更
【補正の内容】
【００４０】
また、このような加算対象の画素の情報は、予めフォーカスレンズの位置及びそのとき設定される再構成面の被写体距離に関連付けられてテーブルとしてＲＯＭに格納されていればよい。また、その他にも、本ステップの実行前に所定の関係式を用いて合算可能な画素数が最も少ない画素を特定し、該画素の情報に応じて決定されるものであってもよい。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００５４
【補正方法】変更
【補正の内容】
【００５４】
本実施形態では、このように評価枠内の全ての水平ラインについての最大画素値の合計値をコントラスト評価値として出力するものとして説明するが、対象被写体距離の変動に伴うコントラスト評価値の算出については他の計算方法を用いてもよい。例えば、隣接画素出力差の二乗和である二次コントラスト評価値を、隣接画素出力差の絶対和である一次コントラストの二乗で除すことで得られる、輝度値を無次元化した評価値を用いる方法が使用可能である。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００５５
【補正方法】変更
【補正の内容】
【００５５】
このようにして合焦評価を行う再構成画像についてのコントラスト評価値を画像処理部１０３に出力させた後、カメラ制御部１０１は該評価値を対象被写体距離の情報に関連付けてＲＡＭに蓄積し、合焦評価処理をＳ３０７に移す。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】００５８
【補正方法】変更
【補正の内容】
【００５８】
以上説明したように、本実施形態の画像処理装置は、用途に応じた好適な画質の再構成画像を生成することができる。具体的には画像処理装置は、画像信号の画素の各々が、通過した撮像光学系の瞳領域及び入射方向の組み合わせが異なる光束に対応する画像から、所定の被写体距離の範囲のうち、合焦評価を行う評価対象の被写体距離の被写体に合焦する再構成画像を生成する。具体的には再構成画像の各画素に対応する該画像信号の画素の画素値を合算することで再構成画像を生成する。画像処理装置は、生成する再構成画像の所定の領域内の画素について、所定の被写体距離の範囲について生成可能な１つの再構成画像において該領域内の画素の生成時に合算可能な画像信号の画素に応じて、画素値を合算する画像信号の画素を異ならせる。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】００６３
【補正方法】変更
【補正の内容】
【００６３】
観賞用の再構成画像は、上述したコントラスト評価用とは異なり、水平ラインだけでなく、画像全体で画質が均一であることが好ましい。このため、観賞用の再構成画像を生成する場合は、再構成画像を生成する全範囲の画素について、異なる被写体距離における合算可能なＬＦデータの画素の数を把握し、該画素数が最も少ない画素に合わせて、再構成画像の生成を行えばよい。
【手続補正２０】
【補正対象書類名】図面
【補正対象項目名】図３
【補正方法】変更
【補正の内容】
【図３】
2014217035.tif 000001