【手続補正書】
【提出日】平成28年5月20日(2016.5.20)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
被写体の光線空間情報であるライトフィールドデータを取得する取得手段と、
前記取得手段により取得された前記ライトフィールドデータから特定の被写体距離に合焦した再構成画像を生成する生成手段であって、前記ライトフィールドデータから生成可能な再構成画像における所定の領域について、焦点状態の異なる複数の再構成画像を生成する生成手段と、
前記生成手段により生成された前記複数の再構成画像を、前記ライトフィールドデータに関連付けて記憶する記憶手段と、を有する
ことを特徴とする画像処理装置。
【請求項２】
前記ライトフィールドデータから生成可能な再構成画像から、人物を検出する検出手段と、
前記検出手段により検出された人物が、予め定められた人物であるか否かを認識する認識手段と、を有し、
前記所定の領域は、前記認識手段により予め定められた人物であると認識された人物に対応する領域である
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記生成手段は、前記認識手段により予め定められた人物であると認識された人物に対応する領域が存在しない場合に、前記ライトフィールドデータから生成可能な再構成画像の中央領域に存在する人物に対応する領域を前記所定の領域として、前記複数の再構成画像を生成することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記所定の領域を設定する指示を受け付ける入力手段をさらに有することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記複数の再構成画像は、少なくとも前記所定の領域の被写体に合焦した焦点状態の再構成画像を含むことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記ライトフィールドデータは、撮像装置により撮像された画像信号であって、画素の各々が、前記撮像装置の撮像光学系において通過した分割瞳領域及び入射方向の組み合わせが異なる光束に対応した画像信号であることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
画素の各々が、撮像光学系において通過した分割瞳領域及び入射方向の組み合わせが異なる光束に対応している画像信号を出力する撮像手段と、
請求項１乃至６のいずれか１項に記載の画像処理装置と、
を有することを特徴とする撮像装置。
【請求項８】
被写体の光線空間情報であるライトフィールドデータを選択する選択手段と、
前記選択手段により選択された前記ライトフィールドデータに対応する画像を表示手段に表示する制御手段と、
前記表示手段に表示された前記画像について、異なる焦点状態に変更する領域を決定する決定手段と、
前記ライトフィールドデータから特定の被写体距離に合焦した再構成画像を生成する生成手段と、を有し、
前記制御手段は、
前記決定手段により決定された前記領域について、焦点状態の異なる該領域の再構成画像が前記ライトフィールドデータに関連付けられている場合に、前記画像とともに該領域の再構成画像を選択可能に前記表示手段に表示し、
前記表示手段に表示された前記領域の再構成画像のうちの１つの再構成画像が選択された場合に、前記生成手段により生成された、該１つの再構成画像に対応する被写体距離に合焦した再構成画像を前記表示手段に表示する
ことを特徴とする再生装置。
【請求項９】
画像処理装置の取得手段が、被写体の光線空間情報であるライトフィールドデータを取得する取得工程と、
前記画像処理装置の生成手段が、前記取得工程において取得された前記ライトフィールドデータから特定の被写体距離に合焦した再構成画像を生成する生成工程であって、前記ライトフィールドデータから生成可能な再構成画像における所定の領域について、焦点状態の異なる複数の再構成画像を生成する生成工程と、
前記画像処理装置の記憶手段が、前記生成工程において生成された前記複数の再構成画像を、前記ライトフィールドデータに関連付けて記憶する記憶工程と、を有する
ことを特徴とする画像処理装置の制御方法。
【請求項１０】
再生装置の選択手段が、被写体の光線空間情報であるライトフィールドデータを選択する選択工程と、
前記再生装置の制御手段が、前記選択工程において選択された前記ライトフィールドデータに対応する画像を表示手段に表示する制御工程と、
前記再生装置の決定手段が、前記表示手段に表示された前記画像について、異なる焦点状態に変更する領域を決定する決定工程と、
前記再生装置の生成手段が、前記ライトフィールドデータから特定の被写体距離に合焦した再構成画像を生成する生成工程と、を有し、
前記制御手段は前記制御工程において、
前記決定工程において決定された前記領域について、焦点状態の異なる該領域の再構成画像が前記ライトフィールドデータに関連付けられている場合に、前記画像とともに該領域の再構成画像を選択可能に前記表示手段に表示し、
前記表示手段に表示された前記領域の再構成画像のうちの１つの再構成画像が選択された場合に、前記生成工程において生成された、該１つの再構成画像に対応する被写体距離に合焦した再構成画像を前記表示手段に表示する
ことを特徴とする再生装置の制御方法。
【請求項１１】
コンピュータを、請求項１乃至６のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項１２】
コンピュータを、請求項８に記載の再生装置の各手段として機能させるためのプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は、画像処理装置、撮像装置、制御方法、及びプログラムに関し、特に撮影後に出力データから任意の被写体距離に合焦した画像を生成する技術に関する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００３
【補正方法】変更
【補正の内容】
【０００３】
一方、近年ではデジタルカメラ等の撮像装置において、撮影時に光の強度分布との進行方向とを出力データとして記録することで、記録後に該出力データから任意の被写体距離に合焦した画像を生成する技術が提案されている。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００４
【補正方法】変更
【補正の内容】
【０００４】
このような技術の１つにマイクロレンズアレイを介して撮像素子の各画素（光電変換素子）に撮像レンズの異なる分割瞳領域を通過した光束を結像させることにより、様々な方向から入射した光を分離して記録する方法（Light Field Photography）がある。得られた出力データ（Light Field Data。以下、ＬＦデータ）は、隣り合う画素が異なる方向から入射した光束を記録している。ＬＦデータからは、また、任意の被写体距離を設定し、該被写体距離に対応する焦点面における１点を通過した光束を記録している画素の出力を加算することで、撮影後に特定の被写体距離に合焦した画像のピクセルを擬似的に生成（再構成）することができる。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
しかしながら、上述したようにＬＦデータから任意の焦点面に対応した画像を再構成する場合、焦点面に応じて加算する画素を特定し、各画素について加算処理を行って画像を生成する必要がある。つまり、選択した被写体距離に対応する焦点面における再構成画像を生成するには、都度、演算処理に係る時間が必要となる。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
例えば１つの被写体に合焦した再構成画像を生成する場合、ユーザは生成する被写体距離を選択する必要があるが、このとき必ずしも該被写体に合焦する被写体距離を選択できない可能性がある。即ち、再構成画像が生成されるまで、ユーザは、選択した被写体距離が該被写体に合焦する被写体距離であるかを判断できないため、繰り返し被写体距離を選択して再構成画像を生成する必要があり、結果的に所望の焦点状態の再構成画像が得られるまでに時間を要する可能性があった。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
本発明は、上述の問題点に鑑みてなされたものであり、所望の被写体に対して好適に合焦する被写体距離を容易に特定可能な画像信号を生成する画像処理装置、撮像装置、制御方法、及びプログラムを提供することを目的とする。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
前述の目的を達成するために、本発明の画像処理装置は、以下の構成を備えることを特徴とする。具体的には画像処理装置は、被写体の光線空間情報であるライトフィールドデータを取得する取得手段と、取得手段により取得されたライトフィールドデータから特定の被写体距離に合焦した再構成画像を生成する生成手段であって、ライトフィールドデータから生成可能な再構成画像における所定の領域について、焦点状態の異なる複数の再構成画像を生成する生成手段と、生成手段により生成された複数の再構成画像を、ライトフィールドデータに関連付けて記憶する記憶手段と、を有することを特徴とする。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
このような構成により本発明によれば、所望の被写体に対して好適に合焦する被写体距離を容易に特定可能な画像信号を生成することが可能となる。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
［実施形態］
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、画像処理装置の一例としての、撮影後にＬＦデータから任意の被写体距離に合焦した画像を生成可能なデジタルカメラに、本発明を適用した例を説明する。しかし本発明は、ＬＦデータから任意の被写体距離に合焦した画像を生成することが可能な任意の機器に適用可能である。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
・「再構成画像」
ＬＦデータから生成される、任意の被写体距離に合焦した画像。具体的には生成する被写体距離に対応する焦点面（再構成面）での画素配置に従ってＬＦデータの画素を並び替え、再構成画像の１画素に対応する画素の画素値を合算することで該画素の画素値を得る。再構成面における画素配置は、再構成面に撮像素子が存在した場合に入射する光束を入射方向に基づいて決定される。該画素配置において１つのマイクロレンズに対応する画素の画素値を足し合わせることで、再構成画像の１画素を生成することができる。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】変更
【補正の内容】
【００２７】
画像処理部１０９は、ＤＦＥ１０８による補正処理が適用されたＬＦデータに対して、色変換処理等の各種画像処理を適用する。また本実施形態では画像処理部１０９は、ＬＦデータから任意の被写体距離に合焦する画像（再構成画像）の生成する処理も行う。また本実施形態では画像処理部１０９は、顔検出部１２１、顔認識部１２２、及び距離検出部１２３を有する。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】変更
【補正の内容】
【００２８】
顔検出部１２１は、画像処理部１０９によりＬＦデータから生成された再構成画像から、人物の顔のパターンに相当する領域を検出する。顔検出処理では、例えば眼、鼻、口の各端点、顔の輪郭点等の特徴点を再構成画像から抽出し、これらの特徴点に基づいて被写体の顔領域の大きさが取得される。なお、ＬＦデータの撮影時において、撮影範囲にはデジタルカメラ１００との距離が様々な位置に人物被写体が存在することが考えられるため、顔検出処理は様々な被写体距離について生成された再構成画像について行われてよい。あるいは、例えばマイクロレンズ２０１により分離された光束のうち、１つの分割瞳領域を通過した光束に対応した画素のみで生成した再構成画像は、絞り状態で撮影した画像と等価であるため、これを顔検出処理に利用してもよい。即ち、このような再構成画像は絞り状態と同様に被写界深度が深い画像であるため、デジタルカメラ１００との距離が様々である人物被写体の各々を同時に検出可能である。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】変更
【補正の内容】
【００３０】
距離検出部１２３は、ＬＦデータの撮影時に撮影範囲に存在していた各人物被写体とデジタルカメラ１００との距離を検出する。距離検出部１２３は、例えば不図示のラインセンサを利用して位相差検出方式により各人物被写体の距離を検出する。あるいは、本実施形態のようにＬＦデータを取得する場合、例えば異なる２つの分割瞳領域を通過した光束を用いて生成された２種類の画像を用いて、位相差検出方式により各人物被写体の距離を検出するものであってもよい。また、上述したように被写体距離を変更しながら再構成画像を生成して顔検出部１２１による顔検出処理が行われる場合、顔領域の各々についてコントラスト評価値が最も高くなる被写体距離を特定することで、距離検出部１２３は各人物被写体の距離を検出してもよい。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】変更
【補正の内容】
【００３１】
表示部１１０は、例えば小型ＬＣＤ等のデジタルカメラ１００が有する表示装置である。表示部１１０は、画像処理部１０９により生成された、任意の被写体距離に合焦した画像を表示する。上述したように、本実施形態の撮像部１０６から出力されるアナログ画像信号をＡ／Ｄ変換して得られるＬＦデータは、隣り合う画素において像が連結しない。このため表示部１１０には、ＬＦデータではなく画像処理部１０９により生成された画像データが表示される。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００３２
【補正方法】変更
【補正の内容】
【００３２】
記録媒体１１１は、例えばデジタルカメラ１００が有する内蔵メモリや、メモリカードやＨＤＤ等のデジタルカメラ１００に着脱可能に接続される記録装置である。記録媒体１１１には、ＬＦデータ、及びこれらのＬＦデータから生成された任意の被写体距離に合焦する画像が記録される。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００３６
【補正方法】変更
【補正の内容】
【００３６】
Ｓ５０２で、顔検出部１２１は制御部１０１の制御の下、ＬＦデータに含まれる人物被写体の顔領域を検出する。また距離検出部１２３は制御部１０１の制御の下、各顔領域に合焦する被写体距離の情報を取得する。得られた顔領域の位置及びサイズの情報と、該顔領域に合焦する被写体距離の情報とは、例えばＲＡＭ１０３に格納される。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】００３７
【補正方法】変更
【補正の内容】
【００３７】
Ｓ５０３で、画像処理部１０９は制御部１０１の制御の下、ＬＦデータの代表画像となる再構成画像を生成する。代表画像となる再構成画像は、例えば撮影時の撮像光学系１０４のフォーカスレンズの設定に対応する被写体距離に合焦する画像であってよい。具体的には画像処理部１０９は、各マイクロレンズ２０１を通過した光束に対応している画素を加算することで代表画像となる再構成画像の各画素の画素値を取得する。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】００３９
【補正方法】変更
【補正の内容】
【００３９】
本実施形態のデジタルカメラ１００では、ＬＦデータから再構成画像を生成する被写体距離を決定するための指標になるよう、所定の領域について複数の異なる被写体距離について合焦するように生成された再構成画像（参照用画像）をＬＦデータに関連付けて記録する。即ち、記録されたＬＦデータは、撮影範囲の全体に対応した再構成画像を生成することなく、該領域について焦点状態の異なる参照用画像を参照可能なように構成されて記録される。該領域は、ユーザにより表示部１１０の表面へのタッチ操作がなされることでＬＦデータの撮影前に予め設定されてよく、本ステップではこのような領域の設定がなされているか否かを判断する。なお、本実施形態のデジタルカメラ１００では、このような領域はユーザにより設定される領域の他に、
・人物の認識用の特徴量の情報が登録されている人物の顔領域
・主被写体が存在すると想定される撮影画角の中央領域に存在する顔領域
の２種類が使用されうる。以下の説明では、これらの領域は「ユーザにより設定された領域」、「特徴量が登録されている人物の顔領域」、「中央領域に存在する顔領域」の順番に優先度が設定され、いずれか１つの基準により選択された領域について参照用画像の生成が行われる。しかしながら、本発明の実施はこれに限られるものではなく、任意の条件により選択された所定の領域について、焦点状態の異なる複数の参照用画像が生成され、ＬＦデータに関連付けて記録されるものであれば適用可能である。
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】００４１
【補正方法】変更
【補正の内容】
【００４１】
Ｓ５０５で、制御部１０１は、ユーザにより設定された領域について、焦点状態の異なる複数の参照用画像を生成する被写体距離を決定する。本実施形態では領域について生成される複数の参照用画像には、少なくとも該領域の被写体に合焦する被写体距離に対応する焦点面について再構成された再構成画像を含むものとする。領域が人物の顔領域に対応する領域でない場合は、本ステップにおいて該領域の被写体とデジタルカメラ１００との距離の情報が取得されたのち、該被写体に合焦する被写体距離が再構成画像を生成する被写体距離の１つとして決定される。また本実施形態のデジタルカメラ１００では、設定された領域について、該領域の被写体に合焦する被写体距離の他に、６種類の被写体距離が再構成画像の生成用に決定される。６種類の被写体距離は、例えば図６に示されるようにＬＦデータから合焦した再構成画像を生成可能な被写体距離の範囲について、均等な分布となるように選択されてよい。図６は、領域の被写体に合焦する被写体距離が６ｍであり、ＬＦデータから再構成画像を生成可能な被写体距離の範囲が１ｍ〜１１ｍの範囲である例を示しており、この場合１ｍ、３ｍ、５ｍ、７ｍ、９ｍ、１１ｍが再構成画像の生成用に決定される。
【手続補正２１】
【補正対象書類名】明細書
【補正対象項目名】００４２
【補正方法】変更
【補正の内容】
【００４２】
また制御部１０１は、ユーザによる設定がなされていない領域であるＳ５０２で検出された顔領域については、重要度が低いと考え、例えば生成可能な被写体距離の範囲のうちの最も短い被写体距離を、参照用画像を生成する被写体距離として決定する。
【手続補正２２】
【補正対象書類名】明細書
【補正対象項目名】００４４
【補正方法】変更
【補正の内容】
【００４４】
Ｓ５０７で、制御部１０１は、Ｓ５０５と同様に、予め特徴量の登録がなされている人物の顔領域については、該人物に合焦する被写体距離を含む７種類の被写体距離を、参照用画像の生成用に決定する。また制御部１０１は、特徴量の登録がなされていない人物の顔領域については、例えば生成可能な被写体距離の範囲のうちの最も短い被写体距離を、参照用画像の生成用に決定する。
【手続補正２３】
【補正対象書類名】明細書
【補正対象項目名】００４６
【補正方法】変更
【補正の内容】
【００４６】
Ｓ５０９で、制御部１０１は、Ｓ５０５と同様に、中央領域に存在する顔領域については、該顔領域の人物に合焦する被写体距離を含む７種類の被写体距離を参照用画像の生成用に決定する。また制御部１０１は、中央領域に存在しない顔領域については、例えば生成可能な被写体距離の範囲のうちの最も短い被写体距離を参照用画像の生成用に決定する。
【手続補正２４】
【補正対象書類名】明細書
【補正対象項目名】００４７
【補正方法】変更
【補正の内容】
【００４７】
Ｓ５１０で、画像処理部１０９は制御部１０１の制御の下、参照用画像を生成する各領域について、決定した被写体距離に合焦する参照用画像を生成する。そして制御部１０１は、ＬＦデータ及び代表画像に関連付けて、参照用画像及び参照用画像の詳細情報を記録媒体１１１に記録し、本撮影処理を完了する。なお、参照用画像の各々には、該画像が生成された被写体距離の情報が含まれているものとする。
【手続補正２５】
【補正対象書類名】明細書
【補正対象項目名】００５４
【補正方法】変更
【補正の内容】
【００５４】
Ｓ８０３で、制御部１０１は、表示部１１０に表示されている画像について領域を選択するタッチ操作がなされたか否かを判断する。本実施形態のデジタルカメラ１００では、ユーザは、ＬＦデータの閲覧時に図９（ａ）に示されるように画像へのタッチ操作を行うことで、タッチした領域について生成された参照用画像を閲覧することができる。このとき参照用画像は図９（ｂ）に示されるようにタッチした領域の周囲に選択可能に表示され、ユーザは表示されたいずれかの参照用画像を選択することで、選択した参照用画像が生成された被写体距離についての再構成画像を閲覧することができる。即ち、参照用画像は再構成画像を生成する被写体距離の選択に使用されるものであり、ユーザは所望の領域の焦点状態を確認した上で再構成画像の生成を指示することができる。つまり、このような構成によりユーザは、所望の焦点状態となる再構成画像を表示させるために、被写体距離の選択のトライアンドエラーを行う必要がなくなり、所望の焦点状態の再構成画像を表示させるまでに要する時間の短縮することができる。
【手続補正２６】
【補正対象書類名】明細書
【補正対象項目名】００５７
【補正方法】変更
【補正の内容】
【００５７】
Ｓ８０５で、制御部１０１は、表示部１１０に表示された参照用画像のうち、いずれかの参照用画像がユーザにより選択されたか否かを判断する。制御部１０１は、表示された参照用画像のうち、いずれかの参照用画像が選択されたと判断した場合は、選択された参照用画像に対応する被写体距離の情報をＲＡＭ１０３に格納した後、処理をＳ８０６に移す。また制御部１０１は、表示された参照用画像がいずれも選択されていないと判断した場合は本ステップの処理を繰り返す。なお、参照用画像の選択は、該当の参照用画像へのタッチ操作がなされたことにより行われてよい。
【手続補正２７】
【補正対象書類名】明細書
【補正対象項目名】００５８
【補正方法】変更
【補正の内容】
【００５８】
Ｓ８０６で、画像処理部１０９は制御部１０１の制御の下、ＲＡＭ１０３に格納された、Ｓ８０５において選択された参照用画像に対応する被写体距離の情報を参照し、該被写体距離に合焦する再構成画像をＬＦデータから生成する。そして制御部１０１は、生成された再構成画像を表示部１１０に表示させ、処理をＳ８０３に戻す。
【手続補正２８】
【補正対象書類名】明細書
【補正対象項目名】００６０
【補正方法】変更
【補正の内容】
【００６０】
以上説明したように、本実施形態の画像処理装置は、所望の被写体に対して好適に合焦する被写体距離を容易に特定可能な画像信号を生成することができる。具体的には画像処理装置は、画素の各々が、撮像装置の撮像光学系において通過した分割瞳領域及び入射方向の組み合わせが異なる光束に対応した画像信号について、該画像信号から生成可能な再構成画像における所定の領域を選択する。そして画像処理装置は、該領域について焦点状態の異なる複数の再構成画像を生成し、画像信号に関連付けて記憶する。また該画像信号の再生時には、画像処理装置は該画像信号について再構成画像を生成する指標となるように、領域に関連付けられた焦点状態の異なる複数の再構成画像を選択可能に表示する。そして再構成画像の選択がなされた場合に、該再構成画像に対応する被写体距離について、画像信号から撮影範囲の全域について再構成画像を生成する。
【手続補正２９】
【補正対象書類名】図面
【補正対象項目名】図５
【補正方法】変更
【補正の内容】
【図５】
2014230172.tif 000001
【手続補正３０】
【補正対象書類名】図面
【補正対象項目名】図６
【補正方法】変更
【補正の内容】
【図６】
2014230172.tif 000002