【手続補正書】
【提出日】平成28年2月8日(2016.2.8)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
所定の像面に合焦した再構成画像を生成可能なデータを取得する取得手段と、
画像を表示媒体に表示させる表示手段と、
前記表示手段により表示された画像内の複数の被写体を選択する選択手段と、
前記選択手段により選択された前記複数の被写体の合焦位置を特定し、該特定された合焦位置で規定される合焦範囲を設定する設定手段と、
前記データから、前記設定手段により設定された前記合焦範囲において合焦する被写体の各々に合焦した再構成画像を生成する生成手段と、を有する
ことを特徴とする画像処理装置。
【請求項２】
前記生成手段は、前記合焦範囲において合焦する被写体の各々に対応する前記再構成画像の領域については、各領域に対応する被写体に合焦するように選択された前記データの画素の画素値を合成することで画素を生成し、前記再構成画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記生成手段は、前記合焦範囲において合焦しない被写体の各々に対応する前記再構成画像の領域については、各領域に対応する被写体に合焦しないよう選択された前記データの画素の画素値を合成することで画素を生成することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記生成手段は、前記データから、前記設定手段により設定された前記合焦範囲を被写界深度とする再構成画像を生成することを特徴とする請求項１または２に記載の画像処理装置。
【請求項５】
前記データは、撮像装置により撮像された画像信号であって、画素の各々が、前記撮像装置の撮像光学系において通過した分割瞳領域及び入射方向の組み合わせが異なる光束に対応しており、
前記画像処理装置は、異なる２つの分割瞳領域の各々について、前記画像信号から該分割瞳領域を通過した光束に対応する画素を用いて画像を生成し、該生成された２種類の画像間の差異に基づいて前記画像信号に含まれる被写体の各々についての距離を解析する解析手段をさらに有し、
前記設定手段は、前記解析手段による解析結果を参照して、前記複数の被写体の各々に合焦する被写体距離を特定する
ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項６】
前記生成手段は、所定の合焦位置の被写体に合焦した選択用の再構成画像を生成し、
前記選択手段は、前記表示手段により表示された前記選択用の再構成画像について、前記複数の被写体の選択を受け付ける
ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記生成手段は、前記設定手段により設定される合焦範囲が所定範囲より大きい場合に、無限遠及び至近端に合焦する条件で前記再構成画像を生成することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
撮像により所定の像面に合焦した再構成画像を生成可能なデータを出力する撮像手段と、
表示媒体と、
請求項１乃至７のいずれか１項に記載の画像処理装置と、を有する
ことを特徴とする撮像装置。
【請求項９】
所定の像面に合焦した再構成画像を生成可能なデータを取得する取得工程と、
画像を表示媒体に表示させる表示工程と、
前記表示工程において表示された画像内の複数の被写体を選択する選択工程と、
前記選択工程において選択された前記複数の被写体の合焦位置を特定し、該特定された合焦位置で規定される合焦範囲を設定する設定工程と、
前記データから、前記設定工程において設定された前記合焦範囲において合焦する被写体の各々に合焦した再構成画像を生成する生成工程と、を有する
ことを特徴とする画像処理装置の制御方法。
【請求項１０】
所定の像面に合焦した再構成画像を生成可能なデータを出力する撮像工程と、
画像を表示媒体に表示させる表示工程と、
前記表示工程において表示された画像内の複数の被写体を選択する選択工程と、
前記選択工程において選択された前記複数の被写体の合焦位置を特定し、該特定された合焦位置で規定される合焦範囲を設定する設定工程と、
前記データから、前記設定工程において設定された前記合焦範囲において合焦する被写体の各々に合焦した再構成画像を生成する生成工程と、を有する
ことを特徴とする撮像装置の制御方法。
【請求項１１】
コンピュータを、請求項１乃至７のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項１２】
コンピュータに、請求項１０に記載の撮像装置の制御方法の各工程を実行させるためのプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は、画像処理装置、撮像装置、制御方法、及びプログラムに関し、特に撮影後に出力データから任意の被写体距離に合焦した画像を生成する技術に関する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００２
【補正方法】変更
【補正の内容】
【０００２】
近年、デジタルカメラ等の撮像装置において、撮影時に光の強度分布との進行方向とを出力データとして記録することで、記録後に該出力データから任意の被写体距離に合焦した画像を生成する技術が提案されている。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００４
【補正方法】変更
【補正の内容】
【０００４】
ＬＦデータからは、各マイクロレンズに対応付けられた画素から、同一の方向の光束を抽出することで、該方向から撮影した画像を生成することができる。また、焦点位置を設定し、該焦点位置を含む焦点面（または像面）における１点を通過した光束を記録している画素の出力を加算することで、撮影後に特定の被写体距離に合焦した画像のピクセルを擬似的に生成（再構成）することができる。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
また、ＬＦデータから限定的な分割瞳領域を通過した光束が結像された画素のみを用いることで、撮像光学系において絞りが適用されたことと同等の効果を得ることができる。即ち、射出瞳の中央に対応する分割瞳領域の画素のみを用いて再構成画像を生成することで、被写界深度が深く、広い範囲の被写体距離について合焦した画像を生成することも可能である。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
前述の目的を達成するために、本発明の画像処理装置は、以下の構成を備えることを特徴とする。具体的には画像処理装置は、所定の像面に合焦した再構成画像を生成可能なデータを取得する取得手段と、画像を表示媒体に表示させる表示手段と、表示手段により表示された画像内の複数の被写体を選択する選択手段と、選択手段により選択された複数の被写体の合焦位置を特定し、該特定された合焦位置で規定される合焦範囲を設定する設定手段と、データから、設定手段により設定された合焦範囲において合焦する被写体の各々に合焦した再構成画像を生成する生成手段と、を有することを特徴とする。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
［実施形態］
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、画像処理装置の一例としての、撮影後にＬＦデータから任意の被写体距離の被写体に合焦した画像を生成可能なデジタルカメラに、本発明を適用した例を説明する。しかし本発明は、ＬＦデータから任意の被写体距離の被写体に合焦した画像を生成することが可能な任意の機器に適用可能である。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
・「再構成画像」
ＬＦデータから生成される、任意の被写体距離の被写体に合焦した画像。具体的には生成する被写体距離に対応する焦点面（再構成面）での画素配置に従ってＬＦデータの画素を並び替え、再構成画像の１画素に対応する画素の画素値を合算することで該画素の画素値を得る。再構成面における画素配置は、再構成面に撮像素子が存在した場合に入射する光束の入射方向に基づいて決定される。該画素配置において１つのマイクロレンズに対応する画素の画素値を足し合わせることで、再構成画像の１画素を生成することができる。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】変更
【補正の内容】
【００２７】
画像処理部１０９は、ＤＦＥ１０８による補正処理が適用されたＬＦデータに対して、色変換処理等の各種画像処理を適用する。また本実施形態では画像処理部１０９は、ＬＦデータから任意の被写体距離の被写体に合焦する画像（再構成画像）の生成する処理も行う。再構成画像の生成は、例えば上述した非特許文献１に示されるような「Light Field Photography」の手法を用いればよい。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】変更
【補正の内容】
【００２８】
〈再構成画像の生成方法〉
ここで、特定の被写体距離の被写体に合焦した再構成画像の生成方法の概要について、図を用いて説明する。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】変更
【補正の内容】
【００２９】
まず、撮影範囲に含まれる特定の被写体に合焦する被写体距離については、以下の方法で取得可能である。まず画像処理部１０９は、ＬＦデータから異なる分割瞳領域を通過した２つの光束に対応する画像を生成し、該画像間における特定の被写体の像の差異（デフォーカス量）を検出する。このように検出されたデフォーカス量に基づき、制御部１０１は特定の被写体に合焦する被写体距離（合焦位置）を算出可能である。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】変更
【補正の内容】
【００３１】
つまり、２種類の再構成画像は光軸のずれによる像のずれを有しているため、２つの画像について相関演算を行うことで、各被写体について像のずれ量（瞳分割位相差）を検出することができる。このように得られた像のずれ量から、ＬＦデータの撮影範囲に含まれる各被写体について合焦する被写体距離を解析することができ、例えば特定の被写体に合焦する再構成画像を付加画像として生成することができる。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００３２
【補正方法】変更
【補正の内容】
【００３２】
次に、特定の被写体距離の被写体に合焦する再構成画像の生成について説明する。本実施形態のデジタルカメラ１００では、上述したように１つのマイクロレンズに割り当てられた複数の画素の各々は、撮像レンズの射出瞳の異なる分割瞳領域を通過した光束を受光する。これは、マイクロレンズアレイ１０５の全マイクロレンズについて同様である。また各マイクロレンズには異なる方向から撮像レンズを通過した光束が入射するため、撮像素子の全ての画素は、各々異なる方向から入射した光束を受光することになる。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００３３
【補正方法】変更
【補正の内容】
【００３３】
このため以下では、撮影により得られたＬＦデータの各画素に入射した光束の光路を、射出瞳内の通過した瞳領域の座標（ｕ，ｖ）と、対応するマイクロレンズの位置座標（ｘ’，ｙ’）として各光束を規定して説明する。再構成画像の生成においては、再構成画像を生成する任意の被写体距離に対応する再構成面上の画素（ｘ，ｙ）について、該点を通過する光路を有する光束を積分することで画素値を得ることができる。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００３４
【補正方法】変更
【補正の内容】
【００３４】
図５ではデジタルカメラ１００の横位置における鉛直方向から見た水平面（ｘｚ平面）における光束の光路が示されている。以下ではｘｚ平面における、再構成面の各画素を通過する光束の光路について説明するが、ｙｚ平面についても同様である。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００３７
【補正方法】変更
【補正の内容】
【００３７】
表示部１１０は、例えば小型ＬＣＤ等のデジタルカメラ１００が有する表示装置である。表示部１１０は、画像処理部１０９により生成された、任意の被写体距離に合焦した画像を表示する。上述したように、本実施形態の撮像部１０６から出力されるアナログ画像信号をＡ／Ｄ変換して得られるＬＦデータは、隣り合う画素において像が連結しない。このため表示部１１０には、ＬＦデータではなく画像処理部１０９により生成された画像データが表示される。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００３８
【補正方法】変更
【補正の内容】
【００３８】
記録媒体１１１は、例えばデジタルカメラ１００が有する内蔵メモリや、メモリカードやＨＤＤ等のデジタルカメラ１００に着脱可能に接続される記録装置である。記録媒体１１１には、ＬＦデータ、及びこれらのＬＦデータから生成された任意の被写体距離に合焦する画像が記録される。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】００４７
【補正方法】変更
【補正の内容】
【００４７】
Ｓ７０１で、画像処理部１０９は制御部１０１の制御の下、最終画像において合焦させる合焦被写体をユーザに指示可能にさせるための選択用再構成画像を生成する。選択用再構成画像は、例えば対象ＬＦデータを撮影した際に設定された被写体距離（像面）に合焦するように生成された画像であってよい。あるいは、被写体が判別しやすいように、例えば射出瞳３０１の中央部等の限定的な分割瞳領域を通過した光束に対応する画素を用いて生成された、被写界深度の深い画像であってもよい。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】００５１
【補正方法】変更
【補正の内容】
【００５１】
Ｓ７０４で、制御部１０１は、出力画像において合焦する被写体距離の範囲の一端である被写体距離に対応するＤエリアを、第１の被写体エリアとして設定する。具体的には制御部１０１は、選択された合焦被写体である顔領域が存在する選択用再構成画像の位置について、対応するＤエリアの代表距離の情報を特定し、同一の代表距離の情報を有するＤエリアを第１の被写体エリアとして設定する。
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】００５３
【補正方法】変更
【補正の内容】
【００５３】
Ｓ７０６で、制御部１０１は、出力画像において合焦する被写体距離の範囲のもう一端である被写体距離に対応するＤエリアを、第２の被写体エリアとして設定する。具体的には制御部１０１は、２回目に選択された合焦被写体である顔領域が存在する選択用再構成画像の位置について、対応するＤエリアの代表距離の情報を特定し、同一の代表距離の情報を有するＤエリアを第２の被写体エリアとして設定する。
【手続補正２１】
【補正対象書類名】明細書
【補正対象項目名】００５４
【補正方法】変更
【補正の内容】
【００５４】
Ｓ７０７で、制御部１０１は、設定した被写体距離の範囲に含まれる中間被写体が存在するか否かを判断し、存在する場合に該中間被写体の被写体距離に対応するＤエリアを、中間被写体エリアとして設定し、本被写体選択処理を完了する。具体的には制御部１０１は、被写体距離の範囲に存在する顔領域の各々について、選択用再構成画像の位置に対応するＤエリアの代表距離の情報を特定し、同一の代表距離の情報を有するＤエリアを中間被写体エリアとして設定する。
【手続補正２２】
【補正対象書類名】明細書
【補正対象項目名】００５５
【補正方法】変更
【補正の内容】
【００５５】
例えば選択用再構成画像が図８（ａ）のようであった場合について考える。選択用再構成画像８００内には、デジタルカメラ１００との距離が近い順に、被写体８０１、被写体８０２、被写体８０３及び８０４が含まれる。このとき、代表距離の分布を被写体に合焦する被写体距離についてのヒストグラムとして示すと、図９のようになる。
【手続補正２３】
【補正対象書類名】明細書
【補正対象項目名】００５６
【補正方法】変更
【補正の内容】
【００５６】
１回目の合焦被写体として被写体８０１が選択され、２回目の合焦被写体で被写体８０３が選択されたとする。このとき、図９において被写体８０１の顔領域が含まれるＤエリアがカウントされている９０１から、被写体８０３（及び被写体８０４）の顔領域が含まれるＤエリアがカウントされている９０２までが、出力画像において合焦する被写体距離の範囲となる。本実施形態では、このような被写体距離の範囲に含まれるＤエリアのうち、人物の顔領域が含まれるＤエリア及び該エリアと同じ代表距離を有するＤエリアのそれぞれについて、対応する被写体距離に合焦するように生成された画像が出力画像の生成に用いられる。図８（ａ）の例では、被写体８０１と被写体８０３との間に、中間被写体として被写体８０２が存在する。このため、被写体８０１、８０２、８０３、及び８０４が含まれるＤエリアと同一の代表距離を有するＤエリアについて、各代表距離に対応する被写体距離に合焦するように生成された画素群が、出力される再構成画像の画素として使用される。つまり、図８（ａ）の例については、図８（ｂ）のように各エリアの代表距離に応じてハッチングを異ならせたＤエリア群が、出力画像において合焦する被写体像の生成に用いられる領域となる。図８（ｂ）では、領域８１１が図９に示した被写体８０１の顔領域が含まれるＤエリアがカウントされているエリア群９０１（第１の被写体エリア）に対応している。また領域８１２が、図９に示した被写体８０２の顔領域が含まれるＤエリアがカウントされているエリア群９０３（中間被写体エリア）に対応している。そして、領域８１３が、図９に示した被写体８０３及び８０４の顔領域が含まれるＤエリアがカウントされているエリア群９０２（第２の被写体エリア）に対応している。
【手続補正２４】
【補正対象書類名】明細書
【補正対象項目名】００５８
【補正方法】変更
【補正の内容】
【００５８】
なお、出力画像において合焦する被写体距離の範囲について、本実施形態では２種類の被写体を選択させ、該被写体の各々に合焦する被写体距離で閉じられる範囲を設定するものとして説明した。しかしながら、本発明の実施はこれに限らず、その他の方法で被写体距離の範囲を設定してもよい。例えば図８（ａ）の被写体８０３と無限遠（最遠景）、及び被写体８０１と最近景を選択させることで合焦させない被写体距離の範囲を設定させ、それ以外の範囲を合焦する被写体距離の範囲として設定してもよい。また例えば、被写体８０１と被写体８０３を選択させた後、中間被写体から除外する被写体として被写体８０２を選択させることで、分割された範囲を合焦する被写体距離の範囲として設定してもよい。即ち、選択された少なくとも２つの被写体について、該被写体に合焦する被写体距離で規定される範囲が合焦する被写体距離の範囲として設定されればよい。
【手続補正２５】
【補正対象書類名】明細書
【補正対象項目名】００５９
【補正方法】変更
【補正の内容】
【００５９】
このように被写体選択処理を実行することで出力画像において合焦する被写体距離の範囲を設定した後、制御部１０１は処理をＳ６０４に移す。
【手続補正２６】
【補正対象書類名】明細書
【補正対象項目名】００６０
【補正方法】変更
【補正の内容】
【００６０】
Ｓ６０４で、画像処理部１０９は制御部１０１の制御の下、被写体距離の範囲に含まれる第１及び第２の被写体エリアと中間被写体エリアのそれぞれについて、各エリアに対応する被写体距離に合焦する再構成画像を生成する。図８（ａ）について上述のように被写体距離の範囲が設定された場合は、図１０（ａ）〜（ｃ）に示されるように各エリアについて対応する被写体距離に合焦する再構成画像を生成する。
【手続補正２７】
【補正対象書類名】明細書
【補正対象項目名】００６１
【補正方法】変更
【補正の内容】
【００６１】
また画像処理部１０９は、被写体距離の範囲に含まれないエリアについては、特定の被写体距離に合焦する再構成画像を生成する。特定の被写体距離は、例えば撮影時に撮像光学系１０４に設定されていた焦点位置に対応する被写体距離であってもよい。また、出力画像において被写体距離の範囲に含まれる被写体を目立たせる観点で考えると、特定の被写体距離は設定された被写体距離の範囲に含まれない被写体距離等、範囲内で合焦させる被写体とは異なる被写体距離が選択されることが好ましい。
【手続補正２８】
【補正対象書類名】明細書
【補正対象項目名】００６２
【補正方法】変更
【補正の内容】
【００６２】
なお、エリア間の境界付近のＤエリアについては、次のＳ６０５における合成後の不連続性を緩和させることを目的として、２つのＤエリアが有する代表距離の中間値付近の代表距離に対応する被写体距離について再構成画像を生成してもよい。
【手続補正２９】
【補正対象書類名】明細書
【補正対象項目名】００６３
【補正方法】変更
【補正の内容】
【００６３】
Ｓ６０５で、画像処理部１０９は制御部１０１の制御の下、Ｓ６０４において生成された各エリアの再構成画像を合成し、出力画像を生成する。即ち、図１０（ａ）〜（ｃ）のように生成された再構成画像が、出力画像の対応する領域の画素となるように合成を行い、画像処理部１０９は出力画像（図１０（ｄ））を生成する。
【手続補正３０】
【補正対象書類名】明細書
【補正対象項目名】００６５
【補正方法】変更
【補正の内容】
【００６５】
なお、本実施形態では２回の合焦被写体の選択により設定された被写体距離の範囲に含まれる被写体ついて、各々合焦するように生成した再構成画像を合成するものとして説明した。しかしながら、本発明の実施はこれに限られるものではない。例えば、選択された各合焦被写体に合焦する被写体距離の差が広く、被写体以外の領域に合焦していないように出力画像を生成すると、出力画像が不自然に焦点調整が行われたような画像となり得る。このような場合、即ち選択された各合焦被写体に合焦する被写体距離の差が所定の長さより大きい場合は、制御部１０１は撮影範囲の被写体に広く合焦する、被写界深度の深い画像を画像処理部１０９に生成させるように制御してもよい。つまり、設定された被写体距離の範囲に含まれない被写体についても合焦する条件で生成した再構成画像を出力画像として生成させてもよい。被写界深度の深い画像は上述したように、ＬＦデータの画素のうち、射出瞳３０１の中央部等の限定的な分割瞳領域を通過した光束に対応する画素を用いて生成した画像であってもよい。
【手続補正３１】
【補正対象書類名】明細書
【補正対象項目名】００６６
【補正方法】変更
【補正の内容】
【００６６】
以上説明したように、本実施形態の画像処理装置は、複数の所望の被写体に対して好適に合焦した画像を生成することができる。具体的には画像処理装置は、画像信号について、複数の被写体を選択し、該選択した複数の被写体の各々について該被写体に合焦する被写体距離を特定する。そして、特定した被写体距離で規定される焦点距離の範囲を設定する。画像処理装置は、設定された被写体距離の範囲において合焦する被写体の各々に合焦した再構成画像を画像信号から生成する。
【手続補正３２】
【補正対象書類名】図面
【補正対象項目名】図９
【補正方法】変更
【補正の内容】
【図９】
2014153890.tif 000001