【手続補正書】
【提出日】平成28年1月28日(2016.1.28)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
前記目的を達成するため、本発明の画像処理装置の一態様は、
それぞれ異なる視点から被写体を撮影した複数のサブ画像を含むライトフィールド画像を再構成した複数の再構成画像を、露出が異なる複数の前記ライトフィールド画像から生成する生成手段と、
前記複数の再構成画像の合成比率を、前記複数の再構成画像において対応する各画素の画素値に応じて画素毎に決定する決定手段と、
前記複数の再構成画像を構成する画素のうちの、前記合成比率が所定の比率以上である画素を特定する特定手段と、
前記ライトフィールド画像において、前記特定手段が特定した画素との関係が所定条件を満たす画素を含む前記サブ画像のデータ量を削減する削減手段と、
を備える、
ことを特徴とする。
また、前記目的を達成するため、本発明の撮像装置の一態様は、
被写体からの光を捉えるメインレンズと、前記メインレンズが捉えた光をさらに捉える複数の視点にそれぞれ対応する複数のマイクロレンズと、を用いて、それぞれ異なる前記視点から前記被写体を撮影した複数のサブ画像を含むライトフィールド画像を撮影する撮影手段と、
前記撮影手段により露出を変えて撮影した複数の前記ライトフィールド画像をそれぞれ再構成して複数の再構成画像を生成する生成手段と、
前記複数の再構成画像の合成比率を、前記複数の再構成画像において対応する各画素の画素値に応じて画素毎に決定する決定手段と、
前記複数の再構成画像を構成する画素のうちの、前記合成比率が所定の比率以上である画素を特定する特定手段と、
前記ライトフィールド画像において、前記特定手段が特定した画素との関係が所定条件を満たす画素を含む前記サブ画像のデータ量を削減する削減手段と、
を備える、
ことを特徴とする。
また、前記目的を達成するため、本発明の画像処理方法の一態様は、
それぞれ異なる視点から被写体を撮影した複数のサブ画像を含むライトフィールド画像を再構成した複数の再構成画像を、露出が異なる複数の前記ライトフィールド画像から生成する生成ステップと、
前記複数の再構成画像の合成比率を、前記複数の再構成画像において対応する各画素の画素値に応じて画素毎に決定する決定ステップと、
前記複数の再構成画像を構成する画素のうちの、前記合成比率が所定の比率以上である画素を特定する特定ステップと、
前記ライトフィールド画像において、前記特定ステップで特定した画素との関係が所定条件を満たす画素を含む前記サブ画像のデータ量を削減する削減ステップと、
を含む、
ことを特徴とする。
また、前記目的を達成するため、本発明のプログラムの一態様は、
コンピュータを、
それぞれ異なる視点から被写体を撮影した複数のサブ画像を含むライトフィールド画像を再構成した複数の再構成画像を、露出が異なる複数の前記ライトフィールド画像から生成する生成手段、
前記複数の再構成画像の合成比率を、前記複数の再構成画像において対応する各画素の画素値に応じて画素毎に決定する決定手段、
前記複数の再構成画像を構成する画素のうちの、前記合成比率が所定の比率以上である画素を特定する特定手段、
前記ライトフィールド画像において、前記特定手段が特定した画素との関係が所定条件を満たす画素を含む前記サブ画像のデータ量を削減する削減手段、
として機能させる、
ことを特徴とする。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正の内容】
【００２４】
次に、再構成部１５０は、配置間隔を特定する（ステップＳ１４）。具体的には、再構成部１５０は、再構成距離と画像ズレ係数とメインレンズ１１１の焦点距離と配置間隔とを対応付けた図８に示す配置間隔テーブルを参照して、部分画像の配置間隔を特定する。この配置間隔テーブルでは、予め実験により求められた好適な配置間隔が設定されている。また、この配置間隔テーブルは、予めＳＤ１２４に記憶されているものとする。再構成部１５０は、例えば再構成距離が２ｍ、算出した画像ズレ係数が３画素、設定情報であるメインレンズ１１１の焦点距離が５ｍである場合、配置間隔として２画素を特定する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】変更
【補正の内容】
【００２５】
次に、再構成部１５０は、部分画像を再構成面に重ね合わせ配置する（ステップＳ１５）。具体的には、再構成部１５０は、特定した大きさの部分画像を注目サブ画像から切り出して、その切り出した部分画像を配置間隔に従って再構成面に配置する。この際、部分画像の一辺の大きさは配置間隔よりも大きいので、再構成面に配置した部分画像同士には重なりが生ずる。重なった部分については、画素の画素値を加算平均して再構成画像の画素値とする。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【００２６】
次に、再構成部１５０は、全サブ画像処理済か否か判断し（ステップＳ１６）、処理済でない場合（ステップＳ１６；Ｎｏ）、カウンタをインクリメントして（ステップＳ１７）、全サブ画像を処理するまでステップＳ１１乃至Ｓ１５の処理を繰り返す。再構成部１５０は、全サブ画像が処理済であると判断すると（ステップＳ１６；Ｙｅｓ）、生成した再構成画像をＳＤ１２４に記憶して処理を終了する。また、再構成部１５０は、ＲＡＭ１２３に一時的に記憶しているライトフィールド画像を消去する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】変更
【補正の内容】
【００２７】
ここで、図９を参照しながらライトフィールド画像から再構成画像を生成する処理の概要について説明する。なお、説明の便宜上、特定した部分画像の大きさの一辺が配置間隔の２倍である場合を例にとって説明する。なお、この例では再構成面の端の部分を除いて、部分画像が４枚ずつ重なる。
まず、再構成部１５０は、ライトフィールド画像の左上のサブ画像Ｓ１１をサブ画像として注目する（ステップＳ１１）。そして、再構成部１５０は、ステップＳ１２乃至Ｓ１４の処理の後、注目サブ画像Ｓ１１から部分画像ＰＩ１１を切り出し、その切り出した部分画像ＰＩ１１を再構成面の左上に配置する（ステップＳ１５）。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００４８
【補正方法】変更
【補正の内容】
【００４８】
次に、ＣＰＵ１２１は、注目画素の合成比率のうち、ｋ３番目のライトフィールド画像から生成した再構成画像の合成比率が０でない（合成に用いる）場合（ステップＳ２５；Ｎｏ）、ステップＳ２４で特定したｋ３番目のライトフィールド画像のサブ画像の画素の座標にフラグ１をたてる（ステップＳ２６）。すなわち、合成に用いないことを示すフラグ０がたっているサブ画像の画素の座標をフラグ１に上書きする。ここでは、ＣＰＵ１２１は、例えば露出オーバー再構成画像の合成比率Ｒｏが０でない場合、ステップＳ２４で特定した４つのサブ画像の画素の座標Ｓｂ１（ｘ，ｙ）、Ｓｂ２（ｘ＋α，ｙ）、Ｓｂ３（ｘ，ｙ＋α）及びＳｂ４（ｘ＋α，ｙ＋α）それぞれにフラグ１をたてる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００５１
【補正方法】変更
【補正の内容】
【００５１】
全てのライトフィールド画像についてステップＳ２４乃至Ｓ２６の処理を終了すると、ＣＰＵ１２１は、全ライトフィールド画像のサブ画像の座標を特定済であるとして（ステップＳ２７；Ｙｅｓ）、ＨＤＲ画像の全画素が注目済か否か判断する（ステップＳ２９）。ＣＰＵ１２１は、ＨＤＲ画像の全画素が注目済でない場合（ステップＳ２９；Ｎｏ）、カウンタｋ２をインクリメントして（ステップＳ３０）、ステップＳ２３に戻り、ＨＤＲ画像の全画素が注目済となるまでステップＳ２３乃至Ｓ２７の処理を繰り返す。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００６５
【補正方法】変更
【補正の内容】
【００６５】
また、図１４に示したデータ量削減処理では、ステップＳ２４乃至Ｓ２７において、ＨＤＲ画像の注目画素の座標と対応するサブ画像の座標をライトフィールド画像毎にそれぞれ別々に特定してフラグをたてる処理を行ったが、別の手法でもよい。例えば、注目画素の座標と対応するサブ画像の座標は各ライトフィールド画像において同じであるため、１つのライトフィールド画像のサブ画像の座標を特定した後、合成比率に応じてそれぞれのライトフィールド画像のサブ画像の座標にフラグをたてる処理を同時に行ってもよい。このことにより、ステップＳ２７及びＳ２８の処理を省略できるのでデータ量削減処理の計算量を抑えることができる。
【手続補正９】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
それぞれ異なる視点から被写体を撮影した複数のサブ画像を含むライトフィールド画像を再構成した複数の再構成画像を、露出が異なる複数の前記ライトフィールド画像から生成する生成手段と、
前記複数の再構成画像の合成比率を、前記複数の再構成画像において対応する各画素の画素値に応じて画素毎に決定する決定手段と、
前記複数の再構成画像を構成する画素のうちの、前記合成比率が所定の比率以上である画素を特定する特定手段と、
前記ライトフィールド画像において、前記特定手段が特定した画素との関係が所定条件を満たす画素を含む前記サブ画像のデータ量を削減する削減手段と、
を備える、
ことを特徴とする画像処理装置。
【請求項２】
前記削減手段は、前記特定手段が特定した画素と何れにも対応しない画素とを、前記所定条件を満たす画素とすることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記削減手段により前記データ量が削減された前記複数のライトフィールド画像を記憶する記憶手段を更に備えることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記削減手段は、前記所定条件を満たす画素を含む前記サブ画像について、前記サブ画像の画素の前記画素値を特定の値に変更し、変更後のサブ画像を含むライトフィールド画像を圧縮するものであり、
前記記憶手段は、圧縮された前記ライトフィールド画像を複数記憶することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記削減手段は、前記サブ画像を構成する全ての画素が前記所定条件を満たす画素である場合に、前記サブ画像を構成する全ての画素の前記画素値を前記特定の値に変更することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記削減手段は、前記複数のライトフィールド画像それぞれが含む何れかの前記サブ画像において、所定の閾値以上の面積を持つ領域を構成する全ての画素が前記所定条件を満たす画素である場合、前記領域を削除して前記データ量を削減することを特徴とする請求項１乃至５の何れか一項に記載の画像処理装置。
【請求項７】
被写体からの光を捉えるメインレンズと、前記メインレンズが捉えた光をさらに捉える複数の視点にそれぞれ対応する複数のマイクロレンズと、を用いて、それぞれ異なる前記視点から前記被写体を撮影した複数のサブ画像を含むライトフィールド画像を撮影する撮影手段と、
前記撮影手段により露出を変えて撮影した複数の前記ライトフィールド画像をそれぞれ再構成して複数の再構成画像を生成する生成手段と、
前記複数の再構成画像の合成比率を、前記複数の再構成画像において対応する各画素の画素値に応じて画素毎に決定する決定手段と、
前記複数の再構成画像を構成する画素のうちの、前記合成比率が所定の比率以上である画素を特定する特定手段と、
前記ライトフィールド画像において、前記特定手段が特定した画素との関係が所定条件を満たす画素を含む前記サブ画像のデータ量を削減する削減手段と、
を備える、
ことを特徴とする撮像装置。
【請求項８】
それぞれ異なる視点から被写体を撮影した複数のサブ画像を含むライトフィールド画像を再構成した複数の再構成画像を、露出が異なる複数の前記ライトフィールド画像から生成する生成ステップと、
前記複数の再構成画像の合成比率を、前記複数の再構成画像において対応する各画素の画素値に応じて画素毎に決定する決定ステップと、
前記複数の再構成画像を構成する画素のうちの、前記合成比率が所定の比率以上である画素を特定する特定ステップと、
前記ライトフィールド画像において、前記特定ステップで特定した画素との関係が所定条件を満たす画素を含む前記サブ画像のデータ量を削減する削減ステップと、
を含む、
ことを特徴とする画像処理方法。
【請求項９】
コンピュータを、
それぞれ異なる視点から被写体を撮影した複数のサブ画像を含むライトフィールド画像を再構成した複数の再構成画像を、露出が異なる複数の前記ライトフィールド画像から生成する生成手段、
前記複数の再構成画像の合成比率を、前記複数の再構成画像において対応する各画素の画素値に応じて画素毎に決定する決定手段、
前記複数の再構成画像を構成する画素のうちの、前記合成比率が所定の比率以上である画素を特定する特定手段、
前記ライトフィールド画像において、前記特定手段が特定した画素との関係が所定条件を満たす画素を含む前記サブ画像のデータ量を削減する削減手段、
として機能させる、
ことを特徴とするプログラム。