(57)【特許請求の範囲】
【請求項１】
それぞれ少なくとも１つの光電変換部を含む複数の画素と、前記複数の画素のうち少なくとも一部の画素に対して光の入射角に応じた透過率分布を与える透過率分布付与手段とを備え、被写体空間から結像光学系に入射した光により形成された光学像を撮像する撮像素子と、
前記撮像素子の出力から生成され各画素が前記結像光学系の瞳の互いに異なる複数の部分領域を通して観察される複数の観察像の光強度情報を含む入力画像と、前記透過率分布に関する情報を用いて、前記複数の部分領域のうちの第１部分領域から前記被写体空間を観察したときの光強度情報を前記入力画像の各画素から分離することで、前記第１部分領域から前記被写体空間を観察したときの観察像に対応する出力画像を生成する画像処理部と、
を有し、
前記複数の画素のうちの第１の画素と該第１の画素に隣接する全ての第２の画素をまとめて隣接画素群というとき、前記隣接画素群は、互いに異なる４種類以上の前記透過率分布を有する画素を含むことを特徴とする撮像装置。
【請求項２】
前記隣接画素群に含まれる前記第１および第２の画素の全てが、互いに異なる前記透過率分布を有することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記４種類以上の透過率分布を有する画素を含む前記隣接画素群の前記第１の画素を特定画素というとき、
前記複数の画素のうちの半数以上が前記特定画素であることを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記複数の画素の全てが前記特定画素であることを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記画素内における前記透過率分布の平均値を、前記複数の画素の全てに対して平均した値をｔｋａｖｅ，ｘｙａｖｅとするとき、
【数３２】
0006598473.tif 000034
なる条件を満足することを特徴とする請求項１から４のいずれか一項に記載の撮像装置。
【請求項６】
前記複数の画素のうちの任意の画素について、該画素の前記透過率分布の最大値および最小値をそれぞれ、ｔｍａｘおよびｔｍｉｎとするとき、 
【数３３】
0006598473.tif 000035
なる条件を満足することを特徴とする請求項１から５のいずれか一項に記載の撮像装置。
【請求項７】
前記複数の画素において、前記透過率分布の最大値ｔｍａｘおよび最小値ｔｍｉｎに関する条件を満足する前記画素が半数以上存在することを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記複数の画素のそれぞれの中で、前記複数の部分領域のそれぞれに対して与えられた透過率の平均値である角度平均透過率のうち最大値および最小値をそれぞれ、ｔｋａｖｅ，ｍａｘおよびｔｋａｖｅ，ｍｉｎとするとき、
【数３４】
0006598473.tif 000036
なる条件を満足することを特徴とする請求項１から７のいずれか一項に記載の撮像装置。
【請求項９】
前記透過率分布付与手段は、前記画素における一部の領域を遮光する遮光手段により構成されていること特徴とする請求項１から８のいずれか一項に記載の撮像装置。 
【請求項１０】
前記透過率分布付与手段は、回折素子により構成されていることを特徴とする請求項１から８のいずれか一項に記載の撮像装置。
【請求項１１】
前記複数の画素において、互いに隣接する４つの画素の前記透過率分布が全て異なることを特徴とする請求項１から１０のいずれか一項に記載の撮像装置。
【請求項１２】
前記入力画像と前記複数の画素の前記透過率分布の情報とを記憶する記憶手段とを有することを特徴とする請求項１乃至１１のいずれか一項に記載の撮像装置。
【請求項１３】
前記撮像素子の画素数は、前記出力画像の画素数と前記瞳の部分領域の総数の積よりも少ないことを特徴とする請求項１乃至１２のいずれか一項に記載の撮像装置。
【請求項１４】
それぞれ少なくとも１つの光電変換部を含む複数の画素と、前記複数の画素のうち少なくとも一部の画素に対して光の入射角に応じた透過率分布を与える透過率分布付与手段とを備え、被写体空間から結像光学系に入射した光により形成された光学像を撮像する撮像素子の出力から生成され各画素が前記結像光学系の瞳の互いに異なる複数の部分領域を通して観察される複数の観察像の光強度情報を含む入力画像と、前記複数の画素の前記透過率分布の情報を取得する取得手段と、
前記入力画像および前記透過率分布の情報から、前記複数の部分領域のうちの第１部分領域から前記被写体空間を観察したときの光強度情報を前記入力画像の各画素から分離することで、前記第１部分領域から前記被写体空間を観察したときの観察像に対応する出力画像を生成する生成手段とを有し、前記複数の画素のうちの第１の画素と該第１の画素に隣接する全ての第２の画素をまとめて隣接画素群というとき、前記隣接画素群は、互いに異なる４種類以上の前記透過率分布を有する画素を含むことを特徴とする画像処理装置。
【請求項１５】
前記撮像素子の画素数は、前記出力画像の画素数と前記瞳の部分領域の総数の積よりも少ないことを特徴とする請求項１４に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体空間を互いに異なる複数の瞳を通して観察した複数の画像を画像処理によって生成するのに好適な撮像装置に関する。
【背景技術】
【０００２】
被写体空間を複数の異なる瞳を通して同時撮像して該複数の瞳のそれぞれに対応する複数の画像を取得する撮像装置が種々提案されている。撮像時の瞳は取得画像の被写界深度と視点を決定する因子であり、被写体空間を複数の異なる瞳を通して撮像して複数の画像を取得することで様々な機能を実現することができる。例えば、複数の画像間で視点（瞳によって決定される）が異なれば、視差情報に基づいて被写体空間の３次元情報を得ることができる。また、複数の視点が異なる画像を再構成処理することで、リフォーカスと呼ばれる撮像後のピント制御や視点変更等が可能である。
【０００３】
特許文献１および特許文献２には、メインレンズと撮像素子との間に撮像素子の画素ピッチよりも大きな小レンズが配列されたレンズアレイを配置することで複数の視点画像（すなわちライトフィールド）を取得するカメラが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表２００８−５１５１１０号公報
【特許文献２】米国特許第７９６２０３３号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１，２にて開示されているように複数の視点画像を１つのカメラで取得するためには、撮像素子に非常に多くの画素が必要となる。これは情報取得に必要な画素数が、個々の視点画像の解像度と瞳の数（視点数）との積で決定されるためである。これにより、撮像素子の高コスト化や撮像素子から伝送したり保存したりする画像データ量の増大を招く。
【０００６】
なお、撮像素子の画素数が少なくても被写体空間をスキャンしながら撮像したり撮像素子を微小にシフトしながら連写したりして得られた複数の画像を用いて画素ずらし超解像を行うことで、高解像度を有する複数の視点画像を得ることもできる。しかし、これらの手法では時間的にずれた情報を取得しているため、被写体空間に移動物体が存在するような場合に正しい情報が得られない。
【０００７】
本発明は、少ない画素数でありながらも、異なる瞳から同一時刻の被写体空間を観察した複数の画像を高解像に生成可能な撮像装置、さらには高解像度画像の生成を行える画像処理装置を提供する。
【課題を解決するための手段】
【０００８】
本発明の一側面としての撮像装置は、それぞれ少なくとも１つの光電変換部を含む複数の画素と、該複数の画素のうち少なくとも一部の画素に対して光の入射角に応じた透過率分布を与える透過率分布付与手段とを備え、被写体空間から結像光学系に入射した光により形成された光学像を撮像する撮像素子と、該撮像素子の出力から生成され各画素が結像光学系の瞳の互いに異なる複数の部分領域を通して観察される複数の観察像の光強度情報を含む入力画像と、透過率分布に関する情報を用いて、複数の部分領域のうちの第１部分領域から被写体空間を観察したときの光強度情報を入力画像の各画素から分離することで、第１部分領域から被写体空間を観察したときの観察像に対応する出力画像を生成する画像処理部と、を有し、複数の画素のうちの第１の画素と該第１の画素に隣接する全ての第２の画素をまとめて隣接画素群というとき、複数の隣接画素群が互いに異なる４種類以上の透過率分布を有する画素を含むことを特徴とする。
【０００９】
なお、それぞれ少なくとも１つの光電変換部を含む複数の画素と、複数の画素のうち少なくとも一部の画素に対して光の入射角に応じた透過率分布を与える透過率分布付与手段とを備え、被写体空間から結像光学系に入射した光により形成された光学像を撮像する撮像素子の出力から生成され各画素が結像光学系の瞳の互いに異なる複数の部分領域を通して観察される複数の観察像の光強度情報を含む入力画像と、複数の画素の透過率分布の情報を取得する取得手段と、入力画像および透過率分布の情報から、複数の部分領域のうちの第１部分領域から被写体空間を観察したときの光強度情報を入力画像の各画素から分離することで、第１部分領域から被写体空間を観察したときの観察像に対応する出力画像を生成する生成手段とを有し、複数の画素のうちの第１の画素と該第１の画素に隣接する全ての第２の画素をまとめて隣接画素群というとき、隣接画素群は、互いに異なる４種類以上の透過率分布を有する画素を含むことを特徴とする画像処理装置も、本発明の他の一側面を構成する。
【発明の効果】
【００１０】
本発明の撮像装置および画像処理装置によれば、撮像素子の画素数が少なくても、異なる瞳から同一時刻の被写体空間を観察した複数の画像を高解像に生成することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施例１の撮像装置における撮像素子を含む画像取得部の構成を示す図。
【図２】実施例１における部分瞳と集合瞳の説明図。
【図３】実施例１の撮像装置の構成を示すブロック図および該撮像装置の外観図。
【図４】実施例１における透過率分布付与部の説明図。
【図５】実施例１（〜３）における透過率分布の例を示す図。
【図６】実施例１（〜３）における入力画像の説明図。
【図７】実施例１（〜３）における隣接画素群の説明図。
【図８】実施例１（〜３）における画像処理を示すフローチャート。
【図９】実施例１における推定の有無による出力画像の解像度差に関する説明図。
【図１０】実施例１における部分瞳の他の例を示す図。
【図１１】図１０に示した部分瞳に対応した透過率分布を示す図。
【図１２】実施例１における撮像素子の他の構成を示す図。
【図１３】本発明の実施例２である画像処理システムの構成を示すブロック図および該画像処理システムの外観図。
【図１４】実施例２における画像取得部の構成を示す図。
【図１５】実施例２における部分瞳と集合瞳の説明図。
【図１６】実施例２における透過率分布付与部の説明図。
【図１７】本発明の実施例３における画像処理システムの構成を示すブロック図および該画像処理システムの外観図。
【図１８】実施例３における画像取得部の構成を示す図。
【図１９】実施例３における透過率分布付与部の説明図。
【発明を実施するための形態】
【００１２】
以下、本発明の実施例について図面を参照しながら説明する。
【００１３】
まず具体的な実施例（１〜３）の説明に先だって、各実施例に共通する事項について説明する。特許文献１，２にて開示されたような従来のカメラの構成では、取得する個々の視点画像の解像度と瞳（視点）の数との積で撮像素子に必要な画素数が決定される。これに対して、各実施例では、互いに異なる複数の瞳を通して観察される複数の観察像を重ね合わせた状態で撮像し、後から画像処理によって重ね合わされた観察像に対応する複数の画像を推定して分離する。これにより、従来のような撮像素子に求められる画素数の条件が除かれる。
【００１４】
撮像後の画像処理によって複数の瞳が異なる画像を分離するため、各実施例では複数の瞳を通して観察される複数の観察像のそれぞれに互いに異なる透過率分布を付与する構成を有する撮像素子を用いる。この透過率分布の情報を用いて推定することで、撮像時に重ね合わされていた複数の瞳が異なる画像を後から分離することができる。
【００１５】
ここで、被写体空間を観察する瞳と視点との関係について説明する。図２（Ａ）において、３０１ａ〜３０１ｉは被写体空間を観察する複数の異なる瞳領域（部分領域、以下の説明では部分瞳という）であり、３０１は部分瞳３０１ａ〜３０１ｉを合わせた集合瞳である。各実施例では、複数の部分瞳３０１ａ〜３０１ｉから被写体空間を観察したときの複数の観察像（以下それぞれ、部分瞳に対応する観察像ともいう）を撮像素子により重ね合わせて撮像する。なお、図２（Ａ）の部分瞳の数や形状は例にすぎず、他の数や形状であってもよい。
【００１６】
特許文献１のカメラ（Ｐｌｅｎｏｐｔｉｃカメラ）におけるメインレンズの瞳が集合瞳に相当し、レンズアレイの１つの小レンズに対応する複数の画素が、それぞれ部分瞳の情報を取得している。
【００１７】
部分瞳に対応する観察像の視点と被写界深度はそれぞれ、部分瞳の中心と拡がりによって決定される。図２中の×印は各部分瞳の視点を示している。このように複数の互いに異なる視点からの撮像によって複数の視点画像（ライトフィールド）が得られる。
【００１８】
これに対して、図２（Ｂ）に示すように部分瞳３０３ａ〜３０３ｄを同心円状に設定するとこれらの部分瞳３０３ａ〜３０３ｄに対応する視点が全て同一となり、ライトフィールドを取得することができない。ライトフィールドが取得されないと撮像後の視点変更を行うことができず、視差情報から被写体空間の３次元情報を得ることもできない。ただし、図２（Ｂ）に示した部分瞳の設定においても、部分瞳３０３ａ〜３０３ｄの拡がりが互いに異なるため、ＤＦＤ（Depth From Defocus）によって奥行き情報を取得することは可能である。また、これらの部分瞳３０３ａ〜３０３ｄを通して撮像された画像があれば、それらを再構成することで撮像後の被写界深度の制御が可能となる。
【００１９】
各実施例では互いに異なる瞳から観察した複数の画像を得ることを目的とするため、図２（Ａ），（Ｂ）の両方に示したように部分瞳が設定される場合を含む。
【実施例１】
【００２０】
本発明の実施例１である撮像素子を有する撮像装置１００の構成について、図３（Ａ）を用いて説明する。図３（Ｂ）には、撮像装置１００の外観を示している。
【００２１】
被写体空間からの光は画像取得部１０１に入射し、ここで画像信号に変換される。画像取得部１０１は、被写体空間からの光を結像させる結像光学系１０２と、複数の画素と透過率分布付与部（透過率分布付与手段）１０３とを有する撮像素子１０４を含む。本実施例では、撮像素子１０４の１つ画素内に１つの光電変換部が存在する。ただし、後述する実施例２のように１つの画素内に複数の光電変換部を有していてもよい。また、撮像素子１０４は、その複数の画素のうち少なくとも一部の画素に対して透過率分布付与部１０３を有すればよい。
【００２２】
撮像素子１０４は、ＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサ等の光電変換素子であり、結像光学系１０２により形成される光学像（後述する複数の観察像が重なり合った重畳像）を光電変換する。画像取得部１０１の詳しい構成は後述する。
【００２３】
撮像素子１０４での光電変換により生成された出力信号としてのアナログ電気信号はＡ／Ｄコンバータ１０５によりデジタル信号としての撮像信号に変換され、該撮像信号は画像処理部１０６に入力される。画像処理部１０６は、撮像信号に対してノイズリダクション等の所定の処理を行って撮像画像（入力画像）を生成する。撮像画像は、半導体メモリ等の画像記録媒体１０８に所定のフォーマットで保存される。さらに、画像記録媒体１０８には、状態検知部１０９から得られる撮像時における撮像装置１００の状態を示す撮像条件の情報も保存される。撮像条件は、撮像距離、絞り値、ズームレンズにおける焦点距離を含む。状態検知部１０９は、システムコントローラ１１０から撮像条件の情報を得てもよいし、画像取得部１０１に関する情報については制御部１１１から得てもよい。
【００２４】
ここで、撮像画像は、複数の部分瞳に対応する複数の観察像が重なり合った重畳像を、観察像（部分瞳）ごとに異なる透過率分布を与える複数の画素を含む撮像素子１０４により撮像して得られた画像データである。表示部１１２に画像表示を行う際は、画像処理部１０６は、画像記録媒体１０８に保存された撮像画像から、ある瞳から被写体空間を観察したときの観察像に相当する視点画像を生成（分離）する。画像処理部１０６は、ユーザが選択した表示条件に応じて、視点画像またはこれを用いて新たに生成した処理画像（リフォーカス画像等）を表示画像として表示部１１２に表示する。
【００２５】
画像処理部（画像処理手段）１０６は、情報取得部１０６ａ、パラメタ設定部１０６ｂ、推定画像生成部１０６ｃ、推定完了判定部１０６ｄおよび出力画像生成部１０６ｅを有する。上記各部で行われる処理については、後にフローチャートを用いて詳述する。また、画像処理部１０６は、出力画像の生成に際して、記憶手段としての記憶部１０７から、透過率分布付与部１０３で画素ごとに与えられた透過率分布の情報を読み出して使用する。
【００２６】
なお、表示部１１２で表示された出力画像を、画像記録媒体１０８に保存してもよい。さらに、画像表示までの処理を高速化するため、撮像素子１０４で取得された撮像画像を画像記録媒体１０８に保存せずに、そのまま出力画像の生成に用いてもよい。
【００２７】
以上の一連の制御はシステムコントローラ１１０が行い、結像光学系１０２の機械的な駆動（絞りやレンズの駆動）は、システムコントローラ１１０の指示に応じて制御部１１１が行う。
【００２８】
次に、本実施例１における画像取得部１０１の構成について図１を用いて詳しく説明する。撮像素子１０４は、前述した複数の画素と、１つの画素に対して１つ設けられた小レンズを複数有する小レンズアレイ２０１とにより構成されている。複数の画素には、フォトダイオード等の光電変換部２０２ａ，２０２ｂ，２０２ｃ，…（以下の説明ではまとめて２０２と記す）が１つずつ設けられている。小レンズアレイ２０１と被写体面３０２は、結像光学系１０２によって共役に関係付けられている。さらに、結像光学系１０２の瞳（本実施例では集合瞳）３０１と光電変換部２０２は、小レンズアレイ２０１によって概ね共役に関係付けられている。
【００２９】
なお、被写体面３０２上には必ずしも被写体（人物や物体等）が存在していなくてよい。これは、撮像素子１０４と撮像後の画像処理によってライトフィールド（つまりは複数の視点画像）の情報が得られ、その情報からリフォーカスを行うことで被写体面３０２より奥または手前に存在する被写体に対して合焦した画像が得られるためである。
【００３０】
撮像素子１０４の複数の画素のそれぞれには、透過率分布付与部１０３ａ，１０３ｂ，１０３ｃ，・・・（以下の説明では特定の１つの画素の透過率分布付与部を示す場合以外は、まとめて１０３と記す）が設けられている。
【００３１】
図４には、画素ごとに設けられた透過率分布付与部１０３（１０３ａ，１０３ｂ，１０３ｃ，・・・）の構成を示す。各透過率分布付与部１０３は、透光部と遮光部（または後述のように透光部のみ）を有し、図１および図４中の黒い部分が遮光部（遮光手段）を、白い部分が透光部を表している。図４には、撮像素子１０４の画素ごとに透過率分布付与部１０３の遮光部が互いに異なる一部の領域を遮光するように設けられている様子を示している。図４中に破線で描かれた円は、画素ごとの光電変換部２０２に形成される結像光学系１０２の集合瞳３０１の像を表している。遮光部は、該集合瞳３０１の像内における１または複数の部分瞳に対応する領域を遮光する。すなわち、図４に示したそれぞれの画素に設けられた透過率分布付与部１０３は、１画素内において部分瞳の位置に応じて異なる透過率を与え、かつその透過率の１画素内での分布（以下、透過率分布という）を画素ごとに異ならせるように遮光部を配置している。
【００３２】
図１から分かるように、部分瞳の位置と該部分瞳を通過した光が画素に入射する角度とは対応関係があるため、部分瞳の位置に応じた透過率分布とは、光の入射角に応じた透過率分布と同義である。
【００３３】
本実施例では、図２（Ａ）に示したように集合瞳３０１を９つの部分瞳３０１ａ〜３０１ｉに分割している。なお、図２（Ｂ）に示したように集合瞳３０１が同心円状の４つの部分瞳３０３ａ〜３０３ｄにより構成される場合は、透過率分布付与部１０３の透光部と遮光部を部分瞳と同様に同心円状に配置すればよい。
【００３４】
また、撮像素子１０４の複数の画素のうち結像光学系１０２の光軸上に位置する中心画素にて与えられる透過率分布は、例えば図５（Ａ）に示すようになっている。なお、実際の１画素内での透過率分布は２次元であるが、図５（Ａ）および図５（Ｂ），（Ｃ）では１次元の分布として示している。
【００３５】
図５（Ａ）〜（Ｃ）中の一点鎖線は、中心画素に入射する光の入射角限界を示している。ここで、透過率分布には、図５（Ｂ）に示すように画素への光の入射角に対して透過率が一様（不変）である場合も含まれる。つまり、画素に対する光の全ての入射角に対して透過率が１である場合も、該画素に透光部のみからなる透過率分布付与部１０３が透過率分布を付与しているものとする。また、透過率分布は、図５（Ａ）に示すように二値（１および０）の分布に限らず、図５（Ｃ）に示すように光の入射角に対して連続的に変化する分布も含まれる。さらに、ここでは画素が結像光学系１０２の光軸上に存在する場合について記載したため、図５（Ａ）〜（Ｃ）の一点差線は縦軸に対して軸対称となる。しかし、結像光学系１０２の光軸上からの画素がずれると、そのずれ量に応じて該画素に対する光線の入射角限界も横軸上をシフトする。なお、画素間の透過率分布が同一か否かを比較する際は、このシフトを除外してから両者を比べるものとする。
【００３６】
次に、撮像素子１０４にて得られる撮像画像について説明する。ここでは、部分瞳３０１ａ〜３０１ｃに対応する観察像が撮像される場合を例として説明するが、他の部分瞳に対応する観察像が撮像される場合も同じことが成り立つ。
【００３７】
部分瞳３０１ａに対応する観察像は、部分瞳３０１ａを通過した光のみを集めることで再現可能となる。なお、結像光学系１０２の集合瞳３０１は光電変換部２０２上に反転して結像されるので、図２（Ａ）中に左上にある部分瞳３０１ａに対応する観察像を形成する光は、各画素の右下の領域に入射する。そして、この部分瞳３０１ａに対応する観察像が、図６の上段（ｋ＝１）に示す像であるとする。この観察像に対して複数の画素にて透過率分布付与部１０３により付与される透過率分布は、図４に示した複数の画素のそれぞれにおける右下の領域の透過率を並べた図６の上段に示す透過率分布となる。他の部分瞳についても同様であり、図６中の中段（ｋ＝２）は部分瞳３０１ｂに対応する観察像および透過率分布を示し、下段（ｋ＝３）は部分瞳３０１ｃに対応する観察像および透過率分布を示している。
【００３８】
図６から分かるように、撮像素子１０４は、複数の部分瞳に対応する観察像のそれぞれに対して互いに異なる透過率分布を与え、かつそれら観察像が重なり合った撮像画像を取得する。図６に示した撮像素子１０４で得られる撮像画像ｓ（ｘ，ｙ）については撮像された被写体空間および与えられた平均の透過率分布の図示を省略している。
撮像画像ｓ（ｘ，ｙ）を数式で表すと、以下の式（１）のようになる。
【００３９】
【数１】
0006598473.tif 000002
【００４０】
ここで、ｘとｙはそれぞれ横方向と縦方向の座標を、η（ｘ，ｙ）はノイズを表す。また、Ｋは重ね合わされた観察像（つまりは部分瞳）の総数であり、本実施例ではＫ＝９である。さらに、Ｉｋ（ｘ，ｙ）はｋ番目の部分瞳に対応する観察像の光強度分布を、ｔｋ（ｘ，ｙ）はＩｋ（ｘ，ｙ）に対して設定された透過率分布である。
【００４１】
なお、式（１）中の透過率分布ｔｋ（ｘ，ｙ）は座標（ｘ，ｙ）を変数とした透過率の変化を示すが、図５（Ａ）〜（Ｃ）に示した画素への光の入射角に応じた透過率の分布も同様に透過率分布と呼ぶ。
【００４２】
式（１）は、行列で表記すると以下の式（２）のようになる。
【００４３】
【数２】
0006598473.tif 000003
【００４４】
ここで、ｓ，ｉおよびηはそれぞれ、撮像素子１０４で取得される画像のベクトル（入力画像ベクトル）、各部分瞳に対応する観察像のベクトル（観察像ベクトル）およびノイズのベクトル（ノイズベクトル）を示す。Ｈは透過率分布の付与と各観察像の重ね合わせを表す行列である。観察像ベクトルｉは、例えば以下の式（３）のように、ｋ番目の部分瞳に対応する観察像ベクトルｉｋを成分とする列ベクトルである。
【００４５】
【数３】
0006598473.tif 000004
【００４６】
なお、ｋ番目の部分瞳に対応する観察像Ｉｋ（ｘ，ｙ）がＭ×Ｎの成分からなる場合は、ｉｋは以下の式（４）で表されるＭＮ×１の成分を持つ列ベクトルである。
【００４７】
【数４】
0006598473.tif 000005
【００４８】
入力画像ベクトルｓおよびノイズベクトルηもそれぞれ同様に、ＭＮ×１の成分を持つ列ベクトルであり、以下の式（５）および式（６）で表される。
【００４９】
【数５】
0006598473.tif 000006
【００５０】
【数６】
0006598473.tif 000007
【００５１】
透過率分布の付与と観察像の重ね合わせを表す行列Ｈは、以下のような式（７）で与えられるＭＮ×ＫＭＮの成分を持つ行列である。
【００５２】
【数７】
0006598473.tif 000008
【００５３】
ここで、Ｇｋは以下の式（８）で表されるＭＮ×ＭＮ成分を持つ行列である。
【００５４】
【数８】
0006598473.tif 000009
【００５５】
本実施例においては、部分瞳３０１ａ〜３０１ｉに対応する観察像が互いに位置ずれのないように重ね合わされていることから、行列Ｇｋは全て式（８）のように対角成分のみを有することとなる。しかし、部分瞳３０１ａ〜３０１ｉに対応する観察像が互いにずれて重ね合わされている場合には、式（８）はその位置ずれ量に応じた非対角成分に有限な値を持つこととなる。
【００５６】
また、撮像素子１０４は、ある１つの画素（第１の画素）と該１つの画素に隣接する全ての画素（第２の画素）をまとめて隣接画素群というとき、複数の隣接画素群が互いに異なる４種類以上の透過率分布を有する画素を含むという特徴を有する。この特徴による効果については、後に図１０のフローチャートの説明において述べる。
【００５７】
隣接画素群とは、図７（Ａ）に示すように格子状に画素が配列された撮像素子１０４においては、例えば斜線を描いた１つの画素（第１の画素）と該１つの画素に上下左右および斜めにて隣接する横線を描いた８つの画素（第２の画素）をいう。また、図７（Ｂ）に示すように画素がハニカム構造で配列された撮像素子１０４においては、斜線を描いた１つの画素（第１の画素）と該１つの画素に上下および斜めにて隣接する横線を描いた６つの画素（第２の画素）をいう。
【００５８】
なお、隣接画素群における透過率分布の種類は、以下のように数える。図７（Ａ）に示した隣接画素群（９画素）において、透過率分布が全て異なる場合は９種類の画素を含むという。また、例えば透過率分布Ａを持つ画素が複数画素存在し、透過率分布Ｂ，Ｃを持つ画素が１画素ずつ存在し、さらに透過率分布Ｄを持つ画素が複数画素存在するものとする。この場合は、４種類の透過率分布Ａ，Ｂ，Ｃ，Ｄを有する画素を含むという。
【００５９】
次に、画像処理部１０６で行われる画像処理について、図８のフローチャートを用いて説明する。画像処理部１０６は、この画像処理（推定処理）を行うことで、複数の部分瞳３０１ａ〜３０１ｉに対応する観察像の情報が重ね合わされた撮像画像としての入力画像から、各部分瞳に対応する視点画像（出力画像）を分離する。
【００６０】
ステップＳ１０１において、情報取得部１０６ａは、図６に示した式（１）中のｓ（ｘ，ｙ）である入力画像と、各部分瞳に対応した観察像に対して与えられた式（１）中のｔｋ（ｘ，ｙ）である透過率分布の情報とを取得する。
【００６１】
ステップＳ１０２では、パラメタ設定部１０６ｂは、推定処理に用いるパラメタを設定する。推定処理に用いるパラメタは、次のステップＳ１０３で説明する正則化項やその重み、繰り返し演算の回数、後述するステップＳ１０４で用いる収束条件等が挙げられる。また、パラメタとして、出力画像としてどの部分瞳に対応する視点画像を出力するか等を指定してもよい。この際、部分瞳３０１ａ〜３０１ｉのうち１つの部分瞳に対応する視点画像のみを出力画像としてもよいし、全ての部分瞳３０１ａ〜３０１ｉのそれぞれに対応する視点画像を出力画像としてもよい。本実施例では後者とする。なお、部分瞳３０１ａ〜３０１ｉのうち２以上の部分瞳を足し合わせた新たな部分瞳を定義し、該新たに定義した部分瞳に対応する視点画像を出力画像としてもよいが、これについては後に詳しく説明する。
【００６２】
ステップＳ１０３では、推定画像生成部１０６ｃは、推定画像を生成する。推定画像とは、部分瞳３０１ａ〜３０１ｉのそれぞれに対応する視点画像である。式（２）で言えば、入力画像ベクトルｓと行列Ｈとから、各部分瞳に対応する観察像ベクトルｉを求めることに相当する。このことは、式（１）または式（２）を見ればわかるように、連立一次方程式の解を得ることに相当する。しかし、未知数（観察像ベクトルｉの行数）がＫＭＮ個あるにもかかわらず、連立方程式の数（行列Ｈの行数）はＭＮ個に過ぎない。さらに、未知のノイズをあわせると、未知数は（Ｋ＋１）ＭＮ個である。このため、解が一意的に求まることはなく、観察像ベクトルｉを得るには必然的に推定処理が必要となる。
【００６３】
推定処理を行わない場合は、画像解像度（観察像ベクトルｉの行数）を落とすことで観察像ベクトルｉを求めることができる。つまり、連立方程式の数（行列Ｈの行数ＭＮ）に未知数（観察像ベクトルｉの行数）の数を合わせる。この場合、部分瞳に対応する視点画像の解像度を、Ｍ×Ｎから（Ｍ／Ｋ０．５）×（Ｎ／Ｋ０．５）に落とすこととなる。これは、本実施例では、図９中の破線で囲まれた９つの画素内のＩｋ（ｘ，ｙ）の値を全て同一の値とすることに相当する。破線で囲まれた９画素には、それぞれ異なる透過率（係数）で９つの観察像（未知数）Ｉｋ（ｘ，ｙ）が足し合わされているため、９つの連立一次方程式が得られる。各一次方程式が独立ならば方程式の数と未知数の数が一致するため、解である観察像ベクトルｉが求まる。しかし、この方法では、特許文献１と同じ情報量しかライトフィールドの情報を得ることができない。そこで、本実施例では、推定処理を用いることで高解像度なライトフィールドを取得する。
【００６４】
ただし、推定処理を用いる場合でも、前述した連立一次方程式内で互いに独立な方程式の数が多いほど、その推定精度が向上する。方程式が互いに独立であるためには、少なくとも互いの係数（透過率分布）が異なっていなければならない。このため、近傍に存在する複数の画素はできる限り同一の透過率分布を与えられていないことが望ましい。分割したい瞳の数によって連立する一次方程式の数は変化するが、少なくとも縦横のそれぞれに対して瞳を２分割するはずであるので、隣接する画素群内で同一の透過率分布が少なければよいことになる。
【００６５】
したがって、本実施例の撮像素子１０４は、前述したように、隣接画素群が互いに異なる４種類以上の透過率分布を有する画素を含むように構成されている。これによって推定精度の低下を抑制し、異なる部分瞳に対応する高解像度な視点画像（つまりはライトフィールド）を得ることができる。図４に示す撮像素子１０４では、各隣接画素群に含まれる第１および第２の画素の全てが、互いに異なる透過率分布を有する。さらに、撮像素子１０４において互いに隣接する４つの画素に注目したとき、該４つの画素における透過率分布が全て異なっている。
【００６６】
入力画像から各部分瞳に対応する推定画像（視点画像）を得る推定処理について説明する。推定画像は、以下の式（９）で表される最適化問題の解を求めることで生成される。
【００６７】
【数９】
0006598473.tif 000010
【００６８】
ここで、ｖはベクトル化された推定画像（推定画像ベクトル）であり、Ｌは損失関数、Φはｖに対する正則化項である。それぞれの具体的な例については後述する。損失関Ｌ数は、解をモデル（ここでは式（２）の連立方程式）にフィッティングさせる効果を持つ。
【００６９】
ただし、前述したように式（２）の連立方程式は未知数の数よりも方程式の数が小さいため、解が一意的に求まらない。このため、解を尤もらしいものへと収束させる効果を持つ正則化項Φを利用する。正則化項には、事前知識と呼ばれる解（観察像ベクトルｉ）が持つべき性質を用いる。また、正則化項は、損失関数のみを考えた際に起こる過剰なフィッティング（ノイズベクトルηの影響を推定画像ベクトルｖに反映させてしまうこと）を防ぐ役割も有する。
【００７０】
推定画像ベクトルｖは、以下の式（１０）のように、ｋ番目の部分瞳に対応した推定画像ベクトルｖｋを成分とする列ベクトルである。
【００７１】
【数１０】
0006598473.tif 000011
【００７２】
ここで、ｋ番目の部分瞳から被写体空間を観察した場合の推定画像をＶｋ（ｘ，ｙ）としたとき、ｖｋは式（４）と同様に、以下の式（１１）で表されるＭＮ×１の成分を持つ列ベクトルとなる。
【００７３】
【数１１】
0006598473.tif 000012
【００７４】
式（９）中の損失関数と正則化項の具体例について説明する。損失関数としては、以下の式（１２）で示される関数が考えられる。
【００７５】
【数１２】
0006598473.tif 000013
【００７６】
ここで、
0006598473.tif 000014
【００７７】
はｐ次平均ノルムを表す記号であり、ｐ＝２のときはユークリッドノルムを指す。
正則化項の例としては、以下の式（１３）で示される１次平均ノルムが挙げられる。
【００７８】
【数１３】
0006598473.tif 000015
【００７９】
ここで、λは正則化項の重みを表すパラメタである。Ψは画像に対する基底変換を表す行列であり、その例としてウェーブレット変換や離散コサイン変換等が挙げられる。式（１３）の正則化項は、画像に対してウェーブレット変換や離散コサイン変換等の基底変換が行われることで、信号成分がスパース（疎）になる、つまり、より少ない数の信号で表せるという性質に基づいたものである。これに関しては、例えば以下の参考文献１に詳しい。
参考文献１：Richard G.Baraniuk,“Compressive Sensing”, IEEE SIGNAL PROCESSING MAGAZINE [118] JULY 2007
式（１３）では各部分瞳に対して同一の重みλを用いているが、ｋに応じて異なる重みを付けてもよい。
【００８０】
また、以下の式（１４）および式（１５）のそれぞれで示されるティホノフ正則化項や全変動（Total Variation：ＴＶ）ノルム正則化項を用いてもよい。
【００８１】
【数１４】
0006598473.tif 000016
【００８２】
【数１５】
0006598473.tif 000017
【００８３】
ここで、∂ｘＶｋ及び∂ｙＶｋはそれぞれ、推定画像Ｖｋのｘ方向とｙ方向に対する１次微分を表す。
【００８４】
最適化問題である推定式（９）を解くには、繰り返し演算を用いた手法を利用し、正則化項として式（１４）を採用した場合は共役勾配法等を使用すればよい。また、式（１３）または式（１５）を正則化項とした場合はＴｗＩＳＴ（Two-step Iterative Shrinkage/Thresholding）等を用いるとよい。ＴｗＩＳＴに関しては、以下の参考文献２に詳細が説明されている。
参考文献２：J.M.Bioucas-Dias,et al.,“A new TwIST:two-step iterative shrinkage/thresholding algorithms for image restoration”, IEEE Trans.on Image Processing,vol.16,Dec.2007
また、これらの繰り返し演算を行う際、繰り返し毎に正則化の重みλ等のパラメタを更新してもよい。
【００８５】
上記のような最適化問題の解法を利用することで、部分瞳３０１ａ〜３０１ｉに対応する推定画像が得られる。
【００８６】
ステップＳ１０４では、推定完了判定部１０６ｄは、前ステップＳ１０３で生成された推定画像が既定の条件を満足しているか否かを判定する。該条件を満足している場合はステップＳ１０５に進む。既定の条件としては、例えば、ステップＳ１０３で行った繰り返し演算が既定の回数以上となっていることや、繰り返し演算によって更新される推定画像の変化が既定の値以下となっていることが挙げられる。条件を満足していない場合は、ステップＳ１０３に戻り、推定画像生成部１０６ｃがさらに繰り返し計算の回数を増やして推定画像を生成する。
【００８７】
ステップＳ１０５では、出力画像生成部１０６ｅは、ステップＳ１０３で生成された推定画像を出力画像として出力する。
【００８８】
以上のような処理によって、撮像素子１０４を用いて取得された入力画像から、互いに異なる部分瞳３０１ａ〜３０１ｉに対応する出力画像（視点画像）を得ることができる。
【００８９】
次に、本実施例の効果を高めるための望ましい条件について説明する。ステップＳ１０３では、解像度を落として連立方程式を解く手法（ステップＳ１０３の説明内で図９を用いて解説した手法）に、式（９）で表されるような推定を加えることで、高解像度の出力画像を生成している。これは逆に言うと、解像度を落として連立方程式を解く手法において、高精度に解が求められる条件の際に、式（９）による推定を加えた処理でも同様に推定精度が向上することを意味する。その条件とは、先にも述べた通り、連立一次方程式が互いに独立なときである。同一の透過率分布を持つ画素が連立一次方程式内に存在すれば、それだけ独立な方程式の数が減ってしまう。
【００９０】
このため、隣接画素群が互いに異なる６種類以上の透過率分布を有する画素を含むことが望ましい。
撮像素子１０４の隣接画素群のうち同一の透過率分布を持つ画素が１／４以下であることが望ましい。さらに望ましくは、隣接画素群に同一の透過率分布を持つ画素が存在しない（つまりは全ての画素の透過率分布が異なる）とよい。
【００９１】
また、前述した連立一次方程式は、撮像素子１０４内の全ての画素に対して立てることができる。画像の広い範囲に対して方程式の解が精度良く推定されるためには、さらに以下の条件を満足することが望ましい。すなわち、４種類以上の透過率分布の画素が含まれるという条件を満足する隣接画素群における第１の画素（図７（Ａ），（Ｂ）中の斜線が描かれた画素）を特定画素というとき、該特定画素が撮像素子１０４の全画素のうち半数以上存在するとよい。
【００９２】
さらに望ましくは、撮像素子１０４の全ての画素が特定画素となるとよい。これにより、画像全域にわたって高い推定精度を得ることができる。また、特定画素を隣接画素群に同一の透過率分布が存在しないときの第１の画素と定義すると、より高い精度で広範囲に推定画像を得ることができる。
【００９３】
ここまでは第１の画素とこれに隣接する第２の画素からなる隣接画素群を考えたが、より正確には連立一次方程式の数（分離したい部分瞳に対応する視点画像の数）に応じて、注目する画素群の大きさを変えて独立性を判定することが望ましい。さらに、全く同一の透過率分布でなくても、画素群内の複数の透過率分布の一次結合で表される透過率分布であれば、それは一次従属関係にある。このため、これらを考慮した以下に説明する条件を満足することで、より上記効果を高めることができる。
【００９４】
任意の第１の画素（ｘｍ，ｙｎ）（ｍ＝１，…，Ｍ、ｎ＝１，…，Ｎ）と該第１の画素の周辺の第３の画素（第１の画素に隣接する第２の画素を含む）からなる画素群の各画素において、各ｋについての透過率を成分とするベクトルがどの程度一次独立性を有するかを考える。透過率は連立一次方程式の係数を表すため、該ベクトルを係数ベクトルと呼ぶこととし、該係数ベクトル（行ベクトル）を配列した行列をＥとする。この際、推定画像の推定精度を向上するため、行列Ｅは以下の式（１６）で示す条件を満足することが望ましい。
【００９５】
【数１６】
0006598473.tif 000018
【００９６】
ここで、ａを以下の式（１７）で定義した場合、行列Ｅは本実施例において以下の式（１８）で与えられる。
【００９７】
【数１７】
0006598473.tif 000019
【００９８】
【数１８】
0006598473.tif 000020
【００９９】
ここで、式（１７）中のｃｅｉｌは天井関数を表す。行列Ｅは、図９を用いて説明した解像度を落として連立方程式を解く手法において、各方程式の係数からなる行列である（本実施例では、Ｅが９×９行列となる）。つまり、行列Ｅの階数が、１画素あたりの未知数の数であるＫに近いほど、推定精度が向上することを意味する。このため、透過率分布は全ての画素（ｘｍ，ｙｎ）に対して、式（１６）の条件を満足するような分布となっていることが望ましい。
【０１００】
本実施例では、各部分瞳に対応する観察像がずれなく重ね合わされているため、行列Ｅにおける行ベクトル（係数ベクトル）の各成分は同一の座標をとっているが、観察像がずれている場合はそれに合わせて該座標もずれることとなる。
【０１０１】
より望ましくは、式（１６）で示した範囲を、以下の式（１９）で示す範囲とするとよい。
【０１０２】
【数１９】
0006598473.tif 000021
【０１０３】
さらに望ましくは、以下の式（２０）で示す範囲とするとよい。
【０１０４】
【数２０】
0006598473.tif 000022
【０１０５】
また、入力画像において重ね合わされた部分瞳に対応する観察像のそれぞれに与えられた透過率分布をｋ（各部分瞳）に関して平均した分布を角度平均透過率分布ｔｋａｖｅとする。このとき、角度平均透過率分布の最小値ｔｋａｖｅ，ｍｉｎが０よりも大きいことが望ましい。角度平均透過率分布ｔｋａｖｅは、式（１）の記法を用いると、以下の式（２１）で表される。
【０１０６】
【数２１】
0006598473.tif 000023
【０１０７】
なお、ここでは角度平均透過率分布をｋ（瞳）による総和をとることで求めたが、画素への光の入射角に対する総和で求めてもよい。角度平均透過率分布ｔｋａｖｅの値が０となる画素（ｘｍ，ｙｎ）が存在する場合、該画素には光が一切入射しないことを意味する。推定画像ベクトルｖを得ることは、先にも述べたように連立一次方程式の解を推定することに他ならない。光が入射しない画素が存在すると、該画素では一次方程式の係数（透過率ｔｋ）が全て０となるため、連立一次方程式の数が減ってしまうことになる。このため、一次方程式の数が減らないように、角度平均透過率分布の最小値は０よりも大きいことが望ましい。
【０１０８】
また、１画素内における透過率分布の平均値を全画素に対して平均した値（角度平均透過率分布の座標平均）を、ｔｋａｖｅ，ｘｙａｖｅとするとき、以下の式（２２）の条件を満足することが望ましい。
【０１０９】
【数２２】
0006598473.tif 000024
【０１１０】
式（２２）は、撮像素子１０４で取得される光量が、透過率分布を与えない場合に対してどの程度かを表している。光量が小さくなるとＳ／Ｎ比が低下するため、光量比はできる限り大きいことが望ましい。しかし、先にも述べたように、推定画像を高精度に得るためには、行列Ｅの階数が大きい必要がある。ｔｋａｖｅ，ｘｙａｖｅが最大値である１をとる場合は、透過率分布を与えていないことと同義であるため、行列Ｅのランクは１となってしまう。さらに、ｔｋａｖｅ，ｘｙａｖｅが１に近いということは、連立一次方程式の係数が総じて高い、つまり互いに近い値を持っていることを意味する。この場合、ノイズなどの影響により方程式の解が求まりにくくなるため、ｔｋａｖｅ，ｘｙａｖｅを式（２２）の範囲に収めることが望ましい。
【０１１１】
より望ましくは、以下の式（２３）の範囲にｔｋａｖｅ，ｘｙａｖｅを収めるとよい。
【０１１２】
【数２３】
0006598473.tif 000025
【０１１３】
さらに望ましくは、以下の式（２４）の範囲にｔｋａｖｅ，ｘｙａｖｅを収めるとよい。
【０１１４】
【数２４】
0006598473.tif 000026
【０１１５】
また、任意の画素における透過率分布の最大値と最小値を、それぞれ最大透過率ｔｍａｘおよび最小透過率ｔｍｉｎとするとき、以下の式（２５）の条件を満足する画素が存在していることが望ましい。
【０１１６】
【数２５】
0006598473.tif 000027
【０１１７】
最小透過率ｔｍｉｎと最大透過率ｔｍａｘは、推定画像を求めるために解く連立一次方程式の係数である。両者が近い値を持っていると前述した通りノイズの影響で方程式の解が求まりにくくなるため、式（２５）の上限値を下回っていることが望ましい。また、式（２５）の下限値である０．０は、負の透過率が存在しないため理論的に超えることができない。
【０１１８】
より望ましくは、以下の式（２６）の条件を満足する画素が存在していることが望ましい。
【０１１９】
【数２６】
0006598473.tif 000028
【０１２０】
さらに望ましくは、以下の式（２７）の条件を満足する画素が存在していることが望ましい。
【０１２１】
【数２７】
0006598473.tif 000029
【０１２２】
さらに、撮像素子１０４の全画素のうち、式（２５）〜（２７）のいずれかの条件を満足する画素が半数以上存在することが望ましい。これにより、画像の広い範囲にわたって推定精度を向上することができる。さらに、撮像素子１０４の全画素が、式（２５）〜（２７）のいずれかの条件を満足すると、画像全域で高精度の推定が可能になる。
また、角度平均透過率分布ｔｋａｖｅの最大値ｔｋａｖｅ，ｍａｘと最小値ｔｋａｖｅ，ｍｉｎの比が、以下の式（２８）の条件を満足することが望ましい。
【０１２３】
【数２８】
0006598473.tif 000030
【０１２４】
最大角度平均透過率ｔｋａｖｅ，ｍａｘと最小角度平均透過率ｔｋａｖｅ，ｍｉｎが離れていると、入力画像の領域ごとに大きく露出条件が異なることとなる。この場合、輝度飽和や黒潰れを起こす領域が発生しやすくなり、取得すべき情報が失われてしまう。このため、推定画像の推定精度も低下する。したがって、式（２８）の条件を満足するように最大角度平均透過率ｔｋａｖｅ，ｍａｘと最小角度平均透過率ｔｋａｖｅ，ｍｉｎの値を近付けるとよい。
【０１２５】
より望ましくは、以下の式（２９）の条件を満足するとよい。
【０１２６】
【数２９】
0006598473.tif 000031
【０１２７】
さらに望ましくは、以下の式（３０）の条件を満足するよい。
【０１２８】
【数３０】
0006598473.tif 000032
【０１２９】
次に、部分瞳に対応する出力画像を生成する際の補足事項について説明する。本実施例では、集合瞳３０１を９つの部分瞳３０１ａ〜３０１ｉに分割し、それぞれに対応する観察像に対して異なる透過率分布を与えた。しかし、必ずしも部分瞳３０１ａ〜３０１ｉに対応する出力画像を推定（生成）する必要はなく、幾つかの部分瞳が足し合わされた部分瞳に対応する出力画像を生成してもよい。
【０１３０】
これについて、図１０および図１１を用いて説明する。図１０は、集合瞳３０１をそれぞれ縦線部、横線部および斜線部として示す３つの部分瞳３０４ａ，３０４ｂ，３０４ｃに分割した例を示す。部分瞳３０４ａは、図２（Ａ）に示した部分瞳３０１ａ〜３０１ｃを足し合わせた部分瞳である。部分瞳３０４ｂは、図２（Ａ）に示した部分瞳３０１ｄ〜３０１ｆを足し合わせた部分瞳である。部分瞳３０４ｃは、図２（Ａ）に示した部分瞳３０１ｇ〜３０１ｉを足し合わせた部分瞳である。この場合、部分瞳３０４ａ〜３０４ｃに対応する３つの出力画像を生成してもよい。この際、部分瞳３０４ａ〜３０４ｃのそれぞれに対応する観察像に与えられる透過率分布は、図２（Ａ）の部分瞳３０１ａ〜３０１ｉに対応する９つの観察像のうち足し合わされた３つの観察像に与えられた透過率分布を平均化した分布となる。例えば、図１１には、部分瞳３０４ａに対応する観察像に与えられる透過率分布ｔ３０４ａを示している。図１１は、図４と同様に、撮像素子１０４の各画素に設けられた透過率分布付与部１０３（１０３ａ，１０３ｂ，・・・）を示している。図１１に示した各画素内で一点鎖線により囲まれた領域の透過率を平均し、２次元平面上に並べたものが透過率分布ｔ３０４ａに相当する。透過率ｔ３０４ａは、以下の式（３１）のように表される。
【０１３１】
【数３１】
0006598473.tif 000033
【０１３２】
ここで、ｊ＝１，２，３はそれぞれ、図２（Ａ）に示した部分瞳３０１ａ，３０１ｂ，３０１ｃである。図１０中の他の部分瞳３０４ｂ，３０４ｃについても、同様に透過率分布が求められる。これらの透過率分布をｔｋとし、かつＫ＝３とすることで、前述した式（１）〜（３０）を用いて行った説明は全て同様に成り立つ。この際、出力画像に対応する部分瞳は部分瞳３０４ａ〜３０４ｃとなる。
【０１３３】
また、図１に示した画像取得部１０１に用いる撮像素子１０４に代えて、図１２のような構成を有する撮像素子４０１を用いてもよい。撮像素子４０１は、透過率分布付与手段としての回折素子４０２と、それぞれの画素に設けられた光電変換部４０３（４０３ａ，４０３ｂ，・・・）と、それぞれの画素の内壁に設けられた遮光部４０４（４０４ａ，４０４ｂ，・・・）とを有する。
【０１３４】
回折素子４０２は、画素ごとに異なる回折パターンを有している。各画素に入射した光は、回折素子４０２によって、その入射角に応じて異なる次数の回折光の効率が高められるようになっている。図１２中の実線、破線および一点鎖線はそれぞれ、異なる角度で回折素子４０２に入射した光線と、その回折光のうち最も光量が大きいものを表している。回折素子４０２に入射した光はその角度によって進行方向が光電変換部４０３と遮光部４０４とに分けられる。回折素子４０２（撮像素子４０１）に入射する光の角度は、該光が通過した結像光学系１０２の部分瞳に対応している。このため、各部分瞳に対応する観察像には、その部分瞳の位置に応じて異なる透過率分布が与えられる。そして、それらの観察像が重ね合わされた撮像画像（入力画像）が取得される。
【０１３５】
なお、遮光部４０４は、その遮光部４０４が設けられた画素の内壁での反射光がその画素の光電変換部４０３に入射することを回避するために設けられているが、必ずしも必要ではない。
【０１３６】
本実施例よれば、撮像素子の画素数が少なくても、異なる瞳から同一時刻の被写体空間を観察した複数の画像を高解像に生成することができる。
【実施例２】
【０１３７】
次に、本発明の実施例２について説明する。本実施例では、撮像画像（入力画像）を取得する撮像装置と、該入力画像から出力画像を生成する画像処理装置とが別々の装置として構成されている。また、本実施例では、撮像素子の各画素に複数の光電変換部が存在する。本実施例の画像処理システムの構成を図１３（Ａ）に、外観を図１３（Ｂ）にそれぞれ示す。
【０１３８】
撮像装置５０１は、被写体空間からの光を結像させる結像光学系５０２と、複数の画素に透過率分布付与部５０３が設けられた撮像素子５０４とを有する。撮像素子５０４は、結像光学系５０２の複数の部分瞳に対して互いに異なる透過率分布を与える。撮像装置５０１の詳しい構成は後述する。撮像装置５０１によって得られた入力画像は、通信部５０６を介して画像処理装置５０５に入力される。
【０１３９】
入力画像は、上述した撮像素子５０４により、複数の部分瞳に対応する観察像が重ね合わされた重畳像を撮像して得られた画像である。入力画像は、画像処理装置５０５内の記憶部５０７に記憶される。また、記憶部５０７には、撮像素子５０４の透過率分布に関する情報も記憶される。
【０１４０】
画像処理装置５０５は、情報取得部５０５ａ、パラメタ設定部５０５ｂ、推定画像生成部５０５ｃ、推定完了判定部５０５ｄおよび出力画像生成部５０５ｅを有する。情報取得部５０５ａが取得手段に、パラメタ設定部５０５ｂ、推定画像生成部５０５ｃ、推定完了判定部５０５ｄおよび出力画像生成部５０５ｅが生成手段に相当する。画像処理装置５０５は、入力画像に対して画像処理を行うことで出力画像を生成する。この際、記憶手段としての記憶部５０７に記憶された透過率分布の情報が使用される。
【０１４１】
生成された出力画像は、通信部５０６を介して表示装置５０８、記録媒体５０９および出力装置５１０のうち少なくとも１つに出力される。表示装置５０８は、液晶ディスプレイやプロジェクタ等により構成され、出力画像を表示する。ユーザは表示装置５０８により表示された処理途中の画像を確認しながら作業を行うこともできる。記録媒体５０９は、半導体メモリ、ハードディスク、ネットワーク上のサーバー等により構成され、出力画像を保存する。出力装置５１０は、プリンタ等により構成され、出力画像を印刷等する。画像処理装置５０５は、必要に応じて現像処理やその他の画像処理を行う機能を有していてよい。
【０１４２】
次に、撮像装置５０１の構成について説明する。撮像装置５０１は、図１４に示すような構成されている。図１４に示す構成は、１つの画素（小レンズアレイ６０１を構成する小レンズ１つ）に対して複数の光電変換部が設けられている点が、実施例１において図１を用いて説明した構成と異なる。撮像素子５０４は、小レンズアレイ６０１と、画素ごとに複数設けられた光電変換部６０２（６０２ａ，６０２ｂ，・・・・）と、光電変換部ごとに設けられた透過率分布付与部５０３（５０３ａ，５０３ｂ，・・・）とを有する。
【０１４３】
被写体面６１２と小レンズアレイ６０１は、結像光学系５０２により共役に関係付けられている。また、結像光学系５０２の集合瞳６１１と各光電変換部６０２は、小レンズアレイ６０１により概ね共役に関係付けられている。
【０１４４】
集合瞳６１１は、図１５に示すように、１６の部分瞳に分割されている。これらの部分瞳と撮像素子５０４との関係を図１６に示す。本実施例の撮像装置５０１では、小レンズアレイ６０１の１つの小レンズが結像する集合瞳６１１の像を、２×２の計４つの光電変換部６０２で分割して取得する。図１６中に破線で示した円は、１つの小レンズが結像する集合瞳６１１の像を表し、この像を受光する４つの光電変換部６０２（６０２ａ〜６０２ｄ）が１画素を構成する。
【０１４５】
図１６に示す撮像素子５０４は、実施例１の撮像素子１０４と同様に、複数の隣接画素群は互いに異なる４種類以上の透過率分布を有する画素を含む。さらに、撮像素子５０４において互いに隣接する４つの画素に注目したとき、該４つの画素における透過率分布も全て異なっている。
【０１４６】
各部分瞳に対応する観察像に対して与えられる透過率分布は、実施例１と同様に考えることができる。例えば、図１５の集合瞳６１１のうち左上の部分瞳に対応する観察像に対して与えられる透過率分布は、図１６中に一点鎖線で囲んだ部分の透過率を配列することで得られる。本実施例では、４つの光電変換部６０２で集合瞳６１１の像を分割して取得する。このため、同一の部分瞳に対応する観察像を撮像する光電変換部群（縦方向と横方向に１つずつとばして抽出した複数の光電変換部）に対して、式（１）〜（３１）を用いて行った説明が同様に成り立つ。このとき、重ね合わされた観察像の数Ｋは４であり、図１５の集合瞳６１１の中心を通る２本の破線で分割された４つの瞳領域（それぞれ４つの部分瞳を含む）内における部分瞳が、ｋ＝１〜４で指定されることとなる。
【０１４７】
情報取得部５０５ａ、パラメタ設定部５０５ｂ、推定画像生成部５０５ｃ、推定完了判定部５０５ｄおよび出力画像生成部５０５ｅで行われる処理は、実施例１で図８のフローチャートを用いて説明した処理と同様である。本実施例では、図１５に示した１６の部分瞳に対応する１６の視点画像を出力画像として生成する。
【０１４８】
本実施例によれば、撮像装置に設けられた撮像素子の画素数が少なくても、異なる瞳から同一時刻の被写体空間を観察した複数の画像を画像処理装置によって高解像に生成することができる。
【実施例３】
【０１４９】
次に、本発明の実施例３について説明する。本実施例の撮像装置は、互いに異なる部分瞳に対応する観察像が重ね合わされた重畳像を撮像するとともに、通常の被写体像も同時に撮像する。本実施例の画像処理システムの構成を図１７（Ａ）に、外観を図１７（Ｂ）にそれぞれ示す。
【０１５０】
図１７（Ａ）において、サーバー７０６は通信部７０７を有し、ネットワーク７０５を介して撮像装置７０１と接続されている。この接続は、有線または無線のいずれの接続方法を用いてもよい。
【０１５１】
撮像装置７０１は、被写体空間からの光を結像させる結像光学系７０２と、複数の画素に透過率分布付与部７０３を有する撮像素子７０４とを有する。撮像装置７０１の詳しい構成について後述する。
【０１５２】
撮像装置７０１で取得された画像は自動的にまたは手動で画像処理装置としてのサーバー７０６の通信部７０７へと送信され、入力画像として記憶部７０８および画像処理部７０９に送られる。記憶手段としての記憶部７０８には、入力画像の他に、透過率分布付与部７０３で与えられた透過率分布の情報も記憶される。画像処理部７０９は、入力画像と透過率分布の情報を用いて出力画像を生成する。出力画像は、記憶部７０８に記憶されるか、通信部７０７を介して撮像装置７０１へと送信される。
【０１５３】
次に、撮像装置７０１の構成について、図１８を用いて説明する。撮像素子７０４における画素と集合瞳８１１との関係を図１９に示す。図１９に示すように、撮像素子７０４は、透過率分布付与部７０３（７０３ａ，７０３ｃ・・・）を有する画素と、透過率分布付与部７０３を有さない（つまり、透過率分布が一様である）画素とが交互に配置されている。これにより、結像光学系７０２における集合瞳８１１内で分割された複数の部分瞳に対応する複数の観察像の撮像画像と、通常の被写体像の撮像画像とを同時に取得することができる。
【０１５４】
図１９に示す撮像素子７０４でも、実施例１の撮像素子１０４と同様に、複数の隣接画素群が互いに異なる４種類以上の透過率分布を有する画素を含む。
【０１５５】
ここで、通常の撮像画像とは、図１８に示す構成において、透過率分布付与部７０３が存在しない場合に取得できる画像を意味する。ただし、図１８に示す構成では、透過率分布付与部７０３が全く存在しない場合に対して、通常の撮像画像の解像度は半分となる。また、図１８および図１９では、集合瞳８１１が２×２の計４つに分割されている。それ以外の部分に関する説明は、実施例１にて図１に示した構成と同様である。
【０１５６】
また、画像処理部７０９で行われる処理は、実施例１において図８のフローチャートを用いて説明した処理と同様である。ただし、本実施例では、撮像素子７０４のうち透過率分布付与部７０３を有する画素の出力のみで生成された撮像画像が入力画像となる。透過率分布付与部７０３を有さない画素の出力のみで生成された通常の撮像画像は、出力画像を推定する際の参照データとして利用される。該通常の撮像画像は、出力画像とは、視点または被写界深度が異なるが、写っている被写体空間の大まかな構成は共通している。このため、通常の撮像画像を参照データとして実施例１中の式（９）に示した推定処理を行うことで、出力画像の推定精度を向上させることができる。
【０１５７】
本実施例でも、撮像素子の画素数が少なくても、異なる瞳から同一時刻の被写体空間を観察した複数の画像を画像処理装置（サーバー）によって高解像に生成することができる。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【０１５８】
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
【符号の説明】
【０１５９】
１０３（１０３ａ，１０３ｂ）  透過率分布付与部
１０４，４０１，５０４：撮像素子
２０１  小レンズアレイ
２０２（２０２ａ，２０２ｂ，２０２ｃ）  光電変換部
４０２：回折素子
【図１】
0006598473.tif 000037
【図２】
0006598473.tif 000038
【図３】
0006598473.tif 000039
【図４】
0006598473.tif 000040
【図５】
0006598473.tif 000041
【図６】
0006598473.tif 000042
【図７】
0006598473.tif 000043
【図８】
0006598473.tif 000044
【図９】
0006598473.tif 000045
【図１０】
0006598473.tif 000046
【図１１】
0006598473.tif 000047
【図１２】
0006598473.tif 000048
【図１３】
0006598473.tif 000049
【図１４】
0006598473.tif 000050
【図１５】
0006598473.tif 000051
【図１６】
0006598473.tif 000052
【図１７】
0006598473.tif 000053
【図１８】
0006598473.tif 000054
【図１９】
0006598473.tif 000055