(57)【要約】【課題】  撮像素子の前面に配置するマイクロレンズアレイと撮像素子との配置関係を可変とした撮像装置およびその制御方法を提供する。【解決手段】  マイクロレンズアレイを備えた撮影レンズが装着されている場合に、撮影レンズの情報と撮像素子の情報とを用いて、マイクロレンズアレイと撮像素子との距離および、絞り値を決定する。決定した距離を有するように、マイクロレンズアレイもしくは撮像素子を移動させるとともに、絞り値を設定する。【選択図】  図１
2014130277.tif 000002
【特許請求の範囲】
【請求項１】
複数の光電変換素子を有する撮像素子と、
マイクロレンズアレイを備えた撮影レンズが装着されている場合に、前記撮影レンズの情報と、前記撮像素子の情報とを用いて、前記マイクロレンズアレイと前記撮像素子との距離および、絞り値を決定する決定手段と、
前記決定手段が決定した距離を有するように、前記マイクロレンズアレイもしくは前記撮像素子を移動させるとともに、前記絞り値を設定する制御手段とを有し、
前記決定手段が、前記マイクロレンズアレイを構成するマイクロレンズの１つからの出射光が入射する前記撮像素子上の領域を包含する、前記撮像素子上の所定の大きさを有する領域に含まれる光電変換素子の数に基づいて、前記距離および前記絞り値を決定することを特徴とする撮像装置。
【請求項２】
前記決定手段が、前記所定の大きさを有する領域に含まれる光電変換素子の数が一定になるように、前記距離および前記絞り値を決定することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記決定手段が、前記絞り値を、前記マイクロレンズアレイの隣接するマイクロレンズの出射光が干渉しない値に決定することを特徴とする請求項１または請求項２に記載の撮像装置。
【請求項４】
前記決定手段は、マイクロレンズアレイを備えていない撮影レンズが装着されている場合には、前記距離および前記絞り値の決定を行わないことを特徴とする請求項１から請求項３のいずれか１項に記載の撮像装置。
【請求項５】
光軸に沿って移動可能なマイクロレンズアレイを備えることを特徴とする撮影レンズ。
【請求項６】
複数の光電変換素子を有する撮像素子を有する撮像装置の制御方法であって、
決定手段が、マイクロレンズアレイを備えた撮影レンズが装着されている場合に、前記撮影レンズの情報と、前記撮像素子の情報とを用いて、前記マイクロレンズアレイと前記撮像素子との距離および、絞り値を決定する決定工程と、
制御手段が、前記決定手段が決定した距離を有するように、前記マイクロレンズアレイもしくは前記撮像素子を移動させるとともに、前記絞り値を設定する制御工程とを有し、  前記決定工程において前記決定手段は、前記マイクロレンズアレイを構成するマイクロレンズの１つからの出射光が入射する前記撮像素子上の領域を包含する、前記撮像素子上の所定の大きさを有する領域に含まれる光電変換素子の数に基づいて、前記距離および前記絞り値を決定することを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置およびその制御方法に関し、特に撮影後にリフォーカス可能な画像データを生成する撮像装置およびその制御方法に関する。
【背景技術】
【０００２】
近年、画素位置に入射する光の積分強度のみならず、画素位置に入射する光の入射方向ごとの強度を記録する撮像装置が提案され、ライトフィールドカメラなどと呼ばれている（非特許文献１）。例えば、撮影レンズと撮像素子との間にマイクロレンズアレイを配置し、撮像素子の複数の画素で１つのマイクロレンズの出射光を受光するように構成すると、各画素では異なる方向からマイクロレンズに入射した光の強度を得ることができる。
【０００３】
このように取得された画素信号（光線情報）は、マイクロレンズの位置における方向別の入射光強度の情報を有する。そのため、「Light Field Photography」と呼ばれる手法を適用することで、任意の像面にピントを合わせた画像（以下、リフォーカス画像）を再構成することができる。また、１つのマイクロレンズの出射光を受光した複数の画素で得られた信号を加算すれば、マイクロレンズの数に等しい画素数を有する通常の撮影画像を得ることができる。リフォーカス画像を再構成可能な画像を、本明細書ではライトフィールド画像とよぶ。
【０００４】
この方法では、再構成画像の１画素の情報を、１つのマイクロレンズの出射光を受光する複数の画素で得た情報から生成するため、再構成画像の画素数は撮像素子の総画素数に比べて少なくなる。ライトフィールド画像でない通常の画像を生成する際にも、複数の画素で得た情報を合成して１画素を生成するため、同じ撮像素子を用いている通常のカメラで得られるよりも少ない画素数の画像しか得られない。つまり、従前のライトフィールドカメラは、あくまでライトフィールド画像を撮影するための構成であり、通常画像もライトフィールド画像のある特定の像面位置に対応した画像という位置づけになる。従って、リフォーカスできない通常の画像の撮影性能が低下することは避けられなかった。
【０００５】
特許文献１ではこのような問題を解決するため、レンズ交換式カメラにおいて交換レンズとカメラとの接合部に着脱式のマイクロレンズアレイを配置する構成を提案している。マイクロレンズアレイを着脱式とすることで、マイクロレンズアレイを装着したときのみライトフィールド画像を撮影でき、マイクロレンズアレイを装着しないときは、最大で撮像素子の画素数に等しい通常画像の撮影ができるとしている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−１０２２３０号公報
【非特許文献】
【０００７】
【非特許文献１】Ren.Ng、他、”Light Field Photography with a Hand-Held Plenoptic Camera”，Stanford Tech Report CTSR 2005-02、2005.4.20
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１に開示された従来技術では、交換レンズや撮像装置によらずマイクロレンズアレイと撮像素子の配置関係は一定である。そのため、撮像装置が有する撮像素子の大きさや画素数の違いに応じたマイクロレンズと画素との対応付けを行うことができない。
【０００９】
本発明はこのような従来技術の課題に鑑みてなされたものであり、撮像素子の前面に配置するマイクロレンズアレイと撮像素子との配置関係を可変とした撮像装置およびその制御方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上述の目的は、複数の光電変換素子を有する撮像素子と、マイクロレンズアレイを備えた撮影レンズが装着されている場合に、撮影レンズの情報と、撮像素子の情報とを用いて、マイクロレンズアレイと撮像素子との距離および、絞り値を決定する決定手段と、決定手段が決定した距離を有するように、マイクロレンズアレイもしくは撮像素子を移動させるとともに、絞り値を設定する制御手段とを有し、決定手段が、マイクロレンズアレイを構成するマイクロレンズの１つからの出射光が入射する撮像素子上の領域を包含する、撮像素子上の所定の大きさを有する領域に含まれる光電変換素子の数に基づいて、距離および絞り値を決定することを特徴とする撮像装置によって達成される。
【発明の効果】
【００１１】
このような構成により、本発明によれば、撮像素子の前面に配置するマイクロレンズアレイと撮像素子との配置関係を可変とした撮像装置およびその制御方法を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１の実施形態に係る撮像装置の構成例を示すブロック図
【図２】（ａ）は図１におけるマイクロレンズアレイ１０３と撮像素子１０４の付近の拡大図、（ｂ）はマイクロレンズ３００の出射光とマイクロレンズ３００に対応する光電変換素子群３０６との位置関係を示した図
【図３】撮像素子の光電変換素子密度が高い場合の、図２（ａ）および図２（ｂ）に対応する図
【図４】本発明の第１の実施形態に係るマイクロレンズアレイおよび絞り値の制御方法を説明するための図
【図５】マイクロレンズアレイの光軸方向の位置と受光領域との関係を示す図
【図６】本発明の第２の実施形態に係る撮像装置の構成例を示すブロック図
【発明を実施するための形態】
【００１３】
（第１の実施形態）
以下、図面を参照して、本発明を例示的な実施形態に基づいて詳細に説明する。
図１は、本発明の第１の実施形態に係る撮像装置の構成例を示すブロック図であり、光線の進行方向を横から見た状態を示している。
【００１４】
本実施形態の撮像装置はレンズ交換式であり、撮影レンズとしての交換レンズ１００と、本体１０７とから構成される。交換レンズ１００と本体１０７とは、交換レンズ１００と本体１０７にそれぞれ設けられたレンズマウントを介して着脱可能に構成されている。図１に示す、本体１０７と交換レンズ１００との間での信号のやりとりは、レンズマウントに設けられた電気的接点を通じて行われるのが一般的であるが、無接点での通信など他の方法で通信が行われてもよい。
【００１５】
交換レンズ１００にはレンズユニット１０２とマイクロレンズアレイ１０３が設けられており、レンズユニット１０２から出射された光がマイクロレンズアレイ１０３に入射するように構成されている。
【００１６】
レンズユニット１０２はフォーカスレンズを含む複数のレンズを有する。レンズユニット１０２にはまた絞り１０１が設けられ、絞り１０１の開口の大きさは本体１０７の制御部１０５によって制御可能である。絞り１０１の開口の大きさを制御することで、レンズユニット１０２から出射する光の最大入射角を制御することができ、開口を小さくするほど、この最大入射角を小さくすることができる。
【００１７】
マイクロレンズアレイ１０３は複数のマイクロレンズを２次元状に配列したもので、本実施形態では、光軸と並行に移動可能に構成されている。マイクロレンズアレイ１０３を駆動するための機構は例えばフォーカスレンズを駆動する機構と同様であってよく、公知の構成を利用可能であるため詳細についての説明は省略する。
【００１８】
交換レンズ１００は、レンズユニット１０２に含まれるフォーカスレンズや変倍レンズ、絞り１０１、マイクロレンズアレイ１０３を駆動するためのモータやアクチュエータなどの駆動源も有し、制御部１０５の制御に従ってこれらの部材を駆動する。駆動源の電源は例えばレンズマウントを通じて本体１０７から供給される。
【００１９】
マイクロレンズアレイ１０３を通過した光は、光電変換素子を２次元状に配列した撮像素子１０４にて電気信号に変換される。上述したように、マイクロレンズアレイ１０３を構成する各マイクロレンズと撮像素子１０４の光電変換素子が１対１で対応しているのではなく、１つのマイクロレンズに対して複数の光電変換素子（画素）が対応する。変換された電気信号は、画像処理部１０６にて画像合成処理を施され、画像データとなる。
【００２０】
制御部１０５は、画像処理部１０６から画像データおよび撮像素子１０４の情報を、交換レンズ１００から交換レンズ情報を受信し、マイクロレンズアレイ１０３の位置と絞り１０１の開口を制御する。その他、制御部１０５は、不図示の操作部からのユーザの指示や各種検出結果、解析結果等に応じて本体１０７の各部を制御する。本実施形態では、ユーザが、撮影モードとして少なくとも画質優先モードとリフォーカス優先モードの２つを設定可能としている。制御部１０５はユーザからのモード設定に従って、各部の制御を切り替える。
【００２１】
本実施形態における制御部１０５が行う、マイクロレンズアレイ１０３と絞り１０１の制御動作について、図２〜図５をさらに用いて詳細に説明する。
図２（ａ）は、図１におけるマイクロレンズアレイ１０３と撮像素子１０４の付近の拡大図である。ここでは便宜上、２次元的なマイクロレンズアレイ１０３のうち、垂直方向に配列した１列のマイクロレンズの一部と、これらマイクロレンズに対応する撮像素子１０４の一部領域に関して説明する。
【００２２】
マイクロレンズ３００〜３０５は、マイクロレンズアレイ１０３を構成する２次元配列されたマイクロレンズうち、垂直方向に並んだ一列の一部を示している。また、光電変換素子群３０６〜３１１は、撮像素子１０４に二次元配列された画素のうち、マイクロレンズ３００〜３０５に対応する画素群を示している。なお、図２では光電変換素子群３０６〜３１１が一次元的に示されているが、実際には図２（ｂ）に示すような２次元配列である。
【００２３】
図中Ａは、マイクロレンズアレイ１０３のレンズ断面中心から撮像素子１０４までの距離である。また、図中の斜線部分は各マイクロレンズ３００〜３０５の出射光の広がりを表わしている。
【００２４】
図２（ａ）では、撮像素子１０４とマイクロレンズアレイ１０３との距離Ａおよび絞り１０１の開口の大きさ（絞り値）の組み合わせが最適な状態になっている場合を示している。最適な状態とは、隣接するマイクロレンズの出射光の広がりが重複せず、１つのマイクロレンズに対応する光電変換素子の数が予め定めた数に等しい状態である。出射光の広がりの重複（クロストーク）がないことは、良好な画質を得る上で重要である。なお、画素の使用効率を考慮すれば、図２（ａ）に示すように、マイクロレンズの出射光の広がりが、隣接するマイクロレンズの出射光の広がりと重複しない範囲で大きくなる方がよい。
【００２５】
なお、１つのマイクロレンズに「対応する」複数の光電変換素子とは、マイクロレンズの出射光によって撮像素子上に形成される領域を包含した所定の大きさを有する領域内に含まれる光電変換素子群である。図２（ｂ）に示すように、マイクロレンズの出射光が撮像素子上に円形の領域３００’を形成する場合、例えばその外接矩形領域に含まれる光電変換素子群である。
【００２６】
図２（ｂ）は、マイクロレンズ３００の出射光が撮像素子１０４に入射する範囲（出射光の広がり）３００’と、マイクロレンズ３００に対応する光電変換素子群３０６との位置関係を、マイクロレンズ３００の光線方向で示した図である。本実施形態ではライトフィールド画像を生成する際に、情報量として１マイクロレンズあたり一例として５×５の光電変換素子で十分であるとする。そして、図２（ａ）における光電変換素子群３０６〜３１１は５×５で構成されているものとする。
他のマイクロレンズ３０１〜３０５についても同様に、５×５の光電変換素子群３０７〜３１１がそれぞれ対応している。
【００２７】
図２の例では、距離Ａおよび絞り値が適切であるため、各マイクロレンズ３００〜３０５の出射光の広がりは撮像素子１０４（撮像面）上で重複せず、かつライトフィールド画像を生成するのに過不足ない５×５の光電変換素子群に対応している。
【００２８】
しかしながら、撮像素子１０４の構成が異なる場合、この距離Ａと絞り値の組み合わせが適切とは限らない。図３は、図２の交換レンズ１００を別の構成の撮像素子４０４を有する本体１０７に装着した状態を、図２と同様に示している。
図３（ａ）に示す本体１０７は、素子密度が撮像素子１０４よりも高い撮像素子４０４を有している。そして、光電変換素子群４０６〜４１１がマイクロレンズアレイ１０３のマイクロレンズ３００〜３０５に対応している。
【００２９】
本実施形態に係る撮像装置のようにレンズ交換式の撮像装置では、交換レンズに互換性があるため、同じ交換レンズに異なる本体が装着されることが珍しくない。同じメーカのカメラであっても、撮像素子の種類や光電変換素子密度は様々である。新しい撮像装置が出るたびに、撮像素子は仕様が変わる場合が多い。撮像装置によって画素数や撮像素子の密度が変わることがある。ここでは、図３（ａ）の撮像素子４０４は、図２（ａ）の撮像素子１０４の４倍の密度で光電変換素子が配置されているものとする。
【００３０】
距離Ａと絞り値は図２（ａ）と同じなので、それぞれのマイクロレンズ３００〜３０５の出射光が入射する撮像素子４０４上の領域の面積は図２（ａ）の構成と等しい。図３（ｂ）は、マイクロレンズ３００とそれに対応した光電変換素子群４０６の位置関係を示す。図３（ｂ）は、マイクロレンズ３００の出射光が撮像素子４０４に入射する範囲（出射光の広がり）３００’と、マイクロレンズ３００に対応する光電変換素子群４０６との位置関係を、マイクロレンズ３００の光線方向で示した図である。図２（ｂ）との違いは、光電変換素子群４０６の素子数である。
【００３１】
図２（ｂ）の光電変換素子群３０６は５×５素子から構成されるが、素子密度が４倍の撮像素子４０４では、図３（ｂ）に示すように光電変換素子群４０６が１０×１０素子と４倍の数になる。この場合、撮像素子４０４を用いたライトフィールド画像は、必要十分な光電変換素子の４倍の光電変換素子で生成されることになる。たとえば１マイクロレンズあたり１つの画素を生成すると考えると、本体１０７が画素数の多い（光電変換素子数の多い）撮像素子４０４を搭載していても、画素数が少ない撮像素子１０４を搭載した本体と同等の画素数のライトフィールド画像しか得られない。つまり、撮像素子の画素密度によらず、得られるライトフィールド画像の画素数は一定であり、撮像素子４０４の光電変換素子の使用効率が低い。しかし一方で、１マイクロレンズあたりの光電変換素子の数が増えるため、リフォーカス可能な被写体距離の範囲は広くなる。また、各マイクロレンズの特定の視線方向からの光電変換素子でライトフィールド画像を構成することによる視点変更などでも、より分解能の高い視点変更が可能となる。
【００３２】
図４（ａ）は、制御部１０５によってマイクロレンズアレイ１０３の位置および絞り１０１の開口の大きさを制御することにより、最終画像としてのライトフィールド画像の解像度を優先して撮像素子４０４を効率よく使用できるようにした状態を示している。図２と同じ構成要素には同じ参照数字を付してある。
マイクロレンズ５００〜５０５は、マイクロレンズ３００〜３０５と同じ列で、マイクロレンズ３０５に続いて存在するマイクロレンズである。また、５１８の破線で囲まれている部分は図２（ａ）のマイクロレンズアレイ１０３の位置を示している。距離Ｂは図４（ａ）におけるマイクロレンズアレイ１０３のレンズ断面中心から撮像素子４０４までの距離である。
【００３３】
図４（ａ）では、図２（ａ）と縮尺が異なるため、小さく記載されているが、マイクロレンズ３００〜３０５，５００〜５０５のそれぞれの大きさは図２（ａ）に示したものと同じである。この点については図５を用いてさらに後述する。図４（ａ）では、マイクロレンズアレイ１０３が光軸に沿って撮像素子４０４から離れる方向に移動し、撮像素子４０４とマイクロレンズアレイ１０３との距離が距離Ａから距離Ｂとなった例を示している。
【００３４】
制御部１０５は、撮像素子１０４の光電変換素子密度の情報および交換レンズ１００の品種情報を受けて距離Ｂを決定し、マイクロレンズアレイ１０３を移動させる。マイクロレンズアレイ１０３の移動は、制御部１０５がマイクロレンズアレイ１０３の駆動源を直接制御してもよいし、交換レンズ１００のコントローラに指示を与えて間接的に行ってもよい。指示は、移動方向と移動量の組み合わせであっても、距離Ｂに対応する位置の情報であってもよい。
【００３５】
距離Ｂは、交換レンズ１００が有するマイクロレンズアレイ１０３と本体１０７が搭載する撮像素子４０４の固有値と、予め定めたマイクロレンズあたりの画素数とによって決まる。前述したとおり、ライトフィールド画像の解像度が優先される場合（画質優先モード）は距離Ｂに、広い被写体距離のリフォーカスや高い分解能な視点変更を行いたい場合（リフォーカス優先モード）には、例えば距離Ａに設定されるのが好ましい。
【００３６】
なお、撮像素子４０４とマイクロレンズアレイ１０３との距離が増えると、各マイクロレンズの出射光が撮像素子４０４に入射する領域が広くなる。そのため、絞り値を変えずにマイクロレンズアレイ１０３と撮像素子４０４との距離を図２（ａ）の距離Ａよりも大きくした場合、隣接するマイクロレンズの出射光の干渉（クロストーク）が発生する。
【００３７】
従って、制御部１０５は、マイクロレンズアレイ１０３の位置に応じて、各マイクロレンズ３００〜３０５、５００〜５０５の出射光の干渉が発生しないよう、絞り１０１も制御する。図２（ａ）の例であれば、マイクロレンズアレイ１０３と撮像素子４０４との距離を距離Ａよりも大きくする場合には開口を小さくする（絞る）方向に、距離Ａよりも小さくする場合には開口を大きくする（開く）方向に制御する。絞り１０１の開口の大きさは、制御部１０５が絞り１０１の駆動源を直接制御して変更してもよいし、交換レンズ１００のコントローラに絞り値を設定して間接的に変更してもよい。
【００３８】
マイクロレンズアレイ１０３と撮像素子４０４との距離（またはマイクロレンズアレイ１０３の位置）に応じた絞り値の情報は、交換レンズの機種別の情報として予め本体１０７が有する不揮発性メモリなどに登録しておくことができる。あるいは、交換レンズ１００から取得する情報と撮像素子４０４の情報とを用いて制御部１０５が算出してもよい。
【００３９】
図４（ａ）の例では、距離Ｂ＞距離Ａであるため、制御部１０５は距離Ａにおける絞り値よりも小さい絞り値に絞り１０１を変更し、絞り１０１の開口を小さくする。なお、図４（ａ）において、図２（ａ）よりもマイクロレンズの数が増えているが、これはマイクロレンズアレイ１０３を構成するマイクロレンズのうち、受光するマイクロレンズの数が増加したことを示している。
【００４０】
マイクロレンズアレイ１０３には、交換レンズ１００内の位置に応じて変化する受光領域が最大となる状態を想定してマイクロレンズが設けられている。図２（ａ）の状態では受光領域に含まれていなかったマイクロレンズ５００〜５０５が、マイクロレンズアレイ１０３が図４（ａ）の位置に移動されたことにより受光領域に含まれるようになるため、図４（ａ）ではマイクロレンズが増加したように記載されている。このように、マイクロレンズアレイ１０３の位置に応じて受光する（有効な）マイクロレンズの数が変化することで、生成されるライトフィールド画像の画素数を変化させることができる。
【００４１】
本実施形態では、画質（ライトフィールド画像の解像度）を優先するモード設定においては、各マイクロレンズに対応する光電変換素子数が一定となるようにマイクロレンズアレイ１０３の位置を制御する。そのため、撮像素子４０４の総光電変換素子数が増加すれば、それに応じて受光するマイクロレンズの数も増加させる必要がある。
【００４２】
図５はマイクロレンズアレイ１０３の光軸方向おける位置と受光領域との関係を示す図であり、光線上でマイクロレンズアレイ１０３を見た状態を示している。小さい円はマイクロレンズを表わしている。破線で示している内側の円７００は、図２（ａ）に示した距離Ａに対応する位置におけるマイクロレンズアレイ１０３の受光範囲を模式的に示している。一方、破線で示している外側の円７０１は、図４（ａ）に示した距離Ｂに対応する位置におけるマイクロレンズアレイ１０３の受光範囲を模式的に示している。
【００４３】
このように、マイクロレンズアレイ１０３を光軸方向に移動させると、位置に応じてマイクロレンズアレイ１０３の受光領域の面積も変化する。具体的には、マイクロレンズアレイ１０３の位置が、交換レンズ１００の前方（レンズマウントと反対方向）にあるほど、受光領域は大きくなる。マイクロレンズアレイ１０３の可動域における最大受光領域をカバーできるように、マイクロレンズが形成されている。図４（ａ）におけるマイクロレンズ５００〜５０５は、円７００に含まれず、円７０１に含まれる部分に存在するマイクロレンズである。
【００４４】
図４（ｂ）は、図４（ａ）の状態における、マイクロレンズの出射光が撮像素子４０４に入射する範囲（出射光の広がり）と、マイクロレンズに対応する光電変換素子群との位置関係を、マイクロレンズ３００の光線方向で示した図である。
図４（ｂ）において、３００’および３０１’はマイクロレンズ３００および３０１の出射光が撮像素子４０４に入射する範囲である。また、６００’および６０１’は、マイクロレンズ３００および３０１の１列左（図４（ａ）では紙面に対して１列奥）に存在するマイクロレンズの出射光が撮像素子４０４に入射する範囲である。
【００４５】
マイクロレンズアレイ１０３が距離Ａの位置にある場合は、図３（ｂ）に示したように、撮像素子４０４の１０×１０の光電変換素子が１つのマイクロレンズに対応していた。これに対し、図４（ｂ）では５×５の光電変換素子が１つのマイクロレンズに対応するようになり、１０×１０の光電変換素子で対応できるマイクロレンズの数が４倍になっている。
【００４６】
本実施形態ではライトフィールド画像の１画素あたり５×５の光電変換素子で足りるという前提であるため、図２と同等の品質で画素数が４倍のライトフィールド画像を生成することが可能になる。このように、本実施形態では、各マイクロレンズに対応する光電変換素子数が一定になるようにマイクロレンズアレイ１０３の位置および絞り１０１の開口の大きさを制御することで、撮像素子が有する光電変換素子の有効利用を実現している。
【００４７】
なお、本実施形態では撮像素子の光電変換素子密度が高くなった場合の制御について説明したが、逆に密度が低くなった場合は、マイクロレンズアレイ１０３を撮像素子に近づける方向に動かし、絞り１０１を開くように制御する。この場合、ライトフィールド画像の画素数は距離が固定の場合より減少するが、マイクロレンズに対応する光電変換素子の数が減少しないため、画質を維持することができる。
【００４８】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。図６は、本発明の第２の実施形態に係る撮像装置の構成例を示すブロック図であり、光線の進行方向を横から見た状態を示している。本実施形態係る撮像装置を構成する機能ブロックは第１の実施形態と共通であるが、動作が異なる。
【００４９】
本実施形態では、交換レンズ１００内のマイクロレンズアレイ１０３は固定で、撮像素子１０４の位置を光軸方向に移動させる点が第１の実施形態と異なる。従って、制御部１０５はマイクロレンズアレイ１０３の位置を制御する代わりに、撮像素子１０４の位置をを制御する。上述のように、適切な距離はマイクロレンズアレイ１０３や撮像素子１０４の固有値と予め定めたマイクロレンズあたりの画素数とによって一律に決まり、機器の状態によって変わるものではない。従って、制御部１０５は装着された交換レンズ１００から必要な情報を取得することで、適切な距離を決定することができる。
【００５０】
撮像素子１０４を移動させるための機構は、任意の公知の構成を用いることが可能であり、制御部１０５は駆動源を制御することにより、撮像素子１０４の位置を制御することができる。また、絞り１０１の開口の大きさの制御については、第１の実施形態と同様に行うことができる。
【００５１】
本実施形態では、ライトフィールド画像の１画素を生成するために用いられる光電変換素子（マイクロレンズに対応する光電変換素子）の数を一定にすることができる。そのため、本体１０７が搭載する撮像素子１０４の光電変換素子密度に依存せず、同じ操作でリフォーカス画像を生成することが可能なライトフィールド画像を生成できる。また、必要以上の光電変換素子を用いないため、光電変換素子密度が高い撮像素子を用いた場合の必要以上の負荷を回避できる。
【００５２】
第１および第２の実施形態では、ライトフィールド画像を撮像するための交換レンズが装着された場合の各モード設定に応じた適切な撮影光学系の配置情報について説明した。ここでライトフィールド画像を撮像するための交換レンズが装着された場合の本体１０７、交換レンズ１００の動作について説明する。ただし、通常の画像を撮影するための、マイクロレンズアレイなどが搭載されていない従来の交換レンズが装着された場合、制御部１０５は上述の実施形態における画素の取り扱い、制御部１０５の制御を行わず、従来の通常の撮像装置として動作する。具体的には、ライトフィールド画像を撮影するための交換レンズが装着される場合、撮像素子１０４の各光電変換素子がどの単位（上述した５×５や１０×１０など）で１つのマイクロレンズに対応しているかの情報（画素の組み合わせ情報）が必要である。
【００５３】
交換レンズ１００が装着された状態で本体１０７の電源がＯＮされると、制御部１０５は交換レンズ１００から前述したようなレンズ情報を取得する。さらに、制御部１０５は、ユーザからの指示等により設定された現在のモード設定（画質優先か、リフォーカス優先か）の情報も踏まえて撮影光学系の配置情報を決定し、対応する画素の組み合わせ情報を設定する。このとき第２の実施形態の構成では、制御部１０５は、撮影光学系の配置情報に従って撮像素子１０４を適切な位置に移動させる。そして、実際の撮像から記録までの処理では、制御部１０５及び画像処理部１０６は設定された画素の組み合わせ情報にしたがって光電変換素子からの出力を処理していく。
【００５４】
一方、交換レンズ１００は例えば本体１０７の電源投入時に、本体１０７からレンズ情報を要求する信号を受信し、レンズ情報を本体１０７に送信する。その後、第１の実施形態の構成では、例えば交換レンズ１００に設けられた制御部が、本体１０７から撮影光学系の配置情報に基づいたマイクロレンズアレイ１０３の位置を指示する情報を取得し、該当する位置にマイクロレンズアレイ１０３を移動させる。なお、本体１０７が有する制御部１０５が、撮像光学系の配置情報を決定し、交換レンズ１００の駆動部材を制御して該当する位置にマイクロレンズアレイ１０３を移動させてもよい。
【００５５】
第１および第２の実施形態では、ライトフィールド画像を撮像するための交換レンズに関する動作について説明した。しかし、ライトフィールド画像ではなく通常の画像を撮影するための交換レンズが装着された場合、制御部１０５は上述のマイクロレンズアレイ１０３や絞り１０１の制御を行わない。
【００５６】
制御部１０５は交換レンズ１００から品種情報を含むレンズ情報を受け取るので、そこでライトフィールド画像用の交換レンズではないと認識した場合、制御部１０５は動作せず、従来の撮像装置と同様の動作を行う。
【００５７】
また、第１および第２の実施形態１においては、ライトフィールド画像の生成に必要十分な光電変換素子を、マイクロレンズあたり５×５とした例を説明したが、これは単なる例示であり、より少ない値や多い値であってもよい。
【００５８】
また、制御部１０５を撮像装置の本体１０７に搭載した例を説明したが、たとえば、制御部１０５の機能の一部を達成する構成（ＣＰＵ等）を交換レンズ１００に搭載するなど、他の場所に搭載してもよい。
【００５９】
以上、本発明の例示的な実施形態について説明したが、本発明はこれらの実施形態に限定されず、特許請求の範囲に記載された範囲内で種々の変形及び変更が可能である。
【図１】
2014130277.tif 000003
【図２】
2014130277.tif 000004
【図３】
2014130277.tif 000005
【図４】
2014130277.tif 000006
【図５】
2014130277.tif 000007
【図６】
2014130277.tif 000008