(57)【要約】【課題】  ライトフィールドカメラに適した方法でマイクロレンズと撮像素子の位置関係を検出するとともに、マイクロレンズと撮像素子の回転方向の位置関係が所定の位置関係になるように位置合わせを行えるようにすること。【解決手段】  マイクロレンズアレイ（１０２）を通過した光の光線情報から、撮影後に再構成することが可能な画像を生成する撮像装置（１００）であって、光線情報を電気信号に変換する複数の光電変換素子を含む撮像素子（１０３）と、撮像素子の予め決められた検知領域に含まれる光電変換素子から得られた電気信号を用いて、マイクロレンズアレイと撮像素子との、予め決められた位置関係からの回転ズレの方向及びズレ量を示す回転ズレ情報を検出する回転ズレ検知部（１０４）と、検出した回転ズレ情報に基づいて、回転ズレを補正するようにマイクロレンズアレイ及び撮像素子の少なくともいずれか一方を駆動する回転駆動部（１０５）とを有する。【選択図】  図１
2014220581.tif 000002
【特許請求の範囲】
【請求項１】
マイクロレンズを２次元に配列したマイクロレンズアレイを通過した光の強度分布及び光の入射方向を示す光線情報から、撮影後に再構成することが可能な画像を生成する撮像装置であって、
前記光線情報を電気信号に変換する複数の光電変換素子を含む撮像素子と、
前記撮像素子の予め決められた検知領域に含まれる光電変換素子から得られた電気信号を用いて、前記マイクロレンズアレイと前記撮像素子との、予め決められた位置関係からの回転ズレの方向及びズレ量を示す回転ズレ情報を検出する検出手段と、
前記検出手段により検出した回転ズレ情報に基づいて、前記回転ズレを補正するように前記マイクロレンズアレイ及び前記撮像素子の少なくともいずれか一方を駆動する駆動手段と
を有することを特徴とする撮像装置。
【請求項２】
前記検出手段は、
前記検知領域に含まれる光電変換素子からの電気信号から、第１の方向のエッジを検知する第１の検知部と、
前記検知領域に含まれる光電変換素子からの電気信号から、前記第１の方向と異なる第２の方向のエッジを検知する第２の検知部と、
前記予め決められた位置関係にある場合に検出される前記第１の方向及び前記第２の方向のエッジの位置に対する、前記検出された第１の方向及び前記第２の方向のエッジの位置から、前記回転ズレ情報を生成する生成手段と
を含むことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記検出手段は、
前記検知領域に含まれる光電変換素子からの電気信号を前記第１の方向に積分する第１の積分手段と、
前記検知領域に含まれる光電変換素子からの電気信号を前記第２の方向に積分する第２の積分手段とを更に有し、
前記第１の検知部は、前記第１の積分手段により積分された値から前記第１の方向のエッジを検知し、前記第２の検知部は、前記第２の積分手段により積分された値から前記第２の方向のエッジを検知することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記第１の積分手段により積分された値の最大値または前記第２の積分手段により積分された値の最大値が予め決められた閾値以下の場合に、前記検出手段は光量が不足していることを警告することを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記検知領域は、前記撮像素子において光に応じた信号を出力する有効画素領域の、角部、または、前記第１の方向または前記第２の方向に並ぶ複数の光電変換素子を含む領域、または、対角線上に位置する複数の光電変換素子を含む領域であることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記検出手段は、前記撮像装置の電源を投入した時に前記回転ズレ情報を検出することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
【請求項７】
撮影準備を指示する第１の撮影指示手段と、
撮影を指示する第２の撮影指示手段とを更に有し、
前記検出手段は、前記第１の撮影指示手段による指示に応じて、前記回転ズレ情報を検出し、前記駆動手段を用いて前記回転ズレを補正した後に、前記第２の撮影指示手段による撮影の指示を受け付けることを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項８】
マイクロレンズを２次元に配列したマイクロレンズアレイを通過した光の強度分布及び光の入射方向を示す光線情報を電気信号に変換する複数の光電変換素子を含む撮像素子を有し、撮影後に再構成することが可能な画像を生成する撮像装置の制御方法であって、
検出手段が、前記撮像素子の予め決められた検知領域に含まれる光電変換素子から得られた電気信号を用いて、前記マイクロレンズアレイと前記撮像素子との、予め決められた位置関係からの回転ズレの方向及びズレ量を示す回転ズレ情報を検出する検出工程と、
駆動手段が、前記検出工程で検出した回転ズレ情報に基づいて、回転ズレを補正するように前記マイクロレンズアレイ及び前記撮像素子の少なくともいずれか一方を駆動する駆動工程と
を有することを特徴とする制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及びその制御方法に関し、特に撮影後にリフォーカス可能な画像データを生成する撮像装置及びその制御方法に関する。
【背景技術】
【０００２】
近年、電子カメラ等の撮像装置において、光の強度分布のみならず光の入射方向の情報をも取得可能な撮像装置（ライトフィールドカメラ）が提案されている。
【０００３】
例えば非特許文献１によれば、撮影レンズと撮像素子との間にマイクロレンズアレイを配置し、撮像素子の複数の画素に対してひとつのマイクロレンズを対応させることで、マイクロレンズを通過した光は複数の画素によって入射方向別に取得される。
【０００４】
このように取得された画素信号（光線情報）に対して、通常の撮影画像を生成するほかに、「Light Field Photography」と呼ばれる手法を適用することで、任意の像面にピントを合わせた画像（以下、リフォーカス画像）を撮影後に再構成することができる。
【０００５】
特許文献１では、複数のレンズが配置されたレンズ群の各レンズの位置を検出する方法が提案されている。また、特許文献２では、レンズ交換式カメラを使用して、レンズとカメラの接合部に着脱式のマイクロレンズアレイを配置する構成を提案している。このような構成とすることで、マイクロレンズアレイを装着したときのみリフォーカス画像を撮影でき、マイクロレンズアレイを装着しないときは、通常の画像の撮影ができるとしている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００４−３３３６９１号公報
【特許文献２】特開２０１０−１０２２３０号公報
【非特許文献】
【０００７】
【非特許文献１】Ｒｅｎ．Ｎｇ、他７名，「Ｌｉｇｈｔ  Ｆｉｅｌｄ  Ｐｈｏｔｏｇｒａｐｈｙ  ｗｉｔｈ  ａ  Ｈａｎｄ−Ｈｅｌｄ  Ｐｌｅｎｏｐｔｉｃ  Ｃａｍｅｒａ」，Ｓｔａｎｆｏｒｄ  Ｔｅｃｈ  Ｒｅｐｏｒｔ  ＣＴＳＲ  ２００５−０２
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ライトフィールドカメラにおいては、マイクロレンズアレイの各マイクロレンズに対応する撮像素子の個数及び配置が決まっている。図１７は、ライトフィールドカメラにおける撮像素子とマイクロレンズの個数および配置を表した例であり、１つのマイクロレンズに対して、５ｘ５の撮像素子が関係付けられている。
【０００９】
特許文献２に開示された交換レンズとカメラレンズアダプタを装着したカメラの場合、ユーザーによるカメラレンズアダプタの装着操作のために、マイクロレンズアレイと撮像素子の回転方向の位置関係にずれが生じることがある。また、交換レンズとカメラレンズアダプタを装着したカメラの場合、ユーザーによるズーム制御等のレンズ操作により、カメラレンズアダプタも動き、マイクロレンズアレイと撮像素子の回転方向の位置関係にずれが生じることがある。
【００１０】
撮像素子とマイクロレンズの位置関係にずれが生じた場合、ライトフィールドデータを撮像することが困難になる。図１８は、ライトフィールドカメラにおける撮像素子とマイクロレンズの位置関係がずれた例を示している。このような位置ズレが生じてしまった場合、画像処理の単位が崩れてしまい、処理が煩雑になる。
【００１１】
また、レンズ位置の検出方法に関して、特許文献１では、点像群やテンプレートを用いた位置検出方法が提案されている。しかし、ライトフィールドカメラでは撮像素子とマイクロレンズの関係が決められており、点像を適用することは困難である。
【００１２】
本発明は上記問題点を鑑みてなされたものであり、ライトフィールドカメラとして用いるためのマイクロレンズと撮像素子の回転方向の位置関係が所定の位置関係になるように位置合わせを行えるようにすることを目的とする。また、ライトフィールドカメラに適した、マイクロレンズと撮像素子の位置関係の検出方法を提案することを目的とする。
【００１３】
ライトフィールドカメラに適した方法でマイクロレンズと撮像素子の位置関係を検出するとともに、マイクロレンズと撮像素子の回転方向の位置関係が所定の位置関係になるように位置合わせを行えるようにすることを目的とする。
【課題を解決するための手段】
【００１４】
上記目的を達成するために、マイクロレンズを２次元に配列したマイクロレンズアレイを通過した光の強度分布及び光の入射方向を示す光線情報から、撮影後に再構成することが可能な画像を生成する本発明の撮像装置は、前記光線情報を電気信号に変換する複数の光電変換素子を含む撮像素子と、前記撮像素子の予め決められた検知領域に含まれる光電変換素子から得られた電気信号を用いて、前記マイクロレンズアレイと前記撮像素子との、予め決められた位置関係からの回転ズレの方向及びズレ量を示す回転ズレ情報を検出する検出手段と、前記検出手段により検出した回転ズレ情報に基づいて、前記回転ズレを補正するように前記マイクロレンズアレイ及び前記撮像素子の少なくともいずれか一方を駆動する駆動手段とを有する。
【発明の効果】
【００１５】
本発明によれば、ライトフィールドカメラに適した方法でマイクロレンズと撮像素子の位置関係を検出するとともに、マイクロレンズと撮像素子の回転方向の位置関係が所定の位置関係になるように位置合わせを行うことができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の第１の実施形態に係る撮像装置の概略構成を示すブロック図。
【図２】回転ズレ検知部の構成を示すブロック図。
【図３】撮像素子とマイクロレンズアレイとの位置関係が適切な場合の撮像素子とマイクロレンズアレイとの対応を示した図。
【図４】撮像素子とマイクロレンズアレイとの位置関係が適切な場合の検知領域における強度値の積分値の一例を示す図。
【図５】撮像素子とマイクロレンズアレイとの位置関係が適切な場合の強度値の積分結果の差の一例を示す図。
【図６】撮像素子に対してマイクロレンズアレイが右に回転した場合の撮像素子とマイクロレンズアレイとの対応を示した図。
【図７】撮像素子に対してマイクロレンズアレイが右に回転した場合の検知領域における強度値の積分値の一例を示す図。
【図８】撮像素子に対してマイクロレンズアレイが右に回転した場合の強度値の積分結果の差の一例を示す図。
【図９】撮像素子に対してマイクロレンズアレイが左に回転した場合の撮像素子とマイクロレンズアレイとの対応を示した図。
【図１０】撮像素子に対してマイクロレンズアレイが左に回転した場合の検知領域における強度値の積分値の一例を示す図。
【図１１】撮像素子に対してマイクロレンズアレイが左に回転した場合の強度値の積分結果の差の一例を示す図。
【図１２】第１の実施形態における撮像装置の全体処理を示すフローチャート。
【図１３】回転ズレ検知処理のフローチャート。
【図１４】検知領域の別の例を示す図。
【図１５】第２の実施形態に係る撮像装置の概略構成を示すブロック図。
【図１６】第２の実施形態における撮像装置の全体処理を示すフローチャート。
【図１７】従来の撮像素子とマイクロレンズの対応例を示す図。
【図１８】従来の撮像素子とマイクロレンズの位置関係がズレた場合の例を示す図。
【発明を実施するための形態】
【００１７】
以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。
【００１８】
＜第１の実施形態＞
図１を参照して、本発明の第１の実施形態に係る撮像装置について説明する。本第１の実施形態における撮像装置１００であり、以下のように動作する。
【００１９】
メインレンズ１０１及び複数のマイクロレンズを２次元状に配列したマイクロレンズアレイ１０２を通過した光の強度分布及び光の入射方向を示す光線情報は、光電変換素子を２次元状に配列した撮像素子１０３にて電気信号に変換される。以下、撮像素子１０３にて電気信号に変換されたデータを画像データと呼ぶ。なお、マイクロレンズアレイ１０２はマイクロレンズ間の隙間およびマイクロレンズアレイの外を通った光が撮像素子１０３に当たらないように遮光されているものとする。また、撮像素子１０３は光に応じた信号を出力するための有効画素領域１３１と黒基準信号を出力するための光学的黒領域（不図示）とを有する。更に、本実施形態において、マイクロレンズアレイ１０２上の各マイクロレンズと撮像素子１０３の光電変換素子は、非特許文献１で示されている構成と同様に、１対１で対応しているのではなく、１対複数で対応している。このように対応させることにより、光電変換素子により生成された電気信号に基づいて、撮影後に任意の焦点位置に合焦した画像を再構成することが可能となる。
【００２０】
記録画像処理部１４０は、有効画素領域１３１から出力された画像データを入力とし、記録するためのデータを生成するための画像処理を行う。回転ズレ検知部１０４は、有効画素領域１３１の一部の領域である検知領域１３０から出力される検知用画像データを入力として、撮像素子１０３とマイクロレンズアレイ１０２の回転ズレを検知する。回転駆動部１０５は、マイクロレンズアレイ１０２を回転させるための駆動用モーター１１０と、駆動用モーター１１０を回転させるための駆動信号を発生させる駆動信号発生部１２０とを有し、マイクロレンズアレイ１０２を回転方向に駆動する。
【００２１】
図２は、第１の実施形態における回転ズレ検知部１０４の構成を示すブロック図である。縦方向強度積分部１０４１は、撮像素子１０３の検知領域１３０から出力される画像データを入力とし、縦方向（第１の方向）の強度値の積分を行う。同様に、横方向強度積分部１０４２は、撮像素子１０３の検知領域１３０から出力される画像データを入力とし、横方向（第２の方向）の強度値の積分を行う。ここで強度値とは、撮像素子１０３における光電変換結果、得られる信号値である。ライトフィールドカメラにおいては、撮像素子１０３の各素子に対応する方向からの光線が大きい、もしくは輝度が大きければ強度値は大きくなる。反対に、撮像素子１０３の各素子に対応する方向からの光線が小さい、もしくは輝度が小さければ強度値は小さくなる。
【００２２】
光量判定部１０４３は、縦方向強度積分部１０４１の出力である縦方向積分結果および横方向強度積分部１０４２の出力である横方向積分結果を入力とし、撮像素子１０３とマイクロレンズアレイ１０２の位置関係の判定のために光量が十分かどうかを判定する。光量判定部１０４３は、光量判定用閾値を保持している。
【００２３】
縦方向ズレ検知部１０４４は、縦方向強度積分部１０４１からの出力である縦方向積分結果を入力とし、縦方向のズレを検知する。同様に、横方向ズレ検知部１０４５は、横方向強度積分部１０４２からの出力である横方向積分結果を入力とし、横方向のエッジを求める。ズレ情報生成部１０４７は、縦方向ズレ検知部１０４４の出力である縦方向エッジ情報及び横方向ズレ検知部１０４５の出力である横方向エッジ情報を入力とし、回転ズレ情報に変換して出力する。
【００２４】
次に、上記構成を有する回転ズレ検知部１０４における回転ズレ情報の生成処理について説明する。
【００２５】
図３は、マイクロレンズアレイ１０２と撮像素子１０３との位置関係が適切な場合を示した図である。図３（ａ）は、２５（＝５×５）のマイクロレンズと、対応する光電変換素子を示しており、図３（ｂ）は、１つのマイクロレンズと対応する光電変換素子を示しており、ここでは、５×５の２５の光電変換素子に対応しているものとする。なお、図３（ａ）のマイクロレンズアレイ１０２において、左上のマイクロレンズに対応する５×５の光電変換素子からなるブロックを検知領域１３０として説明する。
【００２６】
また、図３（ｂ）において、ｘ１〜ｘ５は、検知領域１３０のｘ軸方向、ｙ１〜ｙ５は、ｙ軸方向の座標である。網掛けしている光電変換素子１１０１、１１０２、１１０３、１１０４は、遮光され、光が当たっていない領域が大半を占める光電変換素子を示している。
【００２７】
図４は検知領域１３０における強度値の積分値をヒストグラムで表した図である。図４（ａ）は縦方向の積分値のヒストグラムであり、縦方向強度積分部１０４１の出力結果である。図４（ａ）の縦軸は強度値、横軸はＸ軸方向の座標であり、図３（ｂ）の座標に対応している。縦軸の強度値は、Ｘ軸方向の強度値の積分結果である。図４（ａ）において網掛けしている強度１２０１、１２０２、１２０３、１２０４は、図３（ｂ）において網掛けしている光電変換素子１１０１、１１０２、１１０３、１１０４からの出力に対応している。上述したように、光電変換素子１１０１、１１０２、１１０３、１１０４の大半の領域は遮光されているため、全面に光が当たっているその他の光電変換素子よりも強度が小さくなる。
【００２８】
また、図４（ａ）の光量判定用閾値１９０１は光量判定部１０４３が光量が十分かどうかを判定するために用いる閾値であり、強度値の積分結果が光量判定用閾値１９０１を超えた場合、回転ズレを検知するのに十分な光量であると判定する。積分結果が閾値以下の場合、回転ズレを検知するのに十分な光量では無いと判定する。
【００２９】
また、図４（ｂ）は横方向の積分値をヒストグラムであり、横方向強度積分部１０４２の出力結果である。図４（ｂ）の横軸は強度値、縦軸はＹ軸方向の座標であり、図３（ｂ）の座標に対応している。横軸の強度値は、Ｙ軸方向の強度値の積分結果である。図４（ａ）と同様に、光電変換素子１１０１、１１０２、１１０３、１１０４からの出力には網掛けをしている。
【００３０】
縦方向ズレ検知部１０４４は、縦方向積分結果を用いて縦方向のエッジを検出する。縦方向のエッジは、対象列の積分結果と１列手前の積分結果との差が閾値を超えるかで判定する。この閾値を縦方向エッジ検出用閾値とする。また、エッジを求める際、ｘ１列目は１列手前が無いので例外として、そのままｘ１列目の積分結果を差として用いる。
【００３１】
図５は、撮像素子１０３とマイクロレンズアレイ１０２との位置関係が適切な場合である図４（ａ）の積分結果を入力とした場合の、１列隣の列との差をヒストグラムで表したものである。横軸は、Ｘ軸方向の座標であり、ｘ１列目はｘ１列目、それ以降はｘ２列目−ｘ１列目のように、１つ前列との差であることを示している。縦軸は、１つ前列との強度値の差であり、この縦方向エッジ検出用閾値２００１を超えた個所を縦方向エッジ情報とする。
【００３２】
図５に示す例の場合、撮像素子１０３とマイクロレンズアレイ１０２の位置関係が適切なので、四隅を除く検知領域１３０のほぼ全域に光が照射している。そのため、ｘ１列目の値が最も大きくなる。この場合、縦方向のエッジ情報を「０」とする。
【００３３】
横方向ズレ検知部１０４５も同様に、エッジ検出量閾値を保持し、積分結果が閾値を超えた点を横方向のエッジ情報として出力する。図４（ｂ）に示す積分結果を入力とした場合、撮像素子１０３とマイクロレンズアレイ１０２の位置関係が適切なので、ｙ１行目の差の値が最も大きくなる。この場合、横方向のエッジ情報を「０」とする。
【００３４】
図６は、撮像素子１０３に対してマイクロレンズアレイ１０２が右に回転した場合を示した図である。図６（ａ）は、２５（＝５×５）のマイクロレンズと、図３（ａ）と同じ領域の光電変換素子を示しており、図６（ｂ）は、検知領域１３０と、検知領域１３０にかかるマイクロレンズを示している。また、図６（ｂ）において、網掛けしている光電変換素子は、遮光され、光が当たっていない光電変換素子または、光が当たっていない領域の割合が大きい光電変換素子である。
【００３５】
図７は、図６に示す位置関係である場合の、検知領域１３０における強度値の縦方向及び横方向の積分値をヒストグラムで表したものである。
【００３６】
図８は、図７（ａ）に示す積分結果を入力とした場合の、１列隣の列との差をヒストグラムで表したものである。縦方向ズレ検知部１０４４は、縦方向エッジ検出用閾値２００１を用いて縦方向のエッジを検出する。この場合、マイクロレンズアレイ１０２が右にズレていることにより、撮像素子のｘ１列目とｘ２列目は遮光されている部分が多い。そのため、光が照射されるｘ３列目と遮光されている部分が多いｘ２列目との差が大きくなる。この場合、縦方向のエッジ情報を「２」とする。
【００３７】
横方向ズレ検知部１０４５も同様に、エッジ検出量閾値を用いて積分結果が閾値を超えた点を横方向のエッジ情報として出力する。図８（ｂ）に示す積分結果を入力とした場合、マイクロレンズアレイ１０２が右にズレていることにより、撮像素子のｘ１列目とｘ２列目は遮光されている部分が多い。しかし、横方向の積分としては、各行に遮光されている個所があるために大きな差が現れない。この場合、横方向のエッジ情報は「０」となる。
【００３８】
図９は、撮像素子１０３に対してマイクロレンズアレイ１０２が左に回転した場合を示した図である。図９（ａ）は、２５（＝５×５）のマイクロレンズと、図３（ａ）と同じ領域の光電変換素子を示しており、図９（ｂ）は、検知領域１３０と、検知領域１３０にかかるマイクロレンズを示している。また、図９（ｂ）において、網掛けしている光電変換素子は、遮光され、光が当たっていない光電変換素子または、光が当たっていない領域の割合が大きい光電変換素子である。
【００３９】
図１０は、図９に示す位置関係である場合の、検知領域１３０における強度値の縦方向及び横方向の積分値をヒストグラムで表したものである。
【００４０】
図１１は、図１０（ａ）に示す積分結果を入力とした場合の、１列隣の列との差をヒストグラムで表したものである。縦方向ズレ検知部１０４４は、縦方向エッジ検出用閾値２００１を用いて縦方向のエッジを検出する。この場合、マイクロレンズアレイ１０２が左にズレていることにより、撮像素子のｙ１行目とｙ２行目は遮光されている部分が多い。しかし、縦方向の積分としては、各列に遮光されている個所があるために大きな差が現れない。この場合、縦方向のエッジ情報を「０」とする。
【００４１】
横方向ズレ検知部１０４５も同様に、エッジ検出量閾値を用いて積分結果が閾値を超えた点を横方向のエッジ情報として出力する。図１０（ｂ）に示す積分結果を入力とした場合、マイクロレンズアレイ１０２が左にズレていることにより、撮像素子のｙ１行目とｙ２行目は遮光されている部分が多い。そのため、光が照射されるｙ３行目と遮光されているｙ２行目の差が大きくなる。この場合、横方向のエッジ情報を「２」とする。
【００４２】
以上のようにして得られた縦方向及び横方向のエッジ情報に基づいて、ズレ情報生成部１０４７はズレ方向を判断し、回転ズレ情報を生成して出力する。縦方向エッジ情報と横方向エッジ情報がともに「０」の場合、ズレが無いと判断する。また、縦方向エッジ情報が正の値を示した場合（例えば「２」）、マイクロレンズアレイ１０２が撮像素子１０３に対して右に「２」の回転ズレ量だけずれていると判断する。横方向エッジ情報が正の値を示した場合（例えば「２」）、マイクロレンズアレイ１０２が撮像素子１０３に対して左に「２」の回転ズレ量だけずれていると判断する。これらの判断した結果を回転ズレ情報として、回転駆動部１０５に出力する。
【００４３】
次に、本発明の第１の実施形態における処理について説明する。図１２は、第１の実施形態における撮像装置の全体処理を示すフローチャートである。Ｓ１０１において、ユーザーによる不図示の電源スイッチの押下により撮像装置１００の電源をＯＮにする。
【００４４】
Ｓ１０２において、回転ズレ検知部１０４にて、回転ズレ検知処理を行う。なお、Ｓ１０２における回転ズレ検知処理では、上述した方法により回転ズレ情報を取得するが、その手順は図１３を参照して後述する。
【００４５】
Ｓ１０３において、回転駆動部１０５内の駆動信号発生部１２０は、回転ズレ情報を入力として、回転ズレを補正するようにマイクロレンズアレイ１０２を回転させるために駆動用モーター１１０を駆動させる駆動信号を出力する。駆動用モーター１１０はマイクロレンズアレイ１０２を回転させたのち、マイクロレンズアレイ１０２の位置を保持する。駆動用モーター１１０は電源が投入されている限り撮像素子１０３とマイクロレンズアレイ１０２の位置関係がずれないように（回転ズレ情報が「ズレが無い」ことを示すように）保持し続ける。
【００４６】
Ｓ１０５はマイクロレンズアレイ１０２と撮像素子１０３との位置関係が適切、即ち、ズレが無い状態になり、撮影が可能な状態にあるということを示している。Ｓ１０６では、ユーザーにより撮影が指示されると、撮影処理として露光が行われ、不図示の記録媒体に画像が記録される。この撮影処理は１回でも良いし、繰り返し行っても構わない。
【００４７】
次に、図１３のフローチャートを参照して、Ｓ１０２で行われる回転ズレ検知処理の手順について説明する。
【００４８】
まず、Ｓ２０１において、縦方向強度積分部１０４１は、検知領域１３０における縦方向の強度値の積分を行う。Ｓ２０２において、横方向強度積分部１０４２は、検知領域１３０における横方向の強度値の積分を行う。なお、Ｓ２０１とＳ２０２の処理は並行して行っても、逆の順に行ってもよい。
【００４９】
Ｓ２０３において、光量判定部１０４３は、回転ズレを検知するための光量が不足しているかどうかの判定を行う。具体的には、縦方向及び横方向の強度値の積分値の最大値が光量判定用閾値１９０１以下かどうかの判定を行う。
【００５０】
強度値の積分値の最大が光量判定用閾値１９０１以下であった場合、回転ズレを検知するための光量が少ないと判定され、Ｓ２０４に移行する。Ｓ２０４において不図示の液晶パネル等の表示部に、回転ズレを検知するための光量が不足している旨の警告表示を行い、処理を終了する。
【００５１】
強度値の積分値の最大が光量判定用閾値１９０１以上であった場合、回転ズレを検知するための光量が十分と判定され、Ｓ２０５に移行する。Ｓ２０５において、縦方向ズレ検知部１０４４は、検知領域１３０における縦方向の強度値の積分値を入力として、縦方向のエッジを検知する。次にＳ２０６において、横方向ズレ検知部１０４５は、検知領域１３０における横方向の強度値の積分値を入力として、横方向のエッジを検知する。なお、Ｓ２０５とＳ２０６の処理は並行して行っても、逆の順に行ってもよい。
【００５２】
Ｓ２０８において、ズレ情報生成部１０４７は、縦方向ズレ検知部１０４４の出力である縦方向のエッジ情報と、横方向ズレ検知部１０４５の出力である横方向のエッジ情報を入力として、回転ズレ情報を生成し、回転駆動部１０５に出力する。
【００５３】
このように、本第１の実施形態によれば、撮像装置の電源を投入した後、マイクロレンズアレイと撮像素子の回転ズレを検知し、検知した結果に基づきマイクロレンズアレイを回転方向の適切な位置関係に合わせる。これにより、適切なライトフィールド撮影を行うことが可能となる。
【００５４】
なお、本第１の実施形態では、検知領域として撮像素子の左上の領域を用いたが、本発明はこれに限るものではない。例えば、図１４（ａ）の１７０１、１７０２、１７０３、１７０４のように撮像素子１０３の四隅（角部）でも良い。また、図１４（ｂ）の１７１０のように撮像素子１０３の水平方向に位置する一列の複数の光電変換素子上でも良い。また、図１４（ｃ）の１７２０のように撮像素子１０３の対角方向上に位置する複数の光電変換素子上でも良い。
【００５５】
撮像素子１０３の四隅に位置する複数の光電変換素子を用いた場合、本第１の実施形態のように左上の１か所のみを使用する場合と比べ、回転ズレ情報を求めるための処理の工数は増える。しかしながら、判断するための情報が増加するため、検出精度を高めることが可能である。撮像素子１０３の水平方向または垂直方向に並ぶ複数の光電変換素子を用いた場合、及び、撮像素子１０３の対角線上に位置する複数の光電変換素子を用いた場合も同様である。
【００５６】
また、本第１の実施形態では、マイクロレンズアレイと撮像素子の位置関係のズレがあった場合に、マイクロレンズアレイを回転させることにより位置関係を合わせるように説明したが、撮像素子を回転させることにより位置関係を合わせるようにしても良い。また、マイクロレンズアレイと撮像素子の両方を回転させても良い。即ち、マイクロレンズアレイと撮像素子の少なくともいずれか一方を駆動すれば良い。
【００５７】
＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。第１の実施形態では、電源を投入した後、撮像素子とマイクロレンズアレイの位置関係を合わせる場合について説明した。本第２の実施形態では、カメラレンズアダプタに設計公差があり、ユーザーのレンズ操作により撮像素子とマイクロレンズアレイの位置関係にズレが生じてしまう場合の実施形態について記載する。
【００５８】
以下、図１５を参照して第２の実施形態にかかる撮像装置について説明する。図１５は、マイクロレンズを内蔵したカメラレンズアダプタを装着する撮像装置である。図１と同じ機能の個所には同じ参照番号を付している。
【００５９】
第２の実施形態における撮像装置は、図１５に示すように、主に、カメラ本体１００’と、レンズユニット１８００と、カメラレンズアダプタ１８０３とから成る。レンズユニット１８００はメインレンズ１０１を内蔵し、カメラレンズアダプタ１８０３はマイクロレンズアレイ１０２を内蔵していており、レンズマウント１８０２を介してカメラ本体１００に接続される。また、本第２の実施形態における撮像装置の撮影指示部は、撮影準備を指示する第１の撮影指示部と、撮影を指示する第２の撮影指示部の２段階になっているものとする。
【００６０】
次に、第２の実施形態における撮像装置の全体処理の流れについて、図１６のフローチャートを参照して説明する。なお、図１６においてＳ１０１、Ｓ１０２、Ｓ１０５、S０３、Ｓ１０６は第１の実施形態で図１２を参照して説明した処理と同様である。
【００６１】
Ｓ３０６において、ユーザーによるズームレンズなどの操作や、合焦制御によるフォーカスレンズの駆動により、レンズユニット１８００のレンズ位置が変更される。本第２の実施形態では、このレンズ位置の変化により、カメラレンズアダプタ１８０３も動いてしまい、撮像素子１０３とマイクロレンズアレイ１０２との間に回転方向の位置関係にズレが生じる。
【００６２】
次に、Ｓ３０７において、ユーザーによる第１の撮影指示部が押下されるのを待つ。Ｓ３０７において第１の撮影指示部が押下された場合、Ｓ３０８に移行し、改めて回転ズレ検知処理を行う。
【００６３】
その後Ｓ１０３で回転方向の位置合わせを行い、Ｓ１０６でユーザーにより第２の撮影指示部が押下されると、撮影処理として露光が行われ、不図示の記録媒体に画像が記録される。
【００６４】
以上、本第２の実施形態によれば、カメラレンズアダプタにマイクロレンズが内蔵された撮像装置において、設計公差があるためにユーザーがズーム等の操作のためにレンズを触ることにより生じる回転ズレを、撮影の前に改めて位置合わせを行う。これにより、適切な位置関係での撮影が可能となる。
【００６５】
以上、第１の実施形態および第２の実施形態と本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【図１】
2014220581.tif 000003
【図２】
2014220581.tif 000004
【図３】
2014220581.tif 000005
【図４】
2014220581.tif 000006
【図５】
2014220581.tif 000007
【図６】
2014220581.tif 000008
【図７】
2014220581.tif 000009
【図８】
2014220581.tif 000010
【図９】
2014220581.tif 000011
【図１０】
2014220581.tif 000012
【図１１】
2014220581.tif 000013
【図１２】
2014220581.tif 000014
【図１３】
2014220581.tif 000015
【図１４】
2014220581.tif 000016
【図１５】
2014220581.tif 000017
【図１６】
2014220581.tif 000018
【図１７】
2014220581.tif 000019
【図１８】
2014220581.tif 000020