(57)【要約】本発明は、同時に取得可能な合焦距離の異なる画像の撮影枚数を飛躍的に増大させることができる撮像装置を提供する。本発明の一の態様は、多焦点メインレンズ（１２）とイメージセンサ（１６）との間に多焦点マイクロレンズアレイ（１４）が設けられ、いわゆるプレノプティックカメラの撮影光学系を有する撮像装置１０である。多焦点メインレンズ（１２）はそれぞれ焦点距離が異なる領域（１２ａ，１２ｂ）を有し、多焦点マイクロレンズアレイ（１４）は、それぞれ焦点距離が異なるマイクロレンズ群（１４ａ，１４ｂ）を有している。多焦点メインレンズ（１２）と多焦点マイクロレンズアレイ（１４）とを組み合わせることにより、同時に取得可能な合焦距離の異なる複数の画像をイメージセンサ（１６）から取得することができる。
2014024745.tif 000002
【特許請求の範囲】
【請求項１】
複数の領域毎に異なる合焦距離を有する多焦点メインレンズと、
二次元状に配列された光電変換素子により構成される複数の画素を有するイメージセンサと、
前記イメージセンサの入射面側に配設され、合焦距離が異なる複数組のマイクロレンズ群を有する多焦点マイクロレンズアレイと、
前記イメージセンサから取得される画像であって、前記多焦点メインレンズと前記合焦距離が異なる複数組のマイクロレンズ群とを組み合わせた合焦距離別の複数の画像をそれぞれ取得する画像取得手段と、
を備えた撮像装置。
【請求項２】
前記イメージセンサの各画素は、それぞれ前記多焦点メインレンズと多焦点マイクロレンズアレイとを組み合わせた複数の合焦距離範囲のうちのいずれか１つの合焦距離に対応する像が結像される請求項１に記載の撮像装置。
【請求項３】
前記多焦点メインレンズの焦点数をｍ、前記多焦点マイクロレンズアレイの焦点数をｎとすると、前記画像取得手段は、それぞれ合焦距離の異なるｍ×ｎ枚の画像を取得する請求項１又は２に記載の撮像装置。
【請求項４】
前記ｍ×ｎ枚の画像の合焦距離の間隔が均等になるように前記多焦点メインレンズの複数の合焦距離と前記多焦点マイクロレンズアレイの焦点距離が決定される請求項３に記載の撮像装置。
【請求項５】
前記ｍ×ｎ枚の画像の合焦距離の間隔が、予め設定された１又は２以上の合焦距離近傍で密になるように前記多焦点メインレンズの複数の合焦距離と前記多焦点マイクロレンズアレイの焦点距離が決定される請求項３に記載の撮像装置。
【請求項６】
前記多焦点マイクロレンズアレイは、前記合焦距離が異なる各組のマイクロレンズ群のレンズ数が均一である請求項１から５のいずれか１項に記載の撮像装置。
【請求項７】
前記多焦点マイクロレンズアレイは、前記合焦距離が異なる各組のマイクロレンズ群のレンズ数が不均一である請求項１から５のいずれか１項に記載の撮像装置。
【請求項８】
前記多焦点マイクロレンズアレイは、前記合焦距離が異なる複数組のマイクロレンズ群の各組のマイクロレンズ群の密度が、当該多焦点マイクロレンズアレイ内の位置に応じて異なる請求項１から５のいずれか１項に記載の撮像装置。
【請求項９】
前記多焦点メインレンズの複数の領域の合焦距離のうちの少なくとも１つの合焦距離を変更する第１の合焦距離変更手段を備える請求項１から８のいずれか１項に記載の撮像装置。
【請求項１０】
前記多焦点マイクロレンズアレイの複数組のマイクロレンズ群の合焦距離のうち少なくとも１組のマイクロレンズ群の合焦距離を変更する第２の合焦距離変更手段を備える請求項１から９のいずれか１項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置に関し、特に合焦する被写体距離が異なる複数の画像を同時に取得することができる撮像装置に関する。
【背景技術】
【０００２】
従来、プレノプティックカメラを構成するマイクロレンズアレイとして、合焦距離の異なる複数のレンズセットから構成されたマイクロレンズアレイを撮像素子の前面側に設け、複数のレンズセット毎に撮像素子に再結像することにより、撮像素子から合焦距離の異なる複数の画像を同時に取得することができる画像入力装置が提案されている（特許文献１）。【０００３】
また、メインレンズとして領域毎に異なる特性（例えば、焦点距離や周波数）を有するものを使用し、このメインレンズにより結像される合焦像を複数の位置に生成し、瞳領域の通過位置別に光信号を選択的に受光する撮像素子によって、合焦距離の異なる複数の画像を独立に撮像することができる撮像装置が、本発明者によって提案されている（特許文献２）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１５８８２５号公報
【特許文献２】特開２０１２−８８６９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載の画像入力装置は、合焦距離の異なる複数の画像を取得することができるが、合焦距離の異なる複数の画像の上限は、マイクロレンズアレイの合焦距離の異なる複数のレンズセットの数（種類）による。しかしながら、レンズセットの種類を増やすと、マイクロレンズアレイの製造上の難しさが増大し、製造コストの上昇の原因となる。【０００６】
また、特許文献２に記載の撮像装置は、メインレンズの多焦点化により合焦距離の異なる複数の画像を取得することができるが、合焦距離の異なる複数の画像の上限は、メインレンズの領域毎の焦点距離の数（種類）により決定される。しかしながら、メインレンズの焦点数を増やすと、メインレンズの製造上の難しさが増大し、製造コストの上昇の原因となる。【０００７】
本発明はこのような事情に鑑みてなされたもので、同時に取得可能な合焦距離の異なる画像の撮影枚数を飛躍的に増大させることができ、その際に製造上の難しさが増すことがなく、低コストで製造することができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために本発明の一の態様に係る撮像装置は、複数の領域毎に異なる合焦距離を有する多焦点メインレンズと、二次元状に配列された光電変換素子により構成される複数の画素を有するイメージセンサと、イメージセンサの入射面側に配設され、合焦距離が異なる複数組のマイクロレンズ群を有する多焦点マイクロレンズアレイと、イメージセンサから取得される画像であって、多焦点メインレンズと合焦距離が異なる複数組のマイクロレンズ群とを組み合わせた合焦距離別の複数の画像をそれぞれ取得する画像取得手段と、を備えている。【０００９】
本発明の一の態様によれば、多焦点メインレンズと多焦点マイクロレンズアレイとを組み合わせることにより、同時に取得可能な合焦距離の異なる画像の撮影枚数を飛躍的に増大させることができる。また、合焦距離の異なる複数の画像に対して、多焦点メインレンズの合焦距離の数（種類）、及び多焦点メインレンズアレイの合焦距離の数（種類）を少なくすることができ、これにより多焦点メインレンズ及び多焦点メインレンズアレイの製造コストが上昇しないようにすることができる。【００１０】
本発明の他の態様に係る撮像装置において、イメージセンサの各画素は、それぞれ多焦点メインレンズと多焦点マイクロレンズアレイとを組み合わせた複数の合焦距離範囲のうちのいずれか１つの合焦距離に対応する像が結像される。従って、イメージセンサの各画素の出力信号を、それぞれ合焦距離別に再配置することにより合焦距離別の複数の画像を取得することができる。【００１１】
本発明の更に他の態様に係る撮像装置において、多焦点メインレンズの焦点数をｍ、多焦点マイクロレンズアレイの焦点数をｎとすると、画像取得手段は、それぞれ合焦距離の異なるｍ×ｎ枚の画像を取得する。これにより、多焦点メインレンズの焦点数ｍ、多焦点マイクロレンズアレイの焦点数ｎに比べて、同時に取得可能な合焦距離の異なる画像の撮影枚数（ｍ×ｎ）を飛躍的に増大させることができる。【００１２】
本発明の更に他の態様に係る撮像装置において、ｍ×ｎ枚の画像の合焦距離の間隔が均等になるように多焦点メインレンズの複数の合焦距離と多焦点マイクロレンズアレイの焦点距離が決定されることが好ましい。これにより、被写体距離にかかわらず均等な合焦精度をもった複数の画像を取得することができる。【００１３】
本発明の更に他の態様に係る撮像装置において、ｍ×ｎ枚の画像の合焦距離の間隔が、予め設定された１又は２以上の合焦距離近傍で密になるように多焦点メインレンズの複数の合焦距離と多焦点マイクロレンズアレイの焦点距離が決定されることが好ましい。これにより、重要な奥行き位置近傍に多くの合焦面を配置することができる。【００１４】
本発明の更に他の態様に係る撮像装置において、多焦点マイクロレンズアレイは、合焦距離が異なる各組のマイクロレンズ群のレンズ数が均一であることが好ましい。これにより、合焦距離の異なる複数の画像の画像サイズ（解像度）を均一にすることができる。【００１５】
本発明の更に他の態様に係る撮像装置において、多焦点マイクロレンズアレイは、合焦距離が異なる各組のマイクロレンズ群のレンズ数が不均一になるようにしてもよい。【００１６】
本発明の更に他の態様に係る撮像装置において、多焦点マイクロレンズアレイは、合焦距離が異なる各組のマイクロレンズ群の密度が、多焦点マイクロレンズアレイ内の位置に応じて異なるようにしてもよい。【００１７】
本発明の更に他の態様に係る撮像装置において、多焦点メインレンズの複数の領域の合焦距離のうちの少なくとも１つの合焦距離を変更する第１の合焦距離変更手段を備えることが好ましい。これにより、所望の奥行き位置近傍に多くの合焦面を配置することができる。【００１８】
本発明の更に他の態様に係る撮像装置において、多焦点マイクロレンズアレイの複数組のマイクロレンズ群の合焦距離のうち少なくとも１組のマイクロレンズ群の合焦距離を変更する第２の合焦距離変更手段を備えることが好ましい。これにより、所望の奥行き位置近傍に多くの合焦面を配置することができる。
【発明の効果】
【００１９】
本発明によれば、多焦点メインレンズと多焦点マイクロレンズアレイとを組合せ、かつイメージセンサから多焦点メインレンズと合焦距離が異なる複数組のマイクロレンズ群とを組み合わせた合焦距離別の複数の画像をそれぞれ取得するようにしたため、同時に取得可能な合焦距離の異なる画像の撮影枚数を飛躍的に増大させることができる。
【図面の簡単な説明】
【００２０】
【図１】図１は、本発明の第１の実施形態に係る撮像装置の外観斜視図である。
【図２】図２は、図１に示した撮像装置の内部構成の実施形態を示すブロック図である。
【図３】図３は、多焦点メインレンズ及び多焦点マイクロレンズアレイの結像関係を示す図である。
【図４】図４は、図１に示した多焦点マイクロレンズアレイの一部を正面から見たイメージ図である。
【図５】図５は、多焦点メインレンズと多焦点マイクロレンズアレイの焦点距離の組合せを説明するために用いた図である。
【図６Ａ】図６Ａは、６つの合焦面A1,A2,A3,B1,B2,B3として良い例を示す図である。
【図６Ｂ】図６Ｂは、６つの合焦面A1,A2,A3,B1,B2,B3として悪い例を示す図である。
【図７Ａ】図７Ａは、合焦面の設定のバリエーションを示す図である。
【図７Ｂ】図７Ｂは、合焦面の設定のバリエーションを示す他の図である。
【図７Ｃ】図７Ｃは、合焦面の設定のバリエーションを示す他の図である。
【図８】図８は、多焦点マイクロレンズアレイの第２の実施形態を示す図である。
【図９Ａ】図９Ａは、第２の実施形態の多焦点メインレンズの側面図である。
【図９Ｂ】図９Ｂは、第２の実施形態の多焦点メインレンズの正面図である。
【図１０】図１０は、瞳指向性をもたせるための光学要素（瞳分割手段）の他の実施形態を示す側面図である。
【図１１】図１１は、多焦点マイクロレンズアレイの第３の実施形態を示す側面図である。
【図１２】図１２は、多焦点マイクロレンズアレイの焦点距離が異なる２組のマイクロレンズ群のレンズ数の重み付け配置の実施形態を示すイメージ図である。
【図１３Ａ】図１３Ａは、多焦点マイクロレンズアレイの焦点距離が異なる２組のマイクロレンズ群のレンズ数の重み付けの実施形態を示すイメージ図である。
【図１３Ｂ】図１３Ｂは、イメージセンサ１６の中央部１６−１にある領域１６−１Ａの拡大図である。
【図１３Ｃ】図１３Ｃは、イメージセンサ１６の周辺部１６−２にある領域１６−２Ａの拡大図である。
【図１４Ａ】図１４Ａは、多焦点メインレンズの第３の実施形態を示す正面図である。
【図１４Ｂ】図１４Ｂは、多焦点メインレンズの第３の実施形態を示す側面図である。
【図１５Ａ】図１５Ａは、図１４Ａ，１４Ｂに示した多焦点メインレンズの合焦距離が変更される様子を示す図である。
【図１５Ｂ】図１５Ｂは、図１４Ａ，１４Ｂに示した多焦点メインレンズの合焦距離が変更される様子を示す他の図である。
【図１５Ｃ】図１５Ｃは、図１４Ａ，１４Ｂに示した多焦点メインレンズの合焦距離が変更される様子を示す他の図である。
【図１６】図１６は、第４の実施形態のマイクロプリズムアレイ及び多焦点マイクロレンズアレイの構成例を模式的に示す図である。
【図１７】図１７は、撮像装置の他の実施形態であるスマートフォンの外観図である。
【図１８】図１８は、スマートフォンの要部構成を示すブロック図である。
【発明を実施するための形態】
【００２１】
以下、添付図面に従って本発明に係る撮像装置の実施の形態について説明する。
【００２２】
＜撮像装置の外観＞
図１は本発明の第１の実施形態に係る撮像装置１０（撮像装置）の外観斜視図である。図１に示すように、撮像装置１０の前面には撮影レンズ（多焦点メインレンズ）１２、ストロボ１８等が配置され、上面にはシャッタボタン３８−１が設けられている。Ｌ１は多焦点メインレンズ１２の光軸を表す。
【００２３】
図２は撮像装置１０の内部構成の実施形態を示すブロック図である。
【００２４】
この撮像装置１０は、撮像した画像をメモリカード５４に記録するもので、多焦点メインレンズ１２とＣＭＯＳ型の撮像素子（イメージセンサ）１６との間に多焦点マイクロレンズアレイ１４が設けられ、いわゆるプレノプティックカメラの撮影光学系を有している。装置全体の動作は、中央処理装置（ＣＰＵ）４０によって統括制御される。
【００２５】
撮像装置１０には、シャッタボタン３８−１、モードダイヤル、再生ボタン、ＭＥＮＵ／ＯＫキー、十字キー、ＢＡＣＫキー等の操作部３８が設けられている。この操作部３８からの信号はＣＰＵ４０に入力され、ＣＰＵ４０は入力信号に基づいて撮像装置１０の各回路を制御し、例えば、撮影動作制御、画像処理制御、画像データの記録／再生制御、液晶モニタ（ＬＣＤ）３０の表示制御などを行う。
【００２６】
シャッタボタン３８−１（図１）は、撮影開始の指示を入力する操作ボタンであり、半押し時にＯＮするＳ１スイッチと、全押し時にＯＮするＳ２スイッチとを有する二段ストローク式のスイッチで構成されている。モードダイヤルは、静止画を撮影するオート撮影モード、マニュアル撮影モード、人物、風景、夜景等のシーンポジション、及び動画を撮影する動画モードのいずれかを選択する選択手段である。
【００２７】
再生ボタンは、撮影記録した静止画又は動画を液晶モニタ３０に表示させる再生モードに切り替えるためのボタンである。ＭＥＮＵ／ＯＫキーは、液晶モニタ３０の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。十字キーは、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作手段）として機能する。また、十字キーの上／下キーは撮影時のズームスイッチあるいは再生モード時の再生ズームスイッチとして機能し、左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。ＢＡＣＫキーは、選択項目など所望の対象の消去や指示内容の取消し、あるいは１つ前の操作状態に戻らせるときなどに使用される。
【００２８】
撮影モード時において、被写体光は、多焦点メインレンズ１２、多焦点マイクロレンズアレイ１４を介してＣＭＯＳ型の撮像素子（イメージセンサ）１６の受光面に結像される。
【００２９】
第１の実施形態の多焦点メインレンズ１２は、図３に示すように近距離撮影用の焦点距離f2を有する領域１２ａと、遠距離撮影用の焦点距離f1を有する領域１２ｂとを有する多焦点（２焦点）メインレンズであり、領域１２ａ及び領域１２ｂは、それぞれ光軸を境界に上半分及び下半分の領域である。尚、領域１２ａと領域１２ｂとの間には、光束間でクロストークが生じないように遮光帯が設けられている。
【００３０】
また、第１の実施形態の多焦点マイクロレンズアレイ１４は、図３に示すように焦点距離（合焦距離）が異なる複数組（２組）のマイクロレンズ群を有している。図４は多焦点マイクロレンズアレイ１４の一部を正面から見たイメージ図である。
【００３１】
多焦点マイクロレンズアレイ１４内の２組のマイクロレンズ群は、それぞれ焦点距離f'1を有するマイクロレンズ群１４ａと、焦点距離f'2を有するマイクロレンズ群１４ｂとからなり、この実施形態では、f'1＜f'2である。
【００３２】
次に、多焦点メインレンズ１２及び多焦点マイクロレンズアレイ１４の結像関係について説明する。
【００３３】
図３に示すように多焦点メインレンズ１２から被写体Obj1-1(合焦面1-1)までの距離をb11, 被写体Obj1-2(合焦面1-2)までの距離をb21, 被写体Obj2-1(合焦面2-1)までの距離をb12, 被写体Obj2-2(合焦面2-2)までの距離をb22とし、遠距離撮影用の焦点距離f1を有する領域１２ｂを通過する被写体Obj1-1、Obj1-2の、多焦点メインレンズ１２から結像位置までの距離をそれぞれa1,a2とし、また、近距離撮影用の焦点距離f2を有する領域１２ａを通過する被写体Obj2-1、Obj2-2の、多焦点メインレンズ１２から結像位置までの距離をそれぞれa1,a2とすると、これらの関係は、レンズの公式により次式で表すことができる。
【００３４】
［数１］
メインレンズ焦点距離f1:
1/f1=1/a1+1/b11
1/f1=1/a2+1/b12
メインレンズ焦点距離f2:
1/f2=1/a1+1/b21
1/f2=1/a2+1/b22
一方、図３に示すように多焦点マイクロレンズアレイ１４のマイクロレンズ群１４ａは、多焦点マイクロレンズアレイ１４から被写体側の距離a'1に位置する像を、多焦点マイクロレンズアレイ１４から距離b'の位置に受光面を有するイメージセンサ１６に結像させる焦点距離f'1を有し、マイクロレンズ群１４ｂは、多焦点マイクロレンズアレイ１４から被写体側の距離a'2に位置する像を、多焦点マイクロレンズアレイ１４から距離b'の位置に受光面を有するイメージセンサ１６に結像させる焦点距離f'2を有している。これらの関係は、レンズの公式により次式で表すことができる。
【００３５】
［数２］
マイクロレンズ群１４ａの焦点距離f'1:
1/f'1=1/a'1+1/b'
マイクロレンズ群１４ｂの焦点距離f'2:
1/f'2=1/a'2+1/b'
また、多焦点マイクロレンズアレイ１４から被写体側の距離a'1の位置は、多焦点メインレンズ１２からイメージセンサ１６側の距離a2の位置に対応し、多焦点マイクロレンズアレイ１４から被写体側の距離a'2の位置は、多焦点メインレンズ１２からイメージセンサ１６側の距離a1の位置に対応している。
【００３６】
従って、被写体Obj1-1(合焦面1-1)の像は、多焦点メインレンズ１２の遠距離撮影用の焦点距離f1を有する領域１２ｂを通過して距離a1の位置に結像し、この結像した像は、焦点距離f'2を有するマイクロレンズ群１４ｂによりイメージセンサ１６に再結像される。同様に、被写体Obj1-2(合焦面1-2)の像は、多焦点メインレンズ１２の遠距離撮影用の焦点距離f1を有する領域１２ｂを通過して距離a2の位置に結像し、この結像した像は、焦点距離f'1を有するマイクロレンズ群１４ａによりイメージセンサ１６に再結像され、被写体Obj2-1(合焦面2-1)の像は、多焦点メインレンズ１２の近距離撮影用の焦点距離f2を有する領域１２ａを通過して距離a1の位置に結像し、この結像した像は、焦点距離f'2を有するマイクロレンズ群１４ｂによりイメージセンサ１６に再結像され、被写体Obj2-2(合焦面2-2)の像は、多焦点マイクロレンズアレイ１４の近距離撮影用の焦点距離f2を有する領域１２ａを通過して距離a2の位置に結像し、この結像した像は、焦点距離f'1を有するマイクロレンズ群１４ａによりイメージセンサ１６に再結像される。
【００３７】
尚、多焦点マイクロレンズアレイ１４は、イメージセンサ１６の受光面から距離b’だけ前方に離間した位置において、イメージセンサ１６に一体的に固定されている。
【００３８】
ところで、多焦点マイクロレンズアレイ１４のマイクロレンズ群１４ａの個々のレンズによりイメージセンサ１６に結像されるレンズ毎の微小画像のうちの上部の画像は、多焦点メインレンズ１２の遠距離撮影用の焦点距離f1を有する領域１２ｂ（下半分の領域）を通過してきた光束を受光した画像であり、レンズ毎の微小画像のうちの下部の画像は、多焦点メインレンズ１２の近距離撮影用の焦点距離f2を有する領域１２ａ（上半分の領域）を通過してきた光束を受光した画像である。
【００３９】
同様に、多焦点マイクロレンズアレイ１４のマイクロレンズ群１４ｂの個々のレンズによりイメージセンサ１６に結像されるレンズ毎の微小画像のうちの上部の画像は、多焦点メインレンズ１２の遠距離撮影用の焦点距離f1を有する領域１２ｂ（下半分の領域）を通過してきた光束を受光した画像であり、レンズ毎の微小画像のうちの下部の画像は、多焦点メインレンズ１２の近距離撮影用の焦点距離f2を有する領域１２ａ（上半分の領域）を通過してきた光束を受光した画像である。
【００４０】
したがって、マイクロレンズ群１４ｂの個々のレンズによりイメージセンサ１６に結像されるレンズ毎の微小画像のうちの上部の画像を、マイクロレンズ群１４ｂの各レンズ位置に応じて再配置することにより、被写体Obj1-1(合焦面1-1)に合焦する出力画像1-1を取得することができる。同様に、マイクロレンズ群１４ａの個々のレンズによりイメージセンサ１６に結像されるレンズ毎の微小画像のうちの上部の画像を、マイクロレンズ群１４ａの各レンズ位置に応じて再配置することにより、被写体Obj1-2(合焦面1-2)に合焦する出力画像1-2を取得することができ、マイクロレンズ群１４ｂの個々のレンズによりイメージセンサ１６に結像されるレンズ毎の微小画像のうちの下部の画像を、マイクロレンズ群１４ｂの各レンズ位置に応じて再配置することにより、被写体Obj2-1(合焦面2-1)に合焦する出力画像2-1を取得することができ、マイクロレンズ群１４ａの個々のレンズによりイメージセンサ１６に結像されるレンズ毎の微小画像のうちの下部の画像を、マイクロレンズ群１４ａの各レンズ位置に応じて再配置することにより、被写体Obj2-2(合焦面2-2)に合焦する出力画像1-2を取得することができる。即ち、多焦点マイクロレンズアレイ１４のマイクロレンズ群１４ａ又は１４ｂによってイメージセンサ１６上に形成される瞳面の微小画像群から、特定位置の画素だけを抽出して像として再構成することによりレンズ瞳面の通過位置毎の光信号だけを受光した画像を得ることができる。
【００４１】
図２に戻って、イメージセンサ１６は、多数の受光セル（受光素子）が二次元配列されており、各受光セルの受光面に結像された被写体像は、その入射光量に応じた量の信号電圧（または電荷）に変換される。尚、イメージセンサ１６は、受光素子毎に赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタが配設されている。
【００４２】
イメージセンサ１６に蓄積された信号電圧（または電荷）は、受光セルそのものもしくは付設されたキャパシタで蓄えられる。蓄えられた信号電圧（または電荷）は、センサ制御部３２により、Ｘ−Ｙアドレス方式を用いたＭＯＳ型撮像素子（いわゆるＣＭＯＳセンサ）の手法を用いて、画素位置の選択とともに読み出される。
【００４３】
これにより、イメージセンサ１６から多焦点メインレンズ１２と多焦点マイクロレンズアレイ１４とを組み合わせた複数の合焦距離のうちの各合焦距離に対応する画素毎に読み出すことができる。
【００４４】
イメージセンサ１６から読み出された撮像信号（電圧信号）は、相関二重サンプリング処理（イメージセンサの出力信号に含まれるノイズ（特に熱雑音）等を軽減することを目的として、イメージセンサの１画素毎の出力信号に含まれるフィードスルー成分レベルと画素信号成分レベルとの差をとることにより正確な画素データを得る処理）により画素毎のＲ、Ｇ、Ｂ信号がサンプリングホールドされ、増幅されたのちＡ／Ｄ変換器２１に加えられる。Ａ／Ｄ変換器２１は、順次入力するＲ、Ｇ、Ｂ信号をデジタルのＲ、Ｇ、Ｂ信号に変換して画像入力コントローラ２２に出力する。尚、ＭＯＳ型のイメージセンサでは、Ａ／Ｄ変換器が内蔵されているものがあり、この場合、イメージセンサ１６から直接Ｒ、Ｇ、Ｂのデジタル信号が出力される。
【００４５】
多焦点メインレンズ１２の焦点数をｍ、多焦点マイクロレンズアレイ１４の焦点数をｎとすると、それぞれ合焦距離の異なるｍ×ｎ枚の画像を取得することができる。本例の場合、多焦点メインレンズ１２の焦点数は焦点距離f1,f2の２つであり、多焦点マイクロレンズアレイ１４の焦点数は焦点距離f'1、f'2を有する２組のマイクロレンズ群１４ａ、１４ｂの２つであるため、４（＝２×２）枚数分の画像1-1,1-2,2-1,2-2を取得することができる。それぞれ合焦距離の異なる４枚の画像データは、イメージセンサ１６から画素位置を選択して画素データを読み出すことにより取得することができるが、イメージセンサ１６から全ての画素データを読み出してメモリ(SDRAM)４８に一時的に記憶し、メモリ４８から合焦距離の異なる４つの画像データを抽出するようにしてもよい。
【００４６】
デジタル信号処理部２４は、画像入力コントローラ２２を介して入力するデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正及び感度補正を含むゲイン・コントロール処理、ガンマ補正処理、ＹＣ処理等の信号処理を行う。
【００４７】
また、画像処理部２５は、以下の処理を行うが、画像処理部２５が行う処理は必須ではない。
【００４８】
イメージセンサ１６の各受光セルには、多焦点メインレンズ１２の領域１２ａ又は領域１２ｂを通過する光束のうちのいずれか一方が入射するが、光束間でクロストークが生じる場合がある。画像処理部２５は、このようなクロストークの発生による画像のボケやコントラスト劣化を補正する画像処理を行う。
【００４９】
画像処理部２５で処理され画像データは、ＶＲＡＭ５０に入力される。ＶＲＡＭ５０から読み出された画像データはビデオ・エンコーダ２８においてエンコーディングされ、カメラ背面に設けられている液晶モニタ３０に出力され、これにより被写体像が液晶モニタ３０の表示画面上に表示される。
【００５０】
操作部３８のシャッタボタン３８−１の第１段階の押下（半押し）があると、ＣＰＵ４０（画像取得手段）は、ＡＥ動作を開始させ、Ａ／Ｄ変換器２１（画像取得手段）から出力される画像データは、ＡＥ検出部４４（画像取得手段）に取り込まれる。
【００５１】
ＡＥ検出部４４では、画面全体のＧ信号を積算し、又は画面中央部と周辺部とで異なる重みづけをしたＧ信号を積算し、その積算値をＣＰＵ４０に出力する。ＣＰＵ４０は、ＡＥ検出部４４から入力する積算値より被写体の明るさ（撮影Ｅｖ値）を算出し、この撮影Ｅｖ値に基づいて絞り（図示せず）の絞り値及びイメージセンサ１６の電子シャッタ（シャッタスピード）をプログラム線図に従って決定し、その決定した絞り値に基づいて絞りを制御すると共に、決定したシャッタスピードに基づいてセンサ制御部３２（画像取得手段）を介してイメージセンサ１６での電荷蓄積時間を制御する。
【００５２】
ＡＥ動作が終了し、シャッタボタン３８−１の第２段階の押下（全押し）があると、その押下に応答してＡ／Ｄ変換器２１から出力される画像データが画像入力コントローラ２２（画像取得手段）からメモリ(SDRAM)４８（画像取得手段）に入力され、一時的に記憶される。メモリ４８に一時的に記憶された画像データは、デジタル信号処理部２４（画像取得手段）及び画像処理部２５（画像取得手段）により適宜読み出され、ここで画像データの輝度データ及び色差データの生成処理（ＹＣ処理）を含む信号処理が行われる。ＹＣ処理された画像データ（ＹＣデータ）は、再びメモリ４８に記憶される。
【００５３】
メモリ４８に記憶されたＹＣデータは、それぞれ圧縮伸張処理部２６（画像取得手段）に出力され、JPEG (joint photographic experts group)などの圧縮処理が実行されたのち、メディア・コントローラ５２（画像取得手段）を介してメモリカード５４（画像取得手段）に記録される。これにより、合焦距離の異なる４枚の画像を同時に撮影し、記録することができる。
【００５４】
［多焦点メインレンズと多焦点マイクロレンズアレイの焦点距離の組合せ］
次に、多焦点メインレンズ１２と多焦点マイクロレンズアレイ１４の各焦点距離の組合せの実施形態について説明する。
【００５５】
図５に示すように多焦点メインレンズ１２は、近距離撮影用の焦点距離f2を有する領域１２ａと、遠距離撮影用の焦点距離f1を有する領域１２ｂとを有する２焦点メインレンズである。また、多焦点マイクロレンズアレイ１４’は、焦点距離（合焦距離）が異なる複数組（３組）のマイクロレンズ群14'a,14'b,14'cを有している。
【００５６】
前述したように２つの焦点数を有する多焦点メインレンズ１２と、３つの焦点数を有する多焦点マイクロレンズアレイ１４’との組合せにより６つの合焦面A1,A2,A3,B1,B2,B3に合焦する６枚の画像を同時に撮影することができる。
【００５７】
図６Ａに示すように６つの合焦面A1,A2,A3,B1,B2,B3は、近距離から遠距離の範囲にわたって分散していることが好ましい。
【００５８】
一方、図６Ｂに示す例では、６つの合焦面A1,A2,A3,B1,B2,B3のうちの合焦面A2と合焦面B3とが重なり、無駄な画像が撮影されることになる。
【００５９】
従って、図６Ｂに示すような合焦面の重なりがないように多焦点メインレンズの複数の焦点距離と、多焦点マイクロレンズアレイの複数組のマイクロレンズ群の焦点距離とを決定する必要がある。
【００６０】
図７Ａ〜７Ｃは合焦面の設定のバリエーションを示す図である。
【００６１】
図７Ａは、近近距離から遠距離の範囲にわたって６つの合焦面A1,A2,A3,B1,B2,B3が均等に分散している例を示している。このように６つの合焦面A1,A2,A3,B1,B2,B3を設定することにより、主要被写体がいずれの距離にあっても主要被写体に合焦する画像を取得することができる。
【００６２】
図７Ｂは６つの合焦面A1,A2,A3,B1,B2,B3が中距離で密になるように分散している例を示し、図７Ｃは６つの合焦面A1,A2,A3,B1,B2,B3が遠中距離で密になるように分散している例を示している。
【００６３】
図７Ｂ又は図７Ｃに示す例は、それぞれ中距離又は遠中距離に重要視する被写体が存在する場合に、その被写体に対する合焦精度の高い画像を取得することができる。
【００６４】
［多焦点マイクロレンズアレイの第２の実施形態］
図８は、多焦点マイクロレンズアレイの第２の実施形態を示す図である。
【００６５】
多焦点マイクロレンズアレイ１１４は、焦点距離が異なる２組のマイクロレンズ群１１４ａ、１１４ｂを有し、かつ各レンズは、イメージセンサ１６の各受光セル１６ａと一対一に対応するように形成されている。
【００６６】
多焦点マイクロレンズアレイ１１４の各レンズは、イメージセンサ１６の各受光セル１６ａと一対一に対応するため、各受光セル１６ａに入射する光束の方向を制限する制限手段としてマイクロプリズムアレイ１１０が設けられている。
【００６７】
即ち、多焦点マイクロレンズアレイ１１４の前面（多焦点メインレンズ１２側）には、マイクロプリズムアレイ１１０が設けられている。マイクロプリズムアレイ１１０は、入射する光束を屈折させる、屈折方向の異なる２種類のプリズム群１１０ａ、１１０ｂを有している。このマイクロプリズムアレイ１１０により、マイクロレンズ群のレンズ（即ち、イメージセンサ１６の受光セル１６ａ）に入射する射出瞳の位置が制御され、多焦点メインレンズ１２の遠距離撮影用の焦点距離f1を有する領域１２ｂを通過する光束は、マイクロレンズ群１１４ａに入射し、多焦点メインレンズ１２の近距離撮影用の焦点距離f2を有する領域１２ａを通過する光束は、マイクロレンズ群１１４ｂに入射する。
【００６８】
上記構成によりイメージセンサ１６の受光セル１６ａには、受光セル毎に合焦距離の異なる被写体像が結像される。これにより、イメージセンサ１６の画素1-1,1-2,2-1,2-2の出力をそれぞれ再配置することで、それぞれ合焦距離が異なる４枚の画像を取得することができる。
【００６９】
［多焦点メインレンズの第２の実施形態］
図９Ａ，９Ｂは、それぞれ第２の実施形態の多焦点メインレンズ１１２の側面図及び正面図である。図９Ａ，９Ｂに示す多焦点メインレンズ１１２は、近距離撮影用の焦点距離を有する領域１１２ａと、遠距離撮影用の焦点距離を有する領域１１２ｂとを有する２焦点メインレンズであり、領域１１２ａは光軸を中心とする円形状に形成され、領域１１２ｂは円環形状に形成されている。また、領域１１２ａと領域１１２ｂとの間には、瞳分割された光束間でクロストークが生じないように遮光帯が設けられている。
【００７０】
このように本発明に係る多焦点メインレンズは、第１の実施形態のように焦点距離が異なる複数の領域が、レンズの上下方向（又は左右方向）に分割して形成されている場合に限らず、同心円上に分割して形成されていてもよい。
【００７１】
［瞳分割手段の他の実施形態］
図１０は、瞳指向性をもたせるための光学要素（瞳分割手段）の他の実施形態を示す側面図であり、瞳分割手段は、多焦点マイクロレンズアレイ１１４と遮光部材１２０とから構成される。
【００７２】
図１０に示す多焦点マイクロレンズアレイ１１４は、焦点距離が異なる２組のマイクロレンズ群１１４ａ、１１４ｂを有し、かつ各レンズは、イメージセンサ１１６の各受光セル１１６ａと一対一に対応するように形成されている。
【００７３】
遮光部材１２０は、イメージセンサ１６の受光セル１６ａ、１６ｂの開口を規制するものであり、図９Ａ，９Ｂに示した多焦点メインレンズ１１２に対応する開口形状を有している。尚、多焦点マイクロレンズアレイ１１４の各レンズの下方には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタが配設されている。
【００７４】
受光セル１６ａは遮光部材１２０によりその開口の周辺部が遮光され、一方、受光セル１１６ｂは遮光部材１２０にその開口の中心部が遮光されている。これにより、多焦点メインレンズ１１２（図９Ａ，９Ｂ）の中央部の領域１１２ａを通過した光束は、多焦点マイクロレンズアレイ１１４及び遮光部材１２０の遮光部１２０ａにより瞳分割されて受光セル１１６ａに入射し、一方、多焦点メインレンズ１１２の周辺部の領域１１２ｂを通過した光束は、多焦点マイクロレンズアレイ１１４及び遮光部材１２０の遮光部１２０ｂにより瞳分割されて受光セル１１６ｂに入射する。
【００７５】
尚、多焦点メインレンズ１１２は、焦点距離が異なる２つの領域１１２ａ、１１２ｂを有し、また、多焦点マイクロレンズアレイ１１４は、焦点距離が異なる２組のマイクロレンズ群１１４ａ、１１４ｂを有するため、イメージセンサ１１６からは、それぞれ合焦距離が異なる４枚の画像を取得することができる。
【００７６】
［多焦点マイクロレンズアレイの第３の実施形態］
図１１は、多焦点マイクロレンズアレイの第３の実施形態を示す側面図である。図１１に示す多焦点マイクロレンズアレイ２１４は、各レンズの焦点距離は同じであるが、光軸方向のレンズ位置（高さ）が異なる２組のマイクロレンズ群２１４ａとマイクロレンズ群２１４ｂとを有している。これにより、マイクロレンズ群２１４ａと、マイクロレンズ群２１４ｂとは合焦距離が異なるものとなる。
【００７７】
［多焦点マイクロレンズアレイのマイクロレンズ群のレンズ数］
図１２は、多焦点マイクロレンズアレイの焦点距離が異なる２組のマイクロレンズ群のレンズ数の重み付けの実施形態を示すイメージ図である。
【００７８】
図１２に示す多焦点マイクロレンズアレイ３１４は、それぞれ焦点距離が異なるマイクロレンズ群３１４ａと、マイクロレンズ群３１４ｂとを有している。マイクロレンズ群３１４ａとマイクロレンズ群３１４ｂとはレンズ数が異なり、マイクロレンズ群３１４ｂの１つのレンズに対し、その周囲の８個のレンズは、マイクロレンズ群３１４ａが配置されている。
【００７９】
即ち、マイクロレンズ群３１４ａのレンズ数とマイクロレンズ群３１４ｂのレンズ数とは１：８の割合になっており、且つそれぞれまんべんなく全領域に配置されている。
【００８０】
ここで、マイクロレンズ群３１４ａは焦点距離の短いものとし、マイクロレンズ群３１４ａは焦点距離の長いものとすることが好ましい。焦点距離が短いマイクロレンズ群３１４ａのレンズ数を、焦点距離が長いマイクロレンズ群３１４ｂのレンズ数よりも少なくする理由は、焦点距離が長いマイクロレンズ群３１４ｂに対応する合焦距離の被写体の方が撮影の頻度が高く、より重要視する画像だからである。また、この撮像装置１０が搭載されるカメラ付き携帯電話において、近距離撮影を行うシーンとしては、主にバーコード（一次元バーコード、又は二次元バーコード（ＱＲコード（登録商標）））読取シーンが想定されるが、この場合、バーコードの読取りが可能な解像度が確保されればよく、画質が要求されないからである。
【００８１】
［多焦点マイクロレンズアレイのマイクロレンズ群の配置密度］
図１３Ａ〜図１３Ｃは、多焦点マイクロレンズアレイにおいて、焦点距離が異なる２組のマイクロレンズ群の配置密度に重み付けした実施形態を示すイメージ図である。
【００８２】
図１３Ａに示すように、イメージセンサ１６は中央部１６−１と周辺部１６−２の２つの領域に区分されている。中央部１６−１には、図１３Ｂ（領域１６−１Ａの拡大図）に示すように焦点距離の短いマイクロレンズ群３１４ａの密度が焦点距離の長いマイクロレンズ群３１４ｂの密度よりも高くなるように配置され、一方、周辺部１６−２には、図１３Ｃ（領域１６−２Ａの拡大図）に示すように焦点距離の短いマイクロレンズ群３１４ａの密度が焦点距離の長いマイクロレンズ群３１４ｂの密度よりも低くなるように配置されている。
【００８３】
即ち、重要な合焦距離に対応するマイクロレンズ群の配置密度が高くなるように割り当て、具体的にはマイクロレンズ群３１４ａとマイクロレンズ群３１４ｂとの配置密度は、イメージセンサ１６の中央部（光軸近傍）１６−１と周辺部１６−２とで異ならせている。中央部１６−１では焦点距離の短いマイクロレンズ群３１４ａの密度の密度が高く、周辺部１６−２では焦点距離の長いマイクロレンズ群３１４ｂの密度が高くなるように配置されている。
【００８４】
ここで、イメージセンサ１６の中央部１６−１におけるマイクロレンズ群３１４ａの配置密度を高くした理由は、一般の接写撮影では、撮影画面の中央部に主要被写体を位置させて撮影を行う場合が多く、この中央部の画質（解像度）を高くすることが好ましいからである。
【００８５】
また、マイクロレンズ群３１４ａは、イメージセンサ１６の中央部１６−１の領域のみ密度高く割り当て、周辺部１６−２の領域ではマイクロレンズ群３１４ｂａのみを割り当てるようにしてもよい。例えば、撮像装置１０が搭載されたカメラ付き携帯電話において、バーコード読取りを行う場合、適切な撮影距離でのバーコード撮影を促すように、液晶モニタ上にバーコードが表示されるようにアシストする表示枠を表示するものがあり、この場合、焦点距離の短いマイクロレンズ群３１４ａは、バーコードを撮影する範囲のみに配置されていればよい。
【００８６】
［多焦点メインレンズの第３の実施形態］
図１４Ａ，１４Ｂに示す多焦点メインレンズ２１２は、１つのレンズがレンズ中心Ｏ１に対して上下に２分割された半月型のレンズ部２１２ａ、２１２ｂから構成され、かつ各レンズ部２１２ａ、２１２ｂが光軸方向に相対的にずれて配置されている。尚、この実施形態のレンズ部２１２ａ、２１２ｂの焦点距離は同一であるが、異なるものとしてもよい。
【００８７】
図１４Ｂに示すようにレンズ部２１２ａは、レンズ部２１２ｂよりも前方（被写体側）に位置するため、近距離撮影用の合焦距離を有し、レンズ部２１２ｂは、遠距離用の合焦距離を有するものとなる。
【００８８】
また多焦点メインレンズ２１２は、図１５Ａ〜１５Ｃに示すように、ＣＰＵ４０からの指令により駆動されるモータ２１２−１（第１の合焦距離変更手段）により各レンズ部２１２ａ、２１２ｂが光軸方向に個別に移動できるように構成されている。各レンズ部２１２ａ、２１２ｂを個別に光軸方向に移動させることにより、各レンズ部２１２ａ、２１２ｂの合焦距離を変更することができる。モータ２１２−１としては、例えばステッピングモータやサーボモータ等のパルス駆動されるモータを用いることができる。
【００８９】
図１５Ａは、レンズ部２１２ａとレンズ部２１２ｂとが光軸方向の同位置にある状態に関して示している。この場合、多焦点メインレンズ２１２は、合焦距離が１つの通常のレンズとして機能する。図１５Ｂは、レンズ部２１２ｂがレンズ部２１２ａよりも前方に位置する状態に関して示しており、図１５Ｃは、レンズ部２１２ａがレンズ部２１２ｂよりも前方に位置する状態に関して示している。
【００９０】
尚、２つのレンズ部２１２ａ、２１２ｂのうちのいずれか一方のみを固定し、他のレンズ部のみを移動できるようにしてよい。また、２つのレンズ部２１２ａ、２１２ｂを、光軸方向に相対的にずらした状態で互いに固定（接着）して一体化し、２つのレンズ部２１２ａ、２１２ｂを同時に光軸方向に移動させて合焦距離を調整できるようにしてもよい。
【００９１】
［多焦点マイクロレンズアレイの第４の実施形態］
図１６は、マイクロプリズムアレイ２１０及び多焦点マイクロレンズアレイ４１４の構成例を模式的に示す図である。
【００９２】
マイクロプリズムアレイ２１０は、屈折率が互いに異なる液体の界面で形成される、屈折方向の異なる２種類の液体プリズム群２１０ａ，２１０ｂを有している。液体プリズム群２１０ａ，２１０ｂの屈折角は、界面の角度で定まる。
【００９３】
マイクロプリズムアレイ２１０は、第１液体及び第２液体を保持するハウジング２００、仕切板２４２、駆動部２９０（第２の合焦距離変更手段）を有する。仕切板２４２は、ハウジング２００の内部を、第１液体が充填される第１液体領域２１１と第２液体が充填される第２液体領域２２０とに分割する。第１液体と第２液体は、屈折率が互いに異なり、かつ、水と油のように接触状態において互いに混合しない性質を持つ。第１液体及び第２液体の組合せとして、ＰＤＭＳ（Poly-Dimethyl-Siloxane）及び純水を例示することができる。ここでは第２液体の屈折率よりも第１液体の屈折率の方が大きいとする。また、第１液体及び第２液体のそれぞれの密度は実質的に等しいことが好ましい。
【００９４】
仕切板２４２には、液体プリズム群２１０ａ，２１０ｂが形成される位置に対応して複数の貫通孔２５０が形成される。液体プリズム群２１０ａ，２１０ｂは、それぞれ貫通孔２５０が形成された位置に形成される。
【００９５】
ハウジング２００の物体側の面及び像側の面には、ガラスなどの透光性の材料で形成された透光部が形成される。透光部は、液体プリズム群２１０ａ，２１０ｂが形成される位置に対応して形成され、被写体光は物体側の面に形成された透光部、貫通孔２５０、像側の面に形成された透光部を通過して、対応する多焦点マイクロレンズアレイ４１４の各レンズに入射する。
【００９６】
第１液体及び第２液体は、貫通孔２５０内で互いに接触して、液体プリズムとなる界面を形成する。
【００９７】
貫通孔２５０は、厚みの異なる側面部を持つ。第１液体領域２１１に充填された第１液体の圧力を特定の圧力にすると、当該圧力に応じて、液体の圧力差と表面張力とが釣り合うように平面状の界面が形成される。各貫通孔２５０内において第２液体が充填された状態で釣り合った状態となるよう第１液体の圧力を第１圧力にすると、破線２８２で示す界面が形成される。
【００９８】
仕切板２４２は第１液体側において平面状の端面を持ち、当該端面はハウジング２００の像側と平行であるので、破線２８２で示す界面は、プリズム効果を実質的に有さない。
【００９９】
一方、各貫通孔２５０内において第１液体が充填された状態で釣り合った状態となるよう、第１液体の圧力を第１圧力より高めて第２圧力にすると、界面の位置は第２液体側に移動して、実線２８１で示す界面が形成される。この界面の傾きは、各貫通孔２５０を形成する側面部の厚さに応じた傾きになり、これにより屈折角が異なる２種類の液体プリズム群２１０ａ，２１０ｂが形成される。
【０１００】
そして、駆動部２９０を矢印方向に駆動して第１液体を保持する液体領域２１１の内圧を制御することにより、光軸に対する界面の傾きを制御することができる。
【０１０１】
液体プリズム群２１０ａ，２１０ｂが形成されるようにマイクロプリズムアレイ２１０が駆動されると、図８に示したマイクロプリズムアレイ１１０と同様に、屈折方向の異なる２種類の液体プリズム群２１０ａ、２１０ｂにより、マイクロレンズ群のレンズ（即ち、イメージセンサ１６の受光セル１６ａ）に入射する射出瞳の位置が制御される。
【０１０２】
次に、第４の実施形態の多焦点マイクロレンズアレイ４１４の構成を説明する。多焦点マイクロレンズアレイ４１４を構成するマイクロレンズ群４１４ａ，４１４ｂは、屈折率が互いに異なる液体の界面で形成される、焦点距離が異なる２種類の液体マイクロレンズ群である。液体マイクロレンズ群の屈折力は、界面の開口サイズで定まる。
【０１０３】
多焦点マイクロレンズアレイ４１４は、第１液体及び第２液体を保持するハウジング４００、仕切板４４２、駆動部４９０（第２の合焦距離変更手段）を有する。仕切板４４２は、ハウジング４００の内部を、第１液体が充填される第１液体領域３１０と第２液体が充填される第２液体領域３２０とに分割する。
【０１０４】
ハウジング２００と同様、ハウジング４００の物体側の面及び像側の面には、ガラスなどの透光性の材料で形成された透光部が形成される。また、仕切板２４２と同様、仕切板４４２には、複数の受光セル１６ａが形成される位置に対応して複数の貫通孔が形成される。多焦点マイクロレンズアレイ４１４の各レンズは、複数の貫通孔のそれぞれにおける第１液体と第２液体との界面によって形成される。
【０１０５】
第１液体及び第２液体は、仕切板４４２よりも液体領域３２０側で接触して、マイクロレンズとなる界面を形成する。仕切板２４２とは異なり仕切板４４２は光軸方向に同一の厚さを有してよい。仕切板４４２は、少なくとも液体領域３２０側に、光軸に垂直面に平行な面を有する。
【０１０６】
マイクロレンズ群４１４ａ，４１４ｂの形状は、駆動部４９０を矢印方向に駆動し、液体領域３１０の内圧を制御することにより制御される。貫通孔の液体領域３２０側の両端部間で平面状の界面が形成される場合の圧力を基準圧力と呼ぶと、液体領域３１０に充填された第１液体の圧力は、基準圧力以上に維持される。第１液体の圧力を基準圧力より大きくすると、破線３８２で示すような界面が形成される。つまり、貫通孔の液体領域３２０側の両端部で界面の位置が担持されたまま、貫通孔の中心付近で物体側に頂点をもつアーチ状の界面が形成される。
【０１０７】
圧力を更に高くすると、破線３８１で示す界面が形成される。つまり、貫通孔の液体領域３２０側の両端部で界面の位置が担持されたまま、貫通孔より物体側に頂点をもつ、より曲率半径の小さいアーチ状の界面が形成される。
【０１０８】
このように界面の形状を制御することにより、それぞれ焦点距離が異なるマイクロレンズ群４１４ａ，４１４ｂの形状（焦点距離）を制御することができる。
【０１０９】
撮像装置１０の他の実施形態としては、例えば、カメラ機能を有する携帯電話機やスマートフォン、PDA(Personal Digital Assistants)、携帯型ゲーム機が挙げられる。以下、スマートフォンを例に挙げ、図面を参照しつつ、詳細に説明する。
【０１１０】
＜スマートフォンの構成＞
図１７は、撮像装置１０の他の実施形態であるスマートフォン５００の外観を示すものである。図１７に示すスマートフォン５００は、平板状の筐体５０２を有し、筐体５０２の一方の面に表示部としての表示パネル５２１と、入力部としての操作パネル５２２とが一体となった表示入力部５２０を備えている。また、筐体５０２は、スピーカ５３１と、マイクロホン５３２、操作部５４０と、カメラ部５４１とを備えている。尚、筐体５０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。
【０１１１】
図１８は、図１７に示すスマートフォン５００の構成を示すブロック図である。図１８に示すように、スマートフォンの主たる構成要素として、無線通信部５１０と、表示入力部５２０と、通話部５３０と、操作部５４０と、カメラ部５４１と、記憶部５５０と、外部入出力部５６０と、ＧＰＳ(Global Positioning System)受信部５７０と、モーションセンサ部５８０と、電源部５９０と、主制御部５０１とを備える。また、スマートフォン５００の主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。
【０１１２】
無線通信部５１０は、主制御部５０１の指示に従って、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。
【０１１３】
表示入力部５２０は、主制御部５０１の制御により、画像（静止画及び動画）や文字情報などを表示して視覚的にユーザに情報を伝達すると共に、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル５２１と、操作パネル５２２とを備える。生成された３Ｄ画像を鑑賞する場合には、表示パネル５２１は、３Ｄ表示パネルであることが好ましい。
【０１１４】
表示パネル５２１は、LCD(Liquid Crystal Display)、OELD(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。
【０１１５】
操作パネル５２２は、表示パネル５２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部５０１に出力する。次いで、主制御部５０１は、受信した検出信号に基づいて、表示パネル５２１上の操作位置（座標）を検出する。
【０１１６】
図１７に示すように、スマートフォン５００の表示パネル５２１と操作パネル５２２とは一体となって表示入力部５２０を構成しているが、操作パネル５２２が表示パネル５２１を完全に覆うような配置となっている。この配置を採用した場合、操作パネル５２２は、表示パネル５２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル５２２は、表示パネル５２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル５２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。
【０１１７】
尚、表示領域の大きさと表示パネル５２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要はない。また、操作パネル５２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体５０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル５２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。
【０１１８】
通話部５３０は、スピーカ５３１やマイクロホン５３２を備え、マイクロホン５３２を通じて入力されたユーザの音声を主制御部５０１にて処理可能な音声データに変換して主制御部５０１に出力したり、無線通信部５１０あるいは外部入出力部５６０により受信された音声データを復号してスピーカ５３１から出力するものである。また、図１７に示すように、例えば、スピーカ５３１を表示入力部５２０が設けられた面と同じ面に搭載し、マイクロホン５３２を筐体５０２の側面に搭載することができる。
【０１１９】
操作部５４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、操作部５４０は、スマートフォン５００の筐体５０２の表示部の下部、下側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
【０１２０】
記憶部５５０は、主制御部５０１の制御プログラムや制御データ、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部５５０は、スマートフォン内蔵の内部記憶部５５１と着脱自在な外部メモリスロットを有する外部記憶部５５２により構成される。尚、記憶部５５０を構成するそれぞれの内部記憶部５５１と外部記憶部５５２は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、Micro SD（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などの格納媒体を用いて実現される。
【０１２１】
外部入出力部５６０は、スマートフォン５００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、IEEE1394など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Bluetooth）（登録商標）、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ultra Wideband）（登録商標）、ジグビー（ZigBee）（登録商標）など）により直接的又は間接的に接続するためのものである。
【０１２２】
スマートフォン５００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Memory card）やＳＩＭ(Subscriber Identity Module Card)／ＵＩＭ(User Identity Module Card)カード、オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるPDA、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン５００の内部の各構成要素に伝達することや、スマートフォン５００の内部のデータが外部機器に伝送されるようにすることができる。
【０１２３】
ＧＰＳ受信部５７０は、主制御部５０１の指示に従って、GPS衛星ＳＴ１〜ＳＴｎから送信されるGPS信号を受信し、受信した複数のGPS信号に基づく測位演算処理を実行し、当該スマートフォン５００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部５７０は、無線通信部５１０や外部入出力部５６０（例えば、無線ＬＡＮ）から位置情報を取得できるときには、その位置情報を用いて位置を検出することもできる。
【０１２４】
モーションセンサ部５８０は、例えば、３軸の加速度センサなどを備え、主制御部５０１の指示に従って、スマートフォン５００の物理的な動きを検出する。スマートフォン５００の物理的な動きを検出することにより、スマートフォン５００の動く方向や加速度が検出される。この検出結果は、主制御部５０１に出力されるものである。
【０１２５】
電源部５９０は、主制御部５０１の指示に従って、スマートフォン５００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。
【０１２６】
主制御部５０１は、マイクロプロセッサを備え、記憶部５５０が記憶する制御プログラムや制御データに従って動作し、スマートフォン５００の各部を統括して制御するものである。また、主制御部５０１は、無線通信部５１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
【０１２７】
アプリケーション処理機能は、記憶部５５０が記憶するアプリケーションソフトウェアに従って主制御部５０１が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部５６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Webページを閲覧するWebブラウジング機能などがある。
【０１２８】
また、主制御部５０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部５２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部５０１が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部５２０に表示する機能のことをいう。
【０１２９】
更に、主制御部５０１は、表示パネル５２１に対する表示制御と、操作部５４０、操作パネル５２２を通じたユーザ操作を検出する操作検出制御を実行する。
【０１３０】
表示制御の実行により、主制御部５０１は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成するためのウィンドウを表示する。尚、スクロールバーとは、表示パネル５２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
【０１３１】
また、操作検出制御の実行により、主制御部５０１は、操作部５４０を通じたユーザ操作を検出したり、操作パネル５２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
【０１３２】
更に、操作検出制御の実行により主制御部５０１は、操作パネル５２２に対する操作位置が、表示パネル５２１に重なる重畳部分（表示領域）か、それ以外の表示パネル５２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル５２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
【０１３３】
また、主制御部５０１は、操作パネル５２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。
【０１３４】
カメラ部５４１は、CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge-Coupled Device)などの撮像素子を用いて電子撮影するデジタルカメラである。このカメラ部５４１に前述した撮像装置１０を適用することができる。多焦点メインレンズと多焦点マイクロレンズアレイとを組み合わせた複数の合焦距離の画像を同時に撮影することができるため、メカ的な自動焦点調節機能が不要となり、スマートフォン５００のように薄型の携帯端末に組み込むカメラ部として好適である。
【０１３５】
また、カメラ部５４１は、主制御部５０１の制御により、撮像によって得た画像データを、例えばJPEG(Joint Photographic coding Experts Group)などの圧縮した画像データに変換し、記憶部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力することができる。図１７に示すにスマートフォン５００において、カメラ部５４１は表示入力部５２０と同じ面に搭載されているが、カメラ部５４１の搭載位置はこれに限らず、表示入力部５２０の背面に搭載されてもよいし、あるいは、複数のカメラ部５４１が搭載されてもよい。尚、複数のカメラ部５４１が搭載されている場合には、撮影に供するカメラ部５４１を切り替えて単独にて撮影したり、あるいは、複数のカメラ部５４１を同時に使用して撮影することもできる。
【０１３６】
また、カメラ部５４１はスマートフォン５００の各種機能に利用することができる。例えば、表示パネル５２１にカメラ部５４１で取得した画像を表示することや、操作パネル５２２の操作入力のひとつとして、カメラ部５４１の画像を利用することができる。また、ＧＰＳ受信部５７０が位置を検出する際に、カメラ部５４１からの画像を参照して位置を検出することもできる。更には、カメラ部５４１からの画像を参照して、３軸の加速度センサを用いずに、あるいは、３軸の加速度センサと併用して、スマートフォン５００のカメラ部５４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部５４１からの画像をアプリケーションソフトウェア内で利用することもできる。
【０１３７】
［その他］
多焦点メインレンズの焦点数及び多焦点マイクロレンズアレイの焦点数は、本実施形態に限らず、種々の組合せが考えられ、多焦点メインレンズの焦点数をｍ，多焦点マイクロレンズアレイの焦点数をｎとすると、ｍ、ｎは、それぞれ２以上の整数であればよく、また、本発明により同時に取得することができる合焦距離が異なる複数の画像は、４枚以上である。
【０１３８】
本発明によれば、それぞれ合焦距離が異なる複数枚の画像を同時に取得することができるが、ユーザが画像の記録前に各画像の合焦状態を確認し、ユーザが指示した画像のみを記録するようにしてもよい。また、それぞれ合焦距離が異なる複数枚の画像の合焦している領域をそれぞれ合成し、近距離から遠距離の全てに合焦した画像を生成し、記録することもできる。
【０１３９】
また、瞳指向性をもたせるための光学要素としては、本実施形態のプレノプティックカメラを構成するマイクロレンズアレイ（多焦点マイクロレンズアレイ１４）、イメージセンサの受光セル毎のマイクロレンズアレイ（多焦点マイクロレンズアレイ１１４）の前面側に設けられたマイクロプリズムアレイ１１０、及びイメージセンサの受光セル毎のマイクロレンズアレイ（多焦点マイクロレンズアレイ１１４）と遮光部材１２０との組合せによるものに限定されず、例えば、瞳分割偏光素子を使用するもの（特開２００９−１６２８４７号公報）等の瞳分割手段を適用することができる。
【０１４０】
本実施の形態では、イメージセンサにＣＭＯＳ型撮像素子を用いた例で説明したが、ＣＭＯＳ型に限定されるものではなく、ＣＣＤ等の他のイメージセンサも適用可能である。
【０１４１】
また、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
【符号の説明】
【０１４２】
１０…撮像装置、１２、１１２、２１２…多焦点メインレンズ、１４、１４’、１１４、２１４、３１４、４１４…多焦点マイクロレンズアレイ、１６、１１６…イメージセンサ、１６ａ、１６ｂ…受光セル、２４…デジタル信号処理部、２５…画像処理部、４０…中央処理装置（ＣＰＵ）、１１０、２１０…マイクロプリズムアレイ、１２０…遮光部材
【図１】
2014024745.tif 000003
【図２】
2014024745.tif 000004
【図３】
2014024745.tif 000005
【図５】
2014024745.tif 000006
【図６Ａ】
2014024745.tif 000007
【図６Ｂ】
2014024745.tif 000008
【図７Ａ】
2014024745.tif 000009
【図７Ｂ】
2014024745.tif 000010
【図７Ｃ】
2014024745.tif 000011
【図８】
2014024745.tif 000012
【図９Ａ】
2014024745.tif 000013
【図９Ｂ】
2014024745.tif 000014
【図１０】
2014024745.tif 000015
【図１１】
2014024745.tif 000016
【図１２】
2014024745.tif 000017
【図１３Ａ】
2014024745.tif 000018
【図１３Ｂ】
2014024745.tif 000019
【図１３Ｃ】
2014024745.tif 000020
【図１４Ａ】
2014024745.tif 000021
【図１４Ｂ】
2014024745.tif 000022
【図１５Ａ】
2014024745.tif 000023
【図１５Ｂ】
2014024745.tif 000024
【図１５Ｃ】
2014024745.tif 000025
【図１６】
2014024745.tif 000026
【図１７】
2014024745.tif 000027
【図１８】
2014024745.tif 000028
【図４】
2014024745.tif 000029
【国際調査報告】
2014024745.tif 000030
2014024745.tif 000031
2014024745.tif 000032
2014024745.tif 000033