(57)【要約】【課題】レンズアレイを用いる複眼撮像装置であって、環境の変化や設置位置の変更等によらず、適正な焦点位置で高画質な画像を撮影可能な複眼撮像装置を提供する。【解決手段】レンズアレイを用いる複眼撮像素子において、レンズユニット等の構成部材の歪み検出手段を設けると共に、構成部材の歪みと撮像素子による画像の変動との関係を予め知見しておき、歪み検出手段による検出結果に応じて撮像素子による画像の調整を行なうことにより、前記課題を解決する。【選択図】図１
2011019088.tif 000002
【特許請求の範囲】
【請求項１】
レンズを二次的に配列してなるレンズアレイと、
前記レンズアレイを通過した光を受光して、画像を撮像する撮像素子と、
装置を構成する構成部材の少なくとも１つの歪みを検出する歪み検出手段と、
予め知見した前記構成部材の歪み特性を有し、この歪み特性を用いて、前記歪み検出手段による歪みの検出結果に応じて、前記撮像素子による画像の調整を行なう、調整手段とを有することを特徴とする複眼撮像装置。
【請求項２】
前記歪み検出手段が、温度測定手段および湿度測定手段の少なくとも一方であり、
前記調整手段は、予め知見した、温度および湿度の少なくとも一方と前記構成部材の歪み特性との関係を用いて、前記画像の調整を行なう請求項１に記載の複眼撮像装置。
【請求項３】
装置の外観を構成する筐体を有し、前記温度測定手段および湿度測定手段の少なくとも一方が、この筐体の内部に配置される請求項２に記載の複眼撮像装置。
【請求項４】
前記歪み検出手段が、前記構成部材の少なくとも１つにかかる応力を検出する応力検出手段であり、前記調整手段は、予め知見した、前記部材にかかる応力と前記構成部材の歪み特性との関係を用いて、前記画像の調整を行なう請求項１に記載の複眼撮像装置。
【請求項５】
前記構成部材が、前記レンズアレイのレンズを保持するレンズホルダおよび前記撮像素子を保持する撮像素子保持手段の少なくとも一方である請求項４に記載の複眼撮像装置。
【請求項６】
前記調整手段は、前記撮像素子が撮像した画像に画像処理を施すことにより、前記画像の調整を行なう請求項１〜５のいずれかに記載の複眼撮像装置。
【請求項７】
前記画像処理が、鮮鋭度補正処理である請求項６に記載の複眼撮像装置。
【請求項８】
前記レンズアレイのレンズが、可変焦点レンズであり、前記調整手段は、前記レンズの焦点を調整することにより、前記画像の調整を行なう請求項１〜５のいずれかに記載の複眼撮像装置。
【請求項９】
前記歪み特性が、前記レンズアレイの個々のレンズに対応して知見されている請求項１〜８のいずれかに記載の複眼撮像装置。
【請求項１０】
被写体と前記レンズアレイとの間に、前記レンズアレイに画像を結像するメインレンズを有し、
前記調整手段は、撮像素子による画像が、前記レンズアレイのレンズの焦点に結像した際に対応する画像となるように、前記画像の調整を行なう請求項１〜９のいずれかに記載の複眼撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、レンズを二次元的に配列してなるレンズアレイを利用する複眼撮像装置に関し、具体的には、使用環境や設置場所等によらず、安定して適正な画像の撮影を行なうことができる複眼撮像装置に関する。
【背景技術】
【０００２】
立体画像の撮像に、微小なレンズ（マイクロレンズ）を二次元的に配列してなる（マイクロ）レンズアレイが利用されている。
レンズアレイを用いる複眼撮像装置は、一例として、被写体を、レンズアレイ（あるいはさらに、被写体とレンズアレイとの間に配置されるメインレンズ）を介してＣＣＤセンサ等の撮像素子で撮像することにより、立体画像を撮像する。例えば、特許文献１には、レンズアレイと、撮像素子とを有する複眼撮像装置（立体画像撮像装置）において、レンズアレイのレンズの間を通って撮像素子に入力する光を遮光する遮光手段を有する複眼撮像装置が記載されている。
【０００３】
また、レンズアレイを用いることで、焦点深度の異なる複数の画像、被写体の距離の情報、被写体の奥行きの情報等の各種の情報を得ることができ、また、光学系の小型化（特に、薄型化）も図ることができるため、立体画像の撮像／再生以外にも、各種の用途への応用が検討されている。
【０００４】
例えば、特許文献２には、携帯電話やパーソナルコンピュータに組み込むことを目的とした薄型のカメラモジュールとして、レンズアレイを用いた複眼撮像装置が例示される。この引用文献２に記載されるような複眼撮像装置では、レンズアレイの各レンズで撮像された複数の画像から、各画像の視差情報を利用して、１つの画像を再構成する。
【０００５】
ところで、前記特許文献２において、携帯電話等に組み込む薄型のカメラモジュールへの利用が例示されることからも分かるように、このようなレンズアレイを用いる複眼撮像装置においては、レンズアレイと撮像素子との間隔が、非常に小さい。言い方を変えれば、レンズアレイ（撮像レンズ）とＣＣＤセンサ等の撮像素子との間隔を、非常に狭くできるので、非常に薄型の撮像装置を実現することができる。
しかしながら、複眼撮像装置では、レンズアレイと撮像素子との間隔が非常に狭く、しかも、レンズアレイを初めとして、非常に微細な構造を有するために、レンズアレイと撮像素子との間隔の小さな誤差や、レンズアレイの個体差に起因する小さな焦点距離の微小なバラツキによって、画質が大きく劣化してしまう。
【０００６】
このような問題点を解決するために、前述の引用文献２には、レンズアレイと撮像素子との間に、各レンズを通過した光が互いに干渉するのを防止するために、レンズの配列に応じた貫通孔を有する遮光ブロックを配置すると共に、厚さの異なる２種以上の単位プレートを準備し、単位プレートを積層することにより、遮光ブロックを形成することが開示されている。
すなわち、引用文献２に記載される複眼撮像装置においては、レンズアレイの個体差等に起因する、レンズアレイの焦点距離の微小なバラツキに応じて、遮光ブロックを形成する単位プレートを選択し、かつ、枚数を調整する。この複眼撮像装置は、このような構成を有することにより、遮光ブロックの厚さ、すなわちレンズアレイと撮像素子の受光面との間隔を調整して、レンズアレイの焦点距離のバラツキ等に対応して、鮮明度の高い再生画像を得ることを可能にしている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００２−３００５９９号公報
【特許文献２】特開２００７−１８０６５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
引用文献２に記載される複眼撮像装置によれば、レンズアレイの個体差に起因する焦点距離のバラツキには対応することができる。
しかしながら、この構成では、レンズアレイと撮像素子との距離は固定的に設定されている。そのため、当初は、レンズアレイと撮像素子との間隔が適正に設定され、レンズアレイの焦点位置が、適正な位置に設定されていても、使用環境の変動、例えば、温度や湿度が変動して、レンズや、それ以外の複眼撮像装置を構成する構成部材の熱膨張等が生じると、レンズの焦点位置ズレや構成部材同士の相対的な位置ズレ等が生じる。
前述のように、複眼撮像装置では、レンズアレイと撮像素子との間隔が非常に狭く、また、レンズアレイ等が微細な構造を有するので、このような焦点位置ズレ等の誤差は、僅かでも、非常に大きな画質劣化の原因となる。
【０００９】
本発明の目的は、前記従来技術の問題点を解決することにあり、レンズアレイを利用する複眼撮像装置において、高精度な組み立てや調整を不要として、かつ、使用環境や設置位置によらず、安定して、適正な画像を得ることができる複眼撮像装置を提供することにある。
【課題を解決するための手段】
【００１０】
前記目的を達成するために、本発明の複眼撮像装置は、レンズを二次的に配列してなるレンズアレイと、前記レンズアレイを通過した光を受光して、画像を撮像する撮像素子と、装置を構成する構成部材の少なくとも１つの歪みを検出する歪み検出手段と、予め知見した前記構成部材の歪み特性を有し、この歪み特性を用いて、前記歪み検出手段による歪みの検出結果に応じて、前記撮像素子による画像の調整を行なう、調整手段とを有することを特徴とする複眼撮像装置を提供する。
【００１１】
このような本発明の複眼撮像装置において、前記歪み検出手段が、温度測定手段および湿度測定手段の少なくとも一方であり、前記調整手段は、予め知見した、温度および湿度の少なくとも一方と前記構成部材の歪み特性との関係を用いて、前記画像の調整を行なうのが好ましく、この際において、装置の外観を構成する筐体を有し、前記温度測定手段および湿度測定手段の少なくとも一方が、この筐体の内部に配置されるのが好ましい。
また、前記歪み検出手段が、前記構成部材の少なくとも１つにかかる応力を検出する応力検出手段であり、前記調整手段は、予め知見した、前記部材にかかる応力と前記構成部材の歪み特性との関係を用いて、前記画像の調整を行なうのが好ましく、この際において、前記構成部材が、前記レンズアレイのレンズを保持するレンズホルダおよび前記撮像素子を保持する撮像素子保持手段の少なくとも一方であるのが好ましい。
また、前記調整手段は、前記撮像素子が撮像した画像に画像処理を施すことにより、前記画像の調整を行なうのが好ましく、この際において、前記画像処理が、鮮鋭度補正処理であるのが好ましい。
また、前記レンズアレイのレンズが、可変焦点レンズであり、前記調整手段は、前記レンズの焦点を調整することにより、前記画像の調整を行なうのが好ましく、また、前記歪み特性が、前記レンズアレイの個々のレンズに対応して知見されているのが好ましく、さらに、被写体と前記レンズアレイとの間に、前記レンズアレイに画像を結像するメインレンズを有し、前記調整手段は、撮像素子による画像が、前記レンズアレイのレンズの焦点に結像した際に対応する画像となるように、前記画像の調整を行なうのが好ましい。
【発明の効果】
【００１２】
本発明は、（マイクロ）レンズを二次元的に配列してなるレンズアレイを用いる複眼撮像装置において、レンズアレイ等の装置の構成部材の歪み特性を予め知見しておくと共に、温度測定や湿度測定、構成部材にかかる応力の測定等によって、レンズアレイや撮像素子の保持手段等の構成部材の歪みを検出して、この検出結果に応じて、予め知見した構成部材の歪み特性を用いて、撮像素子が撮像した画像の画像処理や、レンズアレイを構成するレンズの焦点距離の調整を行なう。
そのため、本発明の複眼撮像装置によれば、高い組み立て精度や煩雑な調整手段が無くても、使用環境や設置場所によらず、また、使用環境や設置場所の変動が生じた場合にも、これに好適に追従して、レンズアレイの焦点が適正に有った適正な画像を、安定して撮影することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の複眼撮像装置の一例を概念的に示す図である。
【図２】図１に示される複眼撮像装置のレンズユニットの一例を概念的に示す分解斜視図である。
【図３】本発明の複眼撮像装置の別の例を概念的に示す図である。
【図４】本発明の複眼撮像装置の別の例を概念的に示す図である。
【発明を実施するための形態】
【００１４】
以下、本発明の複眼撮像装置について、添付の図面に示される好適実施例を基に、詳細に説明する。
【００１５】
図１に、本発明の複眼撮像装置の一例を概念的に示す。
図１に示す複眼撮像装置１０（以下、撮像装置１０とする）は、被写体ＯＢの画像を撮像する装置であって、基本的に、レンズアレイユニット１２と、信号処理手段１４と、温度測定手段１６と、画像調整手段１８と、撮像装置１０の動作を管理／制御する、制御手段２０とを有して構成される。
これらの各部材（あるいは、少なくとも、レンズアレイユニット１２および温度測定手段１６）は、撮像装置１０の外観を構成する、図示しない筐体に収納されて、所定位置に保持される。
【００１６】
このような本発明の撮像装置１０は、後述する温度測定（湿度測定／歪み検出）、および、この測定結果に応じた画像処理（レンズの焦点調整）を行なう点に特徴を有する以外は、基本的に、レンズアレイを介して被写体の画像を撮像素子に撮像（撮影）する、いわゆるインテグラルフォトグラフィ（Integral Photography  『ＩＰ』）を利用する、公知の複眼撮像装置である。
【００１７】
図２に、レンズアレイユニット１２の分解斜視図を概念的に示す。
図２に示すように、レンズアレイユニット１２（以下、レンズユニット１２とする）は、図中上方（光の入射側）から、絞り２４と、レンズアレイ２６と、隔壁２８と、センサーベース３０と、撮像素子３２と、基板３４とを有して構成される。また、レンズユニット１２を構成する各部材（撮像素子３２を除く）には、レンズアレイ２６のレンズ３６の光軸と直交する方向の同位置に、各部材を位置合わせして組み立てるための、貫通孔（２４ａ，２６ａ、２８ａ、３０ａ、および、３４ａ）が形成される。
【００１８】
なお、図２においては、レンズユニット１２の構成を明瞭に示すために、レンズアレイ２６は、９個のレンズ３６を、３×３で正方格子状に配列してなる構成で示している。
また、本発明において、レンズユニット１２は、この構成に限定はされず、少なくともレンズアレイと撮像素子とを一体化してなる、各種の構成が利用可能である。
【００１９】
絞り２４は、公知の絞りと同様、レンズアレイ２６の各レンズ３６に入射する光量を調整するものである。図示例において、絞り２４は、遮光性の板材からなる矩形の平板状で、レンズアレイ２６の各レンズ３６に対応する位置に、被写体ＯＢ（撮像シーン）からの光を規制して通過させる貫通孔である絞り孔３８が形成される。
また、絞り２４の四隅には、レンズユニット１２を組み立てるための貫通孔２４ａが形成される。
【００２０】
（マイクロ）レンズアレイ２６は、微細なレンズ３６を二次元的に配列してなるものであり、レンズ３６と、このレンズ３６を保持するレンズホルダ４０とから構成される、公知のレンズアレイである。
レンズ３６は、レンズアレイ２６を構成する、通常の（マイクロ）レンズである。他方、レンズホルダ４０は、矩形の平板状で、３×３のレンズ３６の配列に対応して、レンズ３６を挿入して保持する貫通孔であるレンズ保持孔４２が形成される。また、レンズホルダ４０の四隅には、レンズユニット１２を組み立てるための貫通孔２６ａが形成される。
【００２１】
本発明の撮像装置１０において、レンズアレイは、図示例のような、３×３＝９個のレンズ３６を正方格子状に配列したものに限定はされず、９個を超えるレンズを有してもよいのは、もちろんである。また、レンズ３６の配列も、図示例のような正方格子状に限定はされず、二次元的にレンズが配列されるものであれば、千鳥格子状のレンズ配列等、各種のレンズ配列が利用可能である。
また、図示例においては、レンズ３６は、円形（光軸方向からみた形状）であるが、本発明は、これにも限定はされず、六角形や正方形等の各種の形状のレンズが利用可能であり、また、サイズおよび／または形状が異なる複数種のレンズを配列したものでもよい。
さらに、本発明において、レンズアレイは、全てのレンズが光軸方向の同位置に配置されるのにも限定はされない。例えば、レンズの光軸方向の位置が２つ設定され、１個置きに、レンズの光軸方向の位置が異なるように、レンズを配列したレンズアレイであってもあってもよい。
【００２２】
また、本発明において、レンズアレイは、図示例のように、レンズ３６と、レンズ３６を保持するレンズホルダ４０とで構成されるのに限定はされず、二次元的に配列されたレンズと、ホルダ（レンズ同士の連結部）とを、一体的に成形したものであってもよい。
【００２３】
隔壁２８は、各レンズ３６を通過した光が、撮像素子３２の受光面において、そのレンズ自身の直下以外の領域に入射（隣接するレンズが対応する領域に入射）する、要素画像の混入（いわゆるクロストーク）を防止するためのものである。
図示例において、隔壁２８は、遮光性を有する矩形の平板状で、レンズアレイ２６の各レンズ３６に対応する位置に、レンズ３６を通過した光が通過するための貫通孔４４を形成してなる構成を有する。また、このレンズユニット１２において、隔壁２８は、撮像素子３２の受光面と、レンズアレイ２６の各レンズ３６との間隔を所定距離に保つ、スペーサとしての作用も有している。
また、隔壁２８の四隅には、レンズアレイユニット１２を組み立てるための貫通孔２８ａが形成される。
【００２４】
撮像素子３２は、レンズアレイ２６の各レンズ３６を通して結像された被写体ＯＢの画像を撮像する、公知の撮像素子である。本発明において、撮像素子３２には、特に限定はなく、二次元的な画素配列を有するＣＣＤセンサ、ＣＭＯＳイメージセンサ等、複眼撮像装置、デジタルビデオカメラやデジタルスチルカメラ等に利用されている、公知の撮像素子（イメージセンサ）が、全て、利用可能である。
また、撮像素子３２は、カラー画像を撮像する撮像素子であっても、モノクロ画像を撮像する撮像素子であってもよい。あるいは、ＣＣＤセンサ等の撮像素子に代えて、銀塩写真感光材料等の各種の感光材料を配置してもよい。
【００２５】
なお、撮像装置１０においては、通常の複眼撮像装置と同様に、レンズアレイ２６の１個のレンズ３６は、撮像素子３２の１個の画素に対応するのではなく、撮像素子３２の多数の画素に対応する。
従って、メインレンズを有さない図示例の撮像装置１０においては、少しずつ異なる方向から撮像した、レンズ２６の数分の被写体ＯＢの画像が撮像素子３２で撮像される。
【００２６】
撮像素子３２は、センサーベース３０に保持されて、レンズアレイユニット１２の所定位置に保持される。
センサーベース３０は、撮像素子３２と同じ厚さ（レンズ２６の光軸方向の厚さ）を有する矩形の平板状で、中央に、撮像素子３２を挿入／保持するセンサ保持孔４６が形成される。また、センサーベース３０の四隅にも、レンズアレイユニット１２を組み立てるための貫通孔３０ａが形成される。
【００２７】
基板３４は、撮像素子３２が撮像した画像信号（撮像素子３２の出力信号）を、信号処理手段１４に供給する、撮像素子３２に応じた、公知の基板である。この基板３４にも、レンズアレイユニット１２を組み立てるための貫通孔３４ａが形成される。
【００２８】
図示例のレンズユニット１２は、各部材に形成される貫通孔を一致した状態で、下から（光入射側に向かって）、基板３４、撮像素子３２を保持するセンサーベース３０、隔壁２８、レンズアレイ２６、および絞り２４の順で積層され、貫通孔を挿通するビスやボルト／ナットで締結されて一体化されることにより、構成される。
ここで、レンズユニット１２は、レンズアレイ２６のレンズ３６の焦点が、撮像素子３２の受光面に一致するように構成されている。
【００２９】
レンズユニット１２（撮像素子３２）が撮像した被写体ＯＢの画像は、信号処理手段１４に供給される。
信号処理手段１４は、撮像素子３２が撮像した画像信号（出力信号）に、ＡＤ変換やｌｏｇ変換、画像の合成や画像データの変換等の、所定の信号処理や画像処理を施して、出力画像として、ディスプレイやコンピュータ、ネットワーク等に出力する部位である。
【００３０】
信号処理手段１４が出力する出力画像には、特に限定は無く、撮像素子３２が撮像した複数の被写体ＯＢの画像を合成／処理してなる立体画像や超解像度画像や複数の焦点深度を有する画像、撮像素子３２が撮像した複数の被写体ＯＢの画像、測距情報に対応する画像等、複眼撮像装置（インテグラルフォトグラフィ）が対応する各種の画像や被写体ＯＢに関する情報像が、全て利用可能である。
なお、所定の出力画像を得るために信号処理手段１４で行なう信号処理や画像処理は、全て、公知の方法で行なえばよい。
【００３１】
ここで、信号処理手段１４は、画像処理として、少なくとも鮮鋭度補正（シャープネス処理）を行なう。また、この鮮鋭度補正の条件は、後述する温度測定手段１６による温度測定結果に応じて、画像調整手段１８が設定した処理条件で行なう。
この点に関しては、後に詳述する。
【００３２】
温度測定手段１６は、撮像装置１０の内部（前記筐体内部）の温度を測定して、温度測定結果を、画像調整手段１８に供給する。なお、温度測定手段１６には、特に限定はなく、公知の温度測定手段が、全て利用可能である。
【００３３】
ここで、図示例においては、好ましい態様として、温度測定手段１６を、撮像装置１０の外観を構成する筐体（図示省略）の内部に配置したが、本発明は、これに限定はされず、この筐体の外部に温度測定手段１６を配置してもよい。
しかしながら、直射日光や外気の直接の影響を避け、より正確に後述するレンズアレイ２６の歪みに対応する温度測定を行なうことができる等の点で、温度測定手段１６は、撮像装置１０の外観を形成する筐体の内部に配置するのが好ましい。
【００３４】
温度測定手段１６による温度測定結果は、画像調整手段１８に供給される。
画像調整手段１８は、予め知見（作成）した、撮像装置１０の構成部材の少なくとも１以上の温度と歪み特性との関係を記憶している。画像調整手段１８は、温度測定手段１６による温度測定結果に応じて、この歪み特性を用いて、信号処理手段１４における画像調整のための画像処理条件を設定し、信号処理手段１４に供給する。
【００３５】
具体的には、画像調整手段１８には、歪み特性として、撮像装置１０の温度すなわち温度測定手段１６による温度測定結果と、この温度によってレンズユニット１２等に歪みを生じた際の画質劣化を補償する鮮鋭度補正条件との関係を示すテーブル（ＬＵＴ（ルックアップテーブル））が記憶されている。すなわち、前述のように、レンズユニット１２は、レンズアレイ２６を構成するレンズ３６の焦点が撮像素子３２の受光面に設定されているので、画像調整手段１８には、撮像装置１０の温度によって生じたレンズユニット１２等の歪みに起因する焦点位置ズレを補償して、撮像した画像が、レンズ３６の焦点が撮像素子３２の受光面に一致している状態と同等の画像となるような、温度と鮮鋭度補正条件との関係を示すテーブルが記憶されている。
画像調整手段１８は、温度測定手段１６による温度測定結果から、このテーブルを用いて鮮鋭度補正の処理条件を設定し、信号処理手段１４は、この処理条件に応じて、撮像素子３２が撮像した画像に鮮鋭度補正を行なうことにより、温度変化によって生じるレンズユニット１２等の歪みに起因する画質劣化を補正した、適正な画像を得ることを可能にしている。
【００３６】
言い換えれば、図示例においては、撮像装置１０の温度を測定することにより、レンズユニット１２等の構成部材の歪みを検出し、予め作成した、温度と構成部材の歪み特性との関係を示すテーブルを用いて、歪みに起因する画質劣化を補償するように鮮鋭度補正の強度を向上することにより、撮像装置１０を構成するレンズユニット１２等に歪みが無い状態における画像、すなわち、レンズ３６の焦点が撮像素子３２の受光面に一致している状態と同等の画像を得る。
【００３７】
前述のように、レンズアレイを利用する複眼撮像装置は、レンズアレイと撮像素子との間隔が狭く、かつ、レンズアレイが非常に微細な構造を有するために、レンズアレイと撮像素子の受光面との間隔の小さな誤差や、レンズアレイの個体差に起因する小さな焦点距離の微小なバラツキによって、画質が大きく劣化してしまう。
ここで、レンズの焦点距離に応じて、レンズアレイと撮像素子との間隔を適正に設定しても、使用環境の温度変動が生じると、撮像装置１０の温度が変動し、これによって装置を構成する構成部材の熱膨張等が生じ、やはり、大きな画質劣化が生じる。
【００３８】
具体的には、撮像装置１０に温度変化が生じると、レンズアレイ２６を構成するレンズ３６に熱膨張等が生じて、レンズが歪み、焦点位置に誤差を生じてしまう。
また、温度変化が生じると、レンズ３６以外の部材にも歪み等が生じて、機械的な誤差を生じてしまい、これらも、画質劣化の原因となる。このような不都合は、特に、レンズ３６の光軸上に位置する部材による影響が大きく、中でも特に、レンズユニット１２を組み立てるネジが変形等に起因する、レンズホルダ４０の撓みやレンズホルダ面の傾斜、センサーベース３０の撓みや傾斜、光軸方向のクリアランスのズレ等は、大きな画質劣化の要因となる。
また、このような歪みの大きさ（画質劣化の大きさ）は、温度に依存する。
【００３９】
前述のように、レンズアレイを利用する複眼撮像装置は、レンズアレイと撮像素子との間隔が狭く、また、レンズアレイを初めとして、非常に微細な構成を有する。そのため、このような誤差は、非常に大きな画質劣化の原因となる。
【００４０】
これに対し、本発明においては、前述のように、撮像装置１０の温度を測定することにより、レンズユニット１２等、撮像装置１０を構成する部材の歪みを知見し、この歪みに起因する画質劣化を補償するように、鮮鋭度補正の補正条件を決定する。
これにより、高い製造組み立て精度や、煩雑なレンズ位置の調整手段等を不要にして、撮影装置１０の使用環境等によらず、また、使用環境の変化が生じても、目的とする画質を有する画像を安定して撮影することができる。
【００４１】
本発明において、撮像装置１０の温度と、鮮鋭度補正条件との関係を示すテーブル（レンズアレイ２６の歪み特性）の作成方法には、特に限定はなく、各種の方法が利用可能である。
一例として、撮像装置１０の温度と、この温度における画質劣化（画像ボケ）を補正して、焦点が合った状態と同等の画像とするために必要な鮮鋭度補正の強度との関係を、シミュレーションや実験を行なって知見し、テーブル化する方法が、例示される。
【００４２】
本発明において、撮像装置１０の温度と、鮮鋭度補正条件との関係を示すテーブル（レンズアレイ２６の歪み特性）は、レンズアレイ２６の全てのレンズ３６に対応するものを１つ有してもよい。
しかしながら、より高画質な画像を得るためには、好ましくは、レンズアレイ２６の個々のレンズ３６に対して、このテーブルを作成して記憶し、温度測定手段１６による温度測定結果に応じて、個々のレンズ３６毎に、対応するテーブルを用いて、鮮鋭度補正の条件を設定するのが好ましい。
あるいは、互いに近接する所定数のレンズ３６毎に、このテーブルを作成して記憶して、レンズ３６毎に、対応するテーブルを用いて鮮鋭度補正の条件を設定してもよい。
【００４３】
図示例においては、撮像装置１０の温度を測定することによって、レンズユニット１２等の構成部材の歪みを検出し、この温度検出結果に応じて、鮮鋭度補正の補正条件を変更することで、歪みに起因する画質劣化を補正しているが、本発明は、これに限定はされず、鮮鋭度補正以外の画像処理の条件を変更することによって、レンズアレイ２６のレンズの歪みを補正してもよい。
【００４４】
図示例の撮像装置１０は、温度を測定することで、レンズユニット１２等の構成部材の歪みを検出しているが、本発明は、これに限定はされず、温度測定以外の方法で、レンズユニット１２等の撮像装置１０を構成する構成部材の歪みを検出してもよい。
【００４５】
一例として、レンズユニット１２等の撮像装置１０を構成する構成部材は、使用環境の湿度変動によっても、膨潤によって、先と同様、レンズの焦点位置変動、構成部材の歪みや傾斜、位置ズレ等の誤差を生じ、かつ、このような歪みの大きさは、湿度に依存する。従って、本発明においては、温度測定に変えて、撮像装置１０の湿度を測定することにより、レンズユニット１２等の撮像装置１０の構成部材の歪みを検出してもよい。
この場合にも、温度測定を行なう態様と同様に、実験やシミュレーションによって、撮像装置１０の湿度と、鮮鋭度補正等の画像処理条件との関係を示すテーブル（レンズアレイ２６の歪み特性）を作成し、これを用いて、湿度の測定結果から、画像処理条件を設定すればよい。
【００４６】
湿度の測定方法には、特に限定はなく、公知の湿度測定手段が、全て利用可能である。
また、湿度の測定位置にも、特に限定は無いが、温度測定手段と同様、直射日光や外気の直接の影響を避け、より正確に後述するレンズアレイ２６の歪みに対応する湿度測定を行なうことができる等の点で、温度測定手段１６は、撮像装置１０の外観を形成する筐体の内部に配置するのが好ましい。
【００４７】
あるいは、温度測定や湿度測定ではなく、撮像装置１０、特に、レンズユニット１２を構成する各部材にかかる応力を測定することにより、レンズユニット１２等の撮像装置１０を構成する構成部材の歪みを検出してもよい。
前述の温度変動や湿度変動によって部材の歪みが生じれば、部材には、形状や固定状態、歪みの状態等に応じて、応力が生じる。また、撮像装置１０の設置位置が不適切である場合などは、装置の構成部材に不適正に力がかかるが、この場合にも、レンズユニット１２等の歪みを生じ、部材には応力が生じる。このような部材に生じる応力の大きさは、歪み等の大きさに依存する。
従って、この応力の大きさを測定することにより、撮像装置１０の構成部材の歪みを検出することができる。
【００４８】
応力の測定手段には、特に限定はなく、ピエゾ素子等の圧電素子を用いる方法、ストレインゲージを用いる方法等、公知の応力測定手段が、全て利用可能である。
【００４９】
また、応力を測定する撮像装置の構成部材にも特に限定はなく、撮像装置１０を構成する全ての部材が利用可能である。中でも、レンズアレイ２６のレンズ３６の光軸上に位置する部材にかかる応力を測定するのが好適であり、これに相当する全部材の応力を測定するのが好ましいが、その中でも特に、少なくとも、レンズホルダー４０（レンズ３６の保持手段）およびセンサーベース３０（撮像素子の保持／固定手段）の応力は、測定するのが好ましい。
応力は、１つの部材に対して、１箇所で測定してもよいが、複数箇所で測定するのが好ましい。さらに、応力の測定方向にも特に限定はなく、部材の構造や形状、固定状態等に応じて、大きな応力が生じる可能性が有る方向を、適宜、設定すればよく、また、実験やシミュレーションによって、最適な測定方向を決定してもよい。
【００５０】
応力測定によって、撮像装置１０の構成部材の歪みを検出する場合にも、温度測定を行なう態様と同様に、実験やシミュレーションによって、各部材にかかる応力と、鮮鋭度補正等の画像処理条件との関係を示すテーブル（レンズアレイ２６の歪み特性）を作成し、これを用いて、湿度の測定結果から、画像処理条件を設定すればよい。
【００５１】
また、これらのレンズアレイ２６の歪み測定手段は、温度測定と湿度測定、温度測定と部材の応力測定等、複数を併用してもよい。
【００５２】
図１に示す例は、温度測定等によってレンズアレイ２６の歪みを測定し、温度測定結果すなわち歪みの測定結果に応じて、撮像素子３２が撮像した画像の画像処理条件を調整することによって、画像の調整を行なっているが、本発明は、これに限定はされず、撮像素子３２が撮影する、あるいは、撮影した画像の調整は、各種の方法が利用可能である。
一例として、レンズアレイを構成するレンズを、可変焦点レンズとし、温度の測定結果（湿度／応力の測定結果）、すなわちレンズユニット等の撮像装置の構成部材の歪みの検出結果に応じて、各レンズの焦点（ｆ値）を調整することにより、撮像素子３２による画像を調整して、焦点の合った適正な画像を出力するようにしてもよい。
【００５３】
図３に、その一例を、概念的に示す。
なお、図３に示す複眼撮像装置５０（以下、撮像装置５０とする）は、レンズユニット５２のレンズアレイを構成するレンズが、可変焦点レンズである点、および、鮮鋭度補正条件を決定する画像調整手段１８に代えて、可変焦点レンズの焦点を調整する焦点制御手段５４を有する以外には、基本的に、前記撮像装置１０と同様であるので、同じ部材には同じ符号を付し、以下の説明は、異なる部位を主に行なう。
また、図示例の撮像装置５０は、構成部材の歪み検出手段として温度測定手段を利用するものであるが、歪み検出手段としては、前述の湿度測定手段や応力測定手段も利用可能であるのは、もちろんである。
【００５４】
前述のように、撮像装置５０のレンズユニット５２は、レンズアレイを構成するレンズとして、前記レンズ３０に代えて、可変焦点レンズを利用している。また、レンズホルダも、この可変焦点レンズに対応する構成を有するものとなっている。
【００５５】
本発明において、可変焦点レンズには、特に限定はなく、公知の各種の下辺焦点レンズが、全て利用可能である。一例として、Adaptive Integral Photography Imaging  with Variable-Focus Lens Array（Kensuke Ueda, Takafumi Koike, Keita Takahashi, Takeshi Naemura、SPIE-IS&T Vol. 6803 68031A-1（2008））に記載される、流体レンズ（液体レンズ）が例示される。このレンズは、Varioptic社が開発した、電解採取技術を利用するもので、ホルダ内に電解質液と非導電性の油とを封止し、水に電圧を加えることによって、水と油の境界面を変化させて、焦点を調整するものである。
また、これ以外の可変焦点レンズとして、『ＰＬＺＴを用いた高速可変焦点レンズの基礎検討-高速時分割方式による立体ディスプレイ実現に向けて-（小池崇文,山本和明,苗村健  ITE Technical Report Vol.33,No.16,PP.41〜44）』に開示される、ＰＬＺＴ(lanthanum modified lead zirconate-lead titanate:（Ｐｂ，Ｌａ)(Ｚｒ，Ｔｉ）Ｏ3)レンズも利用可能である。この可変焦点レンズは、ＰＬＺＴの電界変動による複屈折率変化を利用するものであり、ＰＬＺＴからなるレンズにかける印加電圧を調整することにより、高速での焦点調整を可能にしたレンズである。
【００５６】
図示例の撮像装置５０において、温度測定手段１６による温度測定結果は、焦点調整手段５４に送られる。
焦点調整手段５４は、撮像装置５０の構成部材の少なくとも１以上の歪み特性として、撮像装置１０の温度すなわち温度測定手段１６による温度測定結果と、この温度によるレンズユニット１２等に歪みに起因して誤差を生じた焦点位置を、撮像素子３２の受光面に一致させるための、レンズアレイのレンズの焦点位置の調整量（例えば、可変焦点レンズに印加する電圧値等）との関係を示すテーブルが記憶されている。
焦点制御手段５４は、温度測定手段１６による温度測定結果から、このテーブルを用いてレンズアレイのレンズの焦点位置の調整量を設定し、これに応じて、レンズアレイの各レンズの焦点を調整することにより、レンズの焦点を撮像素子３２の受光面に一致させて、適正な画像を得ることを可能にしている。
【００５７】
すなわち、図示例の撮像装置５０は、レンズアレイに可変焦点レンズを用いると共に、撮像装置５０の温度（湿度／応力）を測定することにより、レンズユニット１２等の構成部材の歪みを検出し、予め作成した、温度と構成部材の歪み特性との関係を示すテーブルを用いて、レンズの焦点を撮像素子３２の受光面に一致するように、レンズの焦点を調整する。
従って、本態様においても、高い製造組み立て精度や、煩雑なレンズ位置の調整手段等を不要にして、撮影装置５０の使用環境等によらず、目的とする画質を有する画像を安定して撮影することができる。
【００５８】
本態様において、撮像装置５０の温度と、焦点可変レンズの焦点位置（ｆ値）の調整量との関係を示すテーブルの作成の方法には、特に限定はなく、一例として、先と同様に、撮像装置５０の温度と、この温度におけるレンズの焦点位置ズレを知見し、さらに、この焦点維持スレを補正するレンズの焦点調整量を、シミュレーションや実験を行なって知見し、温度と焦点調整量との関係をテーブル化する方法が、例示される。
なお、このテーブルも、レンズアレイ２６の全てのレンズ３６に対応するものを１つ有してもよいが、好ましくは、レンズアレイ２６の個々のレンズ３６に対して、このテーブルを有するのが好ましい。あるいは、所定数のレンズ３６毎に、このテーブルを有してもよい。
【００５９】
以上、説明した撮像装置１０および５０は、被写体ＯＢとレンズユニット１２との間には、何も配置されないが、本発明は、これに限定はされず、必要に応じて各種の光学素子等を配置してもよい。
例えば、特開２００８−１６７３９５号公報に開示される撮像装置のように、被写体ＯＢとレンズアレイ１２との間に、メインレンズを有するものであってもよい。すなわち、本発明の複眼撮像装置は、いわゆるプレノプティックカメラ(Plenoptic Camera(Light Field Photography))であってもよい。
【００６０】
図４に、その一例を示す。
なお、図１に示す撮像装置６０は、被写体ＯＢとレンズユニット１２との間に、メインレンズ６２を有する以外は、基本的に、前記図１に示す撮像装置１０と同じ構成を有するので、同じ部材には同じ符号を付し、以下の説明は、異なる部位を主に行なう。
【００６１】
また、撮像装置６０においても、装置を構成する部材の歪み検出手段は、温度測定に限定はされず、湿度や応力も利用可能である。
さらに、撮像装置６０においても、歪みの検出結果に応じて調整するのは、信号処理手段１４における画像処理条件に限定はされず、図３に示される撮像装置５０のように、可変焦点レンズを用いるレンズアレイ５２を利用して、歪みの検出結果に応じて、レンズの焦点位置を調整する構成であってもよいのは、もちろんである。
【００６２】
この撮像装置６０は、被写体ＯＢの画像を、メインレンズ６２によってレンズアレイ２６に結像し、この画像を、さらに、レンズアレイの各レンズによって撮像素子３２の受光面に結像（投影）する。
なお、撮像装置６０において、メインレンズ６２は、ビデオカメラやスチルカメラで用いられている、一般的な撮像レンズを利用すればよい。
【００６３】
ここで、撮像装置６０のように、メインレンズ６２を有する複眼撮像装置においては、被写体ＯＢの距離の情報（三次元情報／奥行き情報）を得るために、レンズアレイの各レンズによる焦点を、撮像素子３２の受光面ではなく、受光面を外した任意の位置に設定する場合が有る。
すなわち、この際には、撮像装置６０は、撮像面を本来の結像面から外した状態（すなわち、本来の結像面とは異なる位置に撮像面を設定して）で画像を撮像することにより、被写体の三次元情報（方向の情報）を得る。
【００６４】
前述のように、図１に示す撮像装置１０や図３に示す撮像装置５０においては、レンズユニット１２の歪み等に対して、レンズの焦点が撮像素子３２の受光面に合った状態とするように、鮮鋭度補正の強度を向上して、画像の鮮鋭度を上げ、あるいは、構成部材が歪んだ状態で、レンズの焦点位置が撮像素子３２の受光面に一致するように、焦点位置を調整する。
これに対し、上述のように、被写体の三次元情報を得るために、故意に撮像面を本来の結像面から外して画像を撮像する撮像装置６０においては、レンズユニット１２等の構成部材の歪みに応じて、目的とする画像が得られるように、画像を焦点が一致する方向への調整のみならず、逆に、焦点から外す方向に調整することも行なう必要が有る。
【００６５】
すなわち、故意に撮像面を本来の結像面から外した画像を撮像する撮像装置６０では、レンズユニット１２等の歪みによっては、逆に、レンズアレイ２６のレンズの焦点が、設定していた位置よりも撮像素子３２の受光面に近くなってしまう場合が有る。
この場合には、撮像装置６０が目的とする、撮像面を本来の結像面から外した画像を得ることができないので、逆に、撮像面を本来の結像面から外す方向に画像を調整する必要がある。すなわち、図４に示す撮像装置６０のように、温度測定手段１６による温度測定結果（歪みの大きさ）に応じて、鮮鋭度補正の補正強度を調整する構成であれば、温度測定結果すなわちレンズユニット１２等の歪み量によっては、鮮鋭度補正の強度を規定値よりも低下する。これにより、得られる画像が、三次元情報を得るために任意に設定した位置に、焦点を合わせた画像と同様の画像となるように、鮮鋭度補正を行なう必要がある。
【００６６】
従って、この場合には、撮像装置６０の画像調整手段１８が有する、温度測定手段１６による温度測定結果と、鮮鋭度補正の条件との関係を示すテーブルは、単純に、温度測定結果に応じて鮮鋭度補正強度を向上するのみならず、温度測定結果すなわち歪み量によっては鮮鋭度補正強度を低下して、三次元情報を得るために任意に設定した焦点に応じた画像が得られるようなテーブルとなる。
【００６７】
また、レンズアレイ５２のように、可変焦点レンズを利用して画像を調整する態様であれば、同様に、焦点を撮像素子３２の受光面に合わせる方向に調整を行なうのみならず、温度測定結果によっては、焦点を、撮像素子３２の受光面から離れる方向に調整するようなテーブルとなる。
【００６８】
以上、本発明の複眼撮像装置について詳細に説明したが、本発明は、上記実施例に限定はされず、本発明の要旨を逸脱しない範囲において、各種の偏光や改良を行なってもよいのは、もちろんである。
【産業上の利用可能性】
【００６９】
本発明は、立体画像の撮像装置、超解像度画像の撮像装置、距離計測用の画像の撮像装置等の分野に、好適に利用可能である。
【符号の説明】
【００７０】
１０，５０，６０  （複眼）撮像装置
１２  レンズユニット
１４  信号処理手段
１６  温度測定手段
１８  画像調整手段
２０  制御手段
２４  絞り
２６，５２  レンズユニット
２８  隔壁
３０  センサーベース
３２  撮像素子
３４  基板
３６  レンズ
３８  絞り孔
４０  レンズホルダ
４２  レンズ保持孔
４４  貫通孔
４６  センサ保持孔
５４  焦点制御手段
５０  （複眼）表示手段
５２  ディスプレイ
５４  駆動手段
【図１】
2011019088.tif 000003
【図２】
2011019088.tif 000004
【図３】
2011019088.tif 000005
【図４】
2011019088.tif 000006