(57)【特許請求の範囲】
【請求項１】
（Ａ）撮像レンズ、
（Ｂ）撮像レンズの焦点面に配置された第１の撮像素子、
（Ｃ）第２の撮像素子、及び、
（Ｄ）結像手段、
を備えており、
第１の撮像モード及び第２の撮像モードによって撮像がなされ、
第１の撮像モードによる撮像時、撮像レンズを通過した光は、第１の撮像素子の撮像面上に結像し、
第２の撮像モードによる撮像時、撮像レンズを通過した光は、第１の撮像素子を通過し、且つ、結像手段によって第２の撮像素子の撮像面上に到達することを特徴とする撮像装置。
【請求項２】
結像手段は、第１の撮像素子に備えられたマイクロレンズアレイ部から成ることを特徴とする請求項１に記載の撮像装置。
【請求項３】
マイクロレンズアレイ部は第２の撮像素子に面していることを特徴とする請求項２に記載の撮像装置。
【請求項４】
第２の撮像素子は、複数の受光素子から構成されており、
マイクロレンズアレイ部は、複数のマイクロレンズから構成されており、
１つのマイクロレンズに、第２の撮像素子を構成する受光素子の複数が対応していることを特徴とする請求項２に記載の撮像装置。
【請求項５】
結像手段は、第１の撮像素子に設けられた複数のピンホールから成ることを特徴とする請求項１に記載の撮像装置。
【請求項６】
第２の撮像素子は、複数の受光素子から構成されており、
１つのピンホールに、第２の撮像素子を構成する受光素子の複数が対応していることを特徴とする請求項５に記載の撮像装置。
【請求項７】
第１の撮像素子は、特定の波長を有する光のみを通過させることを特徴とする請求項１に記載の撮像装置。
【請求項８】
第２の撮像素子は、第１の撮像素子を通過した特定の波長に対して感度を有することを特徴とする請求項７に記載の撮像装置。
【請求項９】
（Ａ）撮像レンズ、
（Ｂ）撮像レンズの焦点面に配置された第１の撮像素子、
（Ｃ）第２の撮像素子、及び、
（Ｄ）結像手段、
を備えた撮像装置を用いた撮像方法であって、
第１の撮像モードによる撮像時、撮像レンズを通過した光を、第１の撮像素子の撮像面上に結像させ、
第２の撮像モードによる撮像時、撮像レンズを通過した光を、第１の撮像素子を通過させ、且つ、結像手段によって第２の撮像素子の撮像面上に到達させることを特徴とする撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び撮像方法に関し、より具体的には、例えば、ライト・フィールド・フォトグラフィー（Light Field Photography）技術に基づく撮像モード、及び、通常の高解像度の撮像モードの２つの撮像モードを切り替えて撮像することを可能とする撮像装置及び撮像方法に関する。
【背景技術】
【０００２】
従来から、様々な撮像装置が提案され、開発されている。また、撮像して得られた撮像信号に対して、所定の画像処理を施して出力するようにした撮像装置も提案されている。例えば、特許文献１及び非特許文献１には、ライト・フィールド・フォトグラフィーと呼ばれる手法を用いた撮像装置が提案されている。この撮像装置は、撮像レンズと、マイクロレンズアレイと、受光素子と、画像処理部とから構成されており、受光素子から得られる撮像信号は、受光素子の受光面における光の強度に加えて、その光の進行方向の情報をも含んでいる。そして、このような撮像信号に基づき、画像処理部において、任意の視点や方向からの観察画像が再構築される。
【０００３】
【特許文献１】国際公開第０６／０３９４８６号パンフレット
【非特許文献１】Ren.Ng, et al, "Light Field Photography with a Hand-Held Plenoptic Camera", Stanford Tech Report CTSR 2005-02
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、ライト・フィールド・フォトグラフィー技術を利用した撮像装置において、ライト・フィールド・フォトグラフィー技術を用いない通常の高解像度の撮像モード（第１の撮像モードと呼ぶ）と、ライト・フィールド・フォトグラフィー技術に基づく撮像モード（第２の撮像モードと呼ぶ）とを、適宜切り替えて使用することが考えられる。ところが、このように２つの撮像モードを切り替えるには、マイクロレンズアレイを機械的に動かす必要がある。即ち、第１の撮像モードでは、マイクロレンズアレイは不要なので、マイクロレンズアレイを光軸上から移動させて、光軸上から除く必要がある。一方、第２の撮像モードでは、マイクロレンズアレイを光軸上に配置させる必要がある。よって、２つの撮像モードを切り替えて用いることを試みた場合、撮像装置の構成、構造が複雑となり、撮像装置全体が大型化してしまうといった問題がある。
【０００５】
従って、本発明の目的は、簡易な構成、構造で、例えば、ライト・フィールド・フォトグラフィー技術に基づく撮像モード及び通常の高解像度の撮像モードの２つの撮像モードの切り替えを容易に行うことが可能な撮像装置、及び、係る撮像装置を用いた撮像方法を提供することにある。
【課題を解決するための手段】
【０００６】
上記の目的を達成するための本発明の撮像装置は、
（Ａ）撮像レンズ、
（Ｂ）撮像レンズの焦点面に配置された第１の撮像素子、
（Ｃ）第２の撮像素子、及び、
（Ｄ）結像手段、
を備えており、
第１の撮像モード及び第２の撮像モードによって撮像がなされ、
第１の撮像モードによる撮像時、撮像レンズを通過した光は、第１の撮像素子の撮像面上に結像し、
第２の撮像モードによる撮像時、撮像レンズを通過した光は、第１の撮像素子を通過し、且つ、結像手段によって第２の撮像素子の撮像面上に到達することを特徴とする。
【０００７】
上記の目的を達成するための本発明の撮像方法は、本発明の撮像装置、即ち、
（Ａ）撮像レンズ、
（Ｂ）撮像レンズの焦点面に配置された第１の撮像素子、
（Ｃ）第２の撮像素子、及び、
（Ｄ）結像手段、
を備えた撮像装置を用いた撮像方法であって、
第１の撮像モードによる撮像時、撮像レンズを通過した光を、第１の撮像素子の撮像面上に結像させ、
第２の撮像モードによる撮像時、撮像レンズを通過した光を、第１の撮像素子を通過させ、且つ、結像手段によって第２の撮像素子の撮像面上に到達させることを特徴とする。
【０００８】
本発明の撮像装置あるいは撮像方法にて用いられる撮像装置（以下、これらを総称して、『本発明の撮像装置等』と呼ぶ）において、結像手段は、第１の撮像素子に備えられたマイクロレンズアレイ部から成る構成とすることができる。尚、このような構成を、便宜上、第１の構成と呼ぶ。ここで、マイクロレンズアレイ部が第１の撮像素子に備えられているが、具体的には、マイクロレンズアレイ部を第１の撮像素子と一体的に設けてもよいし、マイクロレンズアレイ部と第１の撮像素子とを別々に作製した後、マイクロレンズアレイ部と第１の撮像素子とを一体化（例えば、接着）してもよい。そして、この第１の構成にあっては、マイクロレンズアレイ部は、撮像レンズに面していてもよいが（即ち、撮像レンズ側から、マイクロレンズアレイ部、第１の撮像素子の順に配されていてもよいが）、第２の撮像素子に面していることが（即ち、撮像レンズ側から、第１の撮像素子、マイクロレンズアレイ部の順に配されていることが）、設計の自由度を高くすることができるので、より好ましい。尚、マイクロレンズアレイ部が撮像レンズに面している場合でも、撮像レンズを通過した光を第１の撮像素子の撮像面上に結像させたとき、マイクロレンズアレイ部によって及ぼされる影響は無視できる程度に小さい。但し、場合によっては、後述する画像処理部において、マイクロレンズアレイ部によって及ぼされる影響を取り除く処理を行ってもよい。あるいは又、この第１の構成にあっては、第２の撮像素子は複数の受光素子（便宜上、第２の受光素子と呼ぶ）から構成されており、マイクロレンズアレイ部は複数のマイクロレンズから構成されており、１つのマイクロレンズに第２の撮像素子を構成する第２の受光素子の複数が対応していることが好ましい。１つのマイクロレンズに対応する第２の撮像素子を構成する第２の受光素子の数として、４乃至４０９６を例示することができる。尚、マイクロレンズは平凸レンズから構成されていることが望ましいが、これに限定するものではなく、両凸レンズとしてもよい。マイクロレンズを平凸レンズから構成する場合、平凸レンズの凸部が、第２の撮像素子に面していてもよいし、撮像レンズに面していてもよい。マイクロレンズアレイ部を構成するマイクロレンズにおいて、撮像レンズ側の表面の曲率（ｒ1）よりも、第２の撮像素子側の表面の曲率（ｒ2）の方が大きいことが好ましい。ここで、曲率は、マイクロレンズの光軸とマイクロレンズの表面とが交わる点における値である。尚、マイクロレンズを、このように、球面レンズあるいは非球面レンズとすることができるが、これに限定するものではなく、その他、例えば、ゾーンプレート、ホログラフィックレンズ、キノフォームレンズ、バイナリー光学素子で例示される回折レンズとすることもできる。また、１つのマイクロレンズに対応する第１の撮像素子を構成する受光素子（便宜上、第１の受光素子と呼ぶ）の数として、４乃至４０９６を例示することができる。
【０００９】
あるいは又、本発明の撮像装置等において、結像手段は、第１の撮像素子に設けられている複数のピンホールから成る構成とすることができる。尚、このような構成を、便宜上、第２の構成と呼ぶ。そして、この第２の構成にあっては、第２の撮像素子は複数の第２の受光素子から構成されており、１つのピンホールに第２の撮像素子を構成する第２の受光素子の複数が対応していることが好ましい。１つのピンホールに対応する第２の撮像素子を構成する第２の受光素子の数として、４乃至４０９６を例示することができる。また、１つのピンホールに対応する第１の撮像素子を構成する第１の受光素子の数として、４乃至４０９６を例示することができる。
【００１０】
以上に説明した好ましい構成を含む本発明の撮像装置等において、第１の撮像素子は、特定の波長（例えば、赤外線）を有する光のみを通過させる形態とすることもできる。そして、この場合には、第２の撮像素子は、第１の撮像素子を通過した特定の波長に対して感度を有する形態とすればよい。このような形態において、第１の撮像素子をカラーフィルターを備えた撮像素子とし、第２の撮像素子をカラーフィルターを取り除いた撮像素子とすれば、第２の撮像素子における解像度の低下を低減することが可能となる。特定の波長（例えば、赤外線）を有する光のみを通過させるために、第１の撮像素子の手前に赤外線をカットする赤外カットフィルタを設ける場合、第１の撮像素子の光透過部を透過する光に対しては赤外線がカットされないよう、第１の撮像素子に近接して、且つ、第１の撮像素子の光透過部以外を覆うように赤外カットフィルタを設けると共に、第１の撮像素子と第２の撮像素子の間に、赤外線のみを選択的に通過させる赤外透過フィルタを設ければよい。また、第１の撮像素子を通過した特定の波長に対して感度を有する構成とするためには、例えば赤外線の場合には、第２の撮像素子として、ＣＣＤ（Charge Coupled Device；電荷結合素子）等の赤外線に対して感度を有する撮像素子を用いればよい。
【００１１】
更には、以上に説明した好ましい構成、形態を含む本発明の撮像装置等にあっては、
第２の撮像素子からの信号に対して所定の画像処理を施すための画像処理部を更に備えており、
第１の撮像モードによる撮像時、画像処理部による画像処理が停止され、
第２の撮像モードによる撮像時、画像処理部による画像処理が行われる構成とすることができる。
【００１２】
以上に説明した好ましい各種の構成、形態を含む本発明の撮像装置等における撮像レンズとして、ビデオカメラやスチルカメラ等で使用される一般的な撮像レンズを挙げることができる。また、第１の撮像素子（第１の撮像手段）は、例えば、２次元マトリクス状に配列された複数のＴＦＴ（Thin Film Transistor；薄膜トランジスタ）と、各ＴＦＴに組み合わされた第１の受光素子から構成することができる（例えば、特許公報第２７８８８１８号あるいは特許公報第２８３７５７８号参照）。あるいは又、第１の撮像素子と結像手段との組合せとして、２次元マトリクス状に配列された複数のＣＣＤやＣＭＯＳセンサー（第１の受光素子）と、各ＣＣＤやＣＭＯＳセンサーに組み込まれたピンホールを挙げることができる。第２の撮像素子（第２の撮像手段）として、２次元マトリクス状に配列された複数のＣＣＤやＣＭＯＳセンサー（第２の受光素子）を挙げることができる。あるいは又、第２の撮像素子として、特開平５−４８０６０号に開示された構成を有する、カラーフィルター機能を液晶によって達成する固体撮像素子を用いることもできる。
【００１３】
マイクロレンズアレイ部を構成する材料として、ポリメタクリル酸メチル樹脂（ＰＭＭＡ）、ポリカーボネート樹脂（ＰＣ）、ポリアリレート樹脂（ＰＡＲ）、ポリエチレンテレフタレート樹脂（ＰＥＴ）、アクリル系樹脂、ＡＢＳ樹脂といったプラスチックを挙げることができるし、また、ガラスを挙げることができ、周知の方法で作製することができる。マイクロレンズアレイ部は、複数のマイクロレンズが２次元マトリクス状に配列されて成る。マイクロレンズアレイ部を複数の領域に区画し、区画毎にマイクロレンズの焦点距離を変えてもよいし、マイクロレンズの径を代えてもよい。１つのマイクロレンズあるいはピンホールに対して複数の第２の受光素子が対応しているが、係る複数の第２の受光素子を一種ブロック化（セグメント化）して、ブロック化された第２の受光素子から得られた撮像情報に基づき撮像データを生成してもよい。１つのマイクロレンズあるいはピンホールから出射した光は、係るマイクロレンズあるいはピンホールに隣接したマイクロレンズあるいはピンホールに対応する第２の受光素子には入射しない構造とすることが望ましい。
【００１４】
本発明の撮像装置等にあっては、第１の撮像モード時（及び、所望に応じて第２の撮像モードによる撮像時）、撮像レンズによる像が第１の撮像素子上に結像されるが、このような結像状態は、撮像レンズにおける合焦点動作の最適化によって容易に行うことができる。具体的には、例えば、オート・フォーカス処理において、第１の撮像モード（及び、第２の撮像モード）による撮像時における合焦点動作（処理）の最適化を図ればよい。
【発明の効果】
【００１５】
本発明の撮像装置あるいは撮像方法によれば、第１の撮像モードによる撮像時（通常の高解像度の撮像モードによる撮像時）、撮像レンズを通過した光は、第１の撮像素子の撮像面上に結像し、第２の撮像モードによる撮像時（例えば、ライト・フィールド・フォトグラフィー技術に基づく撮像モードによる撮像時）、撮像レンズを通過した光は、第１の撮像素子を通過し、且つ、結像手段によって第２の撮像素子の撮像面上に到達するので、第１の撮像素子や、第２の撮像素子、結像手段を何ら移動させること無く、第１の撮像モードと第２の撮像モードとの間での撮像モードの切り替えを行うことができる。また、これらの２つの撮像モード間で同じ撮像光学系を用いるので、撮像装置の構成、構造が複雑になることもない。
【発明を実施するための最良の形態】
【００１６】
以下、図面を参照して、実施例に基づき本発明を説明する。
【実施例１】
【００１７】
実施例１は、本発明の撮像装置及び撮像方法に関する。より具体的には、実施例１の撮像装置は第１の構成を有する。実施例１の撮像装置１の概念図を図１に示す。
【００１８】
実施例１の撮像装置１は、撮像対象物を撮像して撮像データＤoutを出力するものであり、
（Ａ）撮像レンズ１１、
（Ｂ）撮像レンズの焦点面に配置された第１の撮像素子（第１の撮像手段）１２、
（Ｃ）第２の撮像素子（第２の撮像手段）１４、及び、
（Ｄ）結像手段、
を備えている。
【００１９】
そして、実施例１の撮像装置１にあっては、第１の撮像モード（通常の高解像度の撮像モード）及び第２の撮像モード（ライト・フィールド・フォトグラフィー技術に基づく撮像モード）によって撮像がなされ、第１の撮像モードによる撮像時、撮像レンズ１１を通過した光は、第１の撮像素子１２の撮像面上に結像し、第２の撮像モードによる撮像時、撮像レンズ１１を通過した光は、第１の撮像素子１２を通過し、且つ、結像手段によって第２の撮像素子１４の撮像面上に到達する。
【００２０】
ここで、実施例１において、結像手段は、第１の撮像素子１２に備えられたマイクロレンズアレイ部１３から成る。そして、マイクロレンズアレイ部１３は、第１の撮像素子１２において、第２の撮像素子１４に面して一体的に設けられている。また、第２の撮像素子１４は複数の第２の受光素子から構成されており、マイクロレンズアレイ部１３は、複数のマイクロレンズ１３’から構成されており、１つのマイクロレンズ１３’に第２の撮像素子１４を構成する第２の受光素子の複数が対応している。具体的には、１つのマイクロレンズに対応する第２の撮像素子１４を構成する第２の受光素子の数は、例えば４乃至４０９６である。マイクロレンズ１３’は平凸レンズから構成されている。即ち、マイクロレンズアレイ部１３を構成するマイクロレンズ１３’において、撮像レンズ１１側の表面の曲率（ｒ1）よりも、第２の撮像素子側の表面の曲率（ｒ2）の方が大きい。更には、マイクロレンズ１３’は、非球面レンズから構成されている。また、１つのマイクロレンズ１３’に対応する第１の撮像素子１２を構成する第１の受光素子の数は、例えば、４乃至４０９６である。
【００２１】
実施例１の撮像装置１にあっては、第２の撮像素子１４からの信号に対して所定の画像処理を施すための画像処理部１５を更に備えており、画像処理部１５を制御する制御部１７を更に備えている。そして、第１の撮像モードによる撮像時、画像処理部１５による画像処理が停止され、第２の撮像モードによる撮像時、画像処理部１５による画像処理が行われる。
【００２２】
実施例１、あるいは、後述する実施例２において、撮像レンズ１１は、撮像対象物を撮像するためのメインレンズであり、例えば、ビデオカメラやスチルカメラ等で使用される一般的な撮像レンズから構成されている。第１の撮像素子１２は、２次元マトリクス状に配列された複数のＴＦＴと、各ＴＦＴに組み合わされたＭＩＳダイオードから成る第１の受光素子から構成されている。そして、第１の撮像素子１２は、撮像レンズ１１の合焦点状態にも依るが、撮像レンズ１１の焦点面に配置されている。尚、図中の符号ｆ1は、撮像レンズ１１の中心から第１の撮像素子１２の結像面までの距離を表す。第１の撮像モードによる撮像時、第１の撮像素子１２においては、撮像レンズ１１から出射された光を受光して、第１の撮像信号が生成され、第１の撮像信号は、画像処理部１５に送られる。また、マイクロレンズアレイ部１３は、複数のマイクロレンズ１３’が２次元マトリクス状に配列されて成る。
【００２３】
第２の撮像素子１４は、例えば、２次元マトリクス状に配列された複数のＣＣＤ（第２の受光素子）から構成されている。第２の撮像モードによる撮像時、第２の撮像素子１４においては、マイクロレンズアレイ部１３から出射された光を受光して、第２の撮像信号が生成され、画像処理部１５に送られ、画像処理が施される。第２の撮像素子１４は、マイクロレンズアレイ部１３の焦点面に配置されている。尚、図中の符号ｆ2は、マイクロレンズアレイ部１３の中心から第２の撮像素子１４の撮像面までの距離（マイクロレンズ１３’の焦点距離）を表す。
【００２４】
撮像素子駆動手段１６によって、第１の撮像素子１２が駆動され、第１の撮像素子１２の受光動作の制御が行われ、更には、第２の撮像素子１４が駆動され、第２の撮像素子１４の受光動作の制御が行われる。制御部１７は、画像処理部１５及び撮像素子駆動手段１６の動作を制御する。具体的には、制御部１７は、撮像素子駆動手段１６の駆動動作を適宜制御すると共に、第１の撮像モード及び第２の撮像モードの２つの撮像モードに応じて、画像処理部１５の動作を制御する。制御部１７は、マイクロコンピュータから構成されている。
【００２５】
実施例１、あるいは、後述する実施例２において、第２の撮像モードにあっては、画像処理部１５において画像処理が施される。画像処理部１５は、第２の撮像モードにおいて、第２の撮像素子１４で得られた信号（第２の撮像信号）に対して所定の画像処理を施し、撮像データＤoutとして出力する。具体的には、ライト・フィールド・フォトグラフィー技術に基づくリフォーカス（Refocusing）演算処理が行われる。そして、これによって、任意の視点や方向からの観察画像を再構築することができるし、画像の３次元情報を取得することができる。リフォーカス演算処理については後述する。
【００２６】
実施例１におけるマイクロレンズアレイ部１３の模式的な一部断面図を図２に示す。ここで、図２は、マイクロレンズアレイ部１３のレンズ効果を説明するための模式的な一部断面図である。マイクロレンズアレイ部１３を構成するマイクロレンズ１３’において、撮像レンズ１１側の表面の曲率（ｒ1）よりも、第２の撮像素子１４側の表面の曲率（ｒ2）の方が大きい。具体的には、実施例１にあっては、ｒ1／ｒ2＝０である。そして、マイクロレンズアレイ部１３を構成するマイクロレンズ１３’は、第２の撮像素子側に凸の平凸レンズである。尚、参照番号１３”は、マイクロレンズアレイ部１３の基部を指す。
【００２７】
実施例１の撮像装置１のように、様々な波長領域の光を含んだ自然光を撮像に利用する場合には、マイクロレンズ１３’の第２の撮像素子１４側の表面を非球面とし、マイクロレンズ１３’を非球面レンズとすることが好ましい。球面レンズで構成した場合と比べて、曲率を大きくすることができる結果、光学設計が容易になる。また、マイクロレンズ１３’を回折レンズで構成した場合と比較すると、入射光を屈折させる際の波長依存性が無くなるため、軸上色収差等の発生を回避することができ、様々な波長領域の光を含んだ自然光による撮像に適した構成とすることができる。尚、単色光を用いたイメージング用途等の場合には、波長依存性や軸上色収差の問題が無いため、マイクロレンズ１３’を回折レンズで構成した方が、非球面レンズで構成した場合と比べて、優れた光学特性を得ることができる場合がある。
【００２８】
図１、図２、図３の（Ａ）及び（Ｂ）を参照して、実施例１の撮像装置１の動作について詳細に説明する。
【００２９】
実施例１の撮像装置１にあっては、第１の撮像モード時（通常の高解像度の撮像モード）、撮像レンズ１１を通過した光を、第１の撮像素子１２の撮像面上に結像させる。即ち、撮像レンズ１１による撮像対象物の像は、マイクロレンズアレイ部１３によって何らの影響を受けること無く、第１の撮像素子１２上に結像する。こうして、撮像素子駆動手段１６の制御下、第１の撮像素子１２から第１の撮像信号が得られる。
【００３０】
一方、第２の撮像モード時（ライト・フィールド・フォトグラフィー技術に基づく撮像モード）、撮像レンズ１１を通過した光を、第１の撮像素子１２を通過させ、且つ、結像手段であるマイクロレンズアレイ部１３を構成するマイクロレンズ１３’によって第２の撮像素子１４の撮像面上に到達させる。こうして、撮像素子駆動手段１６の制御下、第２の撮像素子１４から第２の撮像信号が得られる。即ち、第２の撮像モードにあっては、図２に示すように、マイクロレンズ１３’に入射した入射光Ｌ11は、マイクロレンズ１３’において屈折され、光軸Ｌ0上の焦点である画素ＰＬ11に集光される。このように、第２の撮像モードによる撮像時、マイクロレンズ１３’上に結像された撮像レンズ１１による像を、第２の撮像素子１４上に再結像（集光、収束）させることができる。
【００３１】
尚、実際には、同時に２つの撮像モード（通常の高解像度の撮像モード及びライト・フィールド・フォトグラフィー技術に基づく撮像モード）に基づく情報を得ることができるので、撮像モードの切り替えは、実質的には必要でない。即ち、２つの撮像モードの切り替えを積極的に行う必要は無く、２つの撮像モードの切り替えは、実際のところは、画像処理部１５における画像処理の切り替えが相当する。
【００３２】
図２に示すように、マイクロレンズアレイ部１３への入射光Ｌ11（実線で示す）は、第２の撮像素子１４上の点（画素）ＰＬ11に結像し、マイクロレンズアレイ部１３への入射光Ｌ12（点線で示す）は、第２の撮像素子１４上の点（画素）ＰＬ12に結像し、マイクロレンズアレイ部１３への入射光Ｌ13（一点鎖線で示す）は、第２の撮像素子１４上の点（画素）ＰＬ13に結像する。即ち、マイクロレンズアレイ部１３への入射光の入射方向が異なると、第２の撮像素子１４上の異なる点（異なる画素）上に結像（集光）される。
【００３３】
このような結像状態は、撮像レンズ１１における合焦点動作の最適化によって容易に行うことができ、例えば、オート・フォーカス処理において、第１の撮像モードによる撮像時と第２の撮像モードによる撮像時における合焦点動作（処理）の最適化を図ればよい。即ち、第１の撮像モードによる撮像時にあっても第２の撮像モードによる撮像時にあっても、例えば、第１の撮像素子１２の撮像面上に撮像レンズ１１を通過した光を結像させればよい。後述する実施例２においても同様である。
【００３４】
第１の撮像素子１２で得られた第１の撮像信号、第２の撮像素子１４で得られた第２の撮像信号は、画像処理部１５へ送出される。そして、画像処理部１５では、制御部１７の制御下、この撮像信号に対して所定の画像処理が施され、撮像データＤoutとして出力される。具体的には、第１の撮像モードにあっては、制御部１７の制御下、画像処理部１５による画像処理を停止させる結果、入力した第１の撮像信号がそのまま撮像データＤoutとして出力される。一方、第２の撮像モードにあっては、制御部１７の制御下、画像処理部１５による画像処理（リフォーカス演算処理）がなされる結果、入力した第２の撮像信号に対して所定の画像処理が施され、撮像データＤoutとして出力される。
【００３５】
ここで、図３の（Ａ）及び（Ｂ）を参照して、画像処理部１５における画像処理のリフォーカス演算処理について詳細に説明する。このリフォーカス演算処理は、後述する実施例２に対しても同様に適用される。
【００３６】
図３の（Ａ）に示すように、撮像レンズ１１の撮像レンズ面１１Ａ上において直交座標系（ｕ，ｖ）を想定し、第２の撮像素子１４の撮像面１４Ａ上において直交座標系（ｘ，ｙ）を想定する。撮像レンズ１１の撮像レンズ面と第２の撮像素子１４の撮像面との間の距離をｆとすると、図３の（Ａ）に示すような撮像レンズ１１及び第２の撮像素子１４を通る光線Ｌ14は、４次元関数ＬF（ｘ，ｙ，ｕ，ｖ）で表すことができる。従って、光線Ｌ14の位置情報に加え、光線Ｌ14の進行方向の情報を得ることができる。そして、この場合、図３の（Ｂ）に示すように撮像レンズ面１１Ａ、撮像面１４Ａ及びリフォーカス面（撮像レンズ１１による像が結像される第１の撮像素子１２の撮像面あるいはマイクロレンズアレイ部１３の結像面）１３Ａ間の位置関係を設定した場合、即ち、ｆ’＝α・ｆとなるようにリフォーカス面１３Ａを設定した場合、リフォーカス面１３Ａ上の座標（ｓ，ｔ）の撮像面１４Ａ上における検出光強度ＬF'（ｓ，ｔ，ｕ，ｖ）は、以下の式（１）で表すことができる。また、リフォーカス面１３Ａで得られるイメージＥF'（ｓ，ｔ）は、検出光強度ＬF'（ｓ，ｔ，ｕ，ｖ）をレンズ口径に関して積分したものであるので、以下の式（２）で表すことができる。従って、式（２）に基づきリフォーカス演算を行うことによって、ライト・フィールド・フォトグラフィー技術に基づく撮像データＤoutにより、任意の視点や方向からの観察画像を再構築することができるし、画像の３次元情報を取得することができる。
【００３７】
0004730347.tif 000002
0004730347.tif 000003
【００３８】
このように、実施例１にあっては、第１の撮像モードによる撮像時（通常の高解像度の撮像モードによる撮像時）、撮像レンズ１１を通過した光は、第１の撮像素子１２の撮像面上に結像し、第２の撮像モードによる撮像時（ライト・フィールド・フォトグラフィー技術に基づく撮像モードによる撮像時）、撮像レンズ１１を通過した光は、第１の撮像素子１２を通過し、且つ、結像手段１３によって第２の撮像素子１４の撮像面上に到達する。従って、簡素な構成、構造により、第１の撮像モードと第２の撮像モードとの間での撮像モードの切り替えを容易に行うことができる。また、同時に２つの撮像モードに基づく情報を得ることができるし、撮像モードの実質的な切り替えが必要ないため、機械的に撮像モードを切り替える場合と比べて、撮像モード切替え動作時の信頼性を向上させることができる。更には、マイクロレンズ１３’を非球面レンズから構成すれば、球面レンズから構成した場合と比較して、曲率を大きくすることができるので、光学設計を容易にすることが可能となる。
【００３９】
尚、場合によっては、図４に撮像装置の概念図を示すように、マイクロレンズアレイ部１３を、第１の撮像素子１２において、撮像レンズ１１に面して設けてもよい。
【実施例２】
【００４０】
実施例２は、実施例１の変形であり、第２の構成に関する。図５に概念図を示し、第１の撮像素子及び結像手段の一部分を拡大した模式的な一部断面図を図６に示すように、実施例２における撮像装置２にあっては、結像手段は、第１の撮像素子（第１の撮像手段）１１２に設けられた複数のピンホール１１３から成る。そして、実施例２にあっても、第２の撮像素子（第２の撮像手段）１４は複数の第２の受光素子から構成されており、１つのピンホール１１３に第２の撮像素子１４を構成する第２の受光素子の複数が対応している。具体的には、１つのピンホール１１３に対応する第２の撮像素子１４を構成する第２の受光素子の数として、４乃至４０９６を例示することができる。尚、実施例２にあっては、第１の撮像素子１１２を、２次元マトリクス状に配列された複数のＣＣＤから構成している。この第１の撮像素子１１２におけるＣＣＤは、図６に模式的な一部断面図を示すように、より具体的には、受光部１２０、転送路１２１及び遮光部１２２から構成されている。そして、ＣＣＤが設けられていない領域に、ピンホール１１３が設けられている。また、１つのピンホール１１３に対応する第１の撮像素子１２を構成する第１の受光素子の数は、例えば、４乃至４０９６である。
【００４１】
実施例２の撮像装置２にあっても、第１の撮像モードによる撮像時（通常の高解像度の撮像モードによる撮像時）、撮像レンズ１１を通過した光は、第１の撮像素子１１２の撮像面上に結像する。一方、第２の撮像モードによる撮像時（ライト・フィールド・フォトグラフィー技術に基づく撮像モードによる撮像時）、撮像レンズ１１を通過した光は、第１の撮像素子１１２を通過し、且つ、結像手段であるピンホール１１３によって第２の撮像素子１４の撮像面上に到達する。
【００４２】
以上の点を除き、実施例２の撮像装置２の構成、構造は、実施例１の撮像装置１の構成、構造と同じとすることができるので、詳細な説明は省略する。
【００４３】
以上、本発明を好ましい実施例に基づき説明したが、本発明はこれらの実施例に限定するものではなく、種々の変形が可能である。実施例にあっては、画像処理部１５における画像処理方法として、ライト・フィールド・フォトグラフィー技術に基づくリフォーカス演算処理について説明したが、画像処理部１５における画像処理方法は、これに限られず、他の画像処理方法（例えば、視野を振るといった画像処理や、マイクロレンズアレイ部及び撮像素子を一種のステレオ・カメラとして機能させることで得られる距離算出といった画像処理）としてもよい。
【００４４】
実施例１におけるマイクロレンズアレイ部を、液晶レンズアレイから構成してもよいし、エレクトロウェッティング現象（電気毛管現象）を利用した液体マイクロレンズアレイ部から構成してもよい。また、第１の撮像素子１２，１１２は、ＴＦＴに組み合わされた受光素子やＣＣＤに限定されず、光を透過若しくは通過させることができ、しかも、受光した光を電気信号に変換できる機能を有するものであれば、如何なる形式の撮像素子をも使用することができる。例えば、特許公報第２７８８８１８号あるいは特許公報第２８３７５７８号に開示された技術に基づき液晶レンズを構成すれば、マイクロレンズアレイ部と第１の撮像素子とを一体化することができる。
【００４５】
また、第１の撮像素子１２，１１２は、特定の波長（例えば、赤外線）を有する光のみを通過させる形態とすることもできる。そして、この場合には、第２の撮像素子１４は、第１の撮像素子１２，１１２を通過した特定の波長に対して感度を有する形態とすればよい。具体的には、第１の撮像素子１２，１１２を、第１の撮像素子の光透過部を透過する光に対しては赤外線がカットされないよう、第１の撮像素子に近接して、且つ、第１の撮像素子の光透過部以外を覆うように赤外カットフィルタを配置したＣＣＤと、第１の撮像素子と第２の撮像素子の間に設けた、第１の撮像素子を透過した光のうち赤外線のみを選択的に通過させる赤外透過フィルタから構成すればよいし、第２の撮像素子１４を赤外線に対して感度を有するＣＣＤ等の撮像素子から構成すればよい。このように、２つの撮像素子で使用する波長を分けることで、第２の撮像素子１４にて効率良く光を受光することが可能となる。更には、第２の撮像素子を、カラーフィルターを取り除いたモノクロ型の撮像素子とすれば、カラー検出のために配分した画素分の高解像化を実現することができる。
【図面の簡単な説明】
【００４６】
【図１】図１は、実施例１の撮像装置の概念図である。
【図２】図２は、マイクロレンズアレイ部のレンズ効果を説明するための、マイクロレンズアレイ部を拡大した模式的な一部断面図である。
【図３】図３の（Ａ）は、第２の撮像モード時の画像処理を説明するための撮像レンズ等の概念図であり、図３の（Ｂ）は、第２の撮像モード時の画像処理を説明するための図である。
【図４】図４は、実施例１の撮像装置の変形例の概念図である。
【図５】図５は、実施例２の撮像装置の概念図である。
【図６】図６は、第１の撮像素子及びピンホールを拡大した模式的な一部断面図である。
【符号の説明】
【００４７】
１，２・・・撮像装置、１１・・・撮像レンズ、１１Ａ・・・撮像レンズ面、１２，１１２・・・第１の撮像素子、１３・・・マイクロレンズアレイ部、１３’・・・マイクロレンズ、１３Ａ・・・リフォーカス面、１１３・・・ピンホール、１４・・・第２の撮像素子、１４Ａ・・・撮像面、１５・・・画像処理部、１６・・・撮像素子駆動手段、１７・・・制御部、１２０・・・受光部、１２１・・・転送路、１２２・・・遮光部
【図１】
0004730347.tif 000004
【図２】
0004730347.tif 000005
【図３】
0004730347.tif 000006
【図４】
0004730347.tif 000007
【図５】
0004730347.tif 000008
【図６】
0004730347.tif 000009