"それぞれ光電変換を行う複数の画素を有してなる受光部を備える撮像素子と、被写界像を前記撮像素子の前記受光部に結像させる撮像光学系と、前記撮像素子の前記受光部の受光面上に一次元的に配列される複数のマイクロレンズを有し、各マイクロレンズは、複数画素にわたって前記撮像素子の前記受光部を覆い、これら複数画素に前記撮像光学系の射出瞳位置に応じて光を導く、マイクロレンズアレイと、前記マイクロレンズアレイの各マイクロレンズに対応する複数画素のうち、前記撮像光学系の複数の射出瞳位置について、各射出瞳位置に対応して選択される画素データを、複数のマイクロレンズにわたって抽出し、各射出瞳位置に応じた一次元像を再構成して、これら複数の射出瞳位置に対応する複数の一次元像の比較に基づいて、被写体の合焦情報を得る合焦情報取得手段と、前記合焦情報取得手段により得られる合焦情報に基づいて前記撮像光学系を被写体に合焦させる合焦制御手段と、前記撮像素子の前記マイクロレンズにより覆われていない画素の画素データを用いて被写界画像を生成する画像生成手段と、を具備してなり、前記合焦制御手段を用いて前記撮像光学系を被写体に合焦させ、前記画像生成手段を用いて被写界画像を得ることを特徴とする撮像装置。前記合焦情報取得手段は、前記マイクロレンズアレイの各マイクロレンズに対応する複数画素のうち、前記撮像光学系の少なくとも前記撮像光学系の中心点を含む複数の射出瞳位置について、各射出瞳位置に対応して選択される画素データを、複数のマイクロレンズにわたって抽出し、各射出瞳位置に応じた一次元像を再構成して、前記撮像光学系の中心点についての被写体像を基準とした前記複数の射出瞳位置に対応する複数の一次元像の比較に基づいて、被写体の合焦情報を得ることを特徴とする請求項1に記載の撮像装置。前記マイクロレンズアレイは、前記撮像素子受光部と一体的に設けられ、且つ前記画像生成手段は、撮像時に前記マイクロレンズアレイと前記撮像素子受光部とを前記マイクロレンズの配列に交差する方向に移動させて少なくとも2回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得る手段を含むことを特徴とする請求項1に記載の撮像装置。前記マイクロレンズアレイは、前記撮像素子受光部と別体的に設けられ、且つ前記画像生成手段は、撮像時に前記マイクロレンズアレイを前記撮像素子受光部に対して前記マイクロレンズの配列に交差する方向に移動させて少なくとも2回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得る手段を含むことを特徴とする請求項1に記載の撮像装置。それぞれ光電変換を行う複数の画素を有してなる受光部を備える撮像素子と、被写界像を前記撮像素子の前記受光部に結像させる撮像光学系と、前記撮像素子の前記受光部の受光面上に一次元的に配列される複数のマイクロレンズを有し、各マイクロレンズは、複数画素にわたって前記撮像素子の前記受光部を覆い、これら複数画素に前記撮像光学系の射出瞳位置に応じて光を導く、マイクロレンズアレイと、前記撮像素子の前記マイクロレンズにより覆われていない画素の画素データを用いて被写界画像を生成する画像生成手段と、前記マイクロレンズアレイの各マイクロレンズに対応する複数画素のうち、前記撮像光学系の複数の射出瞳位置について、各射出瞳位置に対応して選択される画素データを、複数のマイクロレンズにわたって抽出し、各射出瞳位置に応じた一次元像を再構成して、これら複数の射出瞳位置に対応する複数の一次元像の比較に基づいて、被写体の合焦情報を得る合焦情報取得手段と、前記合焦情報に基づいて前記撮像光学系を被写体に合焦させる合焦制御手段と、を具備してなり、前記合焦制御手段を用いて前記撮像光学系を被写体に合焦させることを特徴とする合焦装置。前記合焦情報取得手段は、前記マイクロレンズアレイの各マイクロレンズに対応する複数画素のうち、前記撮像光学系の少なくとも前記撮像光学系の中心点を含む複数の射出瞳位置について、各射出瞳位置に対応して選択される画素データを、複数のマイクロレンズにわたって抽出し、各射出瞳位置に応じた一次元像を再構成して、前記撮像光学系の中心点についての被写体像を基準とした前記複数の射出瞳位置に対応する複数の一次元像の比較に基づいて、被写体の合焦情報を得ることを特徴とする請求項5に記載の合焦装置。前記マイクロレンズアレイは、前記撮像素子受光部と一体的に設けられ、且つ前記画像生成手段は、撮像時に前記マイクロレンズアレイと前記撮像素子受光部とを前記マイクロレンズの配列に交差する方向に移動させて少なくとも2回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得る手段を含むことを特徴とする請求項5に記載の合焦装置。前記マイクロレンズアレイは、前記撮像素子受光部と別体的に設けられ、且つ前記画像生成手段は、撮像時に前記マイクロレンズアレイを前記撮像素子受光部に対して前記マイクロレンズの配列に交差する方向に移動させて少なくとも2回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得る手段を含むことを特徴とする請求項5に記載の合焦装置。それぞれ光電変換を行う複数の画素を有してなる受光部を備える撮像素子と、被写界像を前記撮像素子の前記受光部に結像させる撮像光学系と、前記撮像素子の画素から得られる画素データを用いて、被写界画像を生成する画像生成手段と、を具備する撮像装置における撮像方法において、前記撮像装置は、前記撮像素子の前記受光部の受光面上に一次元的に配列される複数のマイクロレンズを有し、各マイクロレンズは、それぞれ前記撮像素子の前記受光部の複数の画素を覆い、該複数の画素に前記撮像光学系の射出瞳位置に応じて光を導くマイクロレンズアレイを備え、且つ前記マイクロレンズアレイの各マイクロレンズ毎に、前記複数の画素のうち、前記撮像光学系の所定の複数の射出瞳位置について、各射出瞳位置に対応する画素を複数のマイクロレンズにわたって選択的に抽出する抽出ステップと、前記抽出ステップにて選択的に抽出された画素の画素データを用いて、異なる複数の射出瞳位置に応じた複数の一次元的な被写界画像を再構成する再構成ステップと、前記再構成ステップにて得られる複数の一次元的な被写界画像を比較して、異なる複数の射出瞳位置についての一次元的な被写界画像のずれに基づく被写体の合焦情報を得る合焦情報取得ステップと、前記合焦情報取得ステップにて得られた前記合焦情報に基づいて前記撮像光学系を被写体に合焦させる合焦制御ステップと、前記画像生成手段が、前記撮像素子の前記マイクロレンズにより覆われていない画素の画素データを用いて、被写界画像を生成する画像生成ステップと、を有し、前記合焦情報を用いて前記撮像光学系を被写体に合焦させ、前記撮像素子の前記マイクロレンズにより覆われていない画素の画素データを用いて被写界画像を得ることを特徴とする撮像方法。前記抽出ステップは、前記マイクロレンズアレイの各マイクロレンズ毎に、前記複数の画素のうち、少なくとも前記撮像光学系の中心点を含む前記撮像光学系の所定の複数の射出瞳位置について、各射出瞳位置に対応する画素を複数のマイクロレンズにわたって選択的に抽出し、前記再構成ステップは、前記抽出ステップにて選択的に抽出された画素の画素データを用いて、前記撮像光学系の中心点についての被写体を基準とした異なる複数の射出瞳位置に応じた複数の被写界画像を再構成し、前記合焦情報取得ステップは、前記再構成ステップにて得られる複数の被写界画像を比較して、異なる複数の射出瞳位置についての被写界画像のずれに基づく被写体の合焦情報を得ることを特徴とする請求項9に記載の撮像方法。前記画像生成ステップは、撮像時に前記マイクロレンズアレイと前記撮像素子受光部とを一体的に前記マイクロレンズの配列に交差する方向に移動させて少なくとも2回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得るステップを含むことを特徴とする請求項9に記載の撮像方法。前記画像生成ステップは、撮像時に前記マイクロレンズアレイを前記撮像素子受光部に対して前記マイクロレンズの配列に交差する方向に移動させて少なくとも2回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得るステップを含むことを特徴とする請求項9に記載の撮像方法。それぞれ光電変換を行う複数の画素を有してなる受光部を備える撮像素子と、被写界像を前記撮像素子の前記受光部に結像させる撮像光学系と、前記撮像素子の画素から得られる画素データを用いて、被写界画像を生成する画像生成手段と、を具備する撮像装置における合焦方法において、前記撮像装置は、前記撮像素子の前記受光部の受光面上に一次元的に配列される複数のマイクロレンズを有し、各マイクロレンズは、それぞれ前記撮像素子の前記受光部の複数の画素を覆い、該複数の画素に前記撮像光学系の射出瞳位置に応じて光を導くマイクロレンズアレイを備え、且つ前記マイクロレンズアレイの各マイクロレンズ毎に、前記複数の画素のうち、前記撮像光学系の所定の複数の射出瞳位置について、各射出瞳位置に対応する画素を複数のマイクロレンズにわたって選択的に抽出する抽出ステップと、前記抽出ステップにて選択的に抽出された画素の画素データを用いて、異なる複数の射出瞳位置に応じた複数の一次元的な被写界画像を再構成する再構成ステップと、前記再構成ステップにて得られる複数の一次元的な被写界画像を比較して、異なる複数の射出瞳位置についての一次元的な被写界画像のずれに基づく被写体の合焦情報を得る合焦情報取得ステップと、前記合焦情報取得ステップにて得られた前記合焦情報に基づいて前記撮像光学系を被写体に合焦させる合焦制御ステップと、前記画像生成手段が、前記撮像素子の前記マイクロレンズにより覆われていない画素の画素データを用いて、被写界画像を生成する画像生成ステップと、を有し、前記合焦情報を用いて前記撮像光学系を被写体に合焦させることを特徴とする合焦方法。前記抽出ステップは、前記マイクロレンズアレイの各マイクロレンズ毎に、前記複数の画素のうち、少なくとも前記撮像光学系の中心点を含む前記撮像光学系の所定の複数の射出瞳位置について、各射出瞳位置に対応する画素を複数のマイクロレンズにわたって選択的に抽出し、前記再構成ステップは、前記抽出ステップにて選択的に抽出された画素の画素データを用いて、前記撮像光学系の中心点についての被写体像を基準とした異なる複数の射出瞳位置に応じた複数の被写界画像を再構成し、前記合焦情報取得ステップは、前記再構成ステップにて得られる複数の被写界画像を比較して、異なる複数の射出瞳位置についての被写界画像のずれに基づく被写体の合焦情報を得ることを特徴とする請求項13に記載の合焦方法。前記画像生成ステップは、撮像時に前記マイクロレンズアレイと前記撮像素子受光部とを一体的に前記マイクロレンズの配列に交差する方向に移動させて少なくとも2回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得るステップを含むことを特徴とする請求項13に記載の合焦方法。前記画像生成ステップは、撮像時に前記マイクロレンズアレイを前記撮像素子受光部に対して前記マイクロレンズの配列に交差する方向に移動させて少なくとも2回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得るステップを含むことを特徴とする請求項13に記載の合焦方法。上述したように特許文献4特開2002-165126号の撮像装置においては、ピントずれが検出される射出瞳位置が、第一の光電変換部と第二の光電変換部との間隔によって定まる特定の射出瞳位置に制限されるため、絞り値F値の大きな変化やズーミングに対応することができず、ピントずれが検出される前記射出瞳位置を光軸が垂直に交わる面内で移動させることもできない。また、撮像素子の微細加工が必要であり、実質的に撮像素子のピントずれ検出に用いる画素2つ分を撮像に用いる1つの画素として用いることになるため、撮像される画像形成に寄与する画素密度が撮像素子構造における画素密度の半分になってしまう。本発明は、上述した事情に鑑みてなされたもので、被写界像を撮像する撮像素子を合焦制御にも用いる簡単な構成でさまざまな撮像条件に応じて正確に且つ高精度に自動合焦制御することを可能とする撮像装置、合焦装置、撮像方法および合焦方法を提供することを目的としている。本発明の請求項1の目的は、特に、測距合焦のために特別な受光素子を設けることなく、被写界像を撮像する撮像素子の微少な一部を合焦検知に用いるより簡単な構成で、種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して良好な被写界像を撮像することを可能とする撮像装置を提供することにある。本発明の請求項2の目的は、特に、測距合焦のために特別な受光素子を設けることなく、被写界像を撮像する撮像素子の微少な一部を合焦検知に用いるより簡単な構成で、種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して良好な被写界像を撮像することを可能とする撮像装置を提供することにある。本発明の請求項3の目的は、特に、被写界像を撮像する撮像素子の一部を合焦検知に用いてしかもより高精細な被写界画像を得ることができ、簡単な構成で種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して一層良好な被写界像を撮像することを可能とする撮像装置を提供することにある。本発明の請求項4の目的は、特に、被写界像を撮像する撮像素子の一部を合焦検知および被写界像の撮像に共用して、より高精細な被写界画像を得ることができ、簡単な構成で種々の撮像条件に応じて正確に且つ高精度に自動合焦制御してさらに良好な被写界像を撮像することを可能とする撮像装置を提供することにある。本発明の請求項5の目的は、特に、測距合焦のために特別な受光素子を設けることなく、被写界像を撮像する撮像素子の微少な一部を合焦検知に用いるより簡単な構成で、種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して良好な被写界像を撮像することを可能とする合焦装置を提供することにある。本発明の請求項6の目的は、特に、測距合焦のために特別な受光素子を設けることなく、被写界像を撮像する撮像素子の微少な一部を合焦検知に用いるより簡単な構成で、種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して良好な被写界像を撮像することを可能とする合焦装置を提供することにある。本発明の請求項7の目的は、特に、被写界像を撮像する撮像素子の一部を合焦検知に用いてしかもより高精細な被写界画像を得ることができ、簡単な構成で種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して一層良好な被写界像を撮像することを可能とする合焦装置を提供することにある。本発明の請求項8の目的は、特に、被写界像を撮像する撮像素子の一部を合焦検知および被写界像の撮像に共用して、より高精細な被写界画像を得ることができ、簡単な構成で種々の撮像条件に応じて正確に且つ高精度に自動合焦制御してさらに良好な被写界像を撮像することを可能とする合焦装置を提供することにある。本発明の請求項9の目的は、特に、測距合焦のために特別な受光素子を設けることなく、被写界像を撮像する撮像素子の微少な一部を合焦検知に用いて、より簡易に、種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して良好な被写界像を撮像することを可能とする撮像方法を提供することにある。本発明の請求項10の目的は、特に、測距合焦のために特別な受光素子を設けることなく、被写界像を撮像する撮像素子の微少な一部を合焦検知に用いて、より簡易に、種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して良好な被写界像を撮像することを可能とする撮像方法を提供することにある。本発明の請求項11の目的は、特に、被写界像を撮像する撮像素子の一部を合焦検知に用いて、より簡易に、種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して一層良好で高精細な被写界像を撮像することを可能とする撮像方法を提供することにある。本発明の請求項12の目的は、特に、被写界像を撮像する撮像素子の一部を合焦検知および被写界像の撮像に共用して、より高精細な被写界画像を得ることができ、簡易に種々の撮像条件に応じて正確に且つ高精度に自動合焦制御してさらに良好な被写界像を撮像することを可能とする撮像方法を提供することにある。本発明の請求項13の目的は、特に、測距合焦のために特別な受光素子を設けることなく、被写界像を撮像する撮像素子の微少な一部を合焦検知に用いて、より簡易に、種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して良好な被写界像を撮像することを可能とする合焦方法を提供することにある。本発明の請求項14の目的は、特に、測距合焦のために特別な受光素子を設けることなく、被写界像を撮像する撮像素子の微少な一部を合焦検知に用いて、より簡易に、種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して良好な被写界像を撮像することを可能とする合焦方法を提供することにある。本発明の請求項15の目的は、特に、被写界像を撮像する撮像素子の一部を合焦検知に用いて、より簡易に、種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して一層良好で高精細な被写界像を撮像することを可能とする合焦方法を提供することにある。本発明の請求項16の目的は、特に、被写界像を撮像する撮像素子の一部を合焦検知および被写界像の撮像に共用して、より高精細な被写界画像を得ることができ、簡易に種々の撮像条件に応じて正確に且つ高精度に自動合焦制御してさらに良好な被写界像を撮像することを可能とする合焦方法を提供することにある。請求項1に記載した本発明に係る撮像装置は、上述した目的を達成するために、それぞれ光電変換を行う複数の画素を有してなる受光部を備える撮像素子と、被写界像を前記撮像素子の前記受光部に結像させる撮像光学系と、前記撮像素子の前記受光部の受光面上に一次元的に配列される複数のマイクロレンズを有し、各マイクロレンズは、複数画素にわたって前記撮像素子の前記受光部を覆い、これら複数画素に前記撮像光学系の射出瞳位置に応じて光を導く、マイクロレンズアレイと、前記マイクロレンズアレイの各マイクロレンズに対応する複数画素のうち、前記撮像光学系の複数の射出瞳位置について、各射出瞳位置に対応して選択される画素データを、複数のマイクロレンズにわたって抽出し、各射出瞳位置に応じた一次元像を再構成して、これら複数の射出瞳位置に対応する複数の一次元像の比較に基づいて、被写体の合焦情報を得る合焦情報取得手段と、前記合焦情報取得手段により得られる合焦情報に基づいて前記撮像光学系を被写体に合焦させる合焦制御手段と、前記撮像素子の前記マイクロレンズにより覆われていない画素の画素データを用いて被写界画像を生成する画像生成手段と、を具備してなり、前記合焦制御手段を用いて前記撮像光学系を被写体に合焦させ、前記画像生成手段を用いて被写界画像を得ることを特徴としている。請求項2に記載した本発明に係る撮像装置は、請求項1の撮像装置であって、前記合焦情報取得手段は、前記マイクロレンズアレイの各マイクロレンズに対応する複数画素のうち、前記撮像光学系の少なくとも前記撮像光学系の中心点を含む複数の射出瞳位置について、各射出瞳位置に対応して選択される画素データを、複数のマイクロレンズにわたって抽出し、各射出瞳位置に応じた一次元像を再構成して、前記撮像光学系の中心点についての被写体像を基準とした前記複数の射出瞳位置に対応する複数の一次元像の比較に基づいて、被写体の合焦情報を得ることを特徴としている。請求項3に記載した本発明に係る撮像装置は、請求項1の撮像装置であって、前記マイクロレンズアレイは、前記撮像素子受光部と一体的に設けられ、且つ前記画像生成手段は、撮像時に前記マイクロレンズアレイと前記撮像素子受光部とを前記マイクロレンズの配列に交差する方向に移動させて少なくとも2回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得る手段を含むことを特徴としている。請求項4に記載した本発明に係る撮像装置は、請求項1の撮像装置であって、前記マイクロレンズアレイは、前記撮像素子受光部と別体的に設けられ、且つ前記画像生成手段は、撮像時に前記マイクロレンズアレイを前記撮像素子受光部に対して前記マイクロレンズの配列に交差する方向に移動させて少なくとも2回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得る手段を含むことを特徴としている。請求項5に記載した本発明に係る合焦装置は、上述した目的を達成するために、それぞれ光電変換を行う複数の画素を有してなる受光部を備える撮像素子と、被写界像を前記撮像素子の前記受光部に結像させる撮像光学系と、前記撮像素子の前記受光部の受光面上に一次元的に配列される複数のマイクロレンズを有し、各マイクロレンズは、複数画素にわたって前記撮像素子の前記受光部を覆い、これら複数画素に前記撮像光学系の射出瞳位置に応じて光を導く、マイクロレンズアレイと、前記撮像素子の前記マイクロレンズにより覆われていない画素の画素データを用いて被写界画像を生成する画像生成手段と、前記マイクロレンズアレイの各マイクロレンズに対応する複数画素のうち、前記撮像光学系の複数の射出瞳位置について、各射出瞳位置に対応して選択される画素データを、複数のマイクロレンズにわたって抽出し、各射出瞳位置に応じた一次元像を再構成して、これら複数の射出瞳位置に対応する複数の一次元像の比較に基づいて、被写体の合焦情報を得る合焦情報取得手段と、前記合焦情報に基づいて前記撮像光学系を被写体に合焦させる合焦制御手段と、を具備してなり、前記合焦制御手段を用いて前記撮像光学系を被写体に合焦させることを特徴としている。請求項6に記載した本発明に係る合焦装置は、請求項5の合焦装置であって、前記合焦情報取得手段は、前記マイクロレンズアレイの各マイクロレンズに対応する複数画素のうち、前記撮像光学系の少なくとも前記撮像光学系の中心点を含む複数の射出瞳位置について、各射出瞳位置に対応して選択される画素データを、複数のマイクロレンズにわたって抽出し、各射出瞳位置に応じた一次元像を再構成して、前記撮像光学系の中心点についての被写体像を基準とした前記複数の射出瞳位置に対応する複数の一次元像の比較に基づいて、被写体の合焦情報を得ることを特徴としている。請求項7に記載した本発明に係る合焦装置は、請求項5の合焦装置であって、前記マイクロレンズアレイは、前記撮像素子受光部と一体的に設けられ、且つ前記画像生成手段は、撮像時に前記マイクロレンズアレイと前記撮像素子受光部とを前記マイクロレンズの配列に交差する方向に移動させて少なくとも2回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得る手段を含むことを特徴としている。請求項8に記載した本発明に係る合焦装置は、請求項5の合焦装置であって、前記マイクロレンズアレイは、前記撮像素子受光部と別体的に設けられ、且つ前記画像生成手段は、撮像時に前記マイクロレンズアレイを前記撮像素子受光部に対して前記マイクロレンズの配列に交差する方向に移動させて少なくとも2回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得る手段を含むことを特徴としている。請求項9に記載した本発明に係る撮像方法は、上述した目的を達成するために、それぞれ光電変換を行う複数の画素を有してなる受光部を備える撮像素子と、被写界像を前記撮像素子の前記受光部に結像させる撮像光学系と、前記撮像素子の画素から得られる画素データを用いて、被写界画像を生成する画像生成手段と、を具備する撮像装置における撮像方法において、前記撮像装置は、前記撮像素子の前記受光部の受光面上に一次元的に配列される複数のマイクロレンズを有し、各マイクロレンズは、それぞれ前記撮像素子の前記受光部の複数の画素を覆い、該複数の画素に前記撮像光学系の射出瞳位置に応じて光を導くマイクロレンズアレイを備え、且つ前記マイクロレンズアレイの各マイクロレンズ毎に、前記複数の画素のうち、前記撮像光学系の所定の複数の射出瞳位置について、各射出瞳位置に対応する画素を複数のマイクロレンズにわたって選択的に抽出する抽出ステップと、前記抽出ステップにて選択的に抽出された画素の画素データを用いて、異なる複数の射出瞳位置に応じた複数の一次元的な被写界画像を再構成する再構成ステップと、前記再構成ステップにて得られる複数の一次元的な被写界画像を比較して、異なる複数の射出瞳位置についての一次元的な被写界画像のずれに基づく被写体の合焦情報を得る合焦情報取得ステップと、前記合焦情報取得ステップにて得られた前記合焦情報に基づいて前記撮像光学系を被写体に合焦させる合焦制御ステップと、前記画像生成手段が、前記撮像素子の前記マイクロレンズにより覆われていない画素の画素データを用いて、被写界画像を生成する画像生成ステップと、を有し、前記合焦情報を用いて前記撮像光学系を被写体に合焦させ、前記撮像素子の前記マイクロレンズにより覆われていない画素の画素データを用いて被写界画像を得ることを特徴としている。請求項10に記載した本発明に係る撮像方法は、請求項9の撮像方法であって、前記抽出ステップは、前記マイクロレンズアレイの各マイクロレンズ毎に、前記複数の画素のうち、少なくとも前記撮像光学系の中心点を含む前記撮像光学系の所定の複数の射出瞳位置について、各射出瞳位置に対応する画素を複数のマイクロレンズにわたって選択的に抽出し、前記再構成ステップは、前記抽出ステップにて選択的に抽出された画素の画素データを用いて、前記撮像光学系の中心点についての被写体を基準とした異なる複数の射出瞳位置に応じた複数の被写界画像を再構成し、前記合焦情報取得ステップは、前記再構成ステップにて得られる複数の被写界画像を比較して、異なる複数の射出瞳位置についての被写界画像のずれに基づく被写体の合焦情報を得ることを特徴としている。請求項11に記載した本発明に係る撮像方法は、請求項9の撮像方法であって、前記画像生成ステップは、撮像時に前記マイクロレンズアレイと前記撮像素子受光部とを一体的に前記マイクロレンズの配列に交差する方向に移動させて少なくとも2回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得るステップを含むことを特徴としている。請求項12に記載した本発明に係る撮像方法は、請求項9の撮像方法であって、前記画像生成ステップは、撮像時に前記マイクロレンズアレイを前記撮像素子受光部に対して前記マイクロレンズの配列に交差する方向に移動させて少なくとも2回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得るステップを含むことを特徴としている。請求項13に記載した本発明に係る合焦方法は、上述した目的を達成するために、それぞれ光電変換を行う複数の画素を有してなる受光部を備える撮像素子と、被写界像を前記撮像素子の前記受光部に結像させる撮像光学系と、前記撮像素子の画素から得られる画素データを用いて、被写界画像を生成する画像生成手段と、を具備する撮像装置における合焦方法において、前記撮像装置は、前記撮像素子の前記受光部の受光面上に一次元的に配列される複数のマイクロレンズを有し、各マイクロレンズは、それぞれ前記撮像素子の前記受光部の複数の画素を覆い、該複数の画素に前記撮像光学系の射出瞳位置に応じて光を導くマイクロレンズアレイを備え、且つ前記マイクロレンズアレイの各マイクロレンズ毎に、前記複数の画素のうち、前記撮像光学系の所定の複数の射出瞳位置について、各射出瞳位置に対応する画素を複数のマイクロレンズにわたって選択的に抽出する抽出ステップと、前記抽出ステップにて選択的に抽出された画素の画素データを用いて、異なる複数の射出瞳位置に応じた複数の一次元的な被写界画像を再構成する再構成ステップと、前記再構成ステップにて得られる複数の一次元的な被写界画像を比較して、異なる複数の射出瞳位置についての一次元的な被写界画像のずれに基づく被写体の合焦情報を得る合焦情報取得ステップと、前記合焦情報取得ステップにて得られた前記合焦情報に基づいて前記撮像光学系を被写体に合焦させる合焦制御ステップと、前記画像生成手段が、前記撮像素子の前記マイクロレンズにより覆われていない画素の画素データを用いて、被写界画像を生成する画像生成ステップと、を有し、前記合焦情報を用いて前記撮像光学系を被写体に合焦させることを特徴としている。請求項14に記載した本発明に係る合焦方法は、請求項13の合焦方法であって、前記抽出ステップは、前記マイクロレンズアレイの各マイクロレンズ毎に、前記複数の画素のうち、少なくとも前記撮像光学系の中心点を含む前記撮像光学系の所定の複数の射出瞳位置について、各射出瞳位置に対応する画素を複数のマイクロレンズにわたって選択的に抽出し、前記再構成ステップは、前記抽出ステップにて選択的に抽出された画素の画素データを用いて、前記撮像光学系の中心点についての被写体像を基準とした異なる複数の射出瞳位置に応じた複数の被写界画像を再構成し、前記合焦情報取得ステップは、前記再構成ステップにて得られる複数の被写界画像を比較して、異なる複数の射出瞳位置についての被写界画像のずれに基づく被写体の合焦情報を得ることを特徴としている。請求項15に記載した本発明に係る合焦方法は、請求項13の合焦方法であって、前記画像生成ステップは、撮像時に前記マイクロレンズアレイと前記撮像素子受光部とを一体的に前記マイクロレンズの配列に交差する方向に移動させて少なくとも2回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得るステップを含むことを特徴としている。請求項16に記載した本発明に係る合焦方法は、請求項13の合焦方法であって、前記画像生成ステップは、撮像時に前記マイクロレンズアレイを前記撮像素子受光部に対して前記マイクロレンズの配列に交差する方向に移動させて少なくとも2回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得るステップを含むことを特徴としている。本発明によれば、被写界像を撮像する撮像素子を合焦制御にも用いる簡単な構成でさまざまな撮像条件に応じて正確に且つ高精度に自動合焦制御することを可能とする撮像装置、合焦装置、撮像方法および撮像装置の合焦方法を提供することができる。すなわち、本発明の請求項1の撮像装置によれば、それぞれ光電変換を行う複数の画素を有してなる受光部を備える撮像素子と、被写界像を前記撮像素子の前記受光部に結像させる撮像光学系と、前記撮像素子の前記受光部の受光面上に一次元的に配列される複数のマイクロレンズを有し、各マイクロレンズは、複数画素にわたって前記撮像素子の前記受光部を覆い、これら複数画素に前記撮像光学系の射出瞳位置に応じて光を導く、マイクロレンズアレイと、前記マイクロレンズアレイの各マイクロレンズに対応する複数画素のうち、前記撮像光学系の複数の射出瞳位置について、各射出瞳位置に対応して選択される画素データを、複数のマイクロレンズにわたって抽出し、各射出瞳位置に応じた一次元像を再構成して、これら複数の射出瞳位置に対応する複数の一次元像の比較に基づいて、被写体の合焦情報を得る合焦情報取得手段と、前記合焦情報取得手段により得られる合焦情報に基づいて前記撮像光学系を被写体に合焦させる合焦制御手段と、前記撮像素子の前記マイクロレンズにより覆われていない画素の画素データを用いて被写界画像を生成する画像生成手段と、を具備してなり、前記合焦制御手段を用いて前記撮像光学系を被写体に合焦させ、前記画像生成手段を用いて被写界画像を得ることによって、特に、測距合焦のために特別な受光素子を設けることなく、被写界像を撮像する撮像素子の微少な一部を合焦検知に用いるより簡単な構成で、種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して良好な被写界像を撮像することが可能となる。また、本発明の請求項2の撮像装置によれば、請求項1の撮像装置において、前記合焦情報取得手段は、前記マイクロレンズアレイの各マイクロレンズに対応する複数画素のうち、前記撮像光学系の少なくとも前記撮像光学系の中心点を含む複数の射出瞳位置について、各射出瞳位置に対応して選択される画素データを、複数のマイクロレンズにわたって抽出し、各射出瞳位置に応じた一次元像を再構成して、前記撮像光学系の中心点についての被写体像を基準とした前記複数の射出瞳位置に対応する複数の一次元像の比較に基づいて、被写体の合焦情報を得ることによって、測距合焦のために特別な受光素子を設けることなく、被写界像を撮像する撮像素子の微少な一部を合焦検知に用いるより簡単な構成で、特に、ピントずれの方向および量の判別が容易になり、種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して良好な被写界像を撮像することが可能となる。本発明の請求項3の撮像装置によれば、請求項1の撮像装置において、前記マイクロレンズアレイは、前記撮像素子受光部と一体的に設けられ、且つ前記画像生成手段は、撮像時に前記マイクロレンズアレイと前記撮像素子受光部とを前記マイクロレンズの配列に交差する方向に移動させて少なくとも2回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得る手段を含むことによって、特に、被写界像を撮像する撮像素子の一部を合焦検知に用いてしかもより高精細な被写界画像を得ることができ、簡単な構成で種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して一層良好な被写界像を撮像することが可能となる。本発明の請求項4の撮像装置によれば、請求項1の撮像装置において、前記マイクロレンズアレイは、前記撮像素子受光部と別体的に設けられ、且つ前記画像生成手段は、撮像時に前記マイクロレンズアレイを前記撮像素子受光部に対して前記マイクロレンズの配列に交差する方向に移動させて少なくとも2回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得る手段を含むことによって、特に、被写界像を撮像する撮像素子の一部を合焦検知および被写界像の撮像に共用して、より高精細な被写界画像を得ることができ、簡単な構成で種々の撮像条件に応じて正確に且つ高精度に自動合焦制御してさらに良好な被写界像を撮像することが可能となる。本発明の請求項5の合焦装置によれば、それぞれ光電変換を行う複数の画素を有してなる受光部を備える撮像素子と、被写界像を前記撮像素子の前記受光部に結像させる撮像光学系と、前記撮像素子の前記受光部の受光面上に一次元的に配列される複数のマイクロレンズを有し、各マイクロレンズは、複数画素にわたって前記撮像素子の前記受光部を覆い、これら複数画素に前記撮像光学系の射出瞳位置に応じて光を導く、マイクロレンズアレイと、前記撮像素子の前記マイクロレンズにより覆われていない画素の画素データを用いて被写界画像を生成する画像生成手段と、前記マイクロレンズアレイの各マイクロレンズに対応する複数画素のうち、前記撮像光学系の複数の射出瞳位置について、各射出瞳位置に対応して選択される画素データを、複数のマイクロレンズにわたって抽出し、各射出瞳位置に応じた一次元像を再構成して、これら複数の射出瞳位置に対応する複数の一次元像の比較に基づいて、被写体の合焦情報を得る合焦情報取得手段と、前記合焦情報に基づいて前記撮像光学系を被写体に合焦させる合焦制御手段と、を具備してなり、前記合焦制御手段を用いて前記撮像光学系を被写体に合焦させることによって、特に、測距合焦のために特別な受光素子を設けることなく、被写界像を撮像する撮像素子の微少な一部を合焦検知に用いるより簡単な構成で、種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して良好な被写界像を撮像することが可能となる。また、本発明の請求項6の合焦装置によれば、請求項5の合焦装置において、前記合焦情報取得手段は、前記マイクロレンズアレイの各マイクロレンズに対応する複数画素のうち、前記撮像光学系の少なくとも前記撮像光学系の中心点を含む複数の射出瞳位置について、各射出瞳位置に対応して選択される画素データを、複数のマイクロレンズにわたって抽出し、各射出瞳位置に応じた一次元像を再構成して、前記撮像光学系の中心点についての被写体像を基準とした前記複数の射出瞳位置に対応する複数の一次元像の比較に基づいて、被写体の合焦情報を得ることによって、測距合焦のために特別な受光素子を設けることなく、被写界像を撮像する撮像素子の微少な一部を合焦検知に用いるより簡単な構成で、特に、ピントずれの方向および量の判別が容易になり、種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して良好な被写界像を撮像することが可能となる。本発明の請求項7の合焦装置によれば、請求項5の合焦装置において、前記マイクロレンズアレイは、前記撮像素子受光部と一体的に設けられ、且つ前記画像生成手段は、撮像時に前記マイクロレンズアレイと前記撮像素子受光部とを前記マイクロレンズの配列に交差する方向に移動させて少なくとも2回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得る手段を含むことによって、特に、被写界像を撮像する撮像素子の一部を合焦検知に用いてしかもより高精細な被写界画像を得ることができ、簡単な構成で種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して一層良好な被写界像を撮像することが可能となる。本発明の請求項8の合焦装置によれば、請求項5の合焦装置において、前記マイクロレンズアレイは、前記撮像素子受光部と別体的に設けられ、且つ前記画像生成手段は、撮像時に前記マイクロレンズアレイを前記撮像素子受光部に対して前記マイクロレンズの配列に交差する方向に移動させて少なくとも2回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得る手段を含むことによって、特に、被写界像を撮像する撮像素子の一部を合焦検知および被写界像の撮像に共用して、より高精細な被写界画像を得ることができ、簡単な構成で種々の撮像条件に応じて正確に且つ高精度に自動合焦制御してさらに良好な被写界像を撮像することが可能となる。本発明の請求項9の撮像方法によれば、それぞれ光電変換を行う複数の画素を有してなる受光部を備える撮像素子と、被写界像を前記撮像素子の前記受光部に結像させる撮像光学系と、前記撮像素子の画素から得られる画素データを用いて、被写界画像を生成する画像生成手段と、を具備する撮像装置における撮像方法において、前記撮像装置は、前記撮像素子の前記受光部の受光面上に一次元的に配列される複数のマイクロレンズを有し、各マイクロレンズは、それぞれ前記撮像素子の前記受光部の複数の画素を覆い、該複数の画素に前記撮像光学系の射出瞳位置に応じて光を導くマイクロレンズアレイを備え、且つ前記マイクロレンズアレイの各マイクロレンズ毎に、前記複数の画素のうち、前記撮像光学系の所定の複数の射出瞳位置について、各射出瞳位置に対応する画素を複数のマイクロレンズにわたって選択的に抽出する抽出ステップと、前記抽出ステップにて選択的に抽出された画素の画素データを用いて、異なる複数の射出瞳位置に応じた複数の一次元的な被写界画像を再構成する再構成ステップと、前記再構成ステップにて得られる複数の一次元的な被写界画像を比較して、異なる複数の射出瞳位置についての一次元的な被写界画像のずれに基づく被写体の合焦情報を得る合焦情報取得ステップと、前記合焦情報取得ステップにて得られた前記合焦情報に基づいて前記撮像光学系を被写体に合焦させる合焦制御ステップと、前記画像生成手段が、前記撮像素子の前記マイクロレンズにより覆われていない画素の画素データを用いて、被写界画像を生成する画像生成ステップと、を有し、前記合焦情報を用いて前記撮像光学系を被写体に合焦させ、前記撮像素子の前記マイクロレンズにより覆われていない画素の画素データを用いて被写界画像を得ることによって、特に、測距合焦のために特別な受光素子を設けることなく、被写界像を撮像する撮像素子の微少な一部を合焦検知に用いて、より簡易に、種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して良好な被写界像を撮像することが可能となる。また、本発明の請求項10の撮像方法によれば、請求項9の撮像方法において、前記抽出ステップは、前記マイクロレンズアレイの各マイクロレンズ毎に、前記複数の画素のうち、少なくとも前記撮像光学系の中心点を含む前記撮像光学系の所定の複数の射出瞳位置について、各射出瞳位置に対応する画素を複数のマイクロレンズにわたって選択的に抽出し、前記再構成ステップは、前記抽出ステップにて選択的に抽出された画素の画素データを用いて、前記撮像光学系の中心点についての被写体を基準とした異なる複数の射出瞳位置に応じた複数の被写界画像を再構成し、前記合焦情報取得ステップは、前記再構成ステップにて得られる複数の被写界画像を比較して、異なる複数の射出瞳位置についての被写界画像のずれに基づく被写体の合焦情報を得ることによって、測距合焦のために特別な受光素子を設けることなく、被写界像を撮像する撮像素子の微少な一部を合焦検知に用いるより簡単な構成で、特に、ピントずれの方向および量の判別が容易になり、種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して良好な被写界像を撮像することが可能となる。本発明の請求項11の撮像方法によれば、請求項9の撮像方法において、前記画像生成ステップは、撮像時に前記マイクロレンズアレイと前記撮像素子受光部とを一体的に前記マイクロレンズの配列に交差する方向に移動させて少なくとも2回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得るステップを含むことによって、特に、被写界像を撮像する撮像素子の一部を合焦検知に用いて、より簡易に、種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して一層良好で高精細な被写界像を撮像することが可能となる。本発明の請求項12の撮像方法によれば、請求項9の撮像方法において、前記画像生成ステップは、撮像時に前記マイクロレンズアレイを前記撮像素子受光部に対して前記マイクロレンズの配列に交差する方向に移動させて少なくとも2回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得るステップを含むことによって、特に、被写界像を撮像する撮像素子の一部を合焦検知および被写界像の撮像に共用して、より高精細な被写界画像を得ることができ、簡易に種々の撮像条件に応じて正確に且つ高精度に自動合焦制御してさらに良好な被写界像を撮像することが可能となる。本発明の請求項13の合焦方法によれば、それぞれ光電変換を行う複数の画素を有してなる受光部を備える撮像素子と、被写界像を前記撮像素子の前記受光部に結像させる撮像光学系と、前記撮像素子の画素から得られる画素データを用いて、被写界画像を生成する画像生成手段と、を具備する撮像装置における合焦方法において、前記撮像装置は、前記撮像素子の前記受光部の受光面上に一次元的に配列される複数のマイクロレンズを有し、各マイクロレンズは、それぞれ前記撮像素子の前記受光部の複数の画素を覆い、該複数の画素に前記撮像光学系の射出瞳位置に応じて光を導くマイクロレンズアレイを備え、且つ前記マイクロレンズアレイの各マイクロレンズ毎に、前記複数の画素のうち、前記撮像光学系の所定の複数の射出瞳位置について、各射出瞳位置に対応する画素を複数のマイクロレンズにわたって選択的に抽出する抽出ステップと、前記抽出ステップにて選択的に抽出された画素の画素データを用いて、異なる複数の射出瞳位置に応じた複数の一次元的な被写界画像を再構成する再構成ステップと、前記再構成ステップにて得られる複数の一次元的な被写界画像を比較して、異なる複数の射出瞳位置についての一次元的な被写界画像のずれに基づく被写体の合焦情報を得る合焦情報取得ステップと、前記合焦情報取得ステップにて得られた前記合焦情報に基づいて前記撮像光学系を被写体に合焦させる合焦制御ステップと、前記画像生成手段が、前記撮像素子の前記マイクロレンズにより覆われていない画素の画素データを用いて、被写界画像を生成する画像生成ステップと、を有し、前記合焦情報を用いて前記撮像光学系を被写体に合焦させることによって、特に、測距合焦のために特別な受光素子を設けることなく、被写界像を撮像する撮像素子の微少な一部を合焦検知に用いて、より簡易に、種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して良好な被写界像を撮像することが可能となる。また、本発明の請求項14の合焦方法によれば、請求項13の合焦方法において、前記抽出ステップは、前記マイクロレンズアレイの各マイクロレンズ毎に、前記複数の画素のうち、少なくとも前記撮像光学系の中心点を含む前記撮像光学系の所定の複数の射出瞳位置について、各射出瞳位置に対応する画素を複数のマイクロレンズにわたって選択的に抽出し、前記再構成ステップは、前記抽出ステップにて選択的に抽出された画素の画素データを用いて、前記撮像光学系の中心点についての被写体像を基準とした異なる複数の射出瞳位置に応じた複数の被写界画像を再構成し、前記合焦情報取得ステップは、前記再構成ステップにて得られる複数の被写界画像を比較して、異なる複数の射出瞳位置についての被写界画像のずれに基づく被写体の合焦情報を得ることによって、測距合焦のために特別な受光素子を設けることなく、被写界像を撮像する撮像素子の微少な一部を合焦検知に用いるより簡単な構成で、特に、ピントずれの方向および量の判別が容易になり、種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して良好な被写界像を撮像することが可能となる。本発明の請求項15の合焦方法によれば、請求項13の合焦方法において、前記画像生成ステップは、撮像時に前記マイクロレンズアレイと前記撮像素子受光部とを一体的に前記マイクロレンズの配列に交差する方向に移動させて少なくとも2回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得るステップを含むことによって、特に、被写界像を撮像する撮像素子の一部を合焦検知に用いて、より簡易に、種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して一層良好で高精細な被写界像を撮像することが可能となる。本発明の請求項16の合焦方法によれば、請求項13の合焦方法において、前記画像生成ステップは、撮像時に前記マイクロレンズアレイを前記撮像素子受光部に対して前記マイクロレンズの配列に交差する方向に移動させて少なくとも2回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得るステップを含むことによって、特に、被写界像を撮像する撮像素子の一部を合焦検知および被写界像の撮像に共用して、より高精細な被写界画像を得ることができ、簡易に種々の撮像条件に応じて正確に且つ高精度に自動合焦制御してさらに良好な被写界像を撮像することが可能となる。以下、本発明の実施の形態に基づき、図面を参照して本発明の撮像装置、合焦装置、撮像方法および合焦方法を詳細に説明する。図1~図5は、本発明の第1の実施の形態に係る撮像装置の要部の構成を示している。図1は、撮像装置の要部の構成を模式的に示す概念図、図2は、図1の撮像装置に使用される撮像用の光学系である撮像レンズの具体的な構成の一例を示す模式的な断面図、図3は、図1の撮像装置に使用されるマイクロレンズアレイの具体的な構成の一例を示す模式的な斜視図、図4は、図1の撮像装置に使用されるマイクロレンズアレイを構成する個々のマイクロレンズの仕様の一例を説明するための模式図、そして図5は、図1の撮像装置におけるメインレンズと、マイクロレンズアレイのマイクロレンズと、撮像素子の画素群との関係を説明するための模式図である。図1~図5に示す撮像装置は、撮像レンズ1、絞り2、撮像素子3およびマイクロレンズアレイ4を具備している。図1の撮像装置において、撮像レンズ1は、具体的には、例えば、図2に示すような多数のレンズから構成される撮像光学系であり、図1等においては、理解を容易にするために、図2のような複数のレンズを代表する1つのメインレンズからなる撮像レンズ1として示している。図2に示す撮像レンズ1は、例えば焦点距離を所望に応じて変更し得るズームレンズとして構成され、図示のように物体側から、順次、第1レンズ群G1、第2レンズ群G2、第3レンズ群G3および第4レンズ群G4を配置して構成されている。第1レンズ群G1は、物体側に凸面を向けた負メニスカスレンズおよび物体側に凸面を向けた正メニスカスレンズを互いに密着させてなる接合レンズと、物体側に凸面を向けた正メニスカスレンズとを物体側から順次配置して構成され、第1のズーム群として機能する。第2レンズ群G2は、物体側に凸面を向けた負メニスカスレンズと、像面側に凸面を向けた平凸レンズからなる正レンズおよび像面側に凸面を向けた負メニスカスレンズを互いに密着させてなる接合レンズとを物体側から順次配置して構成され、第2のズーム群として機能する。第3レンズ群G3は、両凸レンズからなる正レンズと、両凸レンズからなる正レンズおよび両凹レンズからなる負レンズを互いに密着させてなる接合レンズとを物体側から順次配置して構成され、フォーカス調整用のフォーカス群として機能する。第4レンズ群G4は、像面側に強い曲率の凸面を向けた単一の両凸レンズからなる正レンズで構成される。第2レンズ群G2と第3レンズ群G3との間に絞り2が介挿配置され、第4レンズ群G4の物体から遠い面側に像面、すなわち撮像素子による撮像面が形成される。図2の撮像レンズは、第1および第2のズーム群である第1レンズ群G1および第2レンズ群G2を移動させてズーミングを行い、フォーカス群である第3レンズ群G3を移動させてピント合わせを行う。図1においては、絞り2は、撮像レンズ1の光軸主光軸とほぼ平行な絞りターレット軸を中心として回転可能に設けられる円盤状の遮光板に口径の異なる開口を同一円周上に複数個配置しており、回転操作により撮像レンズ1の光軸主光軸上に所要の口径の開口を挿入することによって絞り開口をターレット形式で選択する方式の、いわゆる絞りターレットとして模式的に示している。ここでは、絞り2は、模式的に絞りターレットとして示したが、もちろん、絞り2は、複数の絞り羽根の開閉操作により絞り開口を調整する一般的な絞り機構によって構成しても良い。撮像素子3は、CMOS相補型金属酸化物半導体およびCCD電荷結合素子等からなるイメージセンサとしての固体撮像素子であり、その前面にマイクロレンズアレイ4が配置される。マイクロレンズアレイ4は、具体的には、例えば、図3に示すように、撮像素子3の受光面の入射面側に配置され、撮像素子3の受光面を覆うカバーガラスとほぼ同様に形成された光を透過する平板状の板体に、この場合、撮像素子3の特定の直線状の画素列に対応して、例えば画面の垂直方向についてのほぼ中央部に水平方向に沿って複数の等寸法で且つ等形状のマイクロレンズを、例えば直線状に配列して形成する。この場合、各マイクロレンズは、配列方向と直交する方向を軸方向とするかまぼこ状の部分円柱レンズを水平方向に稠密に配列して極めて短寸の細長いレンティキュラーレンズのように形成される。マイクロレンズアレイ4の各マイクロレンズは、各部分円柱レンズの軸方向については1列~数列の画素列に対応する短い寸法に形成され、配列方向については数個以上の画素に対応する寸法に形成されている。また、マイクロレンズアレイ4の各かまぼこ状のマイクロレンズは、部分円柱状の両端面、すなわちマイクロレンズ列の図示上下面に適宜遮光を施して、各マイクロレンズに対応する画素列にマイクロレンズ部分以外からの光が入射することがないようにする。マイクロレンズアレイ4の各マイクロレンズに関連する部分の具体的な仕様の一例を、図4に示す模式図を参照して説明する。図4において、マイクロレンズアレイ4については、撮像レンズ1の光軸上に位置するマイクロレンズのみを模式的に楕円として示しており、撮像素子3についても、当該マイクロレンズに対応する画素群のみを模式的に長方形として示している。撮像素子3の画素ピッチを2μmとし、マイクロレンズアレイ4の1つのマイクロレンズに対応する画素を10画素とし、撮像レンズ1のF値はF2.8とする。1つのマイクロレンズに対応する撮像素子3の画素数が10画素であるので、対応する画素列の長さは、2μm×10=20μmとなる。1つのマイクロレンズの焦点距離をfとすれば、f20μ=2.8であるから、f=56μmとなる。したがって、マイクロレンズアレイ4の1つのマイクロレンズは、長手方向、つまりマイクロレンズの配列方向についてのレンズ径が20μmで焦点距離が56μmとなる。なお、AF処理に際しては、撮像レンズ1のF値はF2.8であっても、撮像レンズ1の外周近傍の両端は像性能があまり良好でない場合があるので、AF処理に供される撮像素子3の画素群としては、内側のF4に相当する範囲を見込む領域に対応する画素を使用する。次に、このような構成における本発明の第1の実施の形態に係る撮像装置の原理について詳細に説明する。まず、図5を参照して、この実施の形態の撮像装置の基本的な構成について説明する。図5には、メインレンズとして代表して示される撮像レンズ1と、マイクロレンズアレイ4のうちの1つのマイクロレンズMLαおよび他の他の1つのマイクロレンズMLβと、撮像素子3のうちのマイクロレンズMLαおよびマイクロレンズMLβに対応する一部の画素部分とを模式的に示している。この図5のように、レンズ系を模式的に示す場合には、その断面形状にかかわらず、複数のレンズからなる撮像レンズ1もマイクロレンズアレイ4を構成する個々の平凸レンズ状のマイクロレンズも、それぞれ楕円として示している。図5において、1つのマイクロレンズMLαに対応する画素部分内に位置するn番目の画素および他の1つのマイクロレンズMLβに対応する画素部分内に位置するm番目の画素は、それぞれマイクロレンズMLαおよびMLβによって、撮像レンズ1の点aからの光を受光するようになっている。マイクロレンズMLαおよびMLβ以外のマイクロレンズについても、点aからの光を受光する画素があるので、それらの画素データを適切に選択して配列すれば、撮像レンズ1の点aを通る光による被写界の像を構成することができる。同様に、各マイクロレンズに対応して、撮像レンズ1の該当位置を通る光を受光する各画素の画素データを選択して配列することによって、撮像レンズの各位置を通る光による被写界の像を構成することができる。このように、撮像レンズ1からの光をマイクロレンズアレイ4の各マイクロレンズに対応して受光する画素の画素データから撮像レンズ1の射出瞳位置に応じた被写界の像を作り出すことを、像の再構成と表現することにする。ここで、本発明に係るAF方式の原理について説明する。本AF方式は、被写界の画像を撮像するための撮像素子3とマイクロレンズを配列してなるマイクロレンズアレイ4のみを用いるコンパクトな構成でありながら、TTLThroughtheLens方式で、ピントのずれ量を判定することができるAF方式である。さらに補足すると、従来の撮像レンズと被写界像撮像用の撮像素子との構成に、さらに撮像素子の前面にマイクロレンズアレイを配置するだけで、単一の撮像素子からピント合わせ用の情報と被写界画像生成用の画素データを得ることができるものである。図6に模式的に示すように、CMOSイメージセンサやCCDイメージセンサに代表される撮像素子3は、マトリクス状に配置された受光素子によって各画素を構成している。ここで、図示Aラインを構成する画素列に沿って複数画素にまたがったマイクロレンズ図6においても模式的に楕円形状に示しているが複数個配列されてなるマイクロレンズアレイ4で撮像素子3を覆うようにする。なお、CMOSイメージセンサやCCDイメージセンサ等の撮像素子の受光素子には、各画素毎に個々に集光用のマイクロレンズが設けられているものがあり、これら画素毎のマイクロレンズは、高解像度つまり高画素数化に伴い、1画素あたりの受光面積が小さくなったことによる光量不足を補うために設けられるものである。本発明に係るマイクロレンズアレイ4は、このような各画素毎のマイクロレンズとは別のものである。図7および図8は、この実施の形態の撮像装置に係るAF方式の原理を概念的に示している。図7aおよび図8aに示すように、撮像素子3の前面受光面に近接して、複数のマイクロレンズM1,M2...Mxを稠密に配列して形成したマイクロレンズアレイ4を配置している。このマイクロレンズアレイ4のマイクロレンズM1~Mxの各々は、それぞれ撮像素子3の複数の画素をカバーしている。なお、ここでは、理解を容易にするために撮像素子3の画素の寸法は限りなく小さいものとして説明する。マイクロレンズアレイ4がない場合には、撮像素子3の各画素には、撮像レンズ1の射出瞳全面からの光が照射されるはずであるが、この場合、マイクロレンズアレイ4があるので、各マイクロレンズにより、図7aにおいては、撮像レンズメインレンズ1とマイクロレンズアレイ4との間の距離fmにおいて、撮像素子3の画素Na1,Na2,...Naxは、撮像レンズ1の点aからの光線を受光する。図7bには、点aからの光を受光するマイクロレンズM1~Mxと画素Na1~Naxとの対応関係を示している。つまり、撮影素子3から画素Na1~Naxのみの画像データを抽出して、画像を再構成すれば、撮像レンズ1の点aから被写界を覗き込んだ画像のマイクロレンズアレイ4の配列方向に沿う一次元情報が得られる。同様に、図8aにおいて、撮像レンズ1とマイクロレンズアレイ4との間の距離fmにおいて、撮像素子3の画素Nb1,Nb2,...Nbxは、撮像レンズ1の点bからの光線を受光する。図8bには、点bからの光を受光するマイクロレンズM1~Mxと画素Nb1~Nbxとの対応関係を示している。したがって、撮影素子3から画素Nb1~Nbxのみの画像データを抽出して、画像を再構成すれば、撮像レンズ1の点bから被写界を覗き込んだ画像のマイクロレンズアレイ4の配列方向に沿う一次元情報が得られる。さらに、図7および図8に示してはいないが、撮像レンズ1の中心点cから被写界を覗き込んだ画像を作るための、画素Nc1,Nc2,...Ncxも決めておくことができる。以上のように、距離fmにおいて、予め定めた画素Na1,Na2,...Naxと、Nb1,Nb2,...Nbxと、Nc1,Nc2,...Ncxとでそれぞれ画像を再構成すると、それぞれ撮像レンズ1の点aと、点bと、点cとから見た互いに視差のある被写界画像を得ることができ、このような視差のある像からは、原理的に、被写体の合焦状況合焦、前ピンおよび後ピン等に応じた合焦情報を求めることができる。なお、上述においては、撮像素子3の画素の寸法は限りなく小さいものとしたが、実際には、画素は有限の大きさ面積を有しているので、撮像レンズ1の点a、点bおよび点cもある程度の面積を持つことになる。ここでは、TTL方式でない、例えば超音波を用いた測距方式や撮像光学系を通さない三角測距方式等の測距合焦システムにおいては、被写体距離に対応する情報が得られるので、これを測距情報と称するのに対して、上述したように撮像光学系を通して得られるTTL方式の測距合焦システムにおいては、被写体に対して合焦、前ピン、後ピンおよびそれらの程度等の合焦状況に対応する情報を合焦情報と称する。上述した本発明の第1の実施の形態に係る合焦装置におけるAF方式の原理について、一般的な被写体における合焦判定を示す図9、図10および図11を参照して、さらに詳細に説明する。図9は、ちょうどマイクロレンズアレイ4上で被写体にピントが合っている場合を示している。被写体のX点からの光のうち、撮像レンズメインレンズ1の点aおよび点bを通る光をそれぞれaX光線およびbX光線とする。同様に、Y点ならびにZ点からの光のうちの点aおよび点bを通る光もそれぞれaY光線およびbY光線ならびにaZ光線およびbZ光線とする。また、X点、Y点およびZ点からの主光線をそれぞれX主光線、Y主光線およびZ主光線とし、これらX主光線、Y主光線およびZ主光線は、それぞれマイクロレンズアレイ4の異なるマイクロレンズに入射する。ここで、被写体はマイクロレンズアレイ4上でピントが合っている状態であるので、X主光線が入射したマイクロレンズには、aX光線およびbX光線も入射し、このマイクロレンズ下の異なった画素で受光される。なお、点aおよび点bからの光を受光するこれらの画素は、撮像レンズ1とマイクロレンズアレイ4との距離がfmである場合において、点aおよび点bからの光を受光するものとして、予め装置のシステムに認知されているものである。同様に、Y主光線ならびにZ主光線が入射するマイクロレンズについても、点aおよび点bからの光が入射して、それぞれ異なる画素で受光される。システムが認知している撮像レンズ1とマイクロレンズアレイ4の距離fmにおける各マイクロレンズ下の点aからの光線の受光画素および点bからの光線の受光画素の明るさ、つまり輝度、を抽出してそれぞれ並べると、点aから見た被写体のコントラスト像および点bから見た被写体のコントラスト像が得られる。これらを点a像および点b像とする。点a像および点b像において、黒く塗りつぶされている箇所が被写体像の画素であり、その図示横方向の位置、すなわち各ベースライン0からの偏倚、が各マイクロレンズ下の抽出された画素における輝度を示している。マイクロレンズアレイ4上で被写体のピントが合っている場合には、図示のように、点a像および点b像の位置は同じになる。以上のようにして、点a像および点b像の位置で撮像レンズ1がマイクロレンズアレイ4上にピントが合っていることを知ることができる。図10は、撮像レンズ1により被写体のピントが、マイクロレンズアレイ4よりも後方すなわち撮像素子3側にずれている場合を示している。この場合、aX光線とbX光線、aY光線とbY光線およびaZ光線とbZ光線は、それぞれ交差する前に異なる別々のマイクロレンズに入射する。その結果として、点a像と点b像は、相互間に像ずれを発生する。また、図11は、被写体のピントが、マイクロレンズアレイ4よりも前方すなわち物体側にずれている場合を示している。この場合、aX光線とbX光線、aY光線とbY光線およびaZ光線とbZ光線は、それぞれ交差した後に異なる別々のマイクロレンズに入射する。その結果として、点a像と点b像は、相互間に像ずれを発生する。なお、図10の場合と、図11の場合とで、像ずれの方向は互いに逆の方向であり、このことによって、撮像レンズ1によるピントが、マイクロレンズアレイ4の後方および前方のいずれにあるかをも知ることができる。したがって、この像ずれを、合焦状態およびピントずれ状況等を示す合焦情報として利用することができる。また、撮像レンズ1の中央から射出されるX主光線、Y主光線およびZ主光線などのような主光線を受けるマイクロレンズの像を点c像とすると、図9、図10および図11における点c像は、撮像レンズ1により結像される被写体像のピント面が、マイクロレンズアレイ4上に位置しているか、マイクロレンズアレイ4の後方に位置しているか、マイクロレンズアレイ4の前方に位置しているかにかかわらず、同じ位置に結像される。このため、この点c像を基準として用いると、ピントずれの方向および量の判別が容易になる。次に図12および図13を参照して、具体的な合焦判定の例について説明する。図12aに示すように、撮像レンズ1の点a、点bおよび点cを通る光による像は、合焦被写界点にある被写体が、マイクロレンズアレイ4上に結像され、合焦被写界点よりも近いニア被写界点Near被写界点にある被写体は、撮像レンズ1からマイクロレンズアレイ4よりも遠い箇所に結像され、そして合焦被写界点よりも遠いファー被写界点Far被写界点にある被写体は、撮像レンズ1とマイクロレンズアレイ4との中間位置に結像される。すなわち、上述のようにして、点a、点bおよび点cを通る光による像、すなわち、点a像、点b像および点c像を再構成により形成すれば、それぞれ、ニア被写界点については、図12b、合焦被写界点については、図12c、そしてファー被写界点については、図12dに示すような点a像、点b像および点c像が形成される。ここで、点c像の中央部近傍で相関評価ウィンドウを定義する。点c像の中央領域であるので、その像は、撮影レンズ1が垂直に真っ直ぐに貫かれる主光軸上の被写体像である。この相関評価ウィンドウ内のコントラスト像と強い相関を示す、つまりほぼ一致する、像位置を、点a像および点b像内で検索する。すなわち、求め方は、点c像で設定した相関を評価するための相関評価ウィンドウ内の像と、点a像または点b像とを同じウィンドウ幅で像位置をシフトしながら比較し、相関つまり一致度の高い像位置を求める。一致度は、比較するウィンドウ同士の画素データの差分の積算を計算し、その値が小さければ、一致度が高いといえる。もしも、点c像、点a像および点b像で一致する像が、図12bのように、点c像の像位置を中央に、左側の位置に点a像、右側の位置に点b像があったとすると、対象被写体よりも近い被写界点ニア被写界点にピントが合っている、いわゆる前ピン状態と判定することができる。そして、点c像、点a像および点b像で一致する像が、図12cのように、点c像と点a像と点b像の像位置が全て一致していれば、合焦状態と判定することができる。また、もしも、点c像、点a像および点b像で一致する像が、図12dのように、点c像の位置を中央に、右側の位置に点a像、左側の位置に点b像があったとすると、対象被写体よりも遠い被写界点ファー被写界点にピントが合っている、いわゆる後ピン状態と判定することができる。なお、図12b~図12dに示した、点a像および点b像のみを用いて、各像の中央から相関評価ウィンドウを逆方向にずらしながら、逐次ウィンドウ内の像の一致度を評価して、相関の高い像位置を求めるようにしても、ピントずれを検出することができる。しかしながら、図示のように点c像を加えることによって、3つの像の相関を評価し、より正確な像一致を検出することができる。図13は、点c像の相関評価ウィンドウを、中央近傍以外にした場合の一例を示している。図13aは、撮像レンズ1、撮像素子3の画素列およびマイクロレンズアレイ4、ならびに被写界における合焦被写界点にある被写体、ニア被写界点にある被写体およびファー被写界点にある被写体の光学的幾何学的な関係を示している。図13bはニア被写界点について、図13cは合焦被写界点について、そして図13dはファー被写界点について、それぞれ形成される点a像、点b像および点c像を示している。この場合も、点c像で設定した相関評価ウィンドウ内の像と、点a像または点b像とを同じウィンドウ幅で像位置をシフトしながら比較し、一致度の高い像位置を求める。もしも、図13bのように、この場合やや右寄りに位置する点c像の像位置に対して、左側の位置に点a像、右側の位置に点b像があったとすると、対象被写体よりも近い被写界点ニア被写界点にピントが合っている前ピン状態と判定することができる。そして、図13cのように、やや右寄りの位置において、点c像と点a像と点b像の像位置が全て一致していれば、合焦状態と判定することができる。また、もしも、図13dのように、やや右寄りに位置する点c像の位置を中央に、右側の位置に点a像、左側の位置に点b像があれば、対象被写体よりも遠い被写界点ファー被写界点にピントが合っている後ピン状態と判定することができる。なお、図13b~図13dに示した、点a像および点b像のみを用いて、各像の中央から相関評価ウィンドウを逆方向にずらしながら、逐次ウィンドウ内の像の一致度を評価して、相関の高い像位置を求めるようにしても、ピントずれを検出することができる。しかしながら、図示のように点c像を加えることによって、3つの像の相関を評価し、より正確な像一致を検出することができる。このように、撮像レンズ1の主光軸以外の被写体に対する合焦状態を検出することができるばかりでなく、後ピンおよび前ピンの各ピントずれ状態をも検出することができ、後ピンと前ピンにおける点a像および点b像のずれ方向が逆であることから、ピントのずれ方向も判別することができる。このようなピントずれ状態が、検出された場合には、ピントずれの方向とは逆に撮像レンズメインレンズ1を動かすなどして、合焦状態が得られるまで制御すればピントのあった状態とすることができる。また、撮像レンズメインレンズ1とマイクロレンズアレイ4との間の距離fmおよび点a像と点b像の像位置の差から計算して、概略的な被写体の距離を求めることも可能である。なお、上述から明らかなように、点c像についての相関評価ウィンドウの設定位置によって、撮像レンズ1の異なる軸外光線上に存在する被写体のピント情報を得られるので、画面の中央だけでなく、画面端の被写体の合焦制御を行うことも可能である。すなわち、図13においては、被写界の左側に偏った部位のピントを検出するために、点c像の相関評価ウィンドウの位置は、中心よりも右に寄った位置に設定される。また、図12では、被写界の中央近傍のピントを検出するために、点c像の相関評価ウィンドウの位置は、中心近傍の位置に設定される。上述において、撮像素子3は、モノクローム、すなわち単色の撮像素子等のように、単一の輝度情報を画素データとする場合について説明している。このような場合に、マイクロレンズを通した画素データを抽出して点a像や点b像を再構成するには、上述したように単に該当位置の画素を抽出するだけでよい。しかしながら、画素フィルタを介するなどして複数の色情報が分布配置されるカラーの撮像素子の場合には、色による影響を受けないようにするために、同一色の画素データ、または同一の組み合わせの複数色の画素データを用いなければならない。すなわち、このようなカラー撮像素子において、マイクロレンズを通した画素データを抽出して点a像や点b像を再構成する場合には、同一色の画素データを抽出する必要がある。このため、複数の色情報が分布配置される通常のカラー撮像素子をそのまま使う場合には、特定の色情報の画素データを抽出することになり、全画素数をAF用に利用することができず、高い分解能が得られない。このような場合には、AF用のマイクロレンズアレイ4の各マイクロレンズに対応する画素については、色フィルタを除去するなどして、モノクローム化すれば、全画素を抽出対象とすることができるため、高い分解能が得られる。あるいは、図14に示すように、R赤、B青およびG緑の画素が、いわゆるベイヤ配列で分布されたカラー撮像素子において、AF用のマイクロレンズアレイ4の各マイクロレンズで、カラー撮像素子の2段2列分の画素列を覆い、例えば上下2段のGの画素データをAFのための抽出対象とすることによって、像再構成の分解能を確保するようにしてもよい。さらに、R、BおよびGの画素が、いわゆるベイヤ配列で分布されたカラー撮像素子において、AF用のマイクロレンズアレイ4の各マイクロレンズで、カラー撮像素子の1段1列分の画素列を覆う場合には、図15に示すように、例えばRGの画素データを単位として、AFのための抽出対象として、像再構成を行うようにしてもよい。このようにして、自動合焦を行った場合、マイクロレンズアレイ4の各マイクロレンズに対応する部分以外の撮像素子3の画素部分は、撮像レンズ1によって結像された被写界像を、撮像された画像として表示および記録の少なくとも一方に供するようにしなければならない。ところが、図6および図16に示すAラインのように、AF用の光学系であるマイクロレンズアレイ4のマイクロレンズ群を通った画素のデータは、それら以外の被写界画像を構成する通常の画素のデータと異なるため、それを含めて被写界画像を生成することができない。近年においては撮像素子3が高画素数化しているので、ディジタルカメラ等の撮像装置におけるモニタリング等のように画像性能がさほど要求されない場合には、全ての画素データを使用する必要はなく、例えばAラインの画素データ等のマイクロレンズ群を通った画素データを使用せずに、画像データ生成してもよい。また、撮像素子3が高画素数化していることを考慮して、AF用の光学系であるマイクロレンズアレイ4のマイクロレンズ群を通った部分に相当する画素の画素値は、その近傍の、例えば図16のBラインおよびCライン等の周辺画素値から補間処理等によって求めるようにしてもよい。図16にベイヤ配列の撮像素子3に、AF用のマイクロレンズアレイ4のマイクロレンズを配置した例を示す。このような場合において、Aラインに該当し、ベイヤデータが求められない部分については、例えば図17に示すように、g1は周辺のG1,G2,G3およびG4から求め、r2は、B1とB2およびG2とG4の変化の度合いに基づいて、R1とR2から求めるようにしてもよい。すなわち、本発明においては、撮像装置としての撮像画像を生成するために、解像度上かならずしも必要とされないAラインを使用しないで画像を生成することも、近傍のBラインおよびCラインに基づく補間演算において補間係数をゼロとした場合と同等であり、本発明に係る撮像装置の実施の形態である。また、先に触れたように、Aラインは、R、GおよびB等の色フィルタを設ける必要もなく、色フィルタを設けなければ光電変換効率がよくなるので、このAラインの部分だけ画素のサイズを小さくすることもできる。このような場合、Aラインを、画像生成に際して、無視することも可能であり、このような実施の形態も本発明の範囲内である。また、AF用の光学系であるマイクロレンズアレイ4の位置をずらして、画像生成用の画素データを得ることもできる。この場合、撮像素子3を移動させずにマイクロレンズアレイ4のみを移動させてもよいが、マイクロレンズアレイ4と撮像素子3の画素列との位置合わせが容易ではない。そのような場合には、撮像素子3とマイクロレンズアレイ4を適正に位置合わせして相互に固定したまま一体として移動させるようにしてもよい。ここでは、撮像素子3とマイクロレンズアレイ4を位置合わせして固定したまま一体として位置をずらせる場合について具体的に説明する。すなわち、図16に示したように、AF用のマイクロレンズアレイ4のマイクロレンズ群がAライン上に配置された撮像素子3を、例えば図18に示すように2画素分下方に移動させる。このようにすると、元のAラインの位置にAラインの2ライン上方のラインが対応し、このラインによって元のAライン上のGおよびRの画素データを得ることができる。このとき、Aラインの1ライン上方のBラインが、元のAラインの1ライン下方のCラインに対応し、Aラインが、元のAラインの2ライン下方のDラインに対応する。このように、撮像素子3を移動させる方式としては、例えばコイル付き基板に保持した撮像素子と、その撮像素子の基板を縦横に移動可能とした磁石付きステージとからなる構成を用いることができる。このとき、撮像素子の基板に、位置検出用としてホール素子を設けておく。撮像素子の基板上のコイルに電流を流すことによって、ステージ側の磁石との間で電磁力を作用させ、ステージ上で撮像素子を移動させることができる。その移動量はホール素子で検出することができるので、その移動画素数を制御することが可能となる。また、やや雑に撮像素子を移動した場合でも、生成される2つの画像の間で画素毎の相関が強くなるようにして、これら2つの画素を重ね合わせれば、AF用の光学系であるマイクロレンズアレイ4の部分に対応する位置の画素データを、両画像間で補間し合うようにすることができる。また、AF用の光学系であるマイクロレンズアレイ4を撮像素子3に対して相対的に移動可能な構成とし、AF動作中は、撮像素子3上のAライン上にAF用のマイクロレンズアレイ4を配置し、AF用のデータを取得した後に、そのAF用のマイクロレンズアレイ4をAラインの位置からBラインの位置に移動させることによって、AラインのGおよびRの画素データを得て、画像生成に使用するようにしてもよい。なお、マイクロレンズアレイ4の移動についても、上述とほぼ同様に、撮像素子3と一体化された磁石付きステージとそのステージ上で移動可能なコイル付きのマイクロレンズアレイ4とで構成したり、撮像素子3と一体化されたコイル付きステージとそのステージ上で移動可能な磁石付きのマイクロレンズアレイ4とで構成したりすることによって、上述と同様に電磁力により移動制御することが可能になる。次に、上述したような合焦の原理をディジタルカメラ等の撮像装置に適用した本発明の第2の実施の形態について説明する。図19は、本発明の第2の実施の形態に係る撮像装置としてのディジタルカメラのシステム構成を示している。図19に示すディジタルカメラは、撮像レンズ101、絞り-シャッタユニット102、マイクロレンズアレイ付き撮像素子103、CDS相関二重サンプリング-ADA/Dアナログ-ディジタル変換部104、DSPディジタル信号処理部105、メカニカルドライバ部106、撮像素子駆動回路107、CPU中央処理部108、メモリ部109、通信ドライバ110、メモリカード111、表示部112、操作部113、AF自動合焦制御処理部114、ストロボ発光部115、ストロボ電源部116およびストロボ受光部117を具備している。図19の構成において、撮像光学系としての撮像レンズ101は、例えば図2に示したズームレンズを用いた撮像レンズ1のような撮像用のレンズ系である。絞り-シャッタユニット102は、図2に示される絞り2に相当する機械的な絞りおよびシャッタを備えている。マイクロレンズアレイ付き撮像素子103は、CMOS撮像素子またはCCD撮像素子等のような固体撮像素子を用いて構成した撮像素子であり、その受光面側に、先に述べた通り、例えば図3に示すマイクロレンズアレイ4のような本発明に係るAF用のマイクロレンズアレイを備えている。CDS-AD部104は、撮像素子103から得られる画像信号を相関二重サンプリングし、さらにA/D変換してディジタルデータに変換する。DSP部105は、A/D変換されだディジタル信号を処理するディジタル信号処理装置であり、例えばRGBから、輝度Y、色差Uおよび色差VのYUVデータに変換したり、そのYUVデータを、例えばJPEGJointPhotographicExpertsGroup方式により圧縮したりするなどのディジタル信号処理を行う。メカニカルドライバ部106は、機械的作動部を駆動するドライバであって、フォーカシングやズーミングに際して撮像レンズ101を駆動するレンズ駆動部および絞り-シャッタユニット102のシャッタ開閉動作を行うシャッタ駆動部等を含んでいる。なお、レンズ駆動部には、レンズを正確に駆動制御するためにレンズ位置を検出するレンズ位置検出部も含んでいる。撮像素子駆動回路107は、撮像素子103を作動させ、撮像レンズ101により撮像素子103の受光面に結像された被写界像を画像信号として撮像素子103から取り出す。CPU中央処理部108は、上述したDSP部105、メカニカルドライバ部106および撮像素子駆動回路107、ならびにメモリ部109、通信ドライバ110、メモリカード111、操作部113、ストロボ発光部115、ストロボ電源部116およびストロボ受光部117等と信号の授受を行って、このディジタルカメラシステム全体を制御する。メモリ部109は、例えば撮像した画像データおよびファイルから読み出した画像データを一時保持すると共に、DSP部105およびCPU108の作動に関連してワークメモリとして使用されるメモリである。通信ドライバ110は、本ディジタルカメラの外部との通信を行わせるための通信駆動部である。メモリカード111は、このディジタルカメラに対して着脱可能に設けられ、撮像素子などで得られた画像データ等を記録するためのメモリカードである。表示部112は、LCD液晶ディスプレイ等の表示器と、DSP部105からの映像出力信号を、LCD等を用いた表示器で表示可能な信号に変換する表示コントローラとを含んでおり、DSP部105からの映像出力信号を表示器で表示可能な信号に変換し、そしてその画像を表示器にて表示する。操作部113は、ユーザが操作可能な各種スイッチ等を含む操作部113である。AF処理部114は、必要に応じて設けられ、本発明に係るAF操作と併用されて粗い非TTL方式にてAF操作を行う例えば、三角測距方式によるAF操作を行うAF処理部である。ストロボ発光部115は、CPU108から、ストロボ光の発光開始/発光停止を制御することが可能なストロボ発光部である。ストロボ電源部116は、例えばストロボ発光用のメインコンデンサ等を含むストロボ発光用の電源部であり、その充電電圧をCPU108から検出することが可能である。ストロボ受光部117は、受光光学系および光センサを含むストロボ受光部であり、CPU108からの受光開始を受けて、ストロボ発光部115の発光を開始させ、それ以後の受光積分量が、CPU8により予め設定された設定値に達したらストロボ発光部115へ発光停止信号を与え、発光を停止させる。次に、上述したような構成のディジタルカメラにおける各部の動作について、図20に示すフローチャートおよび図21に示すタイミングチャートを参照して説明する。図20は、ディジタルカメラにおける撮像記録時の制御を行うメイン処理を示している。なお、明確には図示していないが、操作部の状態の読み込みなどは、このメイン処理の起動中にメイン処理と並行して行われる並行処理によって処理される。この並行処理は、メイン処理の状態にかかわらず、例えば定期的なタイマ割り込みによって起動され処理される。ここでは、静止画を記録する場合を例にとって詳細に説明する。撮像記録モードにおいては、カメラの電源がオンとされると、図20には示していないが、カメラ内部のハードウェアの初期化や、メモリカード111内のファイル情報を、メモリ109内に作成するなどの初期処理を行う。その後に、図20の撮像記録のメイン処理が開始される。メイン処理においては、まずモニタリング状態をチェックしステップS11、モニタリングが停止状態であれば、モニタリング開始処理を行うステップS12。また、ストロボ発光を必要とする撮像モードが選択されているか否かおよびストロボ電源部116のメインコンデンサが充分に充電されているか否かに応じて、ストロボ電源部116のメインコンデンサの充電が必要であるか否かをチェックしステップS13、ストロボ発光を必要とする撮像モードが選択されていて、ストロボ電源部116のメインコンデンサが充分に充電されておらず、ストロボ電源部116の充電が必要であれば充電処理を開始するステップS14。ステップS13において、ストロボ発光を必要とする撮像モードが選択されていない場合、またはストロボ発光を必要とする撮像モードが選択されていて、ストロボ電源部116のメインコンデンサが充分に充電されている場合、には、ストロボ電源部116の充電が必要でないので、何もしない次のステップS15へ進む。ステップS12のモニタリング開始処置においては、撮像素子駆動回路107による撮像素子103の駆動を開始し、また並行処理のモニタリング処理を起動する。なお、初めてメイン処理に入った場合にも、上述したステップS12のモニタリング開始処理が実行されることになる。上述した並行処理におけるモニタリング処理は、カメラのスルー画像を表示している際のAE自動露出およびAWB自動ホワイトバランスの追尾処理を実行させるものであり、このようにすることにより、カメラの表示装置に表示している画像を、いつも適正な明るさ、自然な色合いに保つことができる。具体的には、撮像素子103からCDS-AD部104を介して得られる画像データからDSP部105においてAEおよびAWBそれぞれに対する評価値をCPU108で取得し、その値が所定値となるように、撮像素子駆動回路107に電子シャッタ秒時をセットする。撮像素子103の電子シャッタには、設定可能な最長秒時および最短時間の限界があり、被写体の輝度に応じて、限界以上の露光アンダーまたは露光オーバーがある場合には、CPU108は絞り-シャッタユニット102の絞り開口径、つまりF値、を変更したり、撮像信号の撮像素子103部分における増幅率を変更したりする。また、DSP部105における画像処理色パラメータを調節したりするためのフィードバック制御も行う。以上のモニタリング処理や、先に述べた操作部113の状態の読み込み処理の並行処理は、例えば20msの定期タイマ割り込みで実行される。メイン処理におけるステップS11においてモニタリング状態がオンであると判定された場合、ステップS13において充電が不要であると判定された場合、そしてステップS14で充電が開始された場合には、操作部113のスイッチ等の操作状態を判定する操作判定処理が行われるステップS15。メイン処理のステップS15の操作判定処理は、上述した20ms毎の定期タイマ割り込み処理で、入力されるスイッチ等の操作情報を確定して、操作されたスイッチ等に対応する処理を行う。ステップS15において、有効な操作情報が検知されなければ、何もせずにステップS11に戻り、再びステップS15の操作判定処理に戻るループを繰り返す。先に述べた通り、この例では、静止画のみについて述べている。図20における操作情報に応じたメイン処理動作を、図19を参照しながら説明する。図19に示す構成において、操作部113には、シャッタのレリーズ操作を行うためのシャッタボタンが含まれている。静止画の撮像時は、シャッタボタンの半押し、つまり第1段を押下したときに作動する第一スイッチがオンとなると、モニタリングを停止してステップS16、AE処理を行うステップS17。ステップS17のAE処理においては、撮像データをDSP部105で評価し、撮影露出時に対応して撮像素子駆動回路107に設定する撮像素子の露光時間値および撮像素子103の増幅率を決定する。次にAF処理を行うステップS18。ここでは、後述する本発明方式によるAF操作を含むAF操作を行うが、最初に一般的な山登り方式を例にとって説明する。CPU108は、メカニカルドライバ部106により撮像レンズ101のフォーカスを移動させながら、合焦評価値として撮像データの先鋭度鮮明度を検出し、その検出量がピークとなるフォーカス位置に撮像レンズ1を移動させてレンズを停止させる山登り方式によるAF操作を行いステップS19、ステップS11に戻る。そして、第一スイッチがオンとなっている状態で、シャッタボタンを全押し、つまり第2段を押下したときに作動する第二スイッチがオンとなると、モニタリングを停止してステップS20、静止画記録処理を行うステップS21。ステップS21の静止画記録処理においては、撮像データをメモリ部109に取り込み、DSP部105において、輝度および色差信号に変換するなどの所要の映像信号処理、またはJPEG圧縮処理等の処理を行い、そのような処理が施された画像データをファイルとしてメモリカード111に書き込む。その後、処理は、ステップS11に戻る。なお、操作部113において、その他の操作が行われ、それがステップS15において検出判定されたときは、当該操作に対応する処理が行われて、ステップS11に戻る。上述においては、ステップS18におけるAF処理について、山登り方式を例にとって説明したが、本発明に係るこの実施の形態のディジタルカメラにおいては、本発明に係るAF操作を含むAF処理を行う。このAF処理について説明する。本発明に係るAF方式は、先に説明したように、画像撮像用の撮像素子として、マイクロレンズアレイ付きの撮像素子103を用い、コンパクトでありながら、TTL方式で、ピントのずれ量を判定することが可能なAF方式である。補足すると、従来、一般的に用いられていた撮像レンズと画像撮像用の撮像素子の構成に加えて、撮像素子の前面に複数のマイクロレンズを配列したマイクロレンズアレイを配置することにより、単一の撮像素子を用いてピントずれ情報と画像生成用の画素データを得ることができる。本発明に係るAF方式の原理については、既に図1~図18に関連して説明してあるので、ここでは、概略のみを簡単に説明する。撮像素子103の受光面には、所定の画素列Aラインに沿って複数のマイクロレンズを配列したマイクロレンズアレイ4が設けられている図3および図6参照。図7および図8のように撮像素子の前面に近接してマイクロレンズアレイを配置しており、マイクロレンズアレイは、所定の画素列に対応して、複数のマイクロレンズM1~Mxが密接して直線状に配列され、各マイクロレンズは、撮像素子の隣接する複数の画素を覆っている。マイクロレンズアレイが存在しなければ、撮像素子の各画素には、撮像レンズの全面からの光が照射されるが、マイクロレンズによって、撮像素子の画素Na1~Naxは、撮像レンズの点aからの光線を受光する。したがって、図7のように、撮影素子からこれらの画素Na1~Naxのみを抽出して、画像を再構成すれば、撮像レンズの点aから被写界を覗き込んだ画像が得られる。同様に、図8のように、画素Nb1~Nbxのみを抽出して、画像を再構成すれば、撮像レンズの点bから被写界を覗き込んだ画像が得られる。さらに、図示していないが、撮像レンズの中心点cから被写界を覗き込んだ画像を作るための、画素Nc1~Ncxをも定めておいてもよい。このようにして、撮像レンズとマイクロレンズアレイとの間の距離fmにおいて、CPU108の機能として実現される合焦情報取得手段によって、予め定めたNa1~Nax、Nb1~Nbx、Nc1~Ncxの画素でそれぞれ画像を再構成すると、撮像レンズの点a、点bおよび点cから見た互いに視差のある被写界画像を得ることができ、視差のある像からは、原理的に被写体の距離情報を求めることが可能である。すなわち、図12aのように、撮像レンズの点a、点bおよび点cを通る光による像は、合焦被写界点にある被写体が、マイクロレンズアレイ上に結像され、合焦被写界点よりも近いニア被写界点にある被写体は、撮像レンズからマイクロレンズアレイよりも遠い箇所に結像され、そして合焦被写界点よりも遠いファー被写界点にある被写体は、撮像レンズ1とマイクロレンズアレイ4との中間位置に結像される。上述のようにして、点a、点bおよび点cを通る光による像、すなわち、点a像、点b像および点c像を再構成により形成すれば、それぞれ、ニア被写界点については、図12b、合焦被写界点については、図12c、そしてファー被写界点については、図12dに示すような点a像、点b像および点c像が形成される。点c像の中央部近傍で相関評価ウィンドウを定義すれば、その像は、撮影レンズが垂直に真っ直ぐに貫かれる主光軸上の被写体像である。この相関評価ウィンドウ内のコントラスト像とほぼ一致する像位置を、点a像および点b像内で検索する。具体的には、点c像で設定した相関評価ウィンドウ内の像と、点a像または点b像とを同じウィンドウ幅で像位置をシフトしながら比較し、相関性、つまり一致度、の高い像位置を求める。もしも、図12bのように、点c像の像位置を中央に、左側の位置に点a像、右側の位置に点b像があったとすると、対象被写体よりも近いニア被写界点にピントが合っている前ピン状態と判定することができる。そして、図12cのように、点c像と点a像と点b像の像位置が全て一致していれば、合焦状態と判定することができる。また、もしも、図12dのように、点c像の位置を中央に、右側の位置に点a像、左側の位置に点b像があったとすると、対象被写体よりも遠いファー被写界点にピントが合っている後ピン状態と判定することができる。図12b~図12dに示した、点a像および点b像のみを用いて、各像の中央から相関評価ウィンドウを逆方向にずらしながら、逐次ウィンドウ内の像の一致度を評価して、相関の高い像位置を求め、ピントずれを検出することができる。しかしながら、図示のように点c像を加えることによって、3つの像の相関を評価し、より正確な像一致を検出することができる。図13は、点c像の相関評価ウィンドウを、中央近傍以外にした場合の一例を示しており、撮像レンズ、撮像素子の画素列およびマイクロレンズアレイ、ならびに被写界における合焦被写界点にある被写体、ニア被写界点にある被写体およびファー被写界点にある被写体の光学的幾何学的な関係を示している。点c像で設定した相関評価ウィンドウ内の像と、点a像または点b像とを同じウィンドウ幅で像位置をシフトしながら比較し、一致度の高い像位置を求める。もしも、図13bのように、図示やや右寄りに位置する点c像の像位置に対して、左側の位置に点a像、右側の位置に点b像があったとすると、対象被写体よりも近いニア被写界点にピントが合っている前ピン状態と判定する。そして、図13cのように、やや右寄りの位置において、点c像と点a像と点b像の像位置が全て一致していれば、合焦状態と判定する。また、もしも、図13dのように、やや右寄りに位置する点c像の位置を中央に、右側の位置に点a像、左側の位置に点b像があれば、対象被写体よりも遠いファー被写界点にピントが合っている後ピン状態と判定する。なお、図13b~図13dに示した、点a像および点b像のみを用いても、各像の中央から相関評価ウィンドウを逆方向にずらしながら、逐次ウィンドウ内の像の一致度を評価して、相関の高い像位置を求め、ピントずれを検出することができる。しかしながら、図示のように点c像を加えることによって、3つの像の相関を評価し、より正確な像一致を検出することができる。このように、撮像レンズの主光軸以外の被写体に対する合焦状態を検出することができるばかりでなく、ならびに後ピンおよび前ピンの各ピントずれ状態をも検出することができ、後ピンと前ピンにおける点a像および点b像のずれ方向が逆であることから、ピントのずれ方向も判別することができる。このようなピントずれ状態が、検出された場合には、ピントずれの方向とは逆に撮像レンズを動かすなどして、合焦状態が得られるまで制御すればピントのあった状態とすることができる。また、撮像レンズとマイクロレンズアレイとの間の距離fmおよび点a像と点b像の像位置の差から計算して、概略的な被写体の距離を求めることも可能である。なお、上述から明らかなように、点c像についての相関評価ウィンドウの設定位置によって、撮像レンズ1の異なる軸外光線上に存在する被写体のピント情報を得られるので、画面の中央だけでなく、画面端の被写体の合焦制御を行うことも可能である。図20のステップS18におけるAF処理においては、上述した本発明に係るAF方式に従ったAF処理に加えて、いわゆるコントラスト情報を用いたAF処理を併用している。なお、図20のステップS18におけるAF処理は、上述した本発明に係るAF方式に従ったAF処理のみを行うようにしてもよい。撮像素子103が、画素フィルタを介するなどして複数の色情報が分布配置されるカラーの撮像素子である場合には、色による影響を受けないようにするために、同一色の画素データ、または同一の組み合わせの複数色の画素データを用いなければならない。すなわち、このようなカラー撮像素子において、マイクロレンズを通した画素データを抽出して点a像や点b像を再構成する場合には、同一色の画素データを抽出する必要がある。このため、複数の色情報が分布配置される通常のカラー撮像素子をそのまま使う場合には、特定の色情報の画素データを抽出することになり、全画素数をAF用に利用することができず、高い分解能が得られない。そこで、このような場合、例えば、AF用のマイクロレンズアレイの各マイクロレンズに対応する画素列については、色フィルタを除去して、モノクローム化すれば、全画素を抽出対象とすることができるため、高い分解能を得ることができる。また、図19に示すように三角測距方式によるAF処理部114を別途に設けている場合には、上述した図20のステップS18の本発明方式を含むAF処理に先立ってまたは定常的にタイマ割り込みによる並行処理として、アクティブまたはパッシブの三角測距方式のAF操作を行って、図20のステップS18の本発明方式を含むAF処理の前に、撮像レンズ101を一般的な中央部等の被写体における合焦位置近傍に合わせておけば、ステップS18のAF処理の際の撮像素子103の移動距離が短くて済み、より高速に且つ高精度にAF操作を行うことが可能となる。このようにして、自動合焦を行った場合、マイクロレンズアレイの各マイクロレンズに対応する部分以外の撮像素子103の画素部分は、撮像レンズ1によって結像された被写界像を、撮像された画像として表示および記録の少なくとも一方に供するようにしなければならない。ところが、図6に示すAラインのように、AF用の光学系であるマイクロレンズアレイ4のマイクロレンズ群を通った画素については、他の通常の画素と異なり、画像の生成に利用することができない。そこで、CPU108の機能として実現される画像生成手段は、例えば、マイクロレンズアレイ付き撮像素子103を移動させて、AF用の光学系であるマイクロレンズアレイのマイクロレンズ群を通った部分に相当する画素の画素値を求めるようにしてもよい。すなわち、図16に示したように、AF用のマイクロレンズアレイのマイクロレンズ群がAライン上に配置された撮像素子を、例えば図18に示すように2画素分下方に移動させる。このようにすると、元のAラインの位置にAラインの2ライン上方のラインが対応し、このラインによって元のAライン上のGおよびRの画素データを得ることができる。このとき、Aラインの1ライン上方のBラインが、元のAラインの1ライン下方のCラインに対応し、Aラインが、元のAラインの2ライン下方のDラインに対応する。このように、撮像素子を移動させる方式としては、例えばコイル付き基板に保持した撮像素子と、その撮像素子の基板を縦横に移動可能とした磁石付きステージとからなる構成を用いることができる。このとき、撮像素子の基板に、位置検出用としてホール素子を設けておく。撮像素子の基板上のコイルに電流を流すことによって、ステージ側の磁石との間で電磁力を作用させ、ステージ上で撮像素子を移動させることができる。その移動量はホール素子で検出することができるので、その移動画素数を制御することが可能となる。また、やや雑に撮像素子を移動した場合でも、生成される2つの画像の間で画素毎の相関が強くなるようにして、これら2つの画素を重ね合わせれば、AF用の光学系であるマイクロレンズアレイの部分に対応する位置の画素データを、両画像間で補間し合うようにすることができる。もちろん、CPU108の機能として実現される画像生成手段は、上述したように、Aラインに相当する部分の画素データを周辺の画素データから補間によって求めるなどしてもよい。次に、図21を参照してこの実施の形態のディジタルカメラにおけるタイミングチャートの一例を説明する。図21において、露光については、電子シャッタ閉と露光とを周期的に繰り返す。まず、期間f-1で露光をする。この露光は、図16の状態で行われるものとする。期間f-2の最初に、撮像素子103を移動させ、図18のように撮像素子をずらして露光する。この期間f-2において、f-1で露光したAラインの画素データを読み出し、光束角度演算でピントずれを計算し、ずれを補正する方向に撮像レンズフォーカスレンズを駆動開始する。期間f-3において、期間f-2での露光による撮像データを読み出し、モニタリング中であれば、読み出した撮像データから、AE処理およびAWB処理の計算をする。期間f-2での露光は、図16に対応する期間f-1での露光とは2画素ずらした位置、即ち図18の状態での露光である。期間f-4においては、期間f-2で露光され、期間f-3で読み出された画素データを用いて、画像を生成する。期間f-3で読み出された図18の状態での全画素のデータと、不足しているAラインのデータについて、既に期間f-1または期間f-3で図16の状態で露光され期間f-2または期間f-4で得ているDラインを使用して、画像を生成する。その画像を期間f-5において、表示に供する。また、撮像レンズの駆動の開始に合わせて、図22に示すように、Aライン部分Aaとは別の、撮像素子103の撮像画像生成用の画素部の一部を、コントラストエリアAcとして読み出し、コントラスト情報を得る。撮像レンズの駆動に同期させてコントラスト情報も得て、最もコントラスト値の大きい撮像データを得たレンズ位置に最終レンズ位置を合わせる。撮像レンズ101と撮像素子103に付設されたマイクロレンズアレイとの光学性能の違いによって焦点の合う位置が異なったり、また、それらの差が装置の個体差によってばらついている場合に、上述したコントラスト情報を併用することによって、画像撮像用の撮像エリアに正確にピント合わせされたレンズ位置に撮像レンズ101を制御することができる。上述においては、モニタリング時の被写界像の撮像動作に沿って説明したが、外部着脱可能なメモリカードに記録保存し得る撮像データも上述と同様にして生成することができる。以上の操作を繰り返すことによって、モニタリング中のピント合わせの追尾処理やユーザ観察用の表示画像の生成を実現することができる。また、モニタリング中に1ショットのAF動作において、AF動作中の表示画像をフリーズ表示させるようにすれば、画像表示の更新が不要であるので特に期間f-3以後の撮像素子の移動は行わなくてもよい。また、上述において説明したように、画像生成用の画素データとして、Aラインに対応する画素データを無視することができる場合、またはAラインに対応する画素データを、周辺画素による補間で求めることができる場合には、撮像素子103の移動は行わなくてもよい。上述においては、マイクロレンズアレイ付きの撮像素子103のように、AF用のマイクロレンズアレイと撮像素子との位置関係が一定である場合について説明したが、撮像素子を移動させずにAF用のマイクロレンズアレイを可動とすることによっても、Aラインの画素データの取得を実現することができる。なお、上述におけるピント情報を得るためのマイクロレンズアレイおよび制御方法を、撮像素子の複数のラインについて少なくとも2回異なる位置で実施すれば、画面内の複数個所でピント情報を得ることもでき、マイクロレンズアレイを、水平方向の画素列に対応させて設けるものとして説明したが、垂直方向または斜め方向の画素列に対応させるようにしてもよい。"