(57)【特許請求の範囲】
【請求項１】
二次元状に配列されたマイクロレンズアレイと、
前記マイクロレンズアレイの各マイクロレンズに対して二次元状に配列された複数の受光素子から構成され、結像光学系を通過した光束を前記マイクロレンズアレイを介して受光する受光素子アレイと、
前記マイクロレンズの光軸に垂直な平面に関して、前記受光素子アレイ上における前記マイクロレンズの光軸の位置を記憶する記憶部と、
前記マイクロレンズ毎の、前記マイクロレンズの光軸に垂直な平面に関して、前記マイクロレンズの受光素子アレイ上での光軸の位置を基準位置として、前記マイクロレンズ毎に対応づけられた複数の受光素子から一部の受光素子群を選択し、前記一部の受光素子群の出力に基づいて前記結像光学系の任意の像面における像の画像データを合成する画像合成部とを備え、
前記受光素子群に含まれる複数の受光素子の出力を、当該複数の受光素子の各々と前記光軸位置との関係に応じて比例配分して、前記受光素子群からの出力を算出することを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
選択された前記一部の受光素子の出力を、前記基準位置に基づいて正規化する正規化部をさらに備え、
前記画像合成部は、前記正規化部により正規化された出力に基づいて前記画像データを合成する撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、受光素子、焦点検出装置および撮像装置に関する。
【背景技術】
【０００２】
結像光学系の予定焦点面にマイクロレンズアレイを配置するとともに、各マイクロレンズに対して複数の受光素子を線状に配設し、結像光学系の瞳の一対の部分に対応する各マイクロレンズ下の受光素子の出力信号値を並べて一対の信号値列を作成し、一対の信号値列のずらし量を検出して結像光学系の焦点調節状態を検出する焦点検出装置が知られている（特許文献１参照）。
【０００３】
【特許文献１】特開２００７−１１３１４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
受光素子が二次元状に規則的に配列されたエリアセンサーとマイクロレンズアレイとを重ねて焦点検出装置を構成する場合、各マイクロレンズの中心と、各マイクロレンズに対応する各受光素子の中心とをサブミクロンのオーダーで正確に一致させるように製造するのは困難である。そのため、マイクロレンズアレイとエリアセンサーとの位置関係は一定にならず、焦点検出を高精度に行うことが阻害される。
【課題を解決するための手段】
【０００５】
本発明の第１の態様によると、撮像装置は、二次元状に配列されたマイクロレンズアレイと、前記マイクロレンズアレイの各マイクロレンズに対して二次元状に配列された複数の受光素子から構成され、結像光学系を通過した光束を前記マイクロレンズアレイを介して受光する受光素子アレイと、前記マイクロレンズの光軸に垂直な平面に関して、前記受光素子アレイ上における前記マイクロレンズの光軸の位置を記憶する記憶部と、前記マイクロレンズ毎の、前記マイクロレンズの光軸に垂直な平面に関して、前記マイクロレンズの受光素子アレイ上での光軸の位置を基準位置として、前記マイクロレンズ毎に対応づけられた複数の受光素子から一部の受光素子群を選択し、前記一部の受光素子群の出力に基づいて前記結像光学系の任意の像面における像の画像データを合成する画像合成部とを備え、前記受光素子群に含まれる複数の受光素子の出力を、当該複数の受光素子の各々と前記光軸位置との関係に応じて比例配分して、前記受光素子群からの出力を算出する。
本発明の第２の態様によると、第１の態様の撮像装置において、選択された前記一部の受光素子の出力を、前記基準位置に基づいて正規化する正規化部をさらに備え、前記画像合成部は、前記正規化部により正規化された出力に基づいて前記画像データを合成するのが好ましい。
【発明の効果】
【０００６】
本発明によれば、マイクロレンズアレイとエリアセンサーとの精密な位置合わせを必要とすることなく、焦点検出を高精度に行うことができる。
【発明を実施するための最良の形態】
【０００７】
以下、図を参照して本発明を実施するための最良の形態について説明する。図１は、本発明に係る焦点検出装置の一実施の形態を示す図であり、本実施の形態では、焦点検出装置をデジタル一眼レフスチルカメラに適用した場合を例に説明する。図１は、デジタル一眼レフスチルカメラの光学系の構成を示したものである。
【０００８】
結像光学系１を透過した被写体からの光束は、ハーフミラー２を透過して結像光学系１の予定焦点面に配置された撮像素子３へ導かれ、撮像素子３の受光面上に被写体像が結像される。撮像素子３は撮像用画素を二次元状に配列したものであり、結像光学系１により結像された被写体からの光束を受光して画像信号を出力する。なお、結像光学系１は、代表して１枚のレンズとして図示されており、対物レンズ、ズーミング用レンズ、フォーカシング用レンズ、絞り、およびレンズ駆動装置６を含む。
【０００９】
結像光学系１を透過した被写体からの光束の一部は、ハーフミラー２により反射されてマイクロレンズアレイ４へと導かれる。マイクロレンズアレイ４は、複数のマイクロレンズが二次元状に配列されたものである。マイクロレンズアレイ４に対応してエリアセンサー５が配置されており、マイクロレンズアレイ４に入射した被写体からの光束は、マイクロレンズアレイ４を通ってエリアセンサー５に入射する。
【００１０】
マイクロレンズアレイ４の各マイクロレンズの頂点を結んで得られる面に関して、上述した結像光学系１の瞳面と撮像素子３の受光面（予定焦点面）とは光学的共役関係にある。エリアセンサー５は、複数の受光素子が二次元状に配列された受光素子アレイであり、マイクロレンズアレイ４の各マイクロレンズの焦点面に配置されている。エリアセンサー５の受光素子は焦点検出信号を出力し、この焦点検出信号に基づいて結像光学系１の結像位置が予定焦点面からどれだけ外れているかを計測し、その計測結果に基づいて結像光学系１の焦点調節を行う。
【００１１】
図２は、図１に示したデジタル一眼レフスチルカメラに設けられた焦点検出装置の構成を示したものである。そのデジタル一眼レフスチルカメラは、結像光学系１を含む交換レンズ鏡筒がボディに装着されて構成される。図１に示したマイクロレンズアレイ４およびエリアセンサー５は、焦点検出装置に含まれる。固有瞳位置データ記録部１１は不揮発性メモリであり、結像光学系１固有の瞳位置データが記録されている。通信回路１２は固有瞳位置データ記録部１１から瞳位置データを読み出し、ボディ内の演算部１４ａへ送信する。光軸位置記録部１３には、交換レンズ鏡筒で装着される特定のレンズについて予め計測された基準位置が、マイクロレンズアレイ４を構成するマイクロレンズ毎に記録されている。基準位置は、後述するマイクロレンズの光軸の位置、または、後述する瞳中心投影位置である。
【００１２】
演算部１４ａは、光軸位置記録部１３に記録されている基準位置、および固有瞳位置データ記録部１１に記録されている結像光学系１の固有瞳位置データに基づいて、任意の結像光学系１における基準位置をマイクロレンズ４ａ毎に算出する。演算部１４ｂは、演算部１４ａで算出された基準位置に基づき、焦点検出用受光データを得るための受光素子を、マイクロレンズ毎に対応づけられた複数の受光素子から選択して、後述する視差データを算出する。焦点演算部１５は、演算部１４ｂで算出された視差データに基づいて瞳分割式位相差ＡＦ（Ａｕｔｏｆｏｃｕｓ）による焦点検出演算を行う。なお、焦点検出装置をレンズ一体型カメラに適用した場合には、上記の通信回路１２は設ける必要がない。
【００１３】
マイクロレンズアレイ４は、例えば図３に示すように複数のマイクロレンズ４ａが千鳥配列されたものである。隣り合う２列のマイクロレンズ４ａをジグザグに選択し、これらのマイクロレンズ４ａに対応するエリアセンサー５の受光素子５ａの出力データに基づいて、結像光学系１の焦点調節状態を得るための視差データを算出する。視差データ算出の詳細は後述する。
【００１４】
図４は、マイクロレンズ４ａとエリアセンサー５の受光素子５ａとの関係を示す図であり、マイクロレンズ４ａの頂点の法線、すなわちマイクロレンズ４ａの光軸４ｂに垂直な平面図である。図４に示した円Ｓ１は、マイクロレンズ４ａをその光軸４ｂ方向にエリアセンサー５の受光面上に投影して得られる影を示している。マイクロレンズ４ａの光軸４ｂとエリアセンサー５の受光素子５ａの中央とを一致させるように製造するのは困難であり、光軸４ｂに垂直な平面に関するマイクロレンズアレイ４とエリアセンサー５との相対的な位置関係に応じて図４に示すようにずれが生じている。図４に示す例では、受光素子５ａの中央に対して光軸４ｂは右斜め上方向にずれて位置している。マイクロレンズアレイ４におけるマイクロレンズ４ａの数と配列は既知であるから、その既知情報から各マイクロレンズ４ａの光軸４ｂと受光素子５ａとの交点の位置（マイクロレンズ４ａの光軸４ｂの位置）は特定される。
【００１５】
エリアセンサー５の受光面は、マイクロレンズ４ａに関して結像光学系１の瞳面と光学的に共役の位置にあり、瞳の像がその受光面に投影される。図４のマイクロレンズ４ａの光軸４ｂが結像光学系１の光軸と一致している場合には、円Ｓ１はマイクロレンズ４ａに関して光学的に有効な領域である。その場合、各マイクロレンズ４ａに対応する各受光素子５ａの出力は、それぞれ結像光学系１の瞳のある部分を通過した光束の強度を表している。
【００１６】
特定されたマイクロレンズ４ａの光軸４ｂの位置を基準位置とした場合、各マイクロレンズ４ａに対応する各受光素子５ａの出力に基づいて、後述する視差データが得られる。
【００１７】
図５は、結像光学系１の瞳１ａとマイクロレンズアレイ４およびエリアセンサー５との関係を示す図である。図５において、一点鎖線Ｃは、瞳１ａの中心と各マイクロレンズ４ａの頂点とを結ぶ直線を示している。すなわち、瞳１ａの中心は、受光面と一点鎖線Ｃとの交点に投影される。
【００１８】
実際には、マイクロレンズ４ａの光軸４ｂと結像光学系１の光軸とを一致させるように製造することもまた困難である。したがって、仮にマイクロレンズ４ａの光軸４ｂと受光素子５ａの中央とが一致していたとしても、必ずしも受光素子５ａの中央に瞳１ａの中心が投影されるとは限らない。さらに、瞳１ａの中心が投影される位置は、各マイクロレンズ４ａの頂点によって形成される平面から瞳１ａまでの距離（以下、瞳位置と呼ぶ）ｈに応じて変化する。
【００１９】
よりよい焦点検出を行うには、上記交点の座標値を基準に焦点検出用受光データの切り出しを行うのが望ましい。本実施の形態では、上述した瞳位置ｈに応じてエリアセンサー５の受光面上に投影される瞳１ａの像の中心位置、すなわち瞳中心投影位置を算出し、その算出結果に基づいて焦点検出用受光データの切り出しを行うようにした。図２に示す固有瞳位置データ記録部１１には、図５に示す瞳位置ｈもしくは瞳位置ｈを算出するためのデータが記録されている。以下では、瞳位置ｈが記録されているとして説明する。
【００２０】
瞳位置ｈをある値に設定すると、それに対応して瞳中心投影位置がマイクロレンズ４ａ毎に決まる。光軸位置記録部１３には、複数の瞳位置ｈのそれぞれに対し、マイクロレンズ４ａ毎の瞳中心投影位置のデータによって構成されるデータセットが記録されている。複数の瞳位置ｈ＝ｈ１，ｈ２，ｈ３，．．．のうち、一つは無限大でもかまわない。
【００２１】
例えば、瞳位置ｈ＝ｈ１，ｈ２と特定される２個の異なる結像系の各々に対して瞳中心投影位置の座標をマイクロレンズ４ａ毎に計測する。瞳位置ｈ＝ｈ１のときの瞳中心投影位置の座標を（ｘ１，ｙ１）、瞳位置ｈ＝ｈ２のときの瞳中心投影位置の座標を（ｘ２，ｙ２）とする。そのデータセットは、例えば出荷前に、瞳位置ｈ＝ｈ１，ｈ２と対応付けて前記光軸位置記録部１３に記録される。光軸位置記録部１３に記録される瞳中心投影位置の座標（ｘ１，ｙ１），（ｘ２，ｙ２），．．．の算出方法については後述する。
【００２２】
上述した演算部１４ａは、結像光学系１の固有瞳位置データ記録部１１に記録されている瞳位置ｈ、光軸位置記録部１３に記録されている瞳中心投影位置（ｘ１，ｙ１）、（ｘ２，ｙ２）とから、瞳位置ｈ＝ｈ０の瞳中心投影位置（ｘ０，ｙ０）を、次式（１），（２）により算出する。１／ｈ１，１／ｈ２，１／ｈ０に対してｘ１，ｘ２，ｘ０が線形の関係にあると仮定し、ｘ１，ｘ２と１／ｈ１，１／ｈ２とから、１／ｈ０に対するｘ０は式（１）により算出される。同様にして、ｙ０は式（２）により算出される。
ｘ０＝（ｘ２−ｘ１）｛ｈ１・ｈ２／（ｈ１−ｈ２）｝・（１／ｈ０）
＋ｘ２−（ｘ２−ｘ１）｛ｈ１・ｈ２／（ｈ１−ｈ２）｝・（１／ｈ２）（１）
ｙ０＝（ｙ２−ｙ１）｛ｈ１・ｈ２／（ｈ１−ｈ２）｝・（１／ｈ０）
＋ｙ２−（ｙ２−ｙ１）｛ｈ１・ｈ２／（ｈ１−ｈ２）｝・（１／ｈ２）（２）
【００２３】
瞳中心投影位置のデータの粒度は、受光素子５ａのサイズよりも小さくなければならない。例えば、隣接する２つのマイクロレンズ４ａの合計サイズよりも１個の受光素子５ａのサイズの方が大きい場合がある。そのようなことも考慮すると、瞳中心投影位置のデータは、受光素子５ａの位置を表す整数の座標値よりも少なくとも２桁程度多い有効桁数であることが好ましい。
【００２４】
光軸位置記録部１３にデータセットとして記録される、既知の瞳位置ｈ＝ｈ１，ｈ２に対する瞳中心投影位置（ｘ１，ｙ１），（ｘ２，ｙ２）の算出方法について説明する。瞳中心投影位置の座標（ｘ１，ｙ１），（ｘ２，ｙ２）は、絞り値が例えばＦ２２のように大きな値であるために投影される瞳１ａの像が小さいほど、より容易に計測データに基づいて算出できる。
【００２５】
照明された白い拡散面からの光束をマイクロレンズ４ａを介して受光素子５ａに受光し、その受光データに基づいて画像データＩ１を取得する。エリアセンサー５の受光面は、上述したようにマイクロレンズ４ａに関して瞳面と共役であるから、エリアセンサー５の受光面上には瞳像が投影され、その画像データが取得される。
【００２６】
例えば、絞り値がＦ２２、レンズの焦点距離が１００ｍｍ、瞳位置ｈ＝ｈ１が１００ｍｍ、マイクロレンズ４ａの焦点距離を１００μｍとすると、受光面には直径４．５μｍの瞳像が、マイクロレンズ４ａの数だけ投影されることになる。その瞳像の大きさは、一般的な撮像素子の画素の大きさと大きく異なるものではない。
【００２７】
上述した拡散面への照明を消して、暗黒下で同様にして画像データＩ２を取得する。このようにして得られた２種類の画像データＩ１とＩ２との出力の差が、例えば暗電流によるノイズのようなバックグラウンドノイズの影響を排除した画像データＩである。その画像データＩにおいて、座標（ｘ，ｙ）の画像データ出力をＰ（ｘ，ｙ）とする。
【００２８】
例えば、瞳位置ｈ＝ｈｐである場合、マイクロレンズ４ａの光軸４ｂの位置の座標（ｍ，ｎ）を、瞳中心投影位置の座標（ｘｐｍ，ｙｐｎ）の仮の座標値とする。マイクロレンズ４ａの半径を受光素子５ａの一辺の長さで割った値の整数部分をＲとする。受光面に投影された瞳像の重心の位置のｘ座標は、次式（３）で表すことができる。
【数１】
0005375010.tif 000002
【００２９】
受光面に投影された瞳像の重心の位置のｙ座標も式（３）と同様に表され、積分は座標（ｘｐｍ，ｙｐｍ）を中心として一辺２Ｒの正方領域において行われる。受光素子５ａの位置を表す座標値は離散値であるため、その瞳像の重心位置は、図６に示すような受光素子５ａの出力Ｐに関するヒストグラムから求められる。その瞳像の重心位置の座標を（ｘ０ｐｍ，ｙ０ｐｎ）とすると、次式（４），（５）のように表される。
【数２】
0005375010.tif 000003
【数３】
0005375010.tif 000004
【００３０】
式（４），（５）に代入する最初の瞳中心投影位置の座標（ｘｐｍ，ｙｐｎ）＝（ｍ，ｎ）は仮の座標値であり不正確である。式（４），（５）の演算によって得られた瞳像の重心位置の座標（ｘ０ｐｍ，ｙ０ｐｎ）を、新たに瞳中心投影位置の座標（ｘｐｍ，ｙｐｎ）の仮の座標値とすると、同様にして、次式（６），（７）のように表される。
【数４】
0005375010.tif 000005
【数５】
0005375010.tif 000006
【００３１】
このようにして新たに得られた瞳像の重心位置の座標（ｘ１ｐｍ，ｙ１ｐｎ）は、（ｘ０ｐｍ，ｙ０ｐｎ）より信頼できる値である。通常は、瞳中心投影位置の座標とみなして（ｘｐｍ，ｙｐｎ）＝（ｘ１ｐｍ，ｙ１ｐｎ）とすることができるが、さらに同様の演算を、ｔ回繰り返しても良いし、ｔ回目に算出される座標値と（ｔ＋１）回目に算出される座標値との差が所定値よりも小さくなるまで繰り返しても良い。最終的に算出された瞳像の重心位置の座標を瞳中心投影位置の座標（ｘｐｍ，ｙｐｎ）とする。瞳位置ｈ＝ｈ１に対しては、座標（ｍ，ｎ）に位置するマイクロレンズ４ａに対応する瞳中心投影位置の座標（ｘ１ｍ，ｙ１ｍ）が、瞳位置ｈ＝ｈ２に対しては、座標（ｍ，ｎ）に位置するマイクロレンズ４ａに対応する瞳中心投影位置の座標（ｘ２ｍ，ｙ２ｎ）が算出される。
【００３２】
全てのマイクロレンズ４ａに対して上述のようにして算出された結果、瞳位置ｈ＝ｈ１，ｈ２に対するデータセット｛ｘ１，ｙ１｝，｛ｘ２，ｙ２｝が光軸位置記録部１３に記録される。瞳位置ｈ＝ｈ１，ｈ２とデータセット｛ｘ１，ｙ１｝，｛ｘ２，ｙ２｝とを用いて、瞳位置ｈのレンズにおける、各マイクロレンズ４ａに関する瞳中心投影位置（ｘ０，ｙ０）を、式（１），（２）により算出することができる。
【００３３】
上述のように算出された瞳中心投影位置、またはマイクロレンズ４ａの光軸４ｂの位置に対して左右（水平）方向、上下（垂直）方向または斜め方向に相対的に所定距離離れた一対の画素又は画素群を選択し、一対の焦点検出用受光データを切り出す。切り出された一対の位置の焦点検出用受光データに基づいて視差データを得る。図７で説明するように、瞳中心投影位置７ａから所定距離離れた一対の位置７ｂ，７ｂ’は、ともに受光素子５ａの中心にあるとは限らないので、隣接する受光素子５ａの出力から、比例配分により正規化出力を求める。以下においては、基準位置は瞳中心投影位置７ａとして説明するが、基準位置がマイクロレンズ４ａの光軸４ｂの位置であっても同様である。
【００３４】
図７は、視差データの抽出を説明する図である。図７において、円Ｓ２はマイクロレンズ４ａの光学的に有効な領域であり、円Ｓ２に含まれる受光素子５ａはマイクロレンズ４ａにカバーされている。円Ｓ２内の各受光素子５ａの出力は、結像光学系１の瞳のある部分を通過した光束の強度を表している。瞳中心投影位置７ａに対して、その左右対称な一対の位置７ｂ，７ｂ’に視差データとして切り出される一対の領域７ｃが設定される。図７では、瞳中心投影位置７ａから所定距離離れた位置、例えば、受光素子５ａの２個分離れた位置７ｂ，７ｂ’を中心に、受光素子５ａと同じ大きさの領域７ｃが設定されている。
【００３５】
瞳中心投影位置７ａの位置の座標を（ｘ０，ｙ０）、瞳中心投影位置７ａの右側の領域７ｃの中心位置７ｂの座標を（ｘ０＋ｄ，ｙ０）、瞳中心投影位置７ａの左側の領域７ｃの中心位置７ｂ’の座標を（ｘ０−ｄ，ｙ０）とする。図７に示すように、瞳中心投影位置７ａが受光素子５ａの中央と一致しない場合には、その左右対称な一対の位置７ｂ，７ｂ’も受光素子５ａの中央と一致しない。
【００３６】
図８では、座標（ｘ０＋ｄ，ｙ０）が中心に位置する右側の領域７ｃに注目して説明を続ける。ｍ＝［ｘ０＋ｄ］，ｎ＝［ｙ０］とすると（［  ］は整数部分を示す）、図８に示すように、その領域７ｃに関係する受光素子５ａの位置の座標は、（ｍ，ｎ），（ｍ＋１，ｎ），（ｍ，ｎ＋１）および（ｍ＋１，ｎ＋１）である。
【００３７】
領域７ｃの中心位置の座標に関して、Ｘ＝ｘ０＋ｄ，Ｙ＝ｙ０とおく。図８に示すように、領域７ｃに関係する複数の受光素子５ａ（受光素子群）の出力をそれぞれＰｍ，ｎ，Ｐｍ＋１，ｎ，Ｐｍ，ｎ＋１,Ｐｍ＋１，ｎ＋１と表し、領域７ｃの出力Ｐをそれらの受光素子５ａの出力の比例配分により算出する。Ｐｍ，ｎおよびＰｍ＋１，ｎに関して水平方向の比例配分を行うと、Ｐ’が次式（８）で算出され、Ｐｍ，ｎ＋１,およびＰｍ＋１，ｎ＋１に関して水平方向の比例配分を行うと、Ｐ”が次式（９）で算出される。Ｐ’，Ｐ”に関して垂直方向の比例配分を次式（１０）のように行うことで、正規化された領域７ｃの出力Ｐが算出される。
Ｐ’＝（Ｘ−ｍ）・Ｐｍ＋１，ｎ＋（１−Ｘ＋ｍ）・Ｐｍ，ｎ                （８）
Ｐ”＝（Ｘ−ｍ）・Ｐｍ＋１，ｎ＋１＋（１−Ｘ＋ｍ）・Ｐｍ，ｎ＋１        （９）
Ｐ＝（Ｙ−ｎ）・Ｐ”＋（１−Ｙ＋ｎ）・Ｐ’                            （１０）
【００３８】
出力Ｐは、図７に示す右側の領域７ｃの出力である。左側の領域７ｃに対しても同様の演算を行うことで出力が算出される。瞳中心投影位置７ａに対して垂直方向に領域７ｃを設定する場合も同様である。
【００３９】
このようにして、１つのマイクロレンズ４ａに関して、瞳中心投影位置７ａに対して左右に偏心した位置７ｂ，７ｂ’の視差データが算出される。同様の演算を、基線方向に整列するｗ個のマイクロレンズ４ａに対して行い、左側に偏心した位置の視差データの集合を左データ列とし、右側に偏心した位置の視差データの集合を右データ列とする。図３に示すようにマイクロレンズ４ａが千鳥配列されている場合には、使用するマイクロレンズ４ａを選択してこれに係る左右に偏心した位置の視差データを上述したように算出する。こうして得られた左データ列をデータ列Ａ、右データ列をデータ列Ｂとし、データ列Ａに含まれる視差データをａｊ、データ列Ｂに含まれる視差データをｂｊと表す（ｊ＝１，．．．，ｗ）。
【００４０】
予定焦点面からの焦点のはずれ量は、視差データに表れる。ｗ個のマイクロレンズ４ａに関して算出された左右データ列によって各々プロットされる曲線が、データ列Ａとデータ列Ｂとで視差の分だけずれる。焦点検出演算は、その左右データ列がほぼ同様の投影画像データに基づいているという前提で、その左右データ列間の位相のずらし量を求める作業になる。
【００４１】
図２に示す焦点演算部１５における焦点検出演算について説明する。焦点検出演算においては、上述した２つのデータ列Ａ，Ｂの位相をずらしながらデータ列Ａとデータ列Ｂの差を算出し、最小になる時の位相のずらし量を求める。すなわち、次式（１１）においてずらし量ｋを変化させながらデフォーカス量Ｄｋが最小になるｋを求める。
【数６】
0005375010.tif 000007
【００４２】
式（１１）により算出されるデフォーカス量Ｄｋは離散値であり、マイクロレンズ４ａの間隔以下の分解能で最小値を求めることができない。データ列Ａ，Ｂの出力は正弦波信号の合成として得られるので、その内のある空間周波数ωに対する正弦波信号に注目すると、位相のずらし量ｋに相当する位相差θを用いて、式（１１）で表されるＤｋを次式（１２）のＤ(θ)のように書き換えることができる。式（１２）は式（１３）のように計算される。
Ｄ(θ)＝Ｋ∫｜sin(ωｘ＋θ)−sinωｘ｜ｄｘ                            （１２）
Ｄ(θ)＝Ｋ’｜sin(θ／２)・cos(２ωｘ／２＋φ／２)｜                （１３）
【００４３】
式（１３）より、Ｄ（θ）は、図９に示すように、正弦波の絶対値で変化する。空間周波数ωは他の値を取った場合においても同様に表される。近似を用いると、図９に示すように、以下で説明する左右対称な傾きを有する直線Ｌ１，Ｌ２の交点をデフォーカス量の最小値とみなすことができる。
【００４４】
そのデフォーカス量の最小値Ｄｍｉｎは、次のようにして算出することができる。式（１１）で表されるＤｋの最小値と、そのときの位相のずらし量ｋを求める。図９に示す例では、ｋ＝ｉのときのＤｉがＤｋの最小値である。Ｄｋの最小値Ｄｉに隣接するＤｉ−１またはＤｉ＋１の内の大きい方を選び、そのときの位相のずらし量ｋを選ぶ。図９に示す例ではｋ＝ｉ−１のときのＤｉ−１である。（ｋ，Ｄ）＝（ｉ，Ｄｉ），（ｉ−１，Ｄｉ−１）で表される２点を通る直線Ｌ１を求める。その直線Ｌ１を垂直座標軸に対して反転した直線と同一勾配を有して、かつ、（ｋ，Ｄ）＝（ｉ＋１，Ｄｉ＋１）で表される点を通る直線Ｌ２を求める。そして、この２つの直線Ｌ１，Ｌ２の交点を求め、この交点のＤの値を求める最小値Ｄｍｉｎとする。このようにして、マイクロレンズアレイ４を備えた受光素子５ａの出力から焦点の位置を算出することができる。
【００４５】
上述した実施の形態では、各マイクロレンズ４ａに対して、複数の受光素子５ａが一様に配列されたエリアセンサー５を使用しているから、左右（水平）方向、上下（垂直）方向又は斜め方向の基線長を変化させることができる。これは合焦動作では非常に有用である。一般に基線長を小さくすると、焦点検出のダイナミックレンジは大きくなるが焦点検出の精度は低くなり、基線長を大きくすると、焦点検出の精度は高くなるが焦点検出のダイナミックレンジは小さくなるという特性がある。
【００４６】
カメラの焦点検出動作は、通常、１回の焦点調節状態算出と１回の焦点調節駆動から成立するのではなく、合焦点に向かって複数回の算出と複数回の駆動から成り立っている。したがって、基線長を変えられるならば、焦点検出動作の初期には基線長を小さくしてダイナミックレンジを大きくし、合焦点に近づくにつれて基線長を徐々に大きくして精度を高めることができる。すなわち、高精度でダイナミックレンジの大きい焦点検出動作を行うことができる。
【００４７】
以上説明したように、本実施の形態では、マクロレンズアレイ４とエリアセンサー５とから構成される焦点検出装置を用いて瞳分割位相差ＡＦを行うデジタル一眼レフスチルカメラにおいて、ボディ内の光軸位置記録部１３に各マイクロレンズ４ａの光軸４ｂの位置または瞳中心投影位置７ａである基準位置のデータを予め記憶し、固有瞳位置データ記憶部１１に記録された瞳位置データと、上記基準位置データとに基づいて、任意の瞳位置に対する各マイクロレンズ４ａの基準位置を算出し、その基準位置に基づいて視差データを取得するようにしたので、焦点検出精度が向上する。マイクロレンズアレイ４とエリアセンサー５との精密な位置決めを必要とせず、焦点検出装置の組立容易性の向上も図ることができる。
【００４８】
本実施の形態によれば、エリアセンサー５の複数の受光素子５ａの中から各マイクロレンズ４ａに対応して一対の受光素子を選択し、複数のマイクロレンズ４ａに対して選択された受光素子グループの出力に基づいて光学系の焦点調節状態を演算するようにしたので、各マイクロレンズ４ａに多くの受光素子５ａが対応する構成においても、受光素子５ａ選択の自由度が高くなり、かつ、複数の受光素子５ａの出力を合算して焦点検出演算に用いることも可能になり、焦点検出精度が向上する。
【００４９】
本実施の形態によれば、光学系の瞳の光軸方向の位置（瞳位置）データとそれに対応する瞳中心投影位置データが記録されており、瞳位置データと瞳中心投影位置データとに基づいて瞳中心投影位置データを補間するようにしたので、焦点距離などの異なる仕様および特性のレンズが装着されても焦点検出精度を維持することができる。
【００５０】
本実施の形態では、マイクロレンズアレイ４のすべてのマイクロレンズ４ａの光軸位置４ｂが記録されている例を示したが、一部のマイクロレンズ４ａの光軸位置４ｂが記録されることとして、残りのマイクロレンズ４ａの光軸位置４ｂは補間により求めてもよい。例えば所定間隔のマイクロレンズ４ａの光軸位置４ｂを記憶しておき、それらの間にあるマイクロレンズ４ａの光軸位置４ｂは左右に隣接するマイクロレンズ４ａの光軸位置４ｂに基づく補間により求める。また投影中心位置７ａについても同様に、全てのマイクロレンズ４ａに対応づけて記録する必要は無く、一部の投影中心位置７ａを記録しておき、その他の投影中心位置７ａは補間により求めてもよい。
【００５１】
本実施の形態によれば、各マイクロレンズ４ａに対応して選択された受光素子５あの出力を比例配分して視差データを演算し、視差データに基づいて結像光学系１の焦点調節状態を演算するようにしたので、焦点検出精度が向上する。
【００５２】
本実施の形態では、複数のマイクロレンズ４ａが二次元状に規則的に配列されたマイクロレンズアレイ４と、複数の受光素子５ａが二次元状に規則的に配列されたエリアセンサー５とを用いた例を示したが、複数のマイクロレンズ４ａが一列に規則配列されたマイクロレンズアレイ４と、複数の受光素子５ａが一列に規則配列されたエリアセンサー５とを用いて構成した焦点検出装置に対しても本発明を適用することができ、上述したような効果をもたらすことができる。
【００５３】
本実施の形態では焦点検出用受光データを出力する焦点検出用受光素子５ａが二次元状に配列された焦点検出専用のエリアセンサー５を例に説明したが、撮像用受光素子の二次元配列の中に焦点検出用受光素子５ａを一列または複数列に配置した撮像および焦点検出兼用の撮像素子に対しても本願発明を適用することができる。
【００５４】
本実施の形態では、各マイクロレンズ４ａに対応する受光素子５ａの出力を用いて焦点検出を行う例を示したが、その出力を用いて画像を生成してもよい。生成された画像に基づいて人物の顔検出を行い、複数の焦点検出領域の中から人物の顔に対応する焦点検出領域を選択したり、その画像に基づいてシーンを判別し、そのシーンに応じた処理を実行することができる。
【００５５】
その画像の内の特定の範囲を焦点検出領域に設定し、焦点検出領域内のマイクロレンズ４ａに対応する受光素子５ａの出力に基づいて焦点調節状態を検出するようにしてもよい。その画像の内の特定の範囲としては、例えば、その画像から特徴領域を検出し、その特徴領域に対応する領域を焦点検出領域として設定するか、予め設定された焦点検出位置の近傍において焦点検出領域を設定するか、あるいは、その画像のコントラストを検出し、コントラストが所定値以上となる位置に焦点検出領域を設定する。
【００５６】
上述したように、各マイクロレンズ４ａに対応する受光素子５ａの出力を用いて画像を生成してもよいため、マイクロレンズアレイ４を備えたエリアセンサー５は画像を合成する撮像装置の撮像素子としても用いられる（例えば、日本国特開２００７−４４７１号公報を参照）。本発明は、このような画像を合成する撮像装置に用いられる撮像素子にも適用することができ、各マイクロレンズ４ａの基準位置を上述のようにして定めることにより、画像合成の精度向上を図ることができる。画像を合成する撮像装置は、たとえば、プレノプティックカメラ、画像合成カメラである。
【００５７】
画像合成においては、結像光学系１の任意の像面を指定像面として指定し、各受光素子５ａの出力に基づいて、その指定像面における像の画像データを合成する。図１０，図１１は、マクロレンズアレイ４を備えたエリアセンサー５の受光データを用いた画像合成の方法を説明する図である。図１０は、指定像面がＺ＝０の位置の面であるときの画像合成方法を説明する図であり、図１１は、指定像面がＺ＝Ｚ１の位置の面であるときの画像合成方法を説明する図である。Ｚは、マイクロレンズ４ａの頂点から指定像面までの高さである。図１０、図１１において破線で示すのは、合成後の画像データの最小単位であり仮想画素と呼ぶ。仮想画素の幅は、マイクロレンズ４ａの配置ピッチと同じである。
【００５８】
光線ｒ1，ｒ2，ｒ3，ｒ4，ｒ5は、結像光学系１の異なる瞳領域から出射される光線である。光線ｒ1，ｒ2，ｒ3，ｒ4，ｒ5は仮想画素１００で結像し、マイクロレンズ４ａを介して受光素子５ａに入射する。図１０の場合、像が結像される仮想画素１００の位置は各マイクロレンズ４ａの頂点によって形成される平面と一致しており、光線ｒ1，ｒ2，ｒ3，ｒ4，ｒ5は、同一マイクロレンズ４ａにカバーされる受光素子ａ3，ｂ3，ｃ3，ｄ3，ｅ3に各々入射する。各受光素子ａ3，ｂ3，ｃ3，ｄ3，ｅ3の出力の和をとれば、Ｚ＝０の位置の指定像面の仮想画素１００の画像データが得られる。同様に、他の仮想画素に関しても、それに対応するマイクロレンズ４ａにカバーされる受光素子の出力の和をとることで画像データが取得される。これらの画像データにより、Ｚ＝０の位置の指定像面に結像される像の画像データが合成される。
【００５９】
一方、図１１の場合、光線ｒ1，ｒ2，ｒ3，ｒ4，ｒ5はＺ＝Ｚ１の位置の指定像面の仮想画素１００で結像し、異なるマイクロレンズ４ａを介して、各マイクロレンズ４ａにカバーされる受光素子ａ1，ｂ2，ｃ3，ｄ4，ｅ5に各々入射する。各受光素子ａ1，ｂ2，ｃ3，ｄ4，ｅ5の出力の和をとれば、Ｚ＝Ｚ１の位置の指定像面の仮想画素１００の画像データが得られる。同様の処理を各仮想画素について行うことで、Ｚ＝Ｚ１の位置の指定像面に結像される像の画像データが合成される。
【００６０】
上述した説明では、一方向に配置された５つの受光素子ａ3，ｂ3，ｃ3，ｄ3，ｅ3またはａ1，ｂ2，ｃ3，ｄ4，ｅ5のみに着目し、それら５つの受光素子の出力の和をとることで画像データを取得したが、実際には平面画像データを取得するため、水平および垂直方向に５つずつ配置された合計２５個の受光素子の出力の和をとる必要がある。図１０に示した例について、図１２を用いて説明する。
【００６１】
図１２は、マイクロレンズ４ａとエリアセンサー５の受光素子５ａとの関係を示す図であり、マイクロレンズ４ａの頂点の法線、すなわちマイクロレンズ４ａの光軸４ｂに垂直な平面図である。図３ではマイクロレンズ４ａが千鳥配列された例を示したが、説明のため、図１２ではマイクロレンズ４ａが方陣配列された例を示す。図１２に示した円Ｓ３は、マイクロレンズ４ａをその光軸４ｂ方向にエリアセンサー５の受光面上に投影して得られる影を示している。上述したように、マイクロレンズ４ａの光軸４ｂとエリアセンサー５の受光素子５ａの中央とは一致せず、図１２に示す例では、受光素子５ａの中央に対して光軸４ｂは右斜め上方向にずれて位置している。
【００６２】
図１２において、上述の処理によってマイクロレンズ４ａの光軸４ｂを基準に選択される正規化受光素子７ｄは破線で囲まれた領域であり、実際の受光素子５ａに対して右斜め上方向にずれて位置している。正規化受光素子７ｄの出力は、図７における領域７ｃと同様に式（１０）を用いて算出される。図１０に示した例については、合計２５個の正規化受光素子７ｄの出力の和をとることで、画像データを取得できる。図１１に示した例については、関連する複数のマイクロレンズ４ａに対して同様にして正規化受光素子７ｄの出力の和をとることで、画像データを取得できる。上述の説明では、マイクロレンズ４ａの光軸４ｂ基準位置として説明したが、瞳中心投影位置７ａを基準位置としてもよい。
【００６３】
本実施形態では、ボディに交換レンズ鏡筒を装着したデジタル一眼レフスチルカメラを例に説明したが、本発明は、ボディと結像光学系が一体に構成されるレンズ一体型カメラにも適用することができる。結像光学系１は固定焦点レンズに限定されず、焦点距離に応じて瞳位置が変化するズームレンズであっても良い。
【００６４】
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
【図面の簡単な説明】
【００６５】
【図１】本発明の一実施の形態の焦点検出装置を搭載したカメラの光学系の構成を示す図である。
【図２】焦点検出装置の構成を示す図である。
【図３】マイクロレンズの配列パターンを示す図である。
【図４】マイクロレンズ４ａとエリアセンサー５の受光素子５ａとの位置関係を示す図である。
【図５】結像光学系１の瞳１ａとマイクロレンズアレイ４およびエリアセンサー５との位置関係を示す図である。
【図６】受光素子の出力信号値Ｐに関するヒストグラムを示す図である。
【図７】視差データの抽出対象領域を説明する図である。
【図８】抽出対象領域の出力信号値Ｐを説明する図である。
【図９】一対の信号値列のずらし量ｋに対するデフォーカス量Ｄkの関係を示す図である。
【図１０】マクロレンズアレイを備えたエリアセンサーの受光素子の信号値を用いたフォトグラフィーの方法を説明する図であり、指定像面の位置がＺ＝０の面である表される場合を示す。
【図１１】マクロレンズアレイを備えたエリアセンサーの受光素子の信号値を用いたフォトグラフィーの方法を説明する図であり、指定像面の位置がＺ＝Ｚ１で表される場合を示す。
【図１２】マイクロレンズとエリアセンサーの受光素子との位置関係を示す図である。
【符号の説明】
【００６６】
１  結像光学系
１ａ  瞳
４  マイクロレンズアレイ
４ａ  マイクロレンズ
４ｂ  光軸
５  エリアセンサー
５ａ  受光素子
６  レンズ駆動装置
７ａ  瞳中心投影位置
７ｂ、７ｂ’  一対の位置
７ｃ  領域
１１  固有瞳位置データ記録部
１２  通信回路
１３  光軸位置記録部
１４ａ、１４ｂ  演算部
１５  焦点演算部
１００  仮想画素
【図１】
0005375010.tif 000008
【図２】
0005375010.tif 000009
【図３】
0005375010.tif 000010
【図４】
0005375010.tif 000011
【図５】
0005375010.tif 000012
【図６】
0005375010.tif 000013
【図７】
0005375010.tif 000014
【図８】
0005375010.tif 000015
【図９】
0005375010.tif 000016
【図１０】
0005375010.tif 000017
【図１１】
0005375010.tif 000018
【図１２】
0005375010.tif 000019