(57)【要約】【課題】非合焦時の撮影光学系のボケ像を改善する。【解決手段】撮影光学系の異なる瞳領域を通過した一対の光束の内、マイクロレンズ４１ｂを介して第１受光部４１ａにより一方の光束を受光する第１画素４１と、マイクロレンズ４２ｂを介して第２受光部４２ａにより他方の光束を受光する第２画素４２とが配列され、撮影光学系により結像された像を受光する撮像素子４と、第１画素４１の出力と第２画素の出力４２とを加算する演算手段とを備える。【選択図】図２
2008299184.tif 000002
【特許請求の範囲】
【請求項１】
撮影光学系の異なる瞳領域を通過した一対の光束の内、マイクロレンズを介して第１受光部により一方の光束を受光する第１画素と、マイクロレンズを介して第２受光部により他方の光束を受光する第２画素とが配列され、前記撮影光学系により結像された像を受光する撮像素子と、
前記第１画素の出力と前記第２画素の出力とを加算する演算手段とを備えることを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記演算手段は、前記マイクロレンズの光軸に対する前記第１受光部と前記第２受光部のそれぞれのずれが対象となる前記第１画素と前記第２画素の出力を加算することを特徴とする撮像装置。
【請求項３】
請求項２に記載の撮像装置において、
前記演算手段は、前記第１画素と前記第２画素の配列の内、前記各マイクロレンズの光軸に対して前記第１受光部と前記第２受光部とが互いに内側となる組の出力を加算した加算結果と、前記各マイクロレンズの光軸に対して前記第１受光部と前記第２受光部とが互いに外側となる組の出力を加算した加算結果とに基づいて画像を合成することを特徴とする撮像装置。
【請求項４】
撮影光学系の異なる瞳領域を通過した一対の光束の内の一方を受光する第１受光部を有する第１画素と、前記一対の光束の内の他方の光束を受光する第２受光部を有する第２画素とが配列され、前記撮影光学系により結像された像を受光する撮像素子と、
前記第１画素に入射する前記他方の光束に相当する出力を、前記第２画素における前記第２受光部で得られる出力に基づいて求め、前記他方の光束に相当する出力と前記第１受光部で得られる出力とに基づいて前記第１画素の出力を求める演算手段とを備えることを特徴とする撮像装置。
【請求項５】
請求項４に記載の撮像装置において、
前記演算手段は、前記第１画素の近傍に位置する前記第２画素における前記第２受光部で得られる出力に基づいて、前記他方の光束に相当する出力を求めることを特徴とする撮像装置。
【請求項６】
請求項１〜５のいずれか１項に記載の撮像装置において、
前記撮像素子は、前記第１画素と前記第２画素とが交互に配列されることを特徴とする撮像装置。
【請求項７】
請求項１〜６のいずれか１項に記載の撮像装置において、
前記第１受光部と前記第２受光部の形状は、前記第１画素と前記第２画素とを重ね合わさせた場合に、前記第１受光部と前記第２受光部の外周が略円形になるように決定されることを特徴とする撮像装置。
【請求項８】
請求項１〜７のいずれか１項に記載の撮像装置において、
前記撮像素子は、前記第１画素と前記第２画素とが二次元状に配列されていることを特徴とする撮像装置。
【請求項９】
請求項８に記載の撮像装置において、
前記演算手段は、前記撮影光学系の瞳領域の分割方向に配列される前記第１画素と前記第２画素の出力を加算することを特徴とする撮像装置。
【請求項１０】
請求項８または請求項９に記載の撮像装置において、
前記撮像素子は、前記第１画素と前記第２画素が前記瞳領域の分割方向と直交する方向に並進対称性を持たないように配列されることを特徴とする撮像装置。
【請求項１１】
請求項１〜１０のいずれか１項に記載の撮像装置と、
前記第１画素と前記第２画素の出力に基づいて瞳分割型位相差検出により前記撮影光学系の焦点調節状態を検出する焦点検出手段とを備えることを特徴とする焦点検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置と焦点検出装置に関する。
【背景技術】
【０００２】
マイクロレンズと受光部からなる画素が二次元状に配列された撮像素子により撮影光学系を透過した被写体からの光を受光し、撮像素子の画素信号を用いて画像を生成するとともに、撮影光学系の焦点調節状態を検出するようにした撮像装置が知られている（例えば、特許文献１参照）。
上述した装置では、マイクロレンズの光軸と受光部の中心とを交互にずらすことによって、瞳分割型位相差検出方式による焦点検出を可能にしている。
【０００３】
この出願の発明に関連する先行技術文献としては次のものがある。
【特許文献１】特許第２９５９１４２号
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来の撮像装置では、マイクロレンズの光軸と受光部の中心とが交互にずれているので、撮像素子の各画素の出力信号により画像を生成すると、撮影光学系の非合焦状態におけるボケ像が“まだらな”で“ざらついた”状態になり、不自然な画像になるという問題がある。
【課題を解決するための手段】
【０００５】
（１）  請求項１の発明は、撮影光学系の異なる瞳領域を通過した一対の光束の内、マイクロレンズを介して第１受光部により一方の光束を受光する第１画素と、マイクロレンズを介して第２受光部により他方の光束を受光する第２画素とが配列され、撮影光学系により結像された像を受光する撮像素子と、第１画素の出力と第２画素の出力とを加算する演算手段とを備える。
（２）  請求項２の撮像装置は、演算手段によって、マイクロレンズの光軸に対する第１受光部と第２受光部のそれぞれのずれが対象となる第１画素と第２画素の出力を加算するようにしたものである。
（３）  請求項３の撮像装置は、演算手段によって、第１画素と第２画素の配列の内、各マイクロレンズの光軸に対して第１受光部と第２受光部とが互いに内側となる組の出力を加算した加算結果と、各マイクロレンズの光軸に対して第１受光部と第２受光部とが互いに外側となる組の出力を加算した加算結果とに基づいて画像を合成するようにしたものである。
（４）  請求項４の発明は、撮影光学系の異なる瞳領域を通過した一対の光束の内の一方を受光する第１受光部を有する第１画素と、一対の光束の内の他方の光束を受光する第２受光部を有する第２画素とが配列され、撮影光学系により結像された像を受光する撮像素子と、第１画素に入射する他方の光束に相当する出力を、第２画素における第２受光部で得られる出力に基づいて求め、他方の光束に相当する出力と第１受光部で得られる出力とに基づいて第１画素の出力を求める演算手段とを備える。
（５）  請求項５の撮像装置は、演算手段によって、第１画素の近傍に位置する第２画素における第２受光部で得られる出力に基づいて、他方の光束に相当する出力を求めるようにしたものである。
（６）  請求項６の撮像装置の撮像素子は、第１画素と第２画素とが交互に配列される。
（７）  請求項７の撮像装置は、第１受光部と第２受光部の形状が、第１画素と第２画素とを重ね合わさせた場合に、第１受光部と第２受光部の外周が略円形になるように決定される。
（８）  請求項８の撮像装置の撮像素子は、第１画素と第２画素とが二次元状に配列されている。
（９）  請求項９の撮像装置は、演算手段によって、撮影光学系の瞳領域の分割方向に配列される第１画素と第２画素の出力を加算するようにしたものである。
（１０）  請求項１０の撮像装置の撮像素子は、第１画素と第２画素が瞳領域の分割方向と直交する方向に並進対称性を持たないように配列される。
（１１）  請求項１１の焦点検出装置は、請求項１〜１０のいずれか１項に記載の撮像装置と、第１画素と第２画素の出力に基づいて瞳分割型位相差検出により撮影光学系の焦点調節状態を検出する焦点検出手段とを備える。
【発明の効果】
【０００６】
本発明によれば、撮影光学系の非合焦状態におけるボケ像がまだらなでざらついた状態になるのを抑制し、滑らかなボケ像を得ることができる。
【発明を実施するための最良の形態】
【０００７】
図１は一実施の形態の撮像装置１の主要部構成を示す。撮影レンズ２を透過した被写体からの光はコンデンサーレンズ３を透過し、撮像素子４へ入射する。撮像素子４は、複数のマイクロレンズが二次元状に配列されたマイクロレンズアレイ４ｍと、複数の光電変換素子（以下、受光部という）が二次元状に配列された受光部アレイ４ｊとが一体に形成され、一つのマイクロレンズ下に一つの受光部が配置されて一つの画素を構成している。なお、コンデンサーレンズ３は各マイクロレンズへの入射光を撮影レンズ２の光軸と平行にする。
【０００８】
また、撮像装置１は制御装置５、駆動装置６、メモリ７などを備えている。制御装置５は、図示しないマイクロコンピューター、メモリ、Ａ／Ｄコンバーター、撮像素子駆動回路などから構成され、マイクロコンピューターのソフトウエア形態により構成される焦点検出部５ａと画像合成部５ｂを有している。
【０００９】
焦点検出部５ａは、撮像素子４の出力信号に基づいて撮影レンズ２の焦点調節状態を示すデフォーカス量を検出し、レンズ駆動量に変換して駆動装置６へ出力する。駆動装置６はレンズ駆動用モーター（不図示）を備え、レンズ駆動量にしたがって撮影レンズ２のフォーカシングレンズ（不図示）を駆動し、焦点調節を行う。画像合成部５ｂは、撮像素子４の出力信号を合成するとともに合成後の画像に各種の処理を施し、被写体像を生成してメモリ７に記録する。
【００１０】
図２は撮像素子４をコンデンサーレンズ３の側から見た正面図である。なお、図２では撮像素子４の左上隅の一部を拡大して示す。撮像素子４は、撮影レンズ２の異なる瞳領域をそれぞれ通過した一対の光束を受光する２種類の画素４１と４２が、瞳領域の分割方向（図２の列方向）に交互に二次元状に配列されている。第１の画素４１は、撮影レンズ２の一対の瞳領域の内の一方の瞳領域を通過した光束を受光する受光部４１ａと、マイクロレンズ４１ｂとからなる。また、第２の画素４２は、撮影レンズ２の上記一対の瞳領域の内の他方の瞳領域を通過した光束を受光する受光部４２ａと、マイクロレンズ４２ｂとからなる。マイクロレンズ４１ｂと４２ｂは同じものであるが、受光部４１ａと４２ａは互いに異なる。一対の受光部４１ａ，４２ａの内の一方の受光部４１ａを有する画素４１と、他方の受光部４２ａを有する画素４２とで一対の画素４１，４２を構成する。
【００１１】
撮像素子４では、撮影レンズ２の瞳領域の分割方向（図２の列方向）において、マイクロレンズの光軸と受光部の中心とが交互にずれた一対の画素４１と４２が交互に配置されている。この一実施の形態では、さらに一対の画素４１と４２を重ね合わせた場合に、それぞれの受光部４１ａと４２ａの外周が円形となるように、一対の受光部４１ａと４２ａの形状が決定される。換言すれば、一対の受光部４１ａと４２ａを重ね合わせた場合の形状は、一対の受光部４１ａと４２ａの合成された受光光束の断面が略円形になるように決定される。
【００１２】
このように、一対の画素４１，４２の受光部４１ａ，４２ａを重ね合わせたときの外周が略円形になるように受光部形状を決定したことによって、撮影レンズ２が合焦状態にないときのボケ像が滑らかな円形になり、観察者に違和感を与えない。これに対し、一対の受光部の形状を図３に示すように四角形にすると、ボケ像も四角形になって観察者に違和感を与えてしまう。図３において、一対の画素５１，５２の受光部５１ａと５２ａを重ね合わせたときの外周の形状は四角形になり、撮影レンズが合焦状態にないときのボケ像も四角形になる。
【００１３】
次に、一実施の形態の各受光部出力の合成方法を説明する。図４は、撮影レンズ２に対し共役関係にある物体側の面Ｏ上の点０〜９と、それらの点０〜９の像面Ｑ上の対応点（０）〜（９）との結像関係と、デフォーカス位置にある点Ｐが撮影レンズ２の一対の瞳領域Ａ、Ｂのいずれを通過して像面Ｑに至るかを示した図である。また、図５〜図９は点Ｐの像面Ｑ上における像のボケの状態を説明するための図であり、図５と図７は像面Ｑ上の対応点（０）〜（９）における画素を表し、図６、図８および図９は像面Ｑ上の対応点（０）〜（９）における画素の信号出力状態を表す。なお、図５，図７の黒点は、点Ｐから発した光を受光する位置を表す。また、図６、図８および図９では、光を受光して信号を出力する画素をハッチングして示す。
【００１４】
図５に示すように、各マイクロレンズ５３の受光部５３ａの形状が円形で大きさが揃っている場合には、対応点（０）〜（６）の画素はそれぞれ点Ｐの位置から発せられた光を受光できる。そのため、図６に示すように、対応点（０）〜（６）の画素は受光した光強度に応じた信号を出力する。一方、対応点（７）〜（９）の画素では、点Ｐから発せられた光を受光しないので受光信号の出力がない。したがって、対応点（６）の画素と（７）の画素を境界とする点Ｐのボケ像が得られる。
【００１５】
これに対し一実施の形態の一対の画素４１，４２（図２参照）は、一対の半円形の受光部４１ａ，４２ａが交互に位置を変えるために、図７に示すように、対応点（０）〜（９）の画素４２，４１，４２，・・・，４１は点Ｐから発した光を受光したり、受光しなかったりする。図７において、対応点（０）の画素４２はその受光部４２ａで点Ｐからの光を受光するが、対応点（１）の画素４１はその受光部４１ａで点Ｐからの光を受光しない。
【００１６】
この結果、図８に示すように、点Ｐからの光を受光した画素（０、２、３、５）は受光強度に応じた信号を出力するが、受光しない画素（１、４、６）は受光信号の出力がなく、本来のボケ像の境界である対応点（６）と（７）を境にしてボケ像が形成されるはずの（０）〜（６）の範囲において、部分的に受光出力がない画素が発生してしまう。したがって、撮像素子４のすべての画素出力から形成される画像は、まだらな、ざらついたボケ像となり、印象の悪い画像になる。
【００１７】
この一実施の形態では、このような問題を解決するために、制御装置５の画像合成部５ｂにより一対の画素４１，４２の受光部４１ａ，４２ａの出力を加算して合成する。つまり、マイクロレンズの光軸と受光部の中心とのずれが対象な一対の画素、換言すれば、受光部を重ね合わせたときの外周が略円形になる一対の画素の出力を加算して合成する。この結果、合成後の１画素は、撮影レンズ２の瞳全体の光を利用することになる。
【００１８】
具体的には、図７に示す対応点（０）と（１）、（１）と（２）、（２）と（３）、・・・の画素出力を加算し、加算後の出力をそれぞれ１画素の出力とすれば、合成後の各画素は撮影レンズ２の瞳領域Ａを透過した光と瞳領域Ｂを透過した光とを受光することになり、合成後の各画素の出力状況は図９に示すようになる。したがって、受光信号のない画素がなくなり、まだらな、ざらついたボケ像になるのを防止できる。
【００１９】
次に、この一実施の形態では、上述した瞳領域の分割方向と直交する方向において、画素４１，４２の配列が並進対称性を持たないように画素４１，４２を配列している。図２に示す画素配列例では、受光部４１ａ，４２ａを重ね合わせたときの外周が略円形になる一対の画素４１、４２を、瞳領域の分割方向（列方向）に配列するとともに、瞳領域の分割方向と直交する方向（図２に示す撮像素子４の行方向）においては、画素配列が並進対称性を持たないようにしている。具体的には、図２の第１列と第２列の行方向において隣接する画素どうしは並進対称性を有していない。行方向における第２列と第３列、第３列と第４列、以下、すべての隣接する画素列においても同様に並進対称性を有していない。
【００２０】
このような画素配列とすることによって、一実施の形態の上述した画素合成を実施したときに、画像に画素ピッチの濃淡が発生してまだらな、ざらついたボケ像になるのを抑制できる。例えば、図９に示す画素合成後の画素出力において、図８に示す対応点（２）と（３）の画素はともに点Ｐからの光を受光して信号を出力するので、合成後の対応点（２＋３）の出力は２画素分の信号を加算したレベルとなり、濃い画像となる。一方、図８に示す対応点（１）の画素は受光せず、対応点（２）の画素は受光するので、合成後の対応点（１＋２）の出力は１画素分の信号レベルとなり、淡い画像となる。このように、合成後の画像に画素ピッチの濃淡ができるが、瞳領域の分割方向と直交する方向において、一対の画素４１，４２の配列が並進対称性を持たないような画素配列としたことによって、画面に画素ピッチの帯状の濃淡が現れず、画素ピッチの濃淡が画面全体に適当にばらまかれてまだらな、ざらついたボケ像になるのを抑制できる。
【００２１】
上記実施の形態では、一対の画素の受光部の出力を加算して画像信号を合成するようにしたが、一つの画素に存在しない受光部の仮想的な出力を求めて画像信号を合成する例を説明する。
【００２２】
上述したように、図２に示す撮像素子は、撮影レンズ２の異なる瞳領域を通過した一対の光束のうちの一方を受光する受光部４１ａを有する第１の画素４１と、撮影レンズ２の異なる瞳領域を通過した一対の光束のうちの他方を受光する第２の受光部４２ａを有する第２の画素４２とが交互に二次元状に配列されている。この第１の画素４１には、第２の画素４２の受光部４２ａに相当する第１の画素内の位置に、上記一対の光束のうちの他方の光束が入射しているはずであるが、受光部が存在しないために出力を得ることはできない。また、第２の画素４２も同様に、第１の画素４１の受光部４１ａに相当する位置に入射する光束の出力が得られない。
【００２３】
そこで、第１の画素４１の「仮想的な受光部」が存在した場合に得られるはずの「他方の光束」による出力を、第２の画素４２の受光部４２ａの出力を代用することによって求める。これは、受光部４２ａの出力をそのまま仮想的な受光部の出力としてもよいし、受光部４２ａの出力から補間して求めてもよい。そして、第１の画素の受光部４１ａの出力と仮想的な受光部の出力との和を第１の画素の出力とし、第２の画素４２を含む他の画素についても同様に画素の出力を求めるようにする。
【００２４】
なお、第１の画素４１の周囲には、第２の画素４２の他にも第２の画素と同様に、「他方の光束」を受光する第３の画素４３が存在している。そこで、第２の画素４２の受光部４２ａの出力と第３の画素４３の受光部４３ａの出力とを平均し、第１の画素４１における「仮想的な受光部」の出力を求めるようにしてもよい。この場合、第１の画素に対して第２の画素４２と反対側に位置する第２の画素と同様の画素で得られる出力を受光部４２ａの出力と平均すれば、より良好に仮想的な受光部の出力を求めることができる。
【００２５】
さらに、第１の画素４１と第２の画素４２との距離と、第１の画素４１と第３の画素４３との距離とが異なる場合は、距離の近い方の画素の出力に大きな重みをおいて加重加算平均すればよい。
【００２６】
《画素配列の変形例》
図１０は画素配列の変形例を示す。図において、４０は通常の撮像用画素であり、マイクロレンズ下に円形の受光部を有する。この撮像素子４Ａでは、一対の画素４１と４２の間に撮像用画素４０が配置されている。このような画素配列にして一対の画素４１と４２の出力を加算し合成することによって、まだらな、ざらつきのない画像を得ることができる。
【００２７】
《画素配列の他の変形例》
図１１は画素配列の他の変形例を示す。この撮像素子４Ｂでは、各マイクロレンズ下に(１／４)円の形状の受光部４３ａ、４４ａ、４５ａ、４６ａを有する画素４３，４４，４５，４６を配列する。この撮像素子４Ｂでは、４個の画素４３，４４，４５，４６で１組となっており、これら１組４個の画素出力を加算し合成することによって、まだらな、ざらつきのない画像を得ることができる。
【００２８】
次に、一実施の形態の焦点検出方法について説明する。制御装置５の焦点検出部５ａは、撮影レンズ２の撮影画面内の予め設定された焦点検出エリアにおいて、瞳分割型位相差検出方式により撮影レンズ２の焦点調節状態を検出する。例えば図２に示す撮像素子４の第４列が焦点検出エリアに対応しており、この焦点検出エリアで焦点検出を行う場合には、第４列に属する複数の画素４１，４２の内、一方の画素４１の出力信号のみを並べて第１信号列（第１像）を生成するとともに、他方の画素４２の出力信号のみを並べて第２信号列（第２像）を生成し、周知の位相差検出方式の焦点検出演算を行って像ズレ量を算出し、撮影レンズ２のデフォーカス量に変換する。
【００２９】
なお、図２に示す撮像素子４については、一対の画素４１，４２の瞳分割方向であれば第４列に限らず、他の画素配列を用いて撮影レンズ２の焦点検出を行うことができる。また、図１１に示す撮像素子４Ｂについては、焦点検出に用いる一対の画素は、左上がり斜め４５度方向に配列される一対の画素(４３，４６)と、右上がり斜め４５度方向に配列される一対の画素(４４，４５)の出力に基づいて、撮影画面内の４５度方向における撮影レンズ２のデフォーカス量を検出することができる。
【００３０】
制御装置５の焦点検出部５ａはデフォーカス量をフォーカシングレンズ（不図示）のレンズ駆動量に変換し、駆動装置６へ出力する。駆動装置６は、レンズ駆動量にしたがって撮影レンズ２のフォーカシングレンズ（不図示）を駆動し、撮影レンズ２の焦点調節を行う。
【００３１】
なお、上述した一実施の形態とその変形例では、焦点検出に用いる画素を二次元状に展開した撮像素子を例に上げて説明したが、例えば図１０の画素４０のような撮像のみに用いる画素を二次元状に展開し、その一部の配列を焦点検出に用いる画素とした撮像素子を用い、焦点検出と撮像を行う場合にも本発明を適用することができる。
【図面の簡単な説明】
【００３２】
【図１】一実施の形態の撮像装置の主要部構成を示す図
【図２】撮像素子をコンデンサーレンズの側から見た正面図
【図３】四角形の受光部で撮像素子を構成した場合の図
【図４】撮影レンズに対し共役関係にある物体側の面Ｏ上の点０〜９と、それらの点０〜９の像面Ｑ上の対応点（０）〜（９）との結像関係と、デフォーカス位置にある点Ｐが撮影レンズの瞳のＡ、Ｂのいずれを通過して像面Ｑ上に至るかを示した図
【図５】点Ｐの像面Ｑ上における像のボケの状態を説明するための図
【図６】点Ｐの像面Ｑ上における像のボケの状態を説明するための図
【図７】点Ｐの像面Ｑ上における像のボケの状態を説明するための図
【図８】点Ｐの像面Ｑ上における像のボケの状態を説明するための図
【図９】点Ｐの像面Ｑ上における像のボケの状態を説明するための図
【図１０】変形例の撮像素子を示す図
【図１１】他の変形例の撮像素子を示す図
【符号の説明】
【００３３】
１  撮像装置
２  撮影レンズ
４、４Ａ、４Ｂ  撮像素子
５  制御装置
５ａ  焦点検出部
５ｂ  画像合成部
４１〜４６  画素
４１ａ〜４６ａ  受光部（光電変換素子）
４１ｂ、４２ｂ  マイクロレンズ
【図１】
2008299184.tif 000003
【図２】
2008299184.tif 000004
【図３】
2008299184.tif 000005
【図４】
2008299184.tif 000006
【図５】
2008299184.tif 000007
【図６】
2008299184.tif 000008
【図７】
2008299184.tif 000009
【図８】
2008299184.tif 000010
【図９】
2008299184.tif 000011
【図１０】
2008299184.tif 000012
【図１１】
2008299184.tif 000013