(57)【要約】【課題】異なるぼけの量を得られる複数の画像を、同時に撮影することができる撮像装置を提供する。【解決手段】撮像光学系および撮像素子を有する撮像装置であって、前記撮像光学系と前記撮像素子との間に配置され、入射する光束を常光と異常光とに分離させる複屈折光学手段と、前記複屈折光学手段と前記撮像素子との間に配置され、常光を透過させる常光選択素子と、異常光を透過させる異常光選択素子と、からなる光選択手段と、を有し、前記撮像素子は、前記異常光選択素子を透過した異常光を受光する第一の画素群と、前記常光選択素子を透過した常光を受光する第二の画素群からなることを特徴とする。【選択図】図１
2015046777.tif 000002
【特許請求の範囲】
【請求項１】
撮像光学系および撮像素子を有する撮像装置であって、
前記撮像光学系と前記撮像素子との間に配置され、入射する光束を常光と異常光とに分離させる複屈折光学手段と、
前記複屈折光学手段と前記撮像素子との間に配置され、常光を透過させる常光選択素子と、異常光を透過させる異常光選択素子と、からなる光選択手段と、
を有し、
前記撮像素子は、前記異常光選択素子を透過した異常光を受光する第一の画素群と、前記常光選択素子を透過した常光を受光する第二の画素群からなる
ことを特徴とする、撮像装置。
【請求項２】
前記複屈折光学手段は、前記撮像光学系の光軸に対して垂直以外の角度で交わる光学軸を有し、
前記撮像光学系において同一の画角から到来した光束に対応する常光と異常光とが、前記撮像素子上において、所定の距離だけ離れた二つの画素にそれぞれ入射し、
前記二つの画素は、それぞれ異なる画素群に属する
ことを特徴とする、請求項１に記載の撮像装置。
【請求項３】
前記所定の距離は、前記撮像素子における、隣り合う画素間の距離である
ことを特徴とする、請求項２に記載の撮像装置。
【請求項４】
前記撮像素子において、同一の波長の光を受光する複数の画素と、前記波長と異なる波長の光を受光する画素と、からなる画素セットが、同一の繰り返しパターンで配置され、
前記画素セットにおいて、同一の波長の光を受光する複数の画素のうちの一画素と、当該画素セットに含まれるそれ以外の画素とが、異なる画素群に属する
ことを特徴とする、請求項２に記載の撮像装置。
【請求項５】
前記複屈折光学手段が有する光学軸と、前記撮像光学系が有する光軸とがなす角度が、７０度以上１１０度以下である
ことを特徴とする、請求項１から４のいずれか１項に記載の撮像装置。
【請求項６】
前記常光選択素子は、前記複屈折光学手段が有する光学軸と垂直な偏光方向の光を透過させ、
前記異常光選択素子は、前記複屈折光学手段が有する光学軸と平行な偏光方向の光を透過させる
ことを特徴とする、請求項１から５のいずれか１項に記載の撮像装置。
【請求項７】
前記第一の画素群に属する画素から取得した信号に基づいて常光画像を生成し、前記第二の画素群に属する画素から取得した信号に基づいて前記常光画像とは焦点位置が異なる異常光画像を生成する画像生成手段と、
前記常光画像および異常光画像を用いて被写体の距離情報を算出する画像処理手段と、
をさらに有することを特徴とする、請求項１から６のいずれか１項に記載の撮像装置。
【請求項８】
撮像光学系と、
撮像素子と、
前記撮像光学系と前記撮像素子との間に配置され、入射する光束を常光と異常光とに分離させる複屈折光学手段と、
前記複屈折光学手段と前記撮像素子との間に配置され、常光を透過させる常光選択素子と、異常光を透過させる異常光選択素子と、からなる光選択手段と、
を有する撮像装置の制御方法であって、
前記撮像素子を構成する画素のうち、前記異常光選択素子を透過した異常光を受光する画素から第一の信号を取得し、前記常光選択素子を透過した常光を受光する画素から第二の信号を取得する取得ステップと、
前記第一の信号から異常光画像を生成し、前記第二の信号から常光画像を生成する画像生成ステップと、
を含むことを特徴とする、撮像装置の制御方法。
【請求項９】
前記常光画像および異常光画像を用いて被写体の距離情報を算出する画像処理ステップ
をさらに含むことを特徴とする、請求項８に記載の撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像を同時に撮影することが可能な撮像装置に関する。
【背景技術】
【０００２】
撮像装置によって取得された画像をもとに、被写体までの距離情報を取得する手法が種々提案されており、その中の一つに、ＤＦＤ（Depth from Defocus）法がある。ＤＦＤ法は、フォーカス位置や絞りといった撮影パラメータを変更することによって、ぼけの異なる複数の画像を取得し、当該複数の画像に含まれるぼけの変化量から被写体距離を推定する手法である。
ＤＦＤ法に関連する発明として、例えば、特許文献１には、異なる撮影パラメータで撮影した、ぼけの異なる複数の画像を入力として、処理対象領域毎にぼけの相関量を演算し、当該ぼけの相関量から被写体距離を算出する装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−０１６７４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ＤＦＤ法を用いて被写体距離を計測する場合、フォーカス位置、焦点距離、絞りといった撮影パラメータを変化させて複数の画像を撮影する必要がある。しかし、特許文献１に記載されたような従来の撮影方法では、これらの撮影パラメータを変更するために、フォーカシングレンズや絞りの位置を変更するため、撮影に時間差が生じてしまう。そのため、被写体ぶれや手ぶれによって、撮影した複数の画像間に位置ずれが発生してしまうおそれがあった。
【０００５】
ＤＦＤ法を用いて被写体距離を計測する場合、同一の被写体におけるぼけの変化を比較する必要がある。しかし、入力画像に位置ずれが発生していた場合、比較対象が同一とならないため、正確な被写体距離を取得することができない。
この問題を解決するためには、異なるぼけの量を得られ、かつ、位置がずれていない複数の画像を取得する必要がある。
【０００６】
本発明は上記のような課題を考慮してなされたものであり、異なるぼけの量を得られる複数の画像を、同時に撮影することができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明に係る撮像装置は、
撮像光学系および撮像素子を有する撮像装置であって、前記撮像光学系と前記撮像素子との間に配置され、入射する光束を常光と異常光とに分離させる複屈折光学手段と、前記複屈折光学手段と前記撮像素子との間に配置され、常光を透過させる常光選択素子と、異常光を透過させる異常光選択素子と、からなる光選択手段と、を有し、前記撮像素子は、前記異常光選択素子を透過した異常光を受光する第一の画素群と、前記常光選択素子を透過した常光を受光する第二の画素群からなることを特徴とする。
【０００８】
また、本発明に係る撮像装置の制御方法は、
撮像光学系と、撮像素子と、前記撮像光学系と前記撮像素子との間に配置され、入射する光束を常光と異常光とに分離させる複屈折光学手段と、前記複屈折光学手段と前記撮像
素子との間に配置され、常光を透過させる常光選択素子と、異常光を透過させる異常光選択素子と、からなる光選択手段と、を有する撮像装置の制御方法であって、前記撮像素子を構成する画素のうち、前記異常光選択素子を透過した異常光を受光する画素から第一の信号を取得し、前記常光選択素子を透過した常光を受光する画素から第二の信号を取得する取得ステップと、前記第一の信号から異常光画像を生成し、前記第二の信号から常光画像を生成する画像生成ステップと、を含むことを特徴とする。
【発明の効果】
【０００９】
本発明によれば、異なるぼけの量を得られる複数の画像を、同時に撮影することができる撮像装置を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】第一の実施形態に係る撮像装置の構成および光路を示す図。
【図２】第一の実施形態における撮像素子の拡大図。
【図３】第二の実施形態に係る撮像装置の構成および光路を示す図。
【図４】第二の実施形態に係る撮像装置の構成および光路を示す第二の図。
【図５】第一の実施形態に係る撮像装置の構成および光路を示す図。
【図６】第二の実施形態における複屈折光学部内の光路を示す図。
【図７】第三の実施形態に係る撮像装置の構成および光路を示す図。
【図８】第三の実施形態における撮像素子の拡大図。
【図９】第三の実施形態の変形例における撮像素子の拡大図。
【図１０】第四の実施形態における撮像素子の拡大図。
【図１１】複屈折光学部を説明する図。
【発明を実施するための形態】
【００１１】
（第一の実施形態）
以下、図面を参照しながら、第一の実施形態に係る撮像装置について説明する。なお、同一の構成要素には原則として同一の参照符号を付して、説明を省略する。
【００１２】
<システム構成>
図１は、第一の実施形態に係る撮像装置１の構成と、当該撮像装置を用いて主被写体Ｏｍを撮像した場合の光路を説明する図である。
第一の実施形態に係る撮像装置１は、撮像光学系１０、複屈折光学部１１、偏光フィルタ部１２、撮像素子１３、画像処理部１４を有する。
【００１３】
撮像光学系１０は、複数のレンズから構成され、入射した光線を撮像素子１３の像面上に結像させる光学系である。
複屈折光学部１１は、複屈折性のある物質で形成された板状のフィルタであり、入射した光線を常光と異常光に分離させる手段である。複屈折光学部１１が、本発明における複屈折光学手段である。
また、偏光フィルタ部１２は、分離した常光と異常光をフィルタリングし、いずれか片方のみを透過させる手段である。偏光フィルタ部１２は複数の偏光板からなり、図１中の縦方向に配列された正方形がそれぞれの偏光板を表す。詳細な説明は後述する。
撮像素子１３は、ＣＣＤやＣＭＯＳなどのイメージセンサを有する撮像素子である。撮像素子１３は、カラーフィルタを有する撮像素子であってもよいし、モノクロの撮像素子であってもよい。また、三板式の撮像素子であってもよい。撮像素子１３を構成するイメージセンサは複数の画素からなり、図１中の縦方向に配列された長方形がそれぞれの画素を表す。
【００１４】
画像処理部１４は、撮像素子１３から出力された信号に対して処理を行い、画像を生成
する手段である。具体的には、主被写体に合焦した画像と、主被写体からフォーカスが外れた画像の二枚の画像を生成する。取得した画像のうち、主被写体に合焦した画像は、観賞用の画像として記憶され、利用者に提示される。
また、画像処理部１４は、生成した二枚の画像を用いて、ＤＦＤ法を用いて被写体距離を算出する。算出した被写体距離は、不図示のメモリに記憶され、あるいは不図示の表示装置を介して利用者に提示される。詳細な説明は後述する。
画像処理部１４が、本発明における画像生成手段である。
【００１５】
<撮像の概要>
次に、撮像装置１が行う撮像の概要を説明する。
本実施形態に係る撮像装置１は、撮像光学系と撮像素子との間に、複屈折光学部１１を有している。複屈折光学部１１は、複屈折性のある物質からなるフィルタであるため、入射した光が常光と異常光にそれぞれ分離して出射する。常光および異常光とは、複屈折光学部が有する光学軸に対する偏光方向がそれぞれ異なる光である。具体的には、複屈折光学部１１に入射した光線のうち、光学軸１１ａと同一平面内にある成分が異常光となり、光学軸１１ａに対して垂直な平面内にある成分が常光となる。光学軸１１ａは、複屈折材料に固有な軸であり、その方向は、第一の実施形態では、紙面と平行かつ撮像光学系の光軸１０ａに対して垂直な方向である。
複屈折光学部１１を通過する光線の屈折率は、常光と異常光とでそれぞれ異なる。具体的には、常光よりも異常光のほうが高い屈折率を持つため、常光よりも異常光のほうが、光路長が長くなる。すなわち、撮像素子１３の像面には、それぞれ異なる位置の被写体に対して焦点が合った光線が到達する。
【００１６】
図１は、撮像光学系１１の焦点位置を固定した場合における、常光Ｒｏおよび異常光Ｒｅの光路を示している。主被写体Ｏｍから到来する異常光Ｒｅは、複屈折光学部１１、偏光フィルタ部１２を介して撮像素子１３上に結像する。同様に、背景被写体Ｏｂから到来する常光Ｒｏも、複屈折光学部１１、偏光フィルタ部１２を介して撮像素子１３上に結像する。
主被写体Ｏｍは物体距離Ｓｏｍの位置にあり、背景被写体Ｏｂは物体距離Ｓｏｂの位置にある。主被写体Ｏｍと背景被写体Ｏｂは、それぞれ異なる距離にあるが、常光Ｒｏと異常光Ｒｅの光路長が異なるため、撮像装置１は、両方の被写体ＯｍおよびＯｂに焦点位置を合わせることができている。
【００１７】
ただし、このままでは同じ画素に二つの被写体の像が重なってしまうため、焦点位置が異なる画像を独立して取得することができない。そこで、本実施形態に係る撮像装置は、偏光フィルタを用いて常光と異常光を分離する。
図２は、偏光フィルタ部１２および撮像素子１３を拡大した図である。複屈折光学部１１を透過した光は、偏光フィルタ部１２を介して撮像素子１３に入射する。偏光フィルタ部１２には、撮像素子１３が有する画素にそれぞれ対応する複数の偏光板が設置されており、当該偏光板によって、常光と異常光が選択される。すなわち、常光を透過させる偏光板が配置された画素には常光のみが入射し、異常光を透過させる偏光板が配置された画素には異常光のみが入射する。
図２中に示した番号（１および２）が、偏光板の種類を表す。具体的には、１番の偏光板が、複屈折光学部１１の光学軸に対して同一平面内の偏光方向の光線（異常光）を透過させる偏光板であり、２番の偏光板が、複屈折光学部１１の光学軸に対して垂直な平面内の偏光方向の光線（常光）を透過させる偏光板である。このように、偏光フィルタ部１２は、特性の異なる偏光板が格子状に配置されたものからなる。
【００１８】
偏光フィルタ部１２が、本発明における光選択手段である。また、異常光を透過させる偏光板が本発明における異常光選択素子であり、常光を透過させる偏光板が本発明におけ
る常光選択素子である。実施形態の説明では、それぞれ第一偏光フィルタ、第二偏光フィルタと称する。
また、異常光を受光する複数の画素が、本発明における第一の画素群であり、常光を受光する複数の画素が、本発明における第二の画素群である。実施形態の説明では、それぞれ第一画素、第二画素と称する。
【００１９】
このように、第一の実施形態に係る撮像装置は、異常光Ｒｅのみが入射する第一画素と、常光Ｒｏのみが入射する第二画素がそれぞれ分離されている。従って、第一画素から出力された信号のみを用いて画像を構成すれば、主被写体Ｏｍに焦点が合った画像を得ることができ、第二画素から出力された信号のみを用いて画像を構成すれば、背景被写体Ｏｂに焦点が合った画像を得ることができる。すなわち、焦点位置が異なる二つの画像を同時に撮影することができる。
画像処理部１４では、この二つの画像のぼけの変化を利用して、ＤＦＤ法によって被写体の距離を算出する。
なお、第一画素のみを用いて構成した画像が、本発明における異常光画像であり、第二画素のみを用いて構成した画像が、本発明における常光画像である。
【００２０】
<光路差と複屈折光学部の材料>
次に、常光と異常光の光路差と、複屈折光学部に用いる材料について述べる。
ここで、撮像装置１における撮像光学系１０の焦点距離ｆを１８ｍｍ、絞り値Ｆを４．０、主被写体Ｏｍの物体距離Ｓｏｍを３．０ｍとすると、像距離Ｓｉｍ（不図示）は１８．１０９ｍｍとなる。
一方、背景被写体Ｏｂの物体距離Ｓｏｂを４．０ｍとすると、像距離Ｓｉｂ（不図示）は１８．０８１ｍｍとなるため、二つの焦点位置Ｓｏｍ，Ｓｏｂにおける像距離の差ΔＳｉは、−０．０２８ｍｍとなる。すなわち、確保すべき、常光と異常光との光路長差ΔＬは０．０２８ｍｍとなる。
【００２１】
複屈折光学部として用いることができる材料には、水晶、方解石、液晶、フォトニック結晶、異方性ナノ構造光学素子などがあるが、本実施形態では水晶を用いる。水晶は、常光の屈折率（以下、常光屈折率Ｎｏ）が１．５４４３、異常光の屈折率（以下、異常光屈折率Ｎｅ）が１．５５３４であるため、水晶の厚みｄを３．０７７ｍｍとすることで、０．０２８ｍｍの光路差を得ることができる。光路差の算出方法については後述する。
水晶の複屈折量（ΔＮ＝Ｎｅ−Ｎｏ）は、０．００９１と、上記の複屈折光学材料の中でも比較的小さい方であるが、厚み約３ｍｍという現実的な値で、フォーカスブラケット量０．０２８ｍｍを確保することができる。
【００２２】
本実施形態に係る撮像装置では、複屈折光学部の光学軸１１ａの向きを、撮像光学系の光軸１０ａに対して垂直に設定している。この向きが、撮像光学系の光軸に対して垂直に近いほど、常光と異常光の屈折率の差が大きくなる。すなわち、必要な光路差を得るための、複屈折光学部１１の厚さを薄くすることができる。複屈折光学部の光学軸１１ａと撮像光学系の光軸１０ａとが成す角度βは、式１を満たす範囲であることが好ましい。
【数１】
2015046777.tif 000003
【００２３】
角度βを７０度以上１１０度以下にすることにより、複屈折光学部を厚くすることなく、異常光Ｒｅと常光Ｒｏとの光路長差を確保することができ、撮像装置を小型化および軽量化することができる。
なお、本実施形態では、異常光と常光の光路差ΔＬを０．０２８ｍｍとしたがが、必要な光路差は、撮像光学系の撮影条件に応じて適宜変更すればよい。
【００２４】
<光路差の算出方法>
次に、複屈折光学材料を通過する常光Ｒｏと異常光Ｒｅの光路図である図１１を参照しながら、常光Ｒｏと異常光Ｒｅとの光路差の算出方法について説明する。
水晶、方解石、液晶等の複屈折光学材料には屈折率の異方性があり、一軸性結晶の場合、常光屈折率Ｎｏと異常光屈折率Ｎｅの二つの屈折率を有している。
光学軸１１ａと垂直な偏光方向を有する光束（すなわちＳ偏光である常光Ｒｏ）の屈折率は、常にＮｏである。一方、光学軸１１ａと平行な偏光方向を有する光束（すなわちＰ偏光である異常光Ｒｅ）の屈折率は、角度によって異なる。異常光の屈折率は、光線の方向と光学軸１１ａとがなす角度が垂直である時に最大値Ｎｅとなる。また、それ以外の角度では、ＮｅおよびＮｏ双方の寄与度が混ざった屈折率となる。ここで、複屈折光学材料中を進行する異常光Ｒｅと光学軸１１ａとがなす角度をψ（ｄｅｇ）とすると、異常光Ｒｅの屈折率Ｎｐは式２で表される。
【数２】
2015046777.tif 000004
【００２５】
また、複屈折光学材料内を進行する異常光Ｒｅと光学軸１１ａとがなす角度をψ（ｄｅｇ）とすると、ψは式３で表される。
【数３】
2015046777.tif 000005
【００２６】
ここで、θ（ｄｅｇ）は、複屈折光学材料内を進行する常光Ｒｏと異常光Ｒｅとがなす角度である。また、α（ｄｅｇ）は、光学軸１１ａと、複屈折光学材料中を進行する常光Ｒｏに対して垂直な軸とがなす角度（すなわち、光学軸１１ａと、撮像光学系の光軸１０ａに対して垂直な軸とがなす角度）である。
【００２７】
また、複屈折光学材料中を進行する常光Ｒｏと異常光Ｒｅとがなす角度θ（ｄｅｇ）は、式４で表される。
【数４】
2015046777.tif 000006
【００２８】
そして、複屈折光学材料中を通過する常光Ｒｏの光路長Ｌｏは式５で表され、異常光Ｒｅの光路長は式６で表される。また、異常光Ｒｅと常光Ｒｏとの光路差ΔＬは、式７で表される。ただし、ｄ（ｍｍ）は複屈折光学材料の厚みである。
【数５】
2015046777.tif 000007
【数６】
2015046777.tif 000008
【数７】
2015046777.tif 000009
【００２９】
このように、式２〜式７によって、複屈折光学材料中を通過する異常光Ｒｅと常光Ｒｏとの光路差ΔＬ（ｍｍ）を求めることができる。従って、複屈折光学部の材質が決まっている（すなわち、ＮｏおよびＮｅが一意である）場合、所定の光路差ΔＬを得られるように、αおよびｄの値を設定すればよい。ただし、第一の実施形態では光学軸１１ａの向きは固定されているため、αは固定値である。
【００３０】
<被写体距離算出方法>
次に、焦点位置が異なる二枚の画像を取得した後で、画像処理部１４が行う被写体距離算出方法について説明する。
被写体が撮像光学系１０における合焦点（以下、フォーカス位置）にある場合、撮像素子１３に写る被写体の像は高い鮮鋭度を有している。一方、被写体がフォーカス位置から離れるに従って、鮮鋭度は徐々に低下し、ぼけた像になる。従って、ぼけの変化を比較することで、フォーカス位置からの距離を取得することができる。
第一の実施形態に係る画像処理部１４は、二枚の撮影画像から特定の周波数帯域の周波数成分を抽出し、抽出後の画像のぼけの変化に基づいて被写体距離を推定する。
具体的には、二枚の撮影画像の対応する局所領域から特定の周波数成分を抽出して、互いの相関値を算出し、当該相関値から被写体の距離情報を算出する。当該局所領域における相関値ＮＣＣは、式８で表すことができる。
【数８】
2015046777.tif 000010
【００３１】
ここで、Ｉ１iは、一枚目の画像（以下、画像１）の局所領域における周波数成分の信
号値、Ｉ１avは画像１の局所領域における周波数成分の信号値の平均値である。また、Ｉ２iは、二枚目の画像（以下、画像２）の局所領域における周波数成分の信号値、Ｉ２av
は画像２の局所領域における周波数成分の信号値の平均値である。
フォーカスブラケットによって二枚の画像を取得した場合、相関値ＮＣＣは、二枚の画像のフォーカス位置の中間点にて最も高くなり、当該位置から離れるに従って低下する。したがって、相関値を求めることで、被写体が、二枚の画像のフォーカス位置の中間点からどれだけ離れた位置にあるかが分かる。
【００３２】
一方、被写体が二枚の画像のフォーカス位置の中間点に対して、前側（撮像装置側）に位置するのか、後側に位置するのかを区別することもできる。
具体的には、式９を満たす場合は、被写体は画像１のフォーカス位置側にあり、式１０を満たす場合は、被写体は画像２のフォーカス位置側にあることがわかる。
【数９】
2015046777.tif 000011
【数１０】
2015046777.tif 000012
【００３３】
本例では、画像１のフォーカス位置は、二枚の画像の焦点位置の中間点よりも前側（撮
像装置側）にあり、画像２のフォーカス位置は後側にあるものとする。
このように、二枚の画像のフォーカス位置の中間点に対して、被写体の位置が前後どちらにあるかを判定することができる。この判定結果を、ＤＦＤ法による演算結果に反映させることにより、距離情報を算出することができる。
例えば、式８によって算出された相関値ＤＳがある場合に、次の条件を用いてＤＳを変換することで、前後判定が反映された距離依存値ＤＳＲを取得することができる。ＤＳは相関を表す値であるため０〜１の範囲をとるが、ＤＳＲに変換することで、１を中間点とする、０〜２の範囲に置き換えることができる。
・前後判定結果が「前側」である場合：ＤＳＲ＝２−ＤＳ
・前後判定結果が「後側」である場合：ＤＳＲ＝ＤＳ
また、距離依存値を実際の距離に変換する場合には、距離と算出した相関値との関係を予め算出して記憶しておき、算出した相関値から逆算して求めればよい。
【００３４】
周波数成分の抽出方法は二通りある。一つは、実空間用に設計したバンドパスフィルタを撮影画像に畳み込み演算して、特定の周波数帯の周波数成分のみを抽出する方法である。この方法は、実空間上だけで画像処理をすることができるため、演算コストが安価であるという特徴がある。もう一つは、撮影画像をフーリエ変換して周波数空間の画像に変換してから、特定の周波数帯の周波数成分だけを抽出し、逆フーリエ変換して実空間画像に戻す方法である。この方法では、特定の周波数帯だけをきれいに抽出することができるという特徴がある。
なお、ここで取得した距離情報は、二枚の画像のフォーカス位置の中間点からの相対距離であるが、撮像装置から被写体までの絶対距離を求めることもできる。それにはまず、式１１を用いて、撮像装置から撮像光学系のフォーカス位置までの距離Ｓobjを求める必
要がある。ここで、Ｓimgは撮像光学系から像面までの距離であり、ｆは撮像光学系の焦
点距離である。
【数１１】
2015046777.tif 000013
【数１２】
2015046777.tif 000014
【００３５】
式３によって、撮像装置から画像１を撮影した際のフォーカス位置までの距離Ｓobj１
と、撮像装置から画像２を撮影した際のフォーカス位置までの距離Ｓobj２を求めること
ができる。また、式１２によって、撮像装置からフォーカスブラケットの中間点までの距離Ｓobj３を求めることができる。
これにより、撮像装置から被写体までの絶対距離を求めることができる。また、複数の被写体距離を取得することで、画像に対応する距離マップを生成することもできる。
【００３６】
一般的な撮像装置では、合焦位置が異なる二枚の画像を撮影するためには、ある程度の時間差が必要となるため、手ブレや被写体の移動による位置ずれが発生してしまい、撮影後にずれを補正する必要があった。
これに対し、本実施形態に係る撮像装置では、焦点位置が異なる二枚の画像を同時に撮影することができるため、位置ずれの補正処理を省略することができる。すなわち、計算コストを削減し、処理時間を短縮することができる。また、ＤＦＤ法における測距精度を向上させることができる。
【００３７】
なお、本実施形態では、複屈折光学部として水晶を用いたが、例えば方解石など、他の素材を用いてもよい。方解石における常光の屈折率Ｎｏは１．４８６４、異常光の屈折率Ｎｅは１．６５８４であり、複屈折量ΔＮは０．１７２９と水晶と比べて非常に大きい。そのため、複屈折光学部１１の厚みｄを０．１６３ｍｍとすれば、０．０２８ｍｍの光路差を得ることができる。
また、複屈折光学部として液晶を用いても良い。液晶における常光の屈折率Ｎｏは１．５０、異常光の屈折率Ｎｅは１．７０であり、複屈折量ΔＮは０．２０と方解石と比べて更に大きい。そのため、複屈折光学部１１の厚みｄを０．１４０ｍｍとすれば、０．０２８ｍｍの光路差を得ることができる。
このように、屈折率の大きな光学材料を用いると、複屈折光学部１１の厚みをより薄くすることができる。
【００３８】
また、画像処理部１４は、取得した被写体距離を用いて画像処理を行うようにしてもよい。例えば、主被写体に焦点位置を合わせて撮影した画像に対して、主被写体からの距離に応じてぼけが大きくなるようなぼけ付加を行う処理を行ってもよい。画像に含まれる被写体までの距離を正確に求めることができれば、綺麗なぼけ味を有した画像を生成することができる。
なお、実施形態の説明では、撮像光学系から被写体までの絶対距離を求めることができると述べたが、絶対距離は必ずしも算出する必要はない。例えば、被写体の切り出し、背景ぼかし、ぼかし効果付与などの処理は、フォーカス位置からの相対距離のみを用いて行うことができる。
【００３９】
（第二の実施形態）
第一の実施形態では、撮像光学系の異なる焦点位置から到来する同一画角の光線を、撮像素子上の同一画素に導いた。これに対し、第二の実施形態は、撮像光学系の異なる焦点位置から到来する同一画角の光線を、常光と異常光とで異なる画素へ導く実施形態である。
図３は、第二の実施形態に係る撮像装置の構成と、当該撮像装置を用いて主被写体Ｏｍと背景被写体Ｏｂを撮像した場合の光路を説明する図である。また、図４は、異なる画角にある主被写体Ｏｍと背景被写体Ｏｂを撮像した場合の光路を説明する図である。
【００４０】
第二の実施形態に係る撮像装置１は、第一の実施形態と同様に、常光と異常光を分離し、それぞれ撮像素子１３上に結像させることで、異なる焦点位置の二枚の画像を同時に撮影するものであるが、複屈折光学部１１の光学軸の向きが第一の実施形態とは異なる。
具体的には、光学軸１１ａの向きを、撮像光学系１０の光軸１０ａに対して垂直な方向から傾けている。これにより、撮像光学系１０の異なる焦点位置Ｏｍ，Ｏｂから到来する同一画角の光線を異なる画素へ導くことができる。
【００４１】
光学軸を傾けることによる効果を、第一の実施形態に係る撮像装置の構成図である図５を参照しながら説明する。
第一の実施形態に係る撮像装置１では、説明したように、常光Ｒｏと異常光Ｒｅをそれぞれ撮像素子１３上に結像させることで、焦点位置が異なる二枚の画像を同時に撮影することができる。
しかし、常光が入射する画素と異常光が入射する画素との間には、一画素ぶんのずれがあるため、二枚の画像を取得すると、それぞれの画像の画角がわずかに異なってしまう。具体的には、焦点位置がＳｏｍである主被写体Ｏｍを撮影した画像と、焦点位置がＳｏｂである背景被写体Ｏｂを撮影した画像の二枚が取得されるため、画角が一画素分（Δθ）だけずれてしまう。また、物体面上においても、物体高がΔＹｏだけずれてしまう。
【００４２】
もっとも、ＤＦＤ法によって被写体の距離を算出する際は、一画素程度の画角のずれであれば、画像の大部分において問題なく被写体の距離を算出することができる。しかし、被写体の境界部においては、一画素のずれに起因して、被写体距離の計測精度が低下してしまうおそれがある。
【００４３】
そこで、第二の実施形態に係る撮像装置では、撮像素子上における常光と異常光の結像位置をそれぞれずらすことで、当該一画素分のずれを解消する。
図６は、撮像光学系から撮像素子までの光路図であり、図３に示した２つの物点Ｏｍ，Ｏｂから到来する光束（ＲｏおよびＲｅ）が撮像素子１３上に結像する様子を示した図である。
第二の実施形態では、複屈折光学部１１の光学軸１１ａの向きが、撮像光学系１０の光軸１０ａに対して垂直以外の角度をとるように設定されている。これにより、同じ画角かつ異なる焦点位置から到来する光線を、常に一画素分ずらして撮像素子上に結像させることができる。これ以外の、偏光フィルタ部１２および撮像素子１３の構成は、第一の実施形態と同様である。すなわち、図６中、１番のフィルタ（第一偏光フィルタ）および画素（第一画素）が異常光Ｒｅに対応し、２番のフィルタ（第二偏光フィルタ）および画素（第二画素）が常光Ｒｏに対応する。
【００４４】
図３に示したように、異常光Ｒｅは、主被写体Ｏｍから到来する光束であるため、第一画素のみを用いて画像を構成すれば、焦点位置が主被写体Ｏｍに合った画像を取得することができる。また、常光Ｒｏは、背景被写体Ｏｂから到来する光束であるため、第二画素のみを用いて画像を構成すれば、焦点位置が背景被写体Ｏｂに合った画像を取得することができる。互いの画像は、被写体の位置が完全に一致した画像となる。
【００４５】
撮像素子１３上における、異常光Ｒｅと常光Ｒｏとの分離量は、光学軸１１ａの向きに依存する。本実施形態における撮像素子１３の画素間の距離（画素の中心から隣の画素の中心までの距離）は２μｍであるため、光学軸１１ａの向きは、異常光Ｒｅと常光Ｒｏとの分離量が２μｍになるように設定されている。
具体的には、複屈折光学部１１に水晶を用い、その光学軸１１ａの向きを、撮像光学系の光軸１０ａに対して垂直な方向から３．１５度傾けている。換言すれば、複屈折光学部の光学軸１１ａと撮像光学系の光軸１０ａとがなす角度は８６．８５度である。
このようにすることで、同一の画角に対応する異常光Ｒｅと常光Ｒｏとが、撮像素子１３上の隣り合う画素へそれぞれ入射するようになる。
【００４６】
<分離量算出方法>
ここで、図１１を参照して、撮像素子上における異常光Ｒｅと常光Ｒｏとの分離量を算出する方法について説明する。式３に示したように、異常光Ｒｅは常光Ｒｏに対して角度θ（ｄｅｇ）の方向に進行し、常光Ｒｏから分離する。このとき、撮像素子上における分離量Ｄ（ｍｍ）は、式１３で表される。すなわち、所定の光路差が得られ、かつ、分離量Ｄが２μｍとなるように、複屈折光学部１１の厚さｄおよび光学軸１１ａの傾きαを設定すればよい。
【数１３】
2015046777.tif 000015
【００４７】
第二の実施形態においても、第一の実施形態と同様に、二枚の画像間で像側の焦点位置を０．０２８ｍｍ変動させてフォーカスブラケット撮影を行う。
そのため、本実施形態における複屈折光学部１１は、光線が通過する際に、異常光Ｒｅの光路長が常光Ｒｏの光路長よりも０．０２８ｍｍ長くなるように構成されている。具体的には、複屈折光学部１１の厚みｄを３．０８６ｍｍとしている。これにより、通過する
異常光Ｒｅの光路長Ｌｅが４．７９４ｍｍ、常光Ｒｏの光路長Ｌｏが４．７６６ｍｍとなり、光路長差ΔＬ＝０．０２８ｍｍを確保することができる。
【００４８】
このように、第二の実施形態に係る撮像装置では、複屈折光学部１１が有する光学軸の向きを変更することで、同じ画角から到来する常光と異常光とを別々の画素に入射させることができる。
背景技術にて説明した通り、ＤＦＤ法を用いて被写体距離を算出する場合、二枚の画像中に含まれる被写体の位置は一致していることが望ましい。本実施形態では、同じ画角にある被写体の位置を、サブピクセル単位で正確に一致させることができるため、ＤＦＤ法による距離計測に適したフォーカスブラケット画像を撮影することができる。また、画像全域にわたって測距精度を向上させることができる。
【００４９】
なお、本実施形態では、複屈折光学部として水晶を用いたが、第一の実施形態と同様に、他の物質を用いてもよい。例えば、複屈折光学部に方解石を用いても良い。この場合、光学軸１１ａの向きを、撮像光学系の光軸１０ａに対して垂直な方向から２．８７度傾け、複屈折光学部の光学軸１１ａと撮像光学系の光軸１０ａとがなす角度βを８７．１３度とする。加えて、複屈折光学部１１の厚みｄを０．１６３ｍｍとすると、分離量Ｄが２μｍ、光路差ΔＬが０．０２８ｍｍとなる。
また、複屈折光学部として液晶を用いても良い。この場合も、光学軸１１ａの向きを撮像光学系の光軸１０ａに対して垂直な方向から２．８７度傾け、複屈折光学部の光学軸１１ａと撮像光学系の光軸１０ａとがなす角度βを８７．１３度とする。加えて、複屈折光学部１１の厚みｄを０．１４１ｍｍとすると、分離量Ｄが２μｍ、光路差ΔＬが０．０２８ｍｍとなる。
このように、屈折率の大きな光学材料を用いると、複屈折光学部１１の厚みをより薄くすることができる。
【００５０】
なお、本実施形態では、撮像素子１３上における異常光Ｒｅと常光Ｒｏとの分離量を一画素分とし、第一画素と第二画素を交互に配置したが、分離量を大きくし、複数画素おきに配置するようにしてもよい。ただし、複屈折光学部１１へ入射する光線の角度が画角毎に変化することを考慮すると、分離量は最低限に留めて敏感度を低くし、どの画角でも一定の分離量が得られるようにすることが好ましい。
また、常光と異常光が分離する方向は、例示した方向以外であってもよい。当該方向は、光学軸１１ａの向きによって自由に設定することができる。
【００５１】
（第三の実施形態）
第三の実施形態に係る撮像装置は、カラーフィルタを備えた撮像素子を有するカラー撮像装置である。
図７は、第三の実施形態に係る撮像装置の構成図である。第三の実施形態に係る撮像装置は、偏光フィルタ部１２と撮像素子１３との間に、各画素に対応したカラーフィルタが設けられているという点において、第二の実施形態と相違する。
以下で説明する点以外の構成については第二の実施形態と同様である。
【００５２】
図８は、第三の実施形態に係る撮像装置における、偏光フィルタ部、カラーフィルタ、撮像素子を示した図である。
図８に示したように、本実施形態に係る撮像装置では、偏光フィルタ部１２と撮像素子１３との間にカラーフィルタ１５が配置されている。カラーフィルタ１５は、赤色、緑色、青色に対応する三種類の波長選択フィルタからなる。赤色フィルタ（Ｒと表記）は主に５８０ｎｍ〜７２０ｎｍの波長帯の光を、緑色フィルタ（Ｇと表記）は主に４４０ｎｍ〜６２０ｎｍの波長帯の光を、青色フィルタ（Ｂと表記）は主に４００ｎｍ〜５４０ｎｍの波長帯の光をそれぞれ透過させる。
また、第三の実施形態では、カラーフィルタ１５がＲＧＢベイヤー配列となっている。すなわち、縦二画素×横二画素に対応する、ＲＧＧＢの各フィルタを一つの組として、フィルタの並びが同一パターンの繰り返しとなるよう、複数の組を並べて配置している。
以降、ＲＧＧＢの四つからなる波長選択フィルタの組を波長フィルタセットと称し、対応する四つの画素の組を画素セットと称する。
【００５３】
また、偏光フィルタ部１２は、図８に示したように、波長フィルタセットごとに偏光方向が切り換わる構成となっている。すなわち、縦二画素×横二画素単位で、第一偏光フィルタと第二偏光フィルタとを交互に配置している。
偏光フィルタ部１２に示した番号は、他の実施形態と同様に、偏光板が透過させる光の偏光方向を表している。すなわち、１番のフィルタ（第一偏光フィルタ）が、異常光を透過させるフィルタであり、２番のフィルタ（第二偏光フィルタ）が、常光を透過させるフィルタである。
【００５４】
本実施形態では、二画素単位で、第一偏光フィルタと第二偏光フィルタを交互に配置しているため、常光Ｒｏと異常光Ｒｅとの分離量を二画素分（４μｍ）にする必要がある。そこで、本実施形態では、複屈折光学部１１の光学軸１１ａの方向を、第二の実施形態より更に傾け、常光Ｒｏと異常光Ｒｅとの分離量を拡大している。
具体的には、複屈折光学部１１に水晶を用い、その光学軸１１ａの向きを、撮像光学系の光軸１０ａに対して垂直な方向から６．２８度傾けている。換言すれば、複屈折光学部の光学軸１１ａと撮像光学系の光軸１０ａとがなす角度を８３．７２度としている。
また、複屈折光学部１１の厚みｄを３．１１５ｍｍとしている。これにより、通過する異常光Ｒｅの光路長Ｌｅが４．８３８ｍｍ、常光Ｒｏの光路長Ｌｏが４．８１０ｍｍとなり、光路長差ΔＬ＝０．０２８ｍｍを確保することができる。
【００５５】
第三の実施形態によると、ＲＧＧＢの各色に対応する波長フィルタセットを一単位として第一偏光フィルタと第二偏光フィルタを配置することで、焦点位置が異なる二枚のカラー画像を同時に撮影することができる。
【００５６】
なお、本実施形態では、複屈折光学部として水晶を用いたが、第一の実施形態と同様に、他の物質を用いてもよい。例えば、複屈折光学部に方解石を用いても良い。この場合、光学軸１１ａの向きを、撮像光学系の光軸１０ａに対して垂直な方向から５．７２度傾け、複屈折光学部の光学軸１１ａと撮像光学系の光軸１０ａとがなす角度βを８４．２９度とする。加えて、複屈折光学部１１の厚みｄを０．１６５ｍｍとすると、分離量Ｄが２μｍ、光路差ΔＬが０．０２８ｍｍとなる。
また、複屈折光学部として液晶を用いても良い。この場合も、光学軸１１ａの向きを撮像光学系の光軸１０ａに対して垂直な方向から５．７２度傾け、複屈折光学部の光学軸１１ａと撮像光学系の光軸１０ａとがなす角度βを８４．２９度とする。加えて、複屈折光学部１１の厚みｄを０．１４２ｍｍとすると、分離量Ｄが２μｍ、光路差ΔＬが０．０２８ｍｍとなる。
【００５７】
また、第三の実施形態では、波長選択フィルタの種類を赤色、緑色、青色の三種類としたが、他の波長に対応したフィルタを用いてもよい。例えば、主に７００ｎｍ〜９００ｎｍの波長を透過させる近赤外線フィルタや、主に１．２μｍ〜１．５μｍの波長を透過させる赤外線フィルタ、主に３００ｎｍ〜４００ｎｍの波長を透過させる紫外線フィルタなどを用いてもよい。
【００５８】
（第三の実施形態の変形例）
第三の実施形態では、第一偏光フィルタと第二偏光フィルタとを一画素ずつ配置したが、例えば、図９のように、縦横それぞれ二画素分の大きさを有する偏光板を並べるように
してもよい。このようにすることで、偏光板の境界における光量ロスを減らすことができ、明るさを確保することができる。また、偏光板の枚数を減らすことができるため、製造が容易になるといった利点がある。
【００５９】
（第四の実施形態）
第一ないし第三の実施形態では、第一画素と第二画素をそれぞれ用いて異常光画像および常光画像を生成し、被写体距離の計測を行った。しかし、この方法を用いると、画像の生成において、撮像素子が有する全画素のうちそれぞれ半分の画素しか使用することができないため、出力される画像の解像度が低くなってしまう。
第四の実施形態は、これに対応するため、第三の実施形態における画素セットに含まれる画素のうち、一部の画素のみを用いて測距を行う実施形態である。
以下で説明する点以外の構成については第三の実施形態と同様である。
【００６０】
図１０（Ａ）は、第四の実施形態に係る撮像装置における、偏光フィルタ部、カラーフィルタ、撮像素子を示した図である。また、図１０（Ｂ）は、カラーフィルタ１５のみを拡大した図であり、図１０（Ｃ）は、偏光フィルタ部１２のみを拡大した図である。
第四の実施形態においても、第三の実施形態と同様に、撮像素子１３の手前にカラーフィルタ１５が配置され、更にその手前に偏光フィルタ部１２が配置されている。また、カラーフィルタ１５は、第三の実施形態と同様に、ＲＧＢベイヤー配列となっている。
図１０（Ｂ）からもわかるように、各波長フィルタセットには、同じスペクトル透過率を有するカラーフィルタが二つずつ（すなわち、緑色フィルタＧ１と緑色フィルタＧ２）存在している。
第四の実施形態では、これを利用し、緑色フィルタＧ１と緑色フィルタＧ２に対応する画素のみを用いて、焦点位置の異なる複数の画像を取得する。
【００６１】
具体的には、赤色フィルタＲ、緑色フィルタＧ１、青色フィルタＢに対応する画素に第一偏光フィルタを設置し、緑色フィルタＧ２に対応する画素に第二偏光フィルタを設置する。そして、撮像素子上における常光と異常光の結像位置が、図１０（Ｃ）に示した矢印Ｐの方向にずれるように光学軸１１ａの方向を設定する。また、常光Ｒｏと異常光Ｒｅとの分離量が、斜め方向の一画素分（画素間隔の１．４倍＝２．８μｍ）となるように、光学軸１１ａの方向および複屈折光学部１１の厚さを設定する。
【００６２】
第四の実施形態に係る撮像装置は、複屈折光学部１１に水晶を用い、その光学軸１１ａの向きを、撮像光学系の光軸１０ａに対して垂直な方向から４．４５度傾けている。換言すれば、複屈折光学部の光学軸１１ａと撮像光学系の光軸１０ａとがなす角度を８５．５５度としている。
また、複屈折光学部１１の厚みｄを３．０９６ｍｍとしている。これにより、通過する異常光Ｒｅの光路長Ｌｅが４．８０９ｍｍ、常光Ｒｏの光路長Ｌｏが４．７８１ｍｍとなり、光路長差ΔＬ＝０．０２８ｍｍを確保することができる。
【００６３】
また、第四の実施形態に係る撮像装置は、画像処理部１４が、緑色フィルタに対応した画素のみを用いて、測距用の画像を生成する。具体的には、緑色フィルタＧ１に対応する画素のみを用いて測距用の第一画像を生成し、緑色フィルタＧ２に対応する画素のみを用いて測距用の第二画像を生成する。また、Ｒ，Ｇ１，Ｂの各フィルタに対応する画素を用いて、観賞用の画像を生成する。
このようにして取得した測距用の二枚の画像は、緑色の成分のみが含まれる画像であるが、画像中の被写体の位置が互いに一致しているため、ＤＦＤ法によって問題なく被写体距離を取得することができる。
また、赤色、緑色、青色に対応する全画素を用いて観賞用の画像を生成するため、第三の実施形態よりも解像度が高く、画質が高い観賞用画像を生成することができる。また、
高画質な観賞用画像を入力として、ぼけ付加などの画像処理を行うことができる。
【００６４】
なお、本実施形態では、複屈折光学部として水晶を用いたが、第一の実施形態と同様に、他の物質を用いてもよい。例えば、複屈折光学部に方解石を用いても良い。この場合、光学軸１１ａの向きを、撮像光学系の光軸１０ａに対して垂直な方向から４．０５度傾け、複屈折光学部の光学軸１１ａと撮像光学系の光軸１０ａとがなす角度βを８５．９５度とする。加えて、複屈折光学部１１の厚みｄを０．１６４ｍｍとすると、分離量Ｄが２．８μｍ、光路差ΔＬが０．０２８ｍｍとなる。
また、複屈折光学部として液晶を用いても良い。この場合も、光学軸１１ａの向きを撮像光学系の光軸１０ａに対して垂直な方向から４．０５度傾け、複屈折光学部の光学軸１１ａと撮像光学系の光軸１０ａとがなす角度βを８５．９５度とする。加えて、複屈折光学部１１の厚みｄを０．１４１ｍｍとすると、分離量Ｄが２μｍ、光路差ΔＬが０．０２８ｍｍとなる。
【００６５】
また、本実施形態では、緑色フィルタに対応する画素のみを用いて測距を行ったが、波長フィルタセットに、同一の波長の光に対応する複数のフィルタが含まれていれば、当該フィルタに対応する画素のみを用いて測距を行うようにしてもよい。
【００６６】
（変形例）
なお、各実施形態の説明は本発明を説明する上での例示であり、本発明は、発明の趣旨を逸脱しない範囲で適宜変更または組み合わせて実施することができる。例えば、本発明は、上記処理の少なくとも一部を含む撮像装置として実施することもできるし、撮像装置の制御方法として実施することもできる。また、当該方法を撮像装置に実行させるプログラムとして実施することもできる。また、静止画だけでなく、動画像を撮影する装置として実施してもよい。上記処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。
【符号の説明】
【００６７】
１・・・撮像装置、１０・・・撮像光学系、１１・・・複屈折光学部、１２・・・偏光フィルタ部、１３・・・撮像素子
【図１】
2015046777.tif 000016
【図２】
2015046777.tif 000017
【図３】
2015046777.tif 000018
【図４】
2015046777.tif 000019
【図５】
2015046777.tif 000020
【図６】
2015046777.tif 000021
【図７】
2015046777.tif 000022
【図８】
2015046777.tif 000023
【図９】
2015046777.tif 000024
【図１０】
2015046777.tif 000025
【図１１】
2015046777.tif 000026