(57)【要約】  【課題】格子パターンを用いて被写体の画像を撮影する撮像装置の撮影画像の画質を改善する。  【解決手段】撮像装置は、受光面で受光した光を画像信号として出力する画像センサと、前記受光面に近接して設けられ、同心円状に配列された複数の輪帯で構成される格子パターンを有し、前記受光面の方向へ前記格子パターンを透過する光の位相を変調する位相変調素子と、前記画像センサから出力される前記画像信号に対して画像処理を行う画像処理部と、を備える。前記位相変調素子と前記画像センサの間隔は、前記格子パターンの同心円の軸方向の被写体の距離に置いた点光源からの光を入射した場合の、同心円状の格子パターンの射影像の１周期の幅に対する明部の半値幅のデューティー比が０．５以下となるように設定されている。【選択図】図１
2018195870.tif 000002
【特許請求の範囲】
【請求項１】
受光面で受光した光を画像信号として出力する画像センサと、
前記受光面に近接して設けられ、同心円状に配列された複数の輪帯で構成される格子パターンを有し、前記受光面の方向へ前記格子パターンを透過する光の位相を変調する位相変調素子と、
前記画像センサから出力される前記画像信号に対して画像処理を行う画像処理部と、を備え、
前記位相変調素子と前記画像センサの間隔は、前記格子パターンの同心円の軸方向の被写体の距離に置いた点光源からの光を入射した場合の、同心円状の格子パターンの射影像の１周期の幅に対する明部の半値幅のデューティー比が０．５以下となるように設定されている
撮像装置。
【請求項２】
請求項１に記載の撮像装置であって、
前記撮像装置で撮影される撮影画像の直径または一辺の大きさを解像できる２つの点像の画素間隔で割った直径または一辺の解像点数は、前記位相変調素子の大きさを前記位相変調素子の最外周のピッチで割った値の、２倍以上となるように設定されている
撮像装置。
【請求項３】
請求項１に記載の撮像装置であって、
前記位相変調素子は、同心円状に配列された複数の円環状シリンドリカルレンズによって構成され、
前記位相変調素子と前記画像センサの間隔は、前記デューティー比が満たされる範囲において前記円環状シリンドリカルレンズの焦点が合うように設定されている
撮像装置。
【請求項４】
請求項１に記載の撮像装置であって、
前記位相変調素子は、同心円状に配列された複数の円環状シリンドリカルレンズによって構成され、
前記格子パターンの同心円の中心からｎ番目の円環状シリンドリカルレンズの中心の半径は、ｃ√（ｎ＋φｉ）（ｃ：定数、φｉ：位相、φｉ＝ｉ／Ｍ、ｉ＝０，１，・・・，Ｍ−１、Ｍ：位相分割数）で与えられる
撮像装置。
【請求項５】
請求項１に記載の撮像装置であって、
前記位相変調素子は、位相の異なる複数の前記格子パターンが同一面内に配列されて構成される
撮像装置。
【請求項６】
請求項１に記載の撮像装置であって、
前記格子パターンの内側の第１の領域は、前記格子パターンの同心円の中心からの半径に反比例してピッチが細かくなる同心円状の第１のパターンで構成され、
前記格子パターンの外側の第２の領域は、前記第１のパターンからｍ個置き（ｍは任意の自然数）に同心円を間引いた第２のパターンで構成される
撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関し、特にその小型化及び薄型化に有効な技術に関する。
【背景技術】
【０００２】
スマートフォンなどの端末に搭載するカメラや、３６０°センシングが必要となりつつある車載カメラは、薄型化が必要とされている。これに関して、特許文献１は、レンズを用いることなく同心円状の格子パターンを画像センサの直前に配置し、被写体からの光による格子パターンの射影像にもう一つの格子像を重ねることでモアレ縞を得て、このモアレ像から画像処理により被写体の撮影画像を得る、という撮像装置について開示している。
【０００３】
また、特許文献１は、印刷などの手法で形成された濃淡の格子パターンを用いることで生じる光量損失を改善するために、光を遮蔽しないように格子パターンをシリンドリカルレンズによって形成することについて開示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開第２０１６／２０３５７３号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１は、格子パターンの射影像が正弦波状の光強度分布を与える程度の集光を意図しているため、多数の点光源による射影像の重ね合わせにより格子パターンの射影像の変調度が低下し、再生画像のＳ／Ｎ比が低下するという問題がある。
【０００６】
また、再生画像を大きく撮影するために実効的な焦点距離を延ばそうとすると、格子パターンと画像センサの距離を広げる必要が生じる。このとき、画像センサの画素ピッチの２倍程度に十分に細かいモアレ縞を得ようとすると、シリンドリカルレンズの焦点距離も延ばす必要がある。しかし、シリンドリカルレンズの輪帯幅に対してその焦点距離が長くなると、レンズの集光作用よりも輪帯幅による回折の影響が大きくなり集光作用がなくなるという問題がある。
【０００７】
本発明は、上記の問題を鑑みてなされたものであり、格子パターンを用いて被写体の画像を撮影する撮像装置の撮影画像の画質を改善することを目的とする。
【課題を解決するための手段】
【０００８】
本願は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下のとおりである。
【０００９】
本発明の一態様は、撮像装置であって、受光面で受光した光を画像信号として出力する画像センサと、前記受光面に近接して設けられ、同心円状に配列された複数の輪帯で構成される格子パターンを有し、前記受光面の方向へ前記格子パターンを透過する光の位相を変調する位相変調素子と、前記画像センサから出力される前記画像信号に対して画像処理を行う画像処理部と、を備え、前記位相変調素子と前記画像センサの間隔は、前記格子パターンの同心円の軸方向の被写体の距離に置いた点光源からの光を入射した場合の、同心円状の格子パターンの射影像の１周期の幅に対する明部の半値幅のデューティー比が０．５以下となるように設定されている。
【発明の効果】
【００１０】
本発明によれば、格子パターンを用いて被写体の画像を撮影する撮像装置の撮影画像の画質を改善することができる。
【００１１】
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【００１２】
【図１】第１実施形態に係る撮像装置の構成例を示す図である。
【図２】高調波成分とデューティー比の関係を説明する図である。
【図３】画像センサ上の透過光強度分布を説明する模式図である。
【図４】異なる同心円パターンを重ねた場合のモアレ縞の生成を説明する図である。
【図５】同じ同心円パターンを重ねた場合のモアレ縞の生成を説明する図である。
【図６】第２実施形態に係る撮像装置の構成例を示す図である。
【図７】第３実施形態に係る同心円パターンの例を説明する図である。
【図８】同心円パターンの各同心円のピッチの例を説明する図である。
【発明を実施するための形態】
【００１３】
以下の実施形態においては便宜上その必要があるときは、複数のセクションまたは実施の形態に分割して説明するが、特に明示した場合を除き、それらはお互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明等の関係にある。
【００１４】
また、以下の実施形態において、要素の数等（個数、数値、量、範囲等を含む）に言及する場合、特に明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でもよい。
【００１５】
さらに、以下の実施形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。
【００１６】
同様に、以下の実施形態において、構成要素等の形状、位置関係等に言及するときは特に明示した場合および原理的に明らかにそうではないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。このことは、上記数値および範囲についても同様である。
【００１７】
また、実施形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。以下、本発明の各実施形態について図面を用いて説明する。
【００１８】
［第１実施形態］
図１は、第１実施形態に係る撮像装置１０１の構成例を示す図である。
【００１９】
撮像装置１０１は、通常のカメラが備えるような結像させるための撮像レンズを用いることなく、外界の物体の画像を取得するものである。撮像装置１０１は、位相変調素子１０２と、画像センサ１０３と、画像処理回路１０９（本発明の「画像処理部」に相当する）とを備える。撮像装置１０１は、被写体Ｔからの光を位相変調素子１０２を通して画像センサ１０３によって受光し、画像センサ１０３から出力される画像信号を画像処理回路１０９によって画像処理することで被写体Ｔの撮影画像を得て、ディスプレイ１１２等の出力装置に出力する。撮像装置１０１は、ディスプレイ１１２等の出力装置を含んでいてもよい。
【００２０】
位相変調素子１０２は、画像センサ１０３の受光面に近接して配置されている。位相変調素子１０２には、同心円状の格子パターンが形成されている。この格子パターンを透過する被写体Ｔからの光は、当該格子パターンによって光の位相が変調され、同心円状の射影像として画像センサ１０３の受光面に現れる。
【００２１】
画像センサ１０３は、面状に配列された複数の受光素子を有し、受光された光画像（射影像）を電気信号である画像信号に変換し、画像処理回路１０９に出力する。画像センサ１０３は、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの素子を用いたイメージセンサで構成することができる。
【００２２】
画像処理回路１０９は、画像センサ１０３からの出力画像に対して、同心円状の格子パターンを乗算することで、モアレ縞画像を生成する。また、画像処理回路１０９は、生成したモアレ縞画像に対して、フーリエ変換演算を行い、その絶対値をとることで、撮影画像を得る。画像処理回路１０９は、生成した撮影画像をディスプレイ１１２に出力する。
【００２３】
上述の撮像装置１０１の構成及び原理について、詳細に説明する。
【００２４】
位相変調素子１０２は、同心円状の格子パターンを形成するように、同心円状に配列された複数の円環状（輪帯状）シリンドリカルレンズ１０４によって構成される。円環状シリンドリカルレンズ１０４の半径方向の曲率は、所定の被写体Ｔの距離にある点光源からの入射光１０５を、輪帯幅の範囲で画像センサ１０３の受光面１０６上に円環状明線１０７（明部）を形成するように集光できる曲率に形成されている。中心からｎ番目の円環状シリンドリカルレンズ１０４の中心の半径位置は、ｃ√（ｎ＋φｉ）（ｃ：定数、φｉ：位相、φｉ＝ｉ／Ｍ、ｉ＝０，１，・・・，Ｍ−１、Ｍ：位相分割数）で与えられる。ただし本実施形態は、ノイズ低減のための複数位相検出を行っていない例であるため、Ｍ＝１、φｉ＝０である。なお、最も内側の円環状シリンドリカルレンズ１０４に囲まれた位相変調素子１０２の中央の円形領域は、ｎ＝０であり、シリンドリカルレンズではなく球面レンズで構成される。このような位相変調素子１０２を光が通過すると、円環状（輪帯状）の明部と暗部が交互に同心円状に現れた格子パターンの射影像が形成される。
【００２５】
ここで、位相変調素子１０２と画像センサ１０３の間の距離１０８は、円環状シリンドリカルレンズ１０４の焦点距離と必ずしも一致していなくてもよい。場合によっては必要以上に円環状明線１０７の幅が細くなりすぎることもあり得る。そこで、本実施形態では、距離１０８は、同心円パターンの軸方向の被写体Ｔの距離に置いた点光源からの光が入射された場合に、円環状明線１０７の半値幅ｗが当該円環状明線１０７近傍の輪帯幅Ｐに対して０．５以下となるように調整される。
【００２６】
半値幅ｗは、円環状明線１０７の半径方向の光強度分布の半値幅である。輪帯幅Ｐは、ある円環状明線１０７とその隣の円環状明線１０７の半径方向の中心間の距離であり、同心円パターンの射影像の１周期の幅とも言える。また、距離１０８は、このデューティー比が満たされる範囲の精度において円環状シリンドリカルレンズ１０４の焦点が合うように調整される、とも言える。このようなデューティー比が設定されるように距離１０８を調整しておくと、射影像の半径方向の光の強度分布は、実際のピッチＰの整数分の１のピッチの輪帯パターンの成分が含まれるのと等価な状況となる。
【００２７】
例えば、ある輪帯の集光断面強度分布が、局所的にピッチＰの周期構造であり、明線の中心位置を原点として半径方向に座標ｘで表す位置の点光源による射影像強度Ｉ（ｘ）であるすれば、それは、
【００２８】
【数１】
2018195870.tif 000003
のようにフーリエ級数展開できる。ここで簡単のため、その集光断面強度分布が幅ｗの矩形形状であるとすれば、
【００２９】
【数２】
2018195870.tif 000004
のようにその展開係数を求めることができる。ここで、Ａは、断面強度分布幅がｗのときの矩形強度値とした。ここで輪帯幅内の強度の積分値Ａｗ＝Ｃ（一定）とすれば、
【００３０】
【数３】
2018195870.tif 000005
のように表せる。これらはそれぞれ直流成分、ｋ倍高調波成分であり、Ｃ／Ｐ＝１としてデューティー比に対してこれらをグラフ化すると、図２のように表せる。
【００３１】
図２は、高調波成分とデューティー比の関係を説明する図である。図２のグラフの縦軸は高調波係数（ａＫ／ａ０）を示し、横軸はデューティー比（ｗ／Ｐ）を示す。図２から、デューティー比が小さくなるほど、フーリエ展開の高調波成分が増えて射影像の変調成分の変調度が向上することが分かる。ここで、ｋ＝１は基本周波数成分であり、通常の射影像成分に相当し、ｋ＝２以上が実際の高調波成分である。高調波成分はデューティー比０．５以下で顕著に増加するため、高調波成分を撮影画像の再生に用いる場合にはデューティー比が０．５以下となるように調整することが望ましいことがわかる。
【００３２】
以上の説明においては、集光断面強度分布の局所的な周期構造を仮定して説明したが、周期構造が徐々に変化する（すなわちピッチＰが徐々に変化する）場合について、図３を用いて説明する。
【００３３】
図３は、画像センサ１０３上の透過光強度分布を説明する模式図である。図３の（ａ）は、遮蔽型の同心円パターン３０２に入射光３０１が入射された場合の透過光強度分布を示す。図３の（ｂ）は、位相変調素子１０２に光３０１が入射された場合の透過光強度分布を示し、さらに光強度分布をフーリエ展開した１次成分と２次成分を示している。なお、遮蔽型の同心円パターン３０２とは、特許文献１に記載されているように、例えば印刷やスパッタリング法などにより形成した濃淡の格子パターンである。
【００３４】
図３から、ピッチＰが一様に変化する場合にも、局所的には周期構造を考えて展開したフーリエ係数が維持され、高調波の周期が基本周波数成分の周期に比例して変化することが分かる。
【００３５】
基本周波数成分の格子パターンの射影像に対して、高調波成分のみの格子パターンの像を画像処理で乗算すると、高調波成分どうしのモアレ縞像を形成することができる。これについて、図４及び図５を用いて説明する。
【００３６】
図４は、異なる同心円パターンを重ねた場合のモアレ縞の生成を説明する図である。図４は、デューティー比が０．５以下で高調波成分を含む基本周波数成分の同心円パターン４０１と、輪帯ピッチが同心円パターン４０１の半分である２倍高調波成分の同心円パターン４０２とを重ねた場合を模式的に示している。図５は、同じ同心円パターンを重ねた場合のモアレ縞の生成を説明する図である。図５は、２倍高調波成分の同心円パターン４０２同士を重ね合わせた場合を模式的に示している。
【００３７】
図４と図５を比較すると、図４の方ではモアレ縞が薄くはなっているものの、図４と図５でほぼ同じピッチのモアレ縞が生じている。このことから、粗い基本周波数成分の同心円パターンからも、実効的に細かい２倍高調波のモアレ縞を生じさせることができることが分かる。
【００３８】
特許文献１に示されている通り、このようなモアレ縞は、入射する光線の角度を反映したピッチと方向を持っており、多数の点光源からの複数パターンのモアレ縞がそれぞれピッチと方向が異なる状態で合成されている。ピッチと方向が異なるモアレ縞は、２次元フーリエ変換によって周波数分解すると、ピッチが原点からの距離に、方向が原点からの方向に対応した輝点に変換される。この輝点はある点光源からの光を表す輝点であるため、その結果、カメラによって結像されたのと同じ画像を得ることができる。多数の点光源からの光も同時にそれぞれの輝点に分解して変換できるので、結局、被写体の像を得ることができる。
【００３９】
なお、２次元フーリエ変換された再生画像の視野の最外周の点像を構成するのは、最も細かいモアレ縞の空間周波数成分であり、最も細かいモアレ縞のピッチは、基本的に画像処理で掛け合わせる同心円パターンの最外周のピッチに等しい。すなわち、再生画像領域の直径または一辺の大きさは、その同心円パターンの最外周のピッチに反比例する。一方、２次元フーリエ変換を高速フーリエ変換（ＦＦＴ）で離散的に行う場合、センサ画像の全域にわたって生じているモアレ縞の周期パターンのフーリエ変換像は、空間周波数に応じた位置の１画素に変換され、周期パターンの生じている領域の直径または一辺の大きさがセンサ幅の１／２になると、フーリエ変換された点像は、２倍に大きくなる。すなわち、再生画像領域の直径または一辺の大きさを解像できる点像の大きさで割った実質的な一辺の解像点数は、周期パターンの生じている領域の直径または一辺の大きさを、掛け合わせる同心円パターンの最外周のピッチで割った値に等しくなる。
【００４０】
したがって、高周波成分を用いる本実施形態の位相変調素子の同心円パターンの大きさを、その最外周のピッチを単位として表した大きさは、再生画像の直径または一辺の実質的な解像点数よりも、用いる高調波次数分の一に小さくなることになる。逆に言えば、本実施形態の効果を得るためには、位相変調素子の最外周のピッチを、位相変調素子の大きさを再生画像領域の直径または一辺の実質的な解像点数で割った値より、２倍以上大きくしておけばよい。または、撮影画像の直径または一辺の大きさを解像できる２つの点像の画素間隔で割った直径または一辺の解像点数が、位相変調素子の大きさを当該位相変調素子の最外周のピッチで割った値の、２倍以上となるようにすればよい。
【００４１】
図１の説明に戻る。画像処理回路１０９は、２倍周波数パターン乗算回路１１０と、高速フーリエ変換回路１１１とを備える。２倍周波数パターン乗算回路１１０は、上記したように２倍周波数同心円パターンを、画像センサ１０３の出力画像に対して乗算する。これによってモアレ縞画像が得られる。高速フーリエ変換回路１１１は、このモアレ縞画像をフーリエ変換し、その絶対値をとることで撮影画像を再生する。
【００４２】
以上、本発明の第一実施形態について説明した。本実施形態によれば、画像センサ１０３に近接させて配置する位相変調素子１０２の同心円状の格子パターンのピッチを、本来必要なピッチよりも粗くできる。これにより、画像センサ１０３と位相変調素子１０２の間隔を広くして視野を狭く、射影像を大きくしても、回折による格子パターンの射影像のぼけを少なくし、再生画像の画質を改善することができる。また、本実施形態によれば、格子パターンの射影像における直流成分に対する変調成分の比率を高くすることができる。これにより、被写体を構成する多数の点光源からの射影像が重なりあった場合にも、格子パターンの射影像の変調度低下を抑えることができ、モアレ縞のコントラストが改善でき、再生画像の画質を改善することができる。
【００４３】
［第２実施形態］
第１実施形態の撮像装置１０１は、画像処理において位相変調素子１０２の２倍高調波パターンを乗算し、得られるモアレ縞画像をそのままフーリエ変換することにより再生画像を得ている。しかし、この構成では、モアレ縞以外の元の同心円パターン成分や、画像処理で乗算される高調波パターン成分が残留し、画像のノイズとして現れて問題となることがある。以下、本発明の第２実施形態について、第１の実施形態と異なる点を中心に説明する。
【００４４】
図６は、第２実施形態に係る撮像装置の構成例を示す図である。第２実施形態に係る撮像装置１０１は、第１実施形態の位相変調素子１０２に替えて複合位相変調素子６０１を備える。また、第２実施形態に係る画像処理回路１０９は、２倍周波数パターン乗算回路１１０に替えて３倍周波数パターン乗算回路６０２及び３倍周波数モアレ抽出回路６０３を備える。
【００４５】
複合位相変調素子６０１は、画像センサ１０３の受光面に近接して配置されている。複合位相変調素子６０１には、位相の異なる複数の同心円状の格子パターンが同一面内に形成されている。具体的には、複合位相変調素子６０１には、９枚の異なる同心円状の格子パターンが受光面の縦横方向に３×３で配置されている。それぞれの格子パターンは、第１実施形態と同様に同心円状に配列された複数の円環状シリンドリカルレンズによって形成されている。それぞれの格子パターンにおいて、中心からｎ番目の円環状シリンドリカルレンズの中心の半径位置は、ｃ√（ｎ＋φｉ）（ｃ：定数、φｉ：位相、φｉ＝ｉ／Ｍ、ｉ＝０，１，・・・，Ｍ−１、Ｍ：位相分割数、Ｍ＝９）で与えられ、図中のφ１〜φ９がそれぞれの位相値に対応している。
【００４６】
以下、高調波成分を含む同心円パターンのモアレ縞からノイズを除去してモアレ縞成分を抽出できることを理論的に説明する。
【００４７】
被写体Ｔを構成するｐ番目の点光源（強度Ａｐ）によって、画像センサ上に射影される多数の高調波成分を含む１つの同心円パターンを、
【００４８】
【数４】
2018195870.tif 000006
と表す。ｘ、ｙは画像センサ上の局所的な位置座標、ｋは高調波次数、βは同心円パターンのピッチを反映した定数、φＦは同心円パターンの位相である。これを用いてさらにＮ個の点光源によって画像センサ上に合成されたセンサ画像に、ｋ´次の高調波成分を乗じた分布は、
【００４９】
【数５】
2018195870.tif 000007
のようになる。ここで、φＢは画像処理で乗じる仮想的な同心円パターンの位相であり、ｒ２は半径座標の２乗でありｘ２＋ｙ２である。簡単のため、点光源の位置の２次の項を無視すれば、
【００５０】
【数６】
2018195870.tif 000008
となり、この最後の項がｒ２の位相変動のない直線的なモアレ縞となる成分である。それ以外の項はすべてノイズであり、除去することが必要となる。さらに簡単のため、信号となるモアレ成分もノイズも合わせて、
【００５１】
【数７】
2018195870.tif 000009
のように表す。ここで、θ１ｋｐ、θ２ｋｐはそれぞれ、ノイズの位相項と、信号のモアレ成分を含む位相項である。これに対して位相変調素子の位相と仮想同心円パターンの位相を含む複素指数関数を乗じて各位相で２重積分すると、
【００５２】
【数８】
2018195870.tif 000010
のように信号成分の位相項のみを抽出することができる。ここでは任意の項を抜き出せるという意味で第ｋ項を抜き出しているが、モアレ成分であったｋ´項を抜き出せば、それが信号となるＮ個の点光源によるモアレ縞の合成の分布である。逆に言えば信号となるｋ倍高調波によるモアレ縞成分は、
【００５３】
【数９】
2018195870.tif 000011
のように抜き出すことができる。したがってこれをフーリエ変換すると
【００５４】
【数１０】
2018195870.tif 000012
のようにして、ｐ番目の点光源が、点光源の位置（ｘｐ、ｙｐ）に比例した位置に、点光源の強度Ａｐに比例した輝度の輝点を生じる分布を得ることができ、被写体の像を再生できることが分かる。ここで、右辺のＦ［］はフーリエ変換の演算を表す。このとき、画像の明るさは高調波の展開係数αｋに比例しており、なるべく係数の大きい高次項を選ぶことが必要であることが分かる。
【００５５】
式（１０）の右辺で行う、モアレ縞成分の抽出のための積分は、実際にはその位相値をあまり細かく選ぶことはできない。逆に言えば、異なる次数間でのエリアジングの生じない程度のサンプリング点数に抑える必要がある。しかし本実施形態で示している３倍高調波を用いる場合は、少なくとも３倍高調波成分が抽出できるサンプリング点数が必要であり、３倍高調波の１周期を３点はサンプリングしないと三角関数の直交性が成り立たない。同時に基本周波数成分も１周期全体をサンプリングしないとノイズを除去できない。基本周波数成分１周期には３倍高調波が３周期含まれるため、結局３×３の９点の位相サンプリングが必要となる。このため、図６においては、φ１からφ９の９点の位相サンプリングを行うため、複合位相変調素子６０１には受光面内にそれぞれの位相の同心円パターンの開口を並べて配置している。
【００５６】
なお、上記のような位相サンプリングは、液晶素子のような可変変調素子を用いて、時間的に順に行うようにしてもよい。
【００５７】
３倍周波数パターン乗算回路６０２は、画像センサ１０３からの出力画像のそれぞれの位相エリアに対して、上記したように対応する３倍周波数同心円パターンを乗算する。式（１０）における仮想同心円パターンの位相積分は、掛け合わせる仮想同心円パターンが３倍高調波成分だけでよいので、その位相サンプリングは最小３点あればよい。３倍周波数モアレ抽出回路６０３は、乗算により得られたこれらのモアレ縞画像に対して式（９）の演算を行う。高速フーリエ変換回路１１１は、これらのモアレ縞画像をフーリエ変換し、その絶対値をとることで撮影画像を再生する。
【００５８】
以上、本発明の第二実施形態について説明した。本実施形態によれば、モアレ縞以外の元の同心円パターン成分や、画像処理で乗算される高調波パターン成分の残留を低減し、撮影画像の画質を向上することができる。
【００５９】
なお、本実施形態では、３倍周波数を用いる場合を示しているが、２倍周波数や４倍以上の周波数を用いることも考えられる。この場合、複合位相変調素子６０１には、例えば、２倍周波数であれば４枚の異なる同心円状の格子パターンが受光面の縦横方向に２×２で配置され、４倍周波数であれば１６枚の異なる同心円状の格子パターンが受光面の縦横方向に４×４で配置される。
【００６０】
［第３実施形態］
位相変調素子の同心円パターンのピッチを広げて回折の影響を低減し、モアレ縞のコントラストを改善しても、高調波成分を用いることで実質的に細かいピッチの位相変調素子を用いたのと同等の撮影像を得ることができることを、第１実施形態及び第２実施形態で説明した。しかし元々、特許文献１に記載されているように、同心円パターンのピッチは、まっすぐな等間隔のモアレ縞を得るためには、中心部分で粗く周辺へ向かうほど細かく設定する必要がある。このため、同心円パターンのピッチを粗くすると、元々ピッチの広かった中心部分のピッチがさらに広がることになり、中心部分が寄与するエリアのモアレ縞のコントラストが局所的に低下する懸念がある。以下、第３実施形態について、第１実施形態及び第２実施形態と異なる点を中心に説明する。
【００６１】
本実施形態の位相変調素子は、中心から第１の半径までの第１の領域（円領域）では、中心からの半径に反比例してピッチが細かくなる同心円状の基本格子パターンで構成される。一方、位相変調素子は、第１の半径から外側の第２の半径までの第２の領域（円環状領域）では、上記の基本格子パターンからｍ個置き（ｍは任意の自然数）に同心円（輪帯）を間引いた格子パターンで構成される。つまり、位相変調素子の格子パターンは、中心部分は基本周波数のままで、最も内側と最も外側の中間部の半径位置からｍ本とばしになるようなパターンである。なお、基本格子パターンは、まっすぐな等間隔のモアレ縞を形成することができる周期構造である。このような同心円パターンの例について、図７及び図８を参照して説明する。
【００６２】
図７は、第３実施形態に係る同心円パターンの例を説明する図である。図８は、同心円パターンの各同心円のピッチの例を説明する図である。図７の（ａ）は、中心から外周まで基本となる周波数で配置された同心円パターンであり、図７の（ｂ）は、その中心から６本目の輪帯から１本とばしで輪帯を削除した場合の同心円パターンである。図８は、各輪帯の輪帯番号と、当該輪帯の中央領域の外径を１としたときの相対的な半径とを示す。図８では、図７の（ｂ）で削除された輪帯に、「削除」が対応付けられている。図７の（ｃ）は、（ａ）の同心円パターンを相対的にずらして重ね合わせたものであり、図７の（ｄ）は、（ａ）と（ｂ）を（ｃ）とほぼ同等のずれ量でずらして重ねたものである。
【００６３】
図７の（ｄ）においては、（ｃ）に比べてモアレ稿が薄くなってはいるものの、（ｃ）とほぼ同じピッチでモアレ縞ができていることが分かる。つまり、中央部分を基本として上述の式（４）におけるβをある半径から外側で１／２とするような同心円パターンも採用可能であることを示している。
【００６４】
以上、本発明の第３実施形態について説明した。上述のような格子パターンの位相変調素子を用いることで、同心円パターン全体でピッチの均一化を図り、回折の影響を軽減するとともに、さらなる画質改善を期待できる。
【００６５】
なお、本発明は上記した実施の形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
【００６６】
また、ある実施の形態の構成の一部を他の実施の形態の構成に置き換えることが可能であり、また、ある実施の形態の構成に他の実施の形態の構成を加えることも可能である。また、各実施の形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【００６７】
また、上述の各実施形態の画像処理回路は、それと同等の機能を実現できるのであれば、例えば、所定のソフトウェアプログラムを実行するＣＰＵ（Central Processing Unit）等の演算装置を含むコンピュータで実現してもよいし、画像処理回路とコンピュータの組み合わせで実現してもよい。また、上述の各実施形態の位相変調素子は、同心円状パターンの複数の円環状シリンドリカルレンズと同等の機能を実現できるのであれば、シリンドリカルレンズに限られず、フィルムや基板などのその他の素子で実現してもよい。
【００６８】
本発明は、撮像装置に限らず、撮像方法などの様々な態様で提供することができる。
【符号の説明】
【００６９】
Ｔ…被写体、１０１…撮像装置、１０２…位相変調素子、１０３…画像センサ、１０４…円環状シリンドリカルレンズ、１０５…画像センサへの入射光、１０６…画像センサの受光面、１０７…円環状明線、１０８…位相変調素子と画像センサの距離、１０９…画像処理回路、１１０…２倍周波数パターン乗算回路、１１１…高速フーリエ変換回路、１１２…ディスプレイ、３０１…入射光、３０２…遮蔽型の同心円パターン、４０１…高周波成分を含む同心円パターン、４０２…２倍高調波成分の同心円パターン、６０１…複合位相変調素子、６０２…３倍周波数パターン乗算回路、６０３…３倍周波数モアレ抽出回路
【図１】
2018195870.tif 000013
【図２】
2018195870.tif 000014
【図３】
2018195870.tif 000015
【図４】
2018195870.tif 000016
【図５】
2018195870.tif 000017
【図６】
2018195870.tif 000018
【図７】
2018195870.tif 000019
【図８】
2018195870.tif 000020