(57)【要約】【課題】機械的機構が不要で、かつ、従来よりも柔軟な制御が可能なモアレ抑制方法及び撮像装置を提供する。【解決手段】光電変換層１０２を共有する複数の画素１９０ａ及び１９０ｂを有する撮像素子１００で得られる画像のモアレを抑制するモアレ抑制方法であって、光電変換層１０２に第１の電圧を印加して撮像する第１の電圧印加ステップ（Ｓ１０）と、撮像にてモアレが発生しているか否かを判定する判定ステップ（Ｓ１１）と、モアレが発生していると判定したときに、光電変換層１０２に第１の電圧とは異なる第２の電圧を印加して撮像する第２の電圧印加ステップ（Ｓ１２）を含む。【選択図】図５
2018182380.tif 000002
【特許請求の範囲】
【請求項１】
光電変換層を共有する複数の画素を有する撮像素子で得られる画像のモアレを抑制するモアレ抑制方法であって、
前記光電変換層に第１の電圧を印加して撮像する第１の電圧印加ステップと、
前記撮像にてモアレが発生しているか否かを判定する判定ステップと、
前記モアレが発生していると判定したときに、前記光電変換層に前記第１の電圧とは異なる第２の電圧を印加して撮像する第２の電圧印加ステップと
を含む
モアレ抑制方法。
【請求項２】
前記複数の画素のそれぞれは、前記光電変換層を挟むように配置された、当該画素に唯一の画素電極、及び、当該画素に唯一又は前記複数の画素に共通の対向電極を有し、
前記第１の電圧及び前記第２の電圧は前記複数の画素のそれぞれの画素に対応する前記画素電極と前記対向電極との間に印加される電圧である
請求項１記載のモアレ抑制方法。
【請求項３】
前記第２の電圧は前記第１の電圧よりも小さい
請求項２記載のモアレ抑制方法。
【請求項４】
前記複数の画素のそれぞれは、前記光電変換層の裏面に配置された、当該画素に唯一の画素電極と、
前記光電変換層の平面視において前記複数の画素の画素電極の間に位置する制御電極とを有し、
前記第１の電圧及び前記第２の電圧は前記複数の画素のそれぞれの画素に対応する前記画素電極と前記制御電極との間に印加される電圧である
請求項１記載のモアレ抑制方法。
【請求項５】
前記第２の電圧は前記第１の電圧よりも小さい
請求項４記載のモアレ抑制方法。
【請求項６】
光電変換層を共有する複数の画素を有する撮像素子と、
前記光電変換層に電圧を印加する電圧印加回路と、
前記撮像素子による撮像における光学ローパスフィルタとしての効果に関する指示を取得する入力部と、
前記入力部で取得された指示に従って前記光電変換層に印加する電圧を変更するように前記電圧印加回路を制御する制御回路と
を備える撮像装置。
【請求項７】
光電変換層を共有する複数の画素を有する撮像素子と、
前記光電変換層に電圧を印加する電圧印加回路と、
前記撮像素子によって得られた画像に対してモアレに関する分析をし、前記分析の結果に基づいて、前記光電変換層に印加する電圧を変更するように前記電圧印加回路を制御する制御回路と
を備える撮像装置。
【請求項８】
前記制御回路は、前記分析として、１）前記撮像素子によって得られた画像にモアレが発生し易い被写体が含まれるか否かを判断する、２）前記画像にモアレが発生しているか否かを判断する、３）前記画像においてモアレが発生している程度を算出する、及び、４）前記画像においてボケを発生させるべき領域を特定する、の少なくとも一つを行う
請求項７記載の撮像装置。
【請求項９】
前記制御回路は、異なる２種類の電圧を前記光電変換層に印加して撮像することで得られる２種類の画像におけるボケの差分が大きい領域を、前記画像においてボケを発生させるべき領域として特定し、前記複数の画素のうち、特定した前記領域に対応する画素を対象として、前記光電変換層に印加する電圧を変更するように前記電圧印加回路を制御する
請求項８記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、撮像素子で得られる画像のモアレを抑制するモアレ抑制方法、及び、モアレを抑制する機能を有する撮像装置に関する。
【背景技術】
【０００２】
光強度を電気信号に変換する撮像素子では、標本化定理により、画素の配置ピッチ、つまり、画素の解像度に応じて、撮像素子で得られる光学像の光強度分布における空間周波数に上限が生じる。そのような上限を超える空間周波数成分を多く含む光学像が撮像素子に結像された場合には、撮像素子で得られる画像に、モアレと呼ばれる干渉パターンが生じる。
【０００３】
そこで、従来、モアレを抑制する技術として、様々な技術が提案されている。例えば、特許文献１及び２では、複屈折板で構成される光学ローパスフィルタが用いられている。複屈折板とは、屈折率が異方性を持つ板である。屈折率の異方性により、光学系により結像される光学像が二重像となる。その結果、撮像素子に結像される光学像の空間周波数の上限が制限され、モアレの発生が抑制される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平７−２４５７６２号公報
【特許文献２】特開平８−２１４１９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本開示は、機械的機構が不要で、かつ、従来よりも柔軟な制御が可能なモアレ抑制方法及び撮像装置を提供する。
【課題を解決するための手段】
【０００６】
本開示に係るモアレ抑制方法は、光電変換層を共有する複数の画素を有する撮像素子で得られる画像のモアレを抑制するモアレ抑制方法であって、前記光電変換層に第１の電圧を印加して撮像する第１の電圧印加ステップと、前記撮像にてモアレが発生しているか否かを判定する判定ステップと、前記モアレが発生していると判定したときに、前記光電変換層に前記第１の電圧とは異なる第２の電圧を印加して撮像する第２の電圧印加ステップとを含む。
【発明の効果】
【０００７】
本開示により、機械的機構が不要で、かつ、従来よりも柔軟な制御が可能なモアレ抑制方法及び撮像装置が提供される。
【図面の簡単な説明】
【０００８】
【図１】図１は、実施の形態１に係る撮像素子の構造を示す断面図である。
【図２】図２は、空間周波数成分が変化しない信号電荷の移動の例を示す図である。
【図３】図３は、空間周波数成分が変化する信号電荷の移動の例を示す図である。
【図４】図４は、制御電極に印加する電位を変えた撮像によって得られた画像の例を示す図である。
【図５】図５は、実施の形態１に係るモアレ抑制方法の手順を示すフローチャートである。
【図６】図６は、実施の形態２に係る撮像装置の構成を示すブロック図である。
【図７】図７は、実施の形態２に係る撮像装置の動作を示すフローチャートである。
【図８】図８は、実施の形態３に係る撮像装置の構成を示すブロック図である。
【図９】図９は、実施の形態３に係る撮像装置の動作を示すフローチャートである。
【発明を実施するための形態】
【０００９】
（本開示に至った知見）
一般に、光学ローパスフィルタの効果を強くすると、モアレが抑制され易くなるが、逆に、得られる画像の解像感が落ちる。つまり、光学ローパスフィルタの効果と得られる画像の解像感とはトレードオフの関係にある。
【００１０】
特許文献１及び２には、複屈折板からなる部品を回転させることで、光学ローパスフィルタの効果を可変する技術が開示されている。また、特許文献２には、そのような光学ローパスフィルタの効果を可変する手段を用いた高解像撮影モードと通常解像撮影モードとの切り換えが開示されている。
【００１１】
しかしながら、特許文献１及び２の構成では、複屈折板の回転機構等の機械的機構が必要になる。そのため、小型化に制限がある。また機械的機構による切り替えには時間を要する。例えば、動画撮影では、フレームごとに光学ローパスフィルタの効果をＯＮ／ＯＦＦさせることは難しい。また、機械的機構は、摩耗等の問題を生じ得る。
【００１２】
また、特許文献１及び２の技術では、画素の単位で光学ローパスフィルタの効果をＯＮ／ＯＦＦするは困難である。例えば、画像におけるモアレが生じる領域だけに対して光学ローパスフィルタをかけるという、空間での選択的な光学ローパスフィルタのＯＮ／ＯＦＦは難しい。特許文献１及び２が開示する複屈折板を用いた光学ローパスフィルタでは、撮像素子の直上に置く必要があるが、撮像素子への異物の付着及び破損等の懸念があるため、ユーザによる光学ローパスフィルタの取り付け及び取り外しは容易ではない。
【００１３】
このように、従来の方法では、撮像範囲内の特定の領域ごとに光学ローパスフィルタの効果をＯＮ／ＯＦＦしたり、その効果の強弱について変化をつけたりすることは、困難である。
【００１４】
本開示は、機械的機構が不要で、かつ、撮像範囲内の特定の領域ごとに光学ローパスフィルタの効果をＯＮ／ＯＦＦしたり、その効果の強弱変化をつけたりする等の従来よりも柔軟な制御が可能なモアレ抑制方法及び撮像装置を提供する。
【００１５】
以下、本開示の実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序等は、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、本開示の最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、各図は、必ずしも厳密に図示したものではない。各図において、実質的に同一の構成については同一の符号を付し、重複する説明は省略又は簡略化する。
【００１６】
（実施の形態１）
まず、実施の形態１として、光電変換層への印加電圧を変えることでモアレを抑制できる撮像素子、モアレを抑制できる原理、及び、その撮像素子を用いたモアレの抑制方法を説明する。
【００１７】
図１は、実施の形態１に係る撮像素子１００の構造を示す断面図である。ここには、撮像素子１００の光電変換層１０２に電圧を印加する電圧印加回路１１０も併せて図示されている。なお、本図には、本開示の説明に必要な要素のみを記載しており、その他の要素については省略している。例えば、撮像素子には、暗電流を低減するためのブロッキング層、及び、外気による劣化を抑制するための封止層等が設けられることが一般的であるが、それらは開示の説明に不要であるので省略している。また、各要素の形状、大きさ等は、厳密なものではない。これらのことは、他の図についても同様である。
【００１８】
本開示の撮像素子１００は、複数の画素１９０ａ及び１９０ｂを含む。なお、図１では、複数の画素として、２個の画素１９０ａ及び１９０ｂが例示されているが、３以上の画素が含まれてもよい。
【００１９】
画素１９０ａ及び１９０ｂは、それぞれ、少なくとも１つの画素電極１０１ａ及び１０１ｂを持つ。画素電極１０１ａ及び１０１ｂは、光電変換層１０２で発生した信号電荷を捕集する機能を持つ。画素電極１０１ａ及び１０１ｂで捕集された信号電荷は、それぞれ、必要に応じて電荷蓄積領域１０５ａ及び１０５ｂに蓄積された後、電荷量測定器（図示せず）により電荷量が測定される。画素１９０ａ及び１９０ｂそれぞれの電荷量の測定結果により、画像が生成される。
【００２０】
撮像素子１００は、複数の画素１９０ａ及び１９０ｂによって共有される光電変換層１０２を持つ。光電変換層１０２は、光子を吸収し、正電荷及び負電荷の対を発生させる光電変換機能を有する。この光電変換機能は、例えば有機半導体とフラーレン類等との混合物を用いて実現される。あるいは、カーボンナノチューブのようなナノカーボン類、無機半導体、又は、量子ドット等を用いて構成されてもよい。
【００２１】
光電変換層１０２は、光電変換によって生じた信号電荷が画素電極１０１ａ及び１０１ｂのいずれへも移動可能な状態で配置されている。つまり、光電変換層１０２は、複数の画素１９０ａ及び１９０ｂによって共有されており、画素ごとの絶縁性隔壁を持たない。なお、光電変換層１０２で生じた信号電荷が画素電極１０１ａ及び１０１ｂのいずれにも移動できることは、必ずしも、光電変換層１０２と画素電極１０１ａ及び１０１ｂとが直接接していることを意味するのではない。例えば、光電変換層１０２と画素電極１０１ａ及び１０１ｂとの間に、光電変換機能を有しないが、伝導性の層が配置されてもよい。
【００２２】
なお、光電変換層１０２は、一層から形成されるだけでなく、光電変換特性における波長依存性が異なる複数の層から形成されてもよい。例えば、主として可視光に反応する層と、主として赤外線に反応する層との積層構造で光電変換層１０２が構成されてもよい。
【００２３】
撮像素子１００は、対向電極１０３を持つ。対向電極１０３は、通常ＩＴＯ（Ｉｎｄｉｕｍ  Ｔｉｎ  Ｏｘｉｄｅ）等の透明導電体で構成され、本実施の形態では、全ての画素１９０ａ及び１９０ｂに共通な電極である。ただし、対向電極１０３は、全ての画素１９０ａ及び１９０ｂに共通である必要はなく、画素１９０ａ及び１９０ｂのそれぞれ用に分離されていてもよい。
【００２４】
本実施の形態では、撮像素子１００は、モアレの抑制度合いを調整するための制御電極１０４を備えている。制御電極１０４の配置位置は、例えば、光電変換層１０２の平面視において複数の画素電極１０１ａ及び１０１ｂの間である。ただし、このような位置以外の配置位置でもよい。本実施の形態では、図１に示される複数の制御電極１０４は、電気的に接続され、一つの電極を構成している。ただし、制御電極１０４は、このような一体の電極に限られず、電気的に複数に分離されていてもよい。例えば、制御電極１０４は、画素ごとに独立して設けられ、独立した電位が印加されてもよい。
【００２５】
制御電極１０４は、電圧印加回路１１０と電気的に接続され、電圧印加回路１１０によって電圧が印加される。印加される電圧は、電圧印加回路１１０によって変更され得る。なお、制御電極１０４は、モアレを抑制するために撮像素子１００に必須ではない。画素電極１０１ａ及び１０１ｂに対して信号電荷が移動できるように配置された光電変換層１０２を持ち、かつ、その画素電極１０１ａ及び１０１ｂへの信号電荷の分配が電圧印加回路１１０により変更可能であれば、制御電極１０４は不要である。例えば、図１に示される電圧印加回路１１０のように、画素電極１０１ａ及び１０１ｂと対向電極１０３との間に印加する電圧を変更できるのであれば、制御電極１０４は不要である。
【００２６】
電圧印加回路１１０は、光電変換層１０２に電圧を印加する可変電圧源であり、光電変換層１０２に第１の電圧または第２の電圧を印加する。具体的には、本実施の形態では、電圧印加回路１１０は、外部から与えられる制御信号に従い、対向電極１０３、画素電極１０１ａ、画素電極１０１ｂ、及び、制御電極１０４のそれぞれに対して独立に電位を印加できる。
【００２７】
なお、電圧印加回路１１０は、このような構成に限られず、少なくとも、複数の画素それぞれの画素電極１０１ａ及び１０１ｂと対向電極１０３との間に印加する電圧を変更できる構成、又は、複数の画素それぞれの画素電極１０１ａ及び１０１ｂと制御電極１０４との間に印加する電圧を変更できる構成を備えればよい。また、電圧印加回路１１０は、撮像素子１００に集積化されてもよいし、あるいは、外部に配置され、制御電極１０４と電気的に接続されてもよい。
【００２８】
次に、図１に示された構成により、電圧印加回路１１０によって光電変換層１０２で生じた信号電荷の画素電極１０１ａ及び１０１ｂへの分配を制御できること、及び、その制御によって光学ローパスフィルタとしての効果を制御できる原理を説明する。なお、「分配を制御する」とは、分配の態様を変化させることであり、「効果を制御する」とは、効果の強さを変化させることである。
【００２９】
図２及び図３は、光電変換層１０２、画素電極１０１ａ及び１０１ｂ、対向電極１０３、撮像素子１００の上面に結像される光学像１５０、光電変換で生じる信号電荷１９９の関係を示す。より詳しくは、図２は、空間周波数成分が変化しない信号電荷１９９の移動の例、つまり、信号電荷１９９が画素電極１０１ａ及び１０１ｂに向けて直進するケースを示す。一方、図３は、空間周波数成分が変化する信号電荷１９９の移動の例、つまり、信号電荷１９９が画素電極１０１ａ及び１０１ｂに向かう方向に対して直交する方向の成分をもって画素電極１０１ａ及び１０１ｂに向けて移動するケースを示す。ここで、図示されるように、光学像１５０に平行な面における直交軸をＸ軸及びＹ軸、光学像１５０に垂直な方向をＺ軸とする。
【００３０】
ところで、結像された光学像１５０には、Ｚ軸方向の成分の情報は含まれていない。撮像に必要な光学像１５０の光強度分布とは、ＸＹ面での光強度分布（つまり、ＸＹ分布）を意味する。なお、本実施の形態では、二次元的に画素が配列された撮像素子１００を前提に説明するが、一次元撮像の場合は、ＸＹ分布をＸ分布と読み替えればよい。なお、図２及び図３ではＸＹ分布のうち、Ｘ軸のみを取り上げて図示している。
【００３１】
光学像１５０は、光子１９５の集合体である。光学像１５０の光強度分布とは、光子１９５の数の空間分布である。光電変換層１０２は、光子１９５を吸収し、吸収した位置において正電荷１９７と負電荷１９８との対を発生させる。つまり、光子１９５が吸収された位置のＸＹ座標と、正電荷１９７及び負電荷１９８が発生する位置のＸＹ座標は一致する。発生する正電荷１９７と負電荷１９８との対の数は、吸収された光子１９５の数に比例する。
【００３２】
なお、光子１９５の吸収は、確率過程であるので、光電変換層１０２のどのＺ座標において行われるはランダムである。ただし、十分な感度を持たせるため、通常、光電変換層１０２の厚みは、無視できない値となる。光子１９５が吸収された位置のＺ座標と、正電荷１９７及び負電荷１９８が発生するＺ座標も一致する。
【００３３】
通常、結像光学系（図示せず）は、できる限り、Ｚ軸に平行に撮像素子１００へ光が入射されるように、設計される。そのため、結像光学系により結像された光学像１５０の光強度分布のＸＹ分布と、正電荷１９７及び負電荷１９８のそれぞれのＸＹ分布とは、同一とみなしてよい。先に述べたように、発生する正電荷１９７の数と負電荷１９８の数とは同一であるので、どちらか一方の電荷のＸＹ分布を測定すれば画像が得られる。ここで、ＸＹ分布の測定の対象となる正電荷１９７及び負電荷１９８を信号電荷１９９と呼ぶ。
【００３４】
光学系により結像された光学像１５０の光強度分布のＸＹ分布と、発生時点の信号電荷１９９のＸＹ分布とは実質的に一致するため、発生時点において信号電荷１９９は光学像１５０の光強度分布と実質的に同じ空間周波数成分を持つ。
【００３５】
信号電荷１９９のＸＹ分布の測定は、ＸＹ平面内に配置された複数の画素電極１０１ａ及び１０１ｂで信号電荷１９９を捕集し、それらを比較することにより行うことができる。ただし、画素電極１０１ａ及び１０１ｂの大きさは有限であり、かつ、配置できる画素電極１０１ａ及び１０１ｂの数は有限であるので、信号電荷１９９のＸＹ分布の空間周波数成分のうち、画素電極１０１ａ及び１０１ｂの間隔により定まる上限以上の成分を正しく取得できないのは先に説明したとおりである。
【００３６】
ここで、発明者らは、信号電荷１９９が発生する位置のＺ座標と、画素電極１０１ａ及び１０１ｂのＺ座標とが異なる点に着目した。光電変換層１０２は有限の厚みを持つ、換言すれば、有限のＺ座標範囲を持つ。画素電極１０１ａ及び１０１ｂは、通常、ある特定のＺ座標を持つＸＹ平面に配置されている。
【００３７】
画素電極１０１ａ及び１０１ｂで信号電荷１９９を捕集するためには、信号電荷１９９はＺ軸方向に移動する必要がある。このとき、図２のように、ＸＹ成分が全く変化しないのであれば、画素電極１０１ａ及び１０１ｂが存在するＸＹ平面に到達した信号電荷１９９のＸＹ分布は、光学像１５０の光強度のＸＹ分布と一致する。つまり、これらのＸＹ分布は、同じ空間周波数成分を持つ。
【００３８】
これに対し、図３のように、信号電荷１９９がＺ軸方向に移動し、画素電極１０１ａ及び１０１ｂが存在するＸＹ平面に到達するまでに、信号電荷１９９の移動におけるＸＹ成分が変化する場合は次の通りである。画素電極１０１ａ及び１０１ｂが存在するＸＹ平面に到達した信号電荷１９９のＸＹ分布は、光学像１５０の光強度のＸＹ分布とは異なったものとなる。つまり、信号電荷１９９のＸＹ分布の空間周波数成分は、光学像１５０の光強度の空間周波数成分とは異なったものとなる。信号電荷１９９のＸＹ分布の空間周波数成分の変化は、信号電荷１９９の画素電極１０１ａ及び１０１ｂへの分配が変化することを意味する。
【００３９】
いま、信号電荷１９９が画素電極１０１ａ及び１０１ｂが存在するＸＹ平面に到達までに、ＸＹ方向にランダムに移動する場合を考える。このＸＹ方向のランダムな移動は、信号電荷１９９のＸＹ分布のうちの高い空間周波数成分を減少させる働きを持つ。つまり、信号電荷１９９のＸＹ方向のランダムな移動は、光学ローパスフィルタと同等の機能を果たす。逆に、信号電荷１９９が画素電極１０１ａ及び１０１ｂが存在するＸＹ平面に到達するまでに、ランダムに変化するＸＹ成分の度合いを制御すれば、光学ローパスフィルタとしての効果を変化させ得ることが分かる。
【００４０】
信号電荷１９９の移動は、電場により駆動される成分と、熱や散乱等に起因するランダムな成分が存在する。後者のランダムな成分を制御することは困難であるが、前者の成分は下記のように電場成分の制御により容易に行うことができる。
【００４１】
いま、信号電荷１９９のＸＹ方向の移動に、ランダムな成分があるとする。ただし、信号電荷１９９の発生から画素電極１０１ａ及び１０１ｂに捕集されるまでに実際にどれだけＸＹ方向に移動するかは、捕集されるまでの時間と、ＸＹ方向の電場成分に依存する。例えば、画素電極１０１ａ及び１０１ｂに捕集されるまでの時間が長ければ、ＸＹ方向にランダムに移動する時間が増えるので、時間に比例してＸＹ方向に移動する距離が大きくなる。つまり、画素電極１０１ａ及び１０１ｂに捕集されるまでの時間が長いほど、光学ローパスフィルタとしての効果が強くなる。
【００４２】
また、ＸＹ方向の電場成分が大きい状態では、ＸＹ方向の移動は電場により規定される部分が大きくなり、相対的にランダムに移動する成分の寄与が小さくなる。つまりＸＹ方向の電場成分が大きいほど、光学ローパスフィルタとしての効果が弱くなる。
【００４３】
信号電荷１９９のＺ軸方向の移動は、基本的に画素電極１０１ａ及び１０１ｂと対向電極１０３との間の電位差によって光電変換層１０２に発生するＺ軸方向を主成分とする電場によるものである。この画素電極１０１ａ及び１０１ｂと対向電極１０３との間の電位差は、それぞれの材料と、それぞれの電極に印加される電位により定まる。前者は製造時に決定されるが、後者は製造後に外部から制御可能である。
【００４４】
一方、画素電極１０１ａ及び１０１ｂ間に配置された制御電極１０４と画素電極１０１ａ及び１０１ｂとの間に電位差が存在すれば、光電変換層１０２内の電場にＸＹ成分が発生する。よって、画素電極１０１ａ及び１０１ｂと対向電極１０３との間の電圧に対して、制御電極１０４と対向電極１０３との間の電圧を変化させれば、光電変換層１０２内の電場のＸＹ成分を変化させることができる。
【００４５】
この光電変換層１０２内の電場のＸＹ成分は、信号電荷１９９のＸＹ方向の積極的移動の駆動力となる。電場のＸＹ成分は、その強度により信号電荷１９９が画素電極１０１ａ及び１０１ｂが存在するＸＹ平面に到達する時のＸＹ座標を変化させ、画素電極１０１ａ及び１０１ｂで信号電荷１９９が捕集される割合を変化させる。結果として制御電極１０４に印加する電位の変化は、光学ローパスフィルタとしての効果を変化させる機能を果たす。制御電極１０４に印加する電位は、電圧印加回路１１０により変更及び保持することができる。
【００４６】
図４に、制御電極１０４に印加する電位を変えた撮像によって得られた画像の例を示す。図４の（ａ）は、制御電極１０４に４Ｖが印加された場合の画像の例を示し、図４の（ｂ）は、制御電極１０４に２Ｖが印加された場合の画像の例を示し、図４の（ｃ）は、制御電極１０４に１Ｖが印加された場合の画像の例を示す。なお、図４の（ａ）〜（ｃ）のいずれにおいても、対向電極１０３には４Ｖが印加され、画素電極１０１ａ及び１０１ｂには１Ｖが印加されている。また、図４の（ａ）〜（ｃ）のそれぞれにおいて、画像の左側に位置する同心円状パターンの外側に中心を持つような４つの同心円模様がモアレである。
【００４７】
図４から分るように、制御電極１０４の電位に依存して、モアレの発生が変化している。つまり、図４の（ａ）よりも図４の（ｂ）が、図４の（ｂ）よりも図４の（ｃ）が、より強くモアレが抑制されており、画素電極１０１ａ及び１０１ｂと制御電極１０４との間の電位差が少ないほどモアレが抑制されていることが分かる。このように、制御電極１０４に印加する電位を変更することで、つまり、画素電極１０１ａ及び１０１ｂと制御電極１０４との間の電位差を変更することで、光学ローパスフィルタとしての効果を強めたり弱めたりすることが可能である。このように、本実施の形態に係る撮像素子１００によれば、従来のような光学ローパスフィルタに代えて、電気的ローパスフィルタとしての機能が実現されている。
【００４８】
なお、図４の例では、撮像素子１００内の全ての画素１９０ａ及び１９０ｂについて、制御電極１０４の電位を一括して同じ値に変更したが、画素１９０ａ及び１９０ｂのそれぞれに独立した制御電極１０４を設け、それぞれの制御電極１０４に個別に電圧を印加するように電圧印加回路１１０及び撮像素子１００を構成してもよい。例えば、平面視において、画素ごとに、画素電極と分離した位置で、かつ、画素電極を囲むような環状の制御電極を設ける。そして、各制御電極にコンデンサを接続しておき、電圧印加回路１１０で、各制御電極に対して所望の電圧を印加することで、各制御電極に接続されたコンデンサに印加電圧を保持させる。このように、複数の制御電極のそれぞれに印加する電圧を個別に設定することで、撮像素子の任意の領域について光学ローパスフィルタとしての効果を強めたり弱めたりすることが可能になる。
【００４９】
上記原理を鑑みれば、上述したように、制御電極１０４は撮像素子１００に必須の要素ではないことがわかる。例えば、画素電極１０１ａ及び１０１ｂと対向電極１０３との間の電位差、いわゆるバイアス電圧を変えることで、信号電荷１９９がＺ軸方向を移動する速度を変化させることができる。例えばバイアス電圧を大きくし、Ｚ軸方向の移動を高速にすれば、ＸＹ方向にランダムに移動する時間が短くなり、光学ローパスフィルタとしての効果を弱めることができる。逆にバイアス電圧を弱めれば、光学ローパスフィルタとしての効果を強めることができる。
【００５０】
また、光学ローパスフィルタとしての効果を強めるために、例えば、光電変換層１０２と画素電極１０１ａ及び１０１ｂの間に信号電荷１９９を輸送する別の層を設け、その層における信号電荷１９９のＸＹ方向のランダムな移動が光電変換層１０２よりも大きくなるように構成してもよい。例えば、光電変換層に比べて電気抵抗が小さい材料で信号電荷１９９を輸送する信号電荷輸送層を光電変換層１０２に積層することで、画素電極１０１ａ及び１０１ｂと対向電極１０３との間のバイアス電圧の印加によるＺ軸方向の電場は、光電変換層１０２において信号電荷輸送層よりも強く生じる。よって、低バイアス電圧においては、光電変換層１０２において信号電荷１９９のＺ軸方向の移動に十分ではあるが、信号電荷輸送層においてＸＹ方向の移動が顕著に起こるようにし、一方、高バイアス電圧においては、信号電荷輸送層においても十分に強い電場が発生し、ＸＹ方向の移動を抑制するようにしてもよい。
【００５１】
また、上記原理から分るように、本実施の形態に係る撮像素子１００では、光学ローパスフィルタとしての効果の強さの変更は、物理的な可動機構を必要としない。また、その光学ローパスフィルタとしての効果の変更に要する時間は、回路の設計にも依存するが、１ミリ秒以下とすることも容易である。そのため、動画撮影において、各フレームにおいて光学ローパスフィルタとしての効果の強さを変える等の動的な制御を行うことも容易である。
【００５２】
次に、以上の原理に鑑みて考案された本実施の形態に係るモアレ抑制方法を説明する。
【００５３】
図５は、本実施の形態に係るモアレ抑制方法の手順を示すフローチャートである。
【００５４】
図５に示されるように、まず、撮像素子１００を用いて、光電変換層１０２に第１の電圧を印加したうえで、撮像する（第１の電圧印加ステップＳ１０）。その結果、得られた画像にモアレが発生しているか否かを判断し（判定ステップＳ１１）、モアレが発生していると判断した場合に（Ｓ１１でＹｅｓ）、再び、撮像素子１００を用いて、光電変換層１０２に第１の電圧とは異なる第２の電圧を印加したうえで、撮像する（第２の電圧印加ステップＳ１２）。
【００５５】
第１の電圧及び第２の電圧の一例は次の通りである。第１の電圧を、画素電極１０１ａ及び１０１ｂと対向電極１０３との間に印加される電圧Ｖａ１とし、第２の電圧を、画素電極１０１ａ及び１０１ｂと対向電極１０３との間に印加される電圧Ｖａ２と定義する。このとき、以下の式１が成り立つ。
【００５６】
電圧Ｖａ１＞電圧Ｖａ２  （式１）
【００５７】
すなわち、この場合には、モアレが発生していると判断した場合に（Ｓ１１でＹｅｓ）、複数の画素のそれぞれの画素電極１０１ａ及び１０１ｂと対向電極１０３との間に印加するバイアス電圧である第２の電圧を、第１の電圧よりも小さくしたうえで、再度、撮像する（第２の電圧印加ステップＳ１２）。これにより、再度の撮像では、光電変換層１０２へのバイアス電圧が弱くなり、信号電荷１９９の光電変換層１０２におけるランダム移動のＸＹ成分の寄与が相対的に大きくなる。したがって、光学ローパスフィルタとしての効果を強めた状態となり、モアレが抑制された画像が得られる。
【００５８】
また、第１の電圧及び第２の電圧の他の一例は次の通りである。第１の電圧を、画素電極１０１ａ及び１０１ｂと制御電極１０４との間に印加される電圧Ｖｂ１とし、第２の電圧を、画素電極１０１ａ及び１０１ｂと制御電極１０４との間に印加される電圧Ｖｂ２と定義する。このとき、以下の式２が成り立つ。
【００５９】
電圧Ｖｂ１＞電圧Ｖｂ２  （式２）
【００６０】
すなわち、この場合には、モアレが発生していると判断した場合に（Ｓ１１でＹｅｓ）、複数の画素のそれぞれの画素電極１０１ａ及び１０１ｂと制御電極１０４との間に印加する電圧、つまり、第２の電圧を、第１の電圧よりも小さくしたうえで、再度、撮像する（第２の電圧印加ステップＳ１２）。これにより、再度の撮像では、光電変換層１０２内の電場におけるＸＹ成分が弱くなり、信号電荷１９９の光電変換層１０２におけるランダム移動のＸＹ成分の寄与が相対的に大きくなるので、光学ローパスフィルタとしての効果を強めた状態となり、モアレが抑制された画像が得られる。
【００６１】
以上のように、本実施の形態に係るモアレ抑制方法は、光電変換層１０２を共有する複数の画素１９０ａ及び１９０ｂを有する撮像素子１００で得られる画像のモアレを抑制するモアレ抑制方法であって、光電変換層１０２に第１の電圧を印加して撮像する第１の電圧印加ステップ（Ｓ１０）と、前記撮像にてモアレが発生しているか否かを判定する判定ステップ（Ｓ１１）と、前記モアレが発生していると判定したときに（Ｓ１１でＹｅｓ）、光電変換層１０２に第１の電圧とは異なる第２の電圧を印加して撮像する第２の電圧印加ステップ（Ｓ１２）を含む。
【００６２】
これにより、従来のような光学ローパスフィルタを用いるのではなく、光電変換層１０２に印加する電圧を変えるという、光電変換層１０２自体に電気的ローパスフィルタの機能をもたせる方式によってモアレが抑制される。よって、機械的機構が不要で、撮像範囲内の特定の領域ごとに光学ローパスフィルタの効果をＯＮ／ＯＦＦしたり、その効果の強弱変化をつけたりすることが可能なモアレ抑制方法が実現される。
【００６３】
ここで、複数の画素１９０ａ及び１９０ｂのそれぞれは、光電変換層１０２を挟むように配置された、当該画素に唯一の画素電極１０１ａ及び１０１ｂ、及び、当該画素に唯一又は複数の画素に共通の対向電極１０３を有し、第１の電圧及び第２の電圧は複数の画素のそれぞれの画素に対応する画素電極１０１ａと対向電極１０３との間に印加される電圧である。
【００６４】
これにより、画素ごとに固有の画素電極１０１ａ及び１０１ｂと、画素ごとに唯一又は複数の画素に共通の対向電極１０３との間に印加する電圧を変えることで、モアレを抑制する効果を調整できる。
【００６５】
より具体的には、第２の電圧は、第１の電圧よりも小さい。
【００６６】
これにより、画素電極１０１ａ及び１０１ｂと対向電極１０３との間に印加する電圧をより小さくすることで、電気的ローパスフィルタの効果が強められる。
【００６７】
また、複数の画素１９０ａ及び１９０ｂのそれぞれは、光電変換層１０２の裏面に配置された、当該画素１９０ａ及び１９０ｂに唯一の画素電極１０１ａ及び１０１ｂと、光電変換層１０２の平面視において複数の画素１９０ａ及び１９０ｂの画素電極１０１ａ及び１０１ｂの間に位置する制御電極１０４とを有し、第１の電圧及び第２の電圧は複数の画素のそれぞれの画素に対応する画素電極１０１ａと制御電極１０４との間に印加される電圧である。
【００６８】
これにより、複数の画素それぞれの画素電極１０１ａ及び１０１ｂと制御電極１０４との間に印加する電圧を変えることで、モアレを抑制する効果を調整できる。よって、画素電極１０１ａ及び１０１ｂと対向電極１０３とに対して光電変換層１０２での光電変換に要求される電圧を印加しつつ、モアレを抑制するのに必要な電位を制御電極１０４に印加できるので、光電変換についての制御とモアレの抑制についての制御とを独立して併存させることができる。
【００６９】
より具体的には、第２の電圧は、第１の電圧よりも小さい。
【００７０】
これにより、複数の画素それぞれの画素電極１０１ａ及び１０１ｂと制御電極１０４との間に印加する電圧を小さくすることで、電気的ローパスフィルタの効果が強められる。
【００７１】
（実施の形態２）
次に、実施の形態２として、実施の形態１に係る撮像素子１００及び電圧印加回路１１０を備える撮像装置について説明する。
【００７２】
図６は、実施の形態２に係る撮像装置２００ａの構成を示すブロック図である。
【００７３】
撮像装置２００ａは、モアレが抑制された画像を生成することが可能な装置であり、例えば、デジタルカメラである。撮像装置２００ａは、実施の形態１に係る撮像素子１００及び電圧印加回路１１０の他に、入力部２１０、制御回路２０５ａ、及び、結像光学系２２０を備える。なお、結像光学系２２０は、撮像装置２００ａと一体化されていてもよいし、あるいは、取り外し又は交換可能な構成であってもよい。
【００７４】
入力部２１０は、制御回路２０５ａに対するユーザの指示を取得する装置であり、具体的には、撮像素子１００による撮像における光学ローパスフィルタとしての効果に関する指示を取得する。入力部２１０は、例えば、物理的なスイッチ、ダイヤル、スライダー等の専用の装置によって構成され得る。あるいは、入力部２１０は、ディスプレイ、タッチパネル、ディスプレイに汎用ボタン又は汎用ダイヤルを表示させるソフトウェアによっても構成され得る。あるいは、入力部２１０は、音声認識装置によっても構成され得る。
【００７５】
制御回路２０５ａは、入力部２１０で取得された指示に従って電圧印加回路１１０が光電変換層１０２に印加する電圧を変更するように電圧印加回路１１０を制御する処理部である。制御回路２０５ａは、撮像素子１００の光電変換層１０２における画素電極１０１ａ及び１０１ｂへの信号電荷１９９の分配を変更する機能を有する。制御回路２０５ａは、例えば、プログラムを格納する不揮発性メモリ、ＲＡＭ等の揮発性メモリ、プログラムを実行するプロセッサ、周辺回路とプロセッサとを接続する入出力回路等を有するマイクロコンピュータ等で実現され得る。なお、制御回路２０５ａと電圧印加回路１１０とは、１チップの集積回路で実現されてもよい。
【００７６】
結像光学系２２０は、入射される光を撮像素子１００に結像させる光学系であり、レンズ、レンズを移動させる駆動機構等で構成される。
【００７７】
次に、以上のように構成された実施の形態２に係る撮像装置２００ａの動作について説明する。
【００７８】
図７は、実施の形態２に係る撮像装置２００ａの動作を示すフローチャートである。
【００７９】
まず、制御回路２０５ａは、入力部２１０を介して、撮像素子１００による撮像における光学ローパスフィルタとしての効果に関する指示をユーザから取得する（Ｓ２０）。
【００８０】
そして、制御回路２０５ａは、取得した指示に従って、電圧印加回路１１０が光電変換層１０２に印加する電圧を変更するように電圧印加回路１１０を制御することで、ユーザからの指示に従って光学ローパスフィルタとしての効果を変更する（Ｓ２１）。その後、ユーザの指示によって撮像装置２００ａによる撮影が行われる。
【００８１】
具体的には、ユーザからの指示とそれに基づく制御として、以下の動作例が挙げられる。
【００８２】
例えば、制御回路２０５ａは、ユーザから、撮影において所望する光学ローパスフィルタとしての効果の強さあるいは程度についての指示を取得した場合には、撮影ごとに、電圧印加回路１１０を制御することで、ユーザの撮影意図あるいはユーザの被写体判断に基づく光学ローパスフィルタとして効果を調整した撮影を行う。例えば、制御回路２０５ａは、解像度を優先する指示を取得した場合には、複数の画素それぞれの画素電極１０１ａ及び１０１ｂと対向電極１０３との間に印加される電圧を大きくする、又は、複数の画素それぞれの画素電極１０１ａ及び１０１ｂと制御電極１０４との間に印加される電圧を大きくするように電圧印加回路１１０を制御することで、光学ローパスフィルタとしての効果を弱めた撮像を行う。一方、モアレの抑制を優先する指示を取得した場合には、複数の画素それぞれの画素電極１０１ａ及び１０１ｂと対向電極１０３との間に印加される電圧を小さくする、又は、複数の画素それぞれの画素電極１０１ａ及び１０１ｂと制御電極１０４との間に印加される電圧を小さくするように電圧印加回路１１０を制御することで、光学ローパスフィルタとして効果を強めた撮像を行う。このように、制御回路２０５ａは、ユーザからの指示に応じて、解像度を優先する制御と、モアレの抑制を優先する制御とを切り替える。
【００８３】
また、別の例として、例えば、制御回路２０５ａは、モアレが発生しやすいとユーザが判断した画像上の領域に対応する画素について、上述したように電圧印加回路１１０を制御することで、光学ローパスフィルタとしての効果を強めた撮像を行う。一方、制御回路２０５ａは、高い解像度を得たいとユーザが判断した領域に対応する画素について、上述したように電圧印加回路１１０を制御することで、光学ローパスフィルタとしての効果を弱めた撮像を行う。
【００８４】
また、別の例として、制御回路２０５ａは、ユーザの撮影意図あるいはユーザの被写体判断に基づいて、随時、自動で光学ローパスフィルタとしての効果を調整するモードと、手動で光学ローパスフィルタとしての効果を調整するモードとを切り替える。あるいは、制御回路２０５ａは、自動で光学ローパスフィルタとしての効果を調整するモードにおいて、ユーザの撮影意図あるいはユーザの被写体判断に基づいて、光学ローパスフィルタとしての効果の上限値又は下限値を指定した撮像を行う。あるいは、制御回路２０５ａは、ユーザの撮影意図あるいはユーザの被写体判断に基づいて、光学ローパスフィルタとしての効果を逐次変更しながら複数の撮像を行うモードを利用した撮影と、そのようなモードを利用しない通常の撮影とを切り替える。あるいは、制御回路２０５ａは、光学ローパスフィルタとしての効果が逐次変更されながら複数の撮影が行われるモードにおいて、ユーザの撮影意図あるいはユーザの被写体判断に基づいて、その変更の範囲を指定した撮像を行う。
【００８５】
また、別の例として、制御回路２０５ａは、ユーザから、光学ローパスフィルタとしての効果を判断する機能をオンさせる指示を取得した場合には、電圧印加回路１１０を制御することで、光学ローパスフィルタとしての効果をオンさせた撮像で得られた画像と、光学ローパスフィルタとしての効果をオフさせた撮像で得られた画像との差分を、光学ローパスフィルタとしての効果として、ユーザに提示する。ユーザは、このように提示された光学ローパスフィルタとしての効果を確認することで、光学ローパスフィルタとしての効果の強さ、又は、その他の撮影条件を変更することが可能になる。
【００８６】
以上のように、本実施の形態に係る撮像装置２００ａは、光電変換層１０２を共有する複数の画素１９０ａ及び１９０ｂを有する撮像素子１００と、光電変換層１０２に電圧を印加する電圧印加回路１１０と、撮像素子１００による撮像における光学ローパスフィルタとしての効果に関する指示を取得する入力部２１０と、入力部２１０で取得された指示に従って光電変換層１０２に印加する電圧を変更するように電圧印加回路１１０を制御する制御回路２０５ａとを備える。
【００８７】
これにより、入力部２１０で取得された光学ローパスフィルタとしての効果に関する指示に従って電圧印加回路１１０が光電変換層１０２に印加する電圧を変更する。よって、ユーザは、得られる画像に発生するモアレに関する制御を行うことができ、例えば、得られる画像の解像感とモアレを抑制する程度とのバランスを考慮したうえで、所望の強度で、所望の領域に対して、モアレが抑制された画像を得ることができる。
【００８８】
（実施の形態３）
次に、実施の形態３として、自動でモアレを抑制する機能を有する撮像装置について説明する。
【００８９】
図８は、実施の形態３に係る撮像装置２００ｂの構成を示すブロック図である。
【００９０】
撮像装置２００ｂは、ユーザからの指示を必要とすることなく自動でモアレを抑制する機能を有する装置であり、例えば、デジタルカメラである。撮像装置２００ｂは、実施の形態１に係る撮像素子１００及び電圧印加回路１１０の他に、制御回路２０５ｂ、結像光学系２２０、及び、記録部２３０を備える。なお、撮像素子１００、電圧印加回路１１０、及び、結像光学系２２０は、実施の形態２のものと同じである。以下、本実施の形態に固有の制御回路２０５ｂ及び記録部２３０を中心に説明する。
【００９１】
制御回路２０５ｂは、撮像素子１００による撮像によって得られた画像に対してモアレに関する分析をし、分析の結果に基づいて、電圧印加回路１１０が光電変換層１０２に印加する電圧を変更するように電圧印加回路１１０を制御する処理部である。本実施の形態では、制御回路２０５ｂは、撮像素子１００によって撮像されて記録部２３０に格納された画像に対してモアレの分析を行う。制御回路２０５ｂは、例えば、プログラムを格納する不揮発性メモリ、ＲＡＭ等の揮発性メモリ、プログラムを実行するプロセッサ、周辺回路とプロセッサとを接続する入出力回路等を有するマイクロコンピュータ等で実現され得る。なお、制御回路２０５ｂと電圧印加回路１１０とは、１チップの集積回路で実現されてもよい。
【００９２】
より詳しくは、制御回路２０５ｂは、分析として、１）撮像素子１００によって得られた画像にモアレが発生し易い被写体が含まれるか否かを判断する、２）画像にモアレが発生しているか否かを判断する、３）画像においてモアレが発生している程度を算出する、及び、４）画像においてボケを発生させるべき領域を特定する、の少なくとも一つを行う。いずれを行うかは、事前のユーザによる設定によって決定される。
【００９３】
例えば、制御回路２０５ｂは、異なる２種類の電圧を光電変換層１０２に印加して撮像することで得られる２種類の画像におけるボケの差分が大きい領域を、画像においてボケを発生させるべき領域として特定する。そして、複数の画素１９０ａ及び１９０ｂのうち、特定した領域に対応する画素１９０ａ及び１９０ｂを対象として、制御回路２０５ｂは、光電変換層１０２に印加する電圧を変更するように電圧印加回路１１０を制御する。
【００９４】
記録部２３０は、撮像素子１００によって得られた画像を格納する記憶部であり、例えば、フラッシュメモリ等の読み書き可能な不揮発性メモリである。なお、本実施の形態では、制御回路２０５ｂは、記録部２３０に格納された画像に対して分析を行っているが、撮像素子１００から出力される画像に対して分析を行ってもよい。その場合、記録部２３０は、撮像装置２００ｂの構成要素として不要となる。
【００９５】
なお、図８には図示されていないが、本実施の形態に係る撮像装置２００ｂは、ユーザからの指示を取得するタッチパネル又はボタン等の入力部、及び、ユーザに情報を提示するディスプレイ等の出力部を含むユーザインタフェースを備えてもよい。
【００９６】
次に、以上のように構成された実施の形態３に係る撮像装置２００ｂの動作について説明する。
【００９７】
図９は、実施の形態３に係る撮像装置２００ｂの動作を示すフローチャートである。
【００９８】
まず、制御回路２０５ｂは、撮像素子１００によって得られた画像、つまり、記録部２３０に格納された画像に対してモアレに関する分析をする（Ｓ３０）。
【００９９】
具体的には、制御回路２０５ｂは、光学ローパスフィルタとしての効果が予め定めた特定の値となるように電圧印加回路１１０を制御し、撮像素子１００による撮像を行い、得られた画像を記録部２３０に記録させる。そして、制御回路２０５ｂは、記録部２３０に記録された画像に対して、画像認識技術等を用いて、１）画像にモアレが発生し易い被写体が含まれるか否かを判断する、２）画像にモアレが発生しているか否かを判断する、３）画像においてモアレが発生している程度を算出する、及び、４）画像においてボケを発生させるべき領域を特定する、の少なくとも一つを行う。
【０１００】
そして、制御回路２０５ｂは、分析の結果に基づいて、光電変換層１０２に印加する電圧を変更するように電圧印加回路１１０を制御する（Ｓ３１）。
【０１０１】
例えば、制御回路２０５ｂは、画像の一部のみにモアレが発生していると分析した場合、電圧印加回路１１０を制御することで、その一部の領域に対応する撮像素子１００の画素に対して光学ローパスフィルタとしての効果を強くする。
【０１０２】
あるいは、制御回路２０５ｂは、画像の一部が人、食品又は小物等の主たる被写体であり、かつ、別の領域が背景であると分析した場合、画素の単位で光電変換層１０２に印加する電圧を変更するように電圧印加回路１１０を制御することで、背景として判断した領域に対応する撮像素子１００の画素に対して光学ローパスフィルタとしての効果を強くする。これにより、主たる被写体の解像度を下げることなく、背景のボケを増やすことができる。
【０１０３】
あるいは、制御回路２０５ｂは、画像に文字及び写真からなる文書が被写体として含まれると分析した場合、画素の単位で光電変換層１０２に印加する電圧を変更するように電圧印加回路１１０を制御することで、文字と認識した領域に比べて、写真と認識した領域に対して光学ローパスフィルタとしての効果を強めることで、文字の滲みを抑制しつつ、写真撮影をすることにより発生しやすいモアレを抑制することができる。
【０１０４】
なお、電圧印加回路１１０に対する制御（Ｓ３１）の後、制御回路２０５ｂは、ユーザからの指示を取得することなく、自動で、新たに撮像素子１００による撮像を行ってもよいし、あるいは、ユーザからの指示を取得した後、あるいは、必要に応じてステップＳ３０におけるモアレの分析による結果をユーザに提示し、ユーザから撮影を許可する指示を取得した後に、新たに撮像素子１００による撮像を行ってもよい。
【０１０５】
また、上記ステップＳ３０におけるモアレの分析では、制御回路２０５ｂは、異なる光学ローパスフィルタとしての効果を設定した状態での撮影によって得られた複数の画像を用いてモアレに関する分析をしてもよい。例えば、制御回路２０５ｂは、光学ローパスフィルタとしての効果が第一の値となるように電圧印加回路１１０を制御し、撮像素子１００による撮像を行い、得られた第一の画像を記録部２３０に記録する。次に、制御回路２０５ｂは、光学ローパスフィルタとしての効果が第二の値となるように電圧印加回路１１０を制御し、撮像素子１００による撮像を行い、得られた第二の画像を記録部２３０に記録する。そして、制御回路２０５ｂは、第一の画像及び第二の画像を用いて、モアレを分析し、光学ローパスフィルタとしての効果の値又は空間分布を変更又は固定するように、電圧印加回路１１０に指示を与える。
【０１０６】
このような二種類の画像を用いてモアレを分析できる理由は、次の通りである。つまり、被写体が高い空間周波数成分を多く含むモアレが発生しやすいテクスチャを有する場合、光学ローパスフィルタとしての効果の変化により、得られる二種類の画像においてボケの度合いが大きく変化する。一方、被写体が高い空間周波数成分をあまり含まないモアレが発生しにくいテクスチャを有する場合、光学ローパスフィルタとしての効果の変化により、得られる二種類の画像においてボケの度合いが比較的、変化しにくい。そのため、上述した第一の画像におけるボケの度合いと第二の画像におけるボケの度合いとを比較することにより、被写体がモアレの発生しやすい被写体であるか否か、あるいは、画像の領域ごとのモアレの発生しやすさを判断できる。
【０１０７】
よって、制御回路２０５ｂは、異なる２種類の電圧を光電変換層１０２に印加して撮像することで得られる２種類の画像におけるボケの差分が大きい領域を、モアレが発生している領域、又は、画像においてボケを発生させるべき領域として特定し、特定した領域に対応する画素１９０ａ及び１９０ｂを対象として、電圧印加回路１１０を制御することで、光学ローパスフィルタとしての効果を強くする。これにより、自動的に、モアレが発生し易い領域についてだけ光学ローパスフィルタとしての効果が強められ、必要な領域だけについてモアレが抑制された画像が得られる。
【０１０８】
なお、本実施の形態では、撮像素子１００によって撮像されて記録部２３０に格納された画像に対してモアレの分析が行われたが、必ずしも分析のための画像は必要ではない。例えば、制御回路２０５ｂは、予め内部に保持している情報に基づいて、固定の範囲で、光学ローパスフィルタとしての効果を順次、変更してもよい。あるいは、撮像装置２００ｂが撮像素子１００以外のセンサを備え、制御回路２０５ｂが、そのセンサからの入力に基づいて光学ローパスフィルタとしての効果を変更してもよい。センサの例としては、撮像素子１００以外の撮像素子、距離センサ等が挙げられる。
【０１０９】
以上のように、本実施の形態に係る撮像装置２００ｂは、光電変換層１０２を共有する複数の画素１９０ａ及び１９０ｂを有する撮像素子１００と、光電変換層１０２に電圧を印加する電圧印加回路１１０と、撮像素子１００によって得られた画像に対してモアレに関する分析をし、分析の結果に基づいて、光電変換層１０２に印加する電圧を変更するように電圧印加回路１１０を制御する制御回路２０５ｂとを備える。
【０１１０】
これにより、撮像素子１００によって得られた画像に対するモアレの分析結果に基づいて、電圧印加回路１１０が光電変換層１０２に印加する電圧が変更される。よって、ユーザがモアレを抑制するのに適した印加電圧を決める必要はなく、自動的に、モアレを抑制するのに適した印加電圧が決定され、光電変換層１０２に印加される。
【０１１１】
また、制御回路２０５ｂは、分析として、１）撮像素子１００によって得られた画像にモアレが発生し易い被写体が含まれるか否かを判断する、２）画像にモアレが発生しているか否かを判断する、３）画像においてモアレが発生している程度を算出する、及び、４）画像においてボケを発生させるべき領域を特定する、の少なくとも一つを行う。
【０１１２】
これにより、撮像素子１００によって得られた画像にモアレが発生し易い被写体が含まれる場合に、モアレの発生を抑制するように光電変換層１０２への印加電圧が変更される。あるいは、画像にモアレが発生している場合に、モアレの発生を抑制するように光電変換層１０２への印加電圧が変更される。あるいは、画像においてモアレが発生している程度が算出され、その程度に応じて、モアレの発生を抑制するように光電変換層１０２への印加電圧が変更される。あるいは、画像においてボケを発生させるべき領域が特定され、特定された領域の画素１９０ａ及び１９０ｂについて、モアレの発生を抑制するように光電変換層１０２への印加電圧が変更される。
【０１１３】
また、制御回路２０５ｂは、異なる２種類の電圧を光電変換層１０２に印加して撮像することで得られる２種類の画像におけるボケの差分が大きい領域を、画像においてボケを発生させるべき領域として特定し、複数の画素１９０ａ及び１９０ｂのうち、特定した領域に対応する画素１９０ａ及び１９０ｂを対象として、光電変換層１０２に印加する電圧を変更するように電圧印加回路１１０を制御する。
【０１１４】
これにより、異なる２種類の電圧を光電変換層１０２に印加して撮像することで得られる２種類の画像におけるボケの差分が大きい領域がボケを発生させるべき領域として特定されるので、自動的に、モアレが発生し易い領域が特定され、その領域に対してモアレを抑制するように光電変換層１０２への印加電圧が変更され得る。
【０１１５】
以上、本開示のモアレ抑制方法及び撮像装置について、実施の形態１〜３に基づいて説明したが、本開示は、これらの実施の形態１〜３に限定されるものではない。本開示の主旨を逸脱しない限り、当業者が思いつく各種変形を各実施の形態に施したもの、実施の形態における一部又は全部の構成要素を組み合わせて構築される別の形態も、本開示の範囲内に含まれる。
【０１１６】
例えば、上記実施の形態３では、異なる２種類の電圧を光電変換層１０２に印加して撮像することで得られる２種類の画像に対する比較結果は、光学ローパスフィルタとしての効果の変更に用いられたが、この用途だけに限定されず、例えば、フォーカス検出にも利用可能である。結像光学系２２０が作る被写体の像では、フォーカスが合っている部分において高い空間周波数成分が多く含まれ、フォーカスがずれるに従い高い空間周波数成分が減少していく。そのため、上記比較結果において、画像にモアレが発生している領域、つまり、高い空間周波数成分が多い領域を特定することにより、画像においてフォーカスが合っている領域を検出することが可能になる。検出したフォーカスに関する結果は、例えば、ディスプレイ等のユーザインタフェースにより、ユーザに提示されてもよい。あるいは、検出したフォーカスの結果に基づき、結像光学系２２０が有するフォーカス制御機構が駆動されてもよいし、よりよいフォーカス結果が得られるように撮像素子１００が駆動されてもよい。
【０１１７】
また、異なる２種類の電圧を光電変換層１０２に印加して撮像することで得られる２種類の画像に対する比較結果は、特定の空間周波数成分を持つ被写体の検出に用いることもできる。例えば、被写体のテクスチャが周囲よりも異なる空間周波数成分を持つことが既知である場合、上記比較結果を用いることで、高い空間周波数成分が多い領域でモアレが発生し易いことを利用して、得られた画像において、その被写体の領域を検出することが可能になる。例えば、産業製品に混入する異物、海上又は芝生等に侵入した不審物の検出等に利用できる。
【産業上の利用可能性】
【０１１８】
本開示に係るモアレ抑制方法及び撮像装置は、機械的機構が不要で、かつ、従来よりも柔軟な制御が可能なモアレ抑制方法及び撮像装置として、例えば、手動又は自動で光学ローパスフィルタとしての効果を調整することでモアレを抑制した画像を生成できるイメージセンサ及びデジタルカメラとして、利用できる。
【符号の説明】
【０１１９】
１００  撮像素子
１０１ａ、１０１ｂ  画素電極
１０２  光電変換層
１０３  対向電極
１０４  制御電極
１０５ａ、１０５ｂ  電荷蓄積領域
１１０  電圧印加回路
１５０  光学像
１９０ａ、１９０ｂ  画素
１９５  光子
１９７  正電荷
１９８  負電荷
１９９  信号電荷
２００ａ、２００ｂ  撮像装置
２０５ａ、２０５ｂ  制御回路
２１０  入力部
２２０  結像光学系
２３０  記録部
【図１】
2018182380.tif 000003
【図２】
2018182380.tif 000004
【図３】
2018182380.tif 000005
【図４】
2018182380.tif 000006
【図５】
2018182380.tif 000007
【図６】
2018182380.tif 000008
【図７】
2018182380.tif 000009
【図８】
2018182380.tif 000010
【図９】
2018182380.tif 000011