(57)【要約】【課題】撮像画像の高画質化を図ることが可能な、信号処理装置および撮像装置を提供する。【解決手段】所定の波長の光を光電変換する第１光電変換層と、第１光電変換層よりも入射光が入射される側に設けられ第１光電変換層と異なる波長の光を光電変換する第２光電変換層とを有し、光電変換により赤色の信号、緑色の信号、および青色の信号を生成する撮像装置において生成される、赤色の信号、緑色の信号、および青色の信号を処理する信号処理装置であって、第２光電変換層において吸収される、第１光電変換層において光電変換される波長の光成分を補正する吸収補正処理を、赤色の信号、緑色の信号、および青色の信号のうちの少なくとも一部の信号に対して行う吸収補正部と、少なくとも一部の信号に対して吸収補正処理が行われた後の、赤色の信号、緑色の信号、および青色の信号に基づいて、色補正処理を行う色補正部と、を備える信号処理装置が、提供される。【選択図】図２
2019092003.tif 000002
【特許請求の範囲】
【請求項１】
所定の波長の光を光電変換する第１光電変換層と、前記第１光電変換層よりも入射光が入射される側に設けられ、前記第１光電変換層と異なる波長の光を光電変換する第２光電変換層とを有し、光電変換により赤色の信号、緑色の信号、および青色の信号を生成する撮像装置において生成される、赤色の信号、緑色の信号、および青色の信号を処理する、信号処理装置であって、
前記第２光電変換層において吸収される、前記第１光電変換層において光電変換される波長の光成分を補正する吸収補正処理を、前記赤色の信号、前記緑色の信号、および前記青色の信号のうちの少なくとも一部の信号に対して行う吸収補正部と、
少なくとも一部の信号に対して前記吸収補正処理が行われた後の、前記赤色の信号、前記緑色の信号、および前記青色の信号に基づいて、色補正処理を行う色補正部と、
を備える、信号処理装置。
【請求項２】
前記撮像装置では、前記第２光電変換層において緑色の光が光電変換されて前記緑色の信号が生成され、前記第１光電変換層において赤色の光および青色の光がそれぞれ光電変換されて前記赤色の信号および前記青色の信号が生成され、
前記吸収補正部は、
前記緑色の信号および前記青色の信号に基づいて、前記緑色の信号および前記青色の信号それぞれに対して前記吸収補正処理を行い、または、
前記緑色の信号および前記赤色の信号に基づいて、前記緑色の信号および前記赤色の信号それぞれに対して前記吸収補正処理を行う、請求項１に記載の信号処理装置。
【請求項３】
前記吸収補正部は、
前記緑色の信号および前記青色の信号に基づいて、前記第２光電変換層で吸収された青色の光成分に対応する第１補正値を決定し、前記第１補正値により前記緑色の信号および前記青色の信号それぞれを補正し、または、
前記緑色の信号および前記赤色の信号に基づいて、前記第２光電変換層で吸収された赤色の光成分に対応する第２補正値を決定し、前記第２補正値により前記緑色の信号および前記赤色の信号それぞれを補正する、請求項２に記載の信号処理装置。
【請求項４】
前記吸収補正部は、
前記緑色の信号から前記第１補正値を減算し、前記青色の信号に前記第１補正値を加算して、前記緑色の信号および前記青色の信号それぞれを補正し、または、
前記緑色の信号から前記第２補正値を減算し、前記赤色の信号に前記第２補正値を加算して、前記緑色の信号および前記赤色の信号それぞれを補正する、請求項３に記載の信号処理装置。
【請求項５】
前記撮像装置では、前記第２光電変換層において緑色の光が光電変換されて前記緑色の信号が生成され、前記第１光電変換層において赤色の光および青色の光がそれぞれ光電変換されて前記赤色の信号および前記青色の信号が生成され、
前記赤色の信号および前記青色の信号のうちの一方の色の信号を補間する第１補間部と、
前記赤色の信号および前記青色の信号のうちの他方の色の信号を補間する第２補間部と、
をさらに備え、
前記第１補間部は、前記一方の色の信号を前記緑色の信号に基づき補間し、
前記吸収補正部は、前記緑色の信号および補間された前記一方の色の信号に基づいて、前記緑色の信号に対して前記吸収補正処理を行い、
前記第２補間部は、前記他方の色の信号を、前記吸収補正処理が行われた後の前記緑色の信号に基づき補間し、
前記色補正部は、補間された前記赤色の信号、前記吸収補正処理が行われた後の前記緑色の信号、および補間された前記青色の信号に基づいて、前記色補正処理を行う、請求項１に記載の信号処理装置。
【請求項６】
所定の波長の光を光電変換する第１光電変換層と、前記第１光電変換層よりも入射光が入射される側に設けられ、前記第１光電変換層と異なる波長の光を光電変換する第２光電変換層とを有し、光電変換により赤色の信号、緑色の信号、および青色の信号を生成する撮像部と、
前記第２光電変換層において吸収される、前記第１光電変換層において光電変換される波長の光成分を補正する吸収補正処理を、前記赤色の信号、前記緑色の信号、および前記青色の信号のうちの少なくとも一部の信号に対して行う吸収補正部と、
少なくとも一部の信号に対して前記吸収補正処理が行われた後の、前記赤色の信号、前記緑色の信号、および前記青色の信号に基づいて、色補正処理を行う色補正部と、
を備える、撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号処理装置、および撮像装置に関する。
【背景技術】
【０００２】
“光電変換素子が形成された半導体基板に光電変換膜が積層された構成”を有する、光電変換膜積層型固体撮像装置が、開発されている。上記光電変換膜積層型固体撮像装置に関する技術としては、例えば下記の特許文献１に記載の技術と下記の特許文献２に記載の技術とが挙げられる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１２０７７３号公報
【特許文献２】特開２００６−２１０４９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
例えばデジタルカメラ（Digital  Camera）などの撮像装置で用いられる光電変換部材は、シリコン（Silicon）という単一材料を用いて発展してきた。しかしながら、シリコンという単一材料を用いる場合には、バンドギャップ（Band  Gap）が固定となり、かつ表面にしか色フィルタ（Filter）を構成することができない。そのため、シリコンという単一材料が用いられる光電変換部材を有する撮像装置では、赤色の画素、緑色の画素、および青色の画素を面方向に配列する以外に、単板で色撮像を行うことができない。以下では、赤色を「Ｒ」（Red）、緑色を「Ｇ」（Green）、青色を「Ｂ」（Blue）と示す場合がある。
【０００５】
また、上記のような光電変換部材を有する撮像装置により高い解像度の被写体が撮像される場合には、輝度モアレ（Moire）や色モアレが発生する。発生した輝度モアレや色モアレを抑制するためには、撮像装置に光学ローパスフィルタ（Low  Pass  Filter）を配置する必要がある。しかしながら、撮像装置に光学ローパスフィルタを配置する場合には、解像度の低下が引き起こされるという欠点がある。
【０００６】
ここで、例えば特許文献１、２に記載されているような光電変換膜積層型固体撮像装置を用いれば、“上記のような光電変換部材を有する撮像装置において生じうる欠点を改善すること”が可能である。
【０００７】
しかしながら、光電変換膜積層型固体撮像装置が用いられる場合には、“ある光電変換層で光電変換される波長の光成分が、入射光が入射される側により近い他の光電変換層で一部吸収される事態”が生じうる。そして、上記のような事態が生じた場合には、例えば、色再現性の悪化、青領域などの色領域のノイズ（Noise）耐性の悪化、解像の悪化などの問題が発生する。また、例えば特許文献１、２に記載の技術などの既存の技術では、上記問題に対して何らの考慮もなされていない。
【０００８】
本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、撮像画像の高画質化を図ることが可能な、新規かつ改良された信号処理装置、および撮像装置を提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明の一の観点によれば、所定の波長の光を光電変換する第１光電変換層と、上記第１光電変換層よりも入射光が入射される側に設けられ、上記第１光電変換層と異なる波長の光を光電変換する第２光電変換層とを有し、光電変換により赤色の信号、緑色の信号、および青色の信号を生成する撮像装置において生成される、赤色の信号、緑色の信号、および青色の信号を処理する、信号処理装置であって、上記第２光電変換層において吸収される、上記第１光電変換層において光電変換される波長の光成分を補正する吸収補正処理を、上記赤色の信号、上記緑色の信号、および上記青色の信号のうちの少なくとも一部の信号に対して行う吸収補正部と、少なくとも一部の信号に対して上記吸収補正処理が行われた後の、上記赤色の信号、上記緑色の信号、および上記青色の信号に基づいて、色補正処理を行う色補正部と、を備える、信号処理装置が、提供される。
【００１０】
かかる構成によって、撮像装置において生成された撮像画像を示す信号（赤色の信号、緑色の信号、および青色の信号）における既知の吸収特性を事前に補正した上で色補正処理を行うことができる。したがって、かかる構成によって、撮像画像の高画質化を図ることができる。
【００１１】
また、上記撮像装置では、上記第２光電変換層において緑色の光が光電変換されて上記緑色の信号が生成され、上記第１光電変換層において赤色の光および青色の光がそれぞれ光電変換されて上記赤色の信号および上記青色の信号が生成され、上記吸収補正部は、上記緑色の信号および上記青色の信号に基づいて、上記緑色の信号および上記青色の信号それぞれに対して上記吸収補正処理を行い、または、上記緑色の信号および上記赤色の信号に基づいて、上記緑色の信号および上記赤色の信号それぞれに対して上記吸収補正処理を行ってもよい。
【００１２】
また、上記吸収補正部は、上記緑色の信号および上記青色の信号に基づいて、上記第２光電変換層で吸収された青色の光成分に対応する第１補正値を決定し、上記第１補正値により上記緑色の信号および上記青色の信号それぞれを補正し、または、上記緑色の信号および上記赤色の信号に基づいて、上記第２光電変換層で吸収された赤色の光成分に対応する第２補正値を決定し、上記第２補正値により上記緑色の信号および上記赤色の信号それぞれを補正してもよい。
【００１３】
また、上記吸収補正部は、上記緑色の信号から上記第１補正値を減算し、上記青色の信号に上記第１補正値を加算して、上記緑色の信号および上記青色の信号それぞれを補正し、または、上記緑色の信号から上記第２補正値を減算し、上記赤色の信号に上記第２補正値を加算して、上記緑色の信号および上記赤色の信号それぞれを補正してもよい。
【００１４】
また、上記撮像装置では、上記第２光電変換層において緑色の光が光電変換されて上記緑色の信号が生成され、上記第１光電変換層において赤色の光および青色の光がそれぞれ光電変換されて上記赤色の信号および上記青色の信号が生成され、上記赤色の信号および上記青色の信号のうちの一方の色の信号を補間する第１補間部と、上記赤色の信号および上記青色の信号のうちの他方の色の信号を補間する第２補間部と、をさらに備え、上記第１補間部は、上記一方の色の信号を上記緑色の信号に基づき補間し、上記吸収補正部は、上記緑色の信号および補間された上記一方の色の信号に基づいて、上記緑色の信号に対して上記吸収補正処理を行い、上記第２補間部は、上記他方の色の信号を、上記吸収補正処理が行われた後の上記緑色の信号に基づき補間し、上記色補正部は、補間された上記赤色の信号、上記吸収補正処理が行われた後の上記緑色の信号、および補間された上記青色の信号に基づいて、上記色補正処理を行ってもよい。
【００１５】
また、上記目的を達成するために、本発明の他の観点によれば、所定の波長の光を光電変換する第１光電変換層と、上記第１光電変換層よりも入射光が入射される側に設けられ、上記第１光電変換層と異なる波長の光を光電変換する第２光電変換層とを有し、光電変換により赤色の信号、緑色の信号、および青色の信号を生成する撮像部と、上記第２光電変換層において吸収される、上記第１光電変換層において光電変換される波長の光成分を補正する吸収補正処理を、上記赤色の信号、上記緑色の信号、および上記青色の信号のうちの少なくとも一部の信号に対して行う吸収補正部と、少なくとも一部の信号に対して上記吸収補正処理が行われた後の、上記赤色の信号、上記緑色の信号、および上記青色の信号に基づいて、色補正処理を行う色補正部と、を備える、撮像装置が、提供される。
【００１６】
かかる構成によって、撮像部における撮像により生成された撮像画像を示す信号（赤色の信号、緑色の信号、および青色の信号）における既知の吸収特性を事前に補正した上で色補正処理を行うことができる。したがって、かかる構成によって、撮像画像の高画質化を図ることができる。
【発明の効果】
【００１７】
本発明によれば、撮像画像の高画質化を図ることができる。
【図面の簡単な説明】
【００１８】
【図１】第１光電変換層と第２光電変換層との一例を概略的に示す説明図である。
【図２】第１の実施形態に係る信号処理装置における処理の一例を示す説明図である。
【図３】本発明の実施形態に係る吸収補正処理の結果の一例を示す説明図である。
【図４】吸収補正処理が行われない場合に想定される処理の一例を示す説明図である。
【図５】図４に示す吸収補正処理が行われない場合に想定される処理を実現するための回路の一例を示す説明図である。
【図６】図２に示す第１の実施形態に係る信号処理装置における処理を実現するための回路の一例を示す説明図である。
【図７】図５に示す回路に対する図６に示す回路の回路規模の削減例を示す説明図である。
【図８】第２の実施形態に係る信号処理装置における処理の一例を示す説明図である。
【図９】図８のＣに示す補間処理、図８のＤに示す吸収補正処理、および図８のＥに示す補間処理を概念的に示す説明図である。
【図１０】図８のＣに示す補間処理、図８のＤに示す吸収補正処理、および図８のＥに示す補間処理を実現するための回路の一例を示す説明図である。
【発明を実施するための形態】
【００１９】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２０】
また、以下では、本発明の実施形態に係る信号処理装置（以下、単に「信号処理装置」と示す場合がある。）について主に説明する。なお、信号処理装置は、撮像部を備える構成であってもよい。撮像部は、例えば、後述する第１光電変換層および後述する第２光電変換層を有するイメージセンサ（Image  Sensor）を含んで構成される。また、撮像部は、光学系のレンズを含む構成であってもよい。撮像部を備える信号処理装置は、本発明の実施形態に係る撮像装置として機能する。
【００２１】
［１］本発明の実施形態に係る信号処理装置の概要
信号処理装置は、撮像装置において撮像により生成される信号、すなわち、撮像画像を示す信号を処理する装置である。
【００２２】
撮像装置において撮像により生成される信号としては、例えば、赤色の信号、緑色の信号、および青色の信号が、挙げられる。また、撮像装置において撮像により生成される信号には、例えば、ＮＩＲ（Near-infrared）の波長の光が光電変換された結果得られる信号、すなわち、いわゆる赤外線画像を示す信号が、含まれていてもよい。
【００２３】
撮像装置は、例えば、第１光電変換層と第２光電変換層とを有し、光電変換により赤色の信号、緑色の信号、および青色の信号を生成する。
【００２４】
第１光電変換層は、所定の波長の光を光電変換する光電変換層である。また、第２光電変換層は、第１光電変換層と異なる波長の光を光電変換する光電変換層である。第２光電変換層は、第１光電変換層よりも入射光が入射される側に設けられる。入射光が入射される方向を「上方向」と定義した場合、第２光電変換層は上層に該当し、第１光電変換層は、下層に該当する。つまり、撮像装置は、複数の光電変換層が積層された積層型の撮像装置である。
【００２５】
第１光電変換層と第２光電変換層との間には、例えばＩＴＯ（Indium  Tin  Oxide）などで形成される透明電極が設けられる。第１光電変換層としては、例えば、シリコンで形成され、光電変換素子が設けられる基板が挙げられる。透明電極は、基板に形成される回路に電気的に接続される。また、第２光電変換層としては、例えば有機膜が挙げられる。
【００２６】
図１は、第１光電変換層と第２光電変換層との一例を概略的に示す説明図である。図１に示すＬ１は、第１光電変換層の一例を示しており、図１に示すＬ２は、第２光電変換層の一例を示している。
【００２７】
図１に示す例では、Ｒの画素とＢの画素とが、シリコンによる従来の半導体工程により形成されている（第１光電変換層Ｌ１）。Ｒの画素とＢの画素とは、例えば市松模様状に配置される。なお、Ｒの画素とＢの画素との配置の例が、市松模様状に限られないことは、言うまでもない。
【００２８】
また、図１に示す例では、Ｂの画素とＲの画素とが形成された基板の上層に、Ｇの波長の光を吸収する有機光電膜が配置されている（第２光電変換層Ｌ２）。
【００２９】
図１に示す構成では、Ｇの画素が全画素分存在するので、理論的に輝度モアレが発生せず、色モアレも大幅に抑制される。
【００３０】
しかしながら、図１に示す構成において、第２光電変換層Ｌ２としてＧの外部量子効率の高い材料を用いた場合には、Ｇの波長の光だけでなく、Ｂの波長の光あるいはＲの波長の光も一部吸収されて、光電変換が行われてしまう。そして、第１光電変換層Ｌ１および第２光電変換層Ｌ２それぞれで光電変換された信号を単に用いて処理を行った場合には、色再現性の悪化、Ｂ領域あるいはＲ領域のノイズ耐性の悪化、解像の悪化などの問題が、発生する。
【００３１】
なお、第１光電変換層と第２光電変換層との例は、図１に示す例に限られない。
【００３２】
例えば、第１光電変換層は、Ｒの画素、Ｇの画素、およびＢの画素がシリコンによる従来の半導体工程により形成されてもよい。この場合、Ｒの画素、Ｇの画素、およびＢの画素は、例えばベイヤ（Bayer）配列で並べられる。
【００３３】
また、第２光電変換層は、ＮＩＲの波長の光を吸収して光電変換を行うＮＩＲ層であってもよい。
【００３４】
第１光電変換層と第２光電変換層とが、上記に示す他の構成を有する場合であっても、図１に示す構成と同様の問題が生じうる。
【００３５】
上述したように、第１光電変換層および第２光電変換層それぞれで光電変換された信号を単に用いて処理を行った場合には、色再現性の悪化などの問題が生じうる。
【００３６】
そこで、信号処理装置は、撮像装置において撮像により生成される信号に対して、吸収補正処理を行う。より具体的には、信号処理装置は、赤色の信号、緑色の信号、および青色の信号のうちの少なくとも一部の信号に対して、吸収補正処理を行う。そして、信号処理装置は、少なくとも一部の信号に対して吸収補正処理が行われた後の、赤色の信号、緑色の信号、および青色の信号に基づいて、色補正処理を行う。
【００３７】
本発明の実施形態に係る吸収補正処理とは、“第２光電変換層において吸収される、第１光電変換層において光電変換される波長の光成分を補正する処理”である。つまり、信号処理装置は、吸収補正処理を行うことによって“上層で吸収されてしまう、下層で光電変換される波長の光成分”の影響を軽減することができる。吸収補正処理の一例については、後述する。
【００３８】
吸収補正処理は、例えば、信号処理装置が備える吸収補正部において行われる。吸収補正部としては、例えば、信号処理装置を構成するプロセッサや、画像処理回路などが挙げられる。
【００３９】
また、本発明の実施形態に係る色補正処理としては、例えば、カラー補正マトリクス（Color  Correction  Matrix）を用いた行列演算により色の微調整を行う処理が、挙げられる。色補正処理の一例については、後述する。
【００４０】
色補正処理は、例えば、信号処理装置が備える色補正部において行われる。色補正部としては、例えば、信号処理装置を構成するプロセッサや、画像処理回路などが挙げられる。色補正部として機能するプロセッサなどと、吸収補正部として機能するプロセッサなどとは、同一であってもよいし、異なっていてもよい。
【００４１】
信号処理装置は、撮像装置において撮像により生成される信号に対して吸収補正処理を行った上で、色補正処理を行う。つまり、信号処理装置は、既知の吸収特性を事前に補正した上で、色補正処理を行う。
【００４２】
よって、信号処理装置は、“既存の光電変換膜積層型固体撮像装置が用いられる場合に生じうる、色再現性の悪化、Ｂ領域あるいはＲ領域のノイズ耐性の悪化、解像の悪化などの問題”の影響を、より小さくすることができる。したがって、信号処理装置は、撮像画像の高画質化を図ることができる。
【００４３】
以下、本発明の実施形態に係る信号処理装置における処理について、より具体的に説明する。
【００４４】
以下では、第１光電変換層と第２光電変換層とが、図１に示す構成である場合を例に挙げる。また、以下では、信号処理装置が、緑色の信号および青色の信号に基づいて、緑色の信号および青色の信号それぞれに対して、または、緑色の信号に対して、吸収補正処理を行う場合を例に挙げる。なお、“信号処理装置が、緑色の信号および赤色の信号に基づいて、緑色の信号および赤色の信号それぞれに対して、または、緑色の信号に対して、吸収補正処理を行うことが可能であること”は、言うまでもない。また、信号処理装置は、緑色の信号、赤色の信号、および青色の信号に基づいて、緑色の信号、赤色の信号、および青色の信号それぞれに対して吸収補正処理を行うことも可能である。
【００４５】
［２］第１の実施形態
第１の実施形態に係る信号処理装置は、“既知の吸収特性を事前に補正した上で、色補正処理を行う装置”の一例である。
【００４６】
［２−１］第１の実施形態に係る信号処理装置における処理
第１の実施形態に係る信号処理装置は、例えば下記の（Ａ）の処理、および下記の（Ｂ）の処理を行う。
（Ａ）信号処理装置は、青色の光または赤色の光を吸収した第２光電変換膜Ｌ２からの緑色の信号、および第２光電変換膜Ｌ２において吸収された光の色に対応する信号に対して、色補正処理を行う前に吸収補正を行う。
（Ｂ）信号処理装置は、吸収補正の結果得られる信号を元に、色補正処理を行う。
【００４７】
第１の実施形態に係る信号処理装置において上記（Ａ）の処理は、吸収補正部により行われる。また、第１の実施形態に係る信号処理装置において上記（Ｂ）の処理は、色補正部により行われる。
【００４８】
図２は、第１の実施形態に係る信号処理装置における処理の一例を示す説明図である。図２のＡは、赤色の信号Ｒｉｎ、緑色の信号Ｇｉｎ、および青色の信号Ｂｉｎの一例を、示している。赤色の信号Ｒｉｎ、緑色の信号Ｇｉｎ、および青色の信号Ｂｉｎは、第１の実施形態に係る信号処理装置が処理を行う対象の信号に該当する。また、図２のＢは、第１光電変換層および第２光電変換層の構成の一例を示しており、図１に示す第１光電変換層Ｌ１および第２光電変換層Ｌ２に該当する。また、図２のＣは、第１の実施形態に係る信号処理装置における吸収補正処理の一例を示している。そして、図２のＤは、第１の実施形態に係る信号処理装置における色補正処理の一例を示している。
【００４９】
［２−１−１］図２のＣに示す吸収補正処理の一例
第１の実施形態に係る信号処理装置は、第２光電変換層Ｌ２で吸収された青色の光に対応する波長の光成分を、吸収補正処理により補正する。第１の実施形態に係る信号処理装置において図２のＣに示す吸収補正処理は、例えば吸収補正部により行われる。
【００５０】
図３は、本発明の実施形態に係る吸収補正処理の結果の一例を示す説明図である。図３のＡは、赤色の信号Ｒｉｎ、緑色の信号Ｇｉｎ、および青色の信号Ｂｉｎの一例を示している。図３のＢは、吸収補正処理の結果得られる赤色の信号Ｒｉｎ’、緑色の信号Ｇｉｎ’、および青色の信号Ｂｉｎ’の一例を示している。
【００５１】
第１の実施形態に係る信号処理装置は、緑色の信号および青色の信号に基づいて第１補正値を決定する。本発明の実施形態に係る第１補正値とは、第２光電変換層Ｌ２で吸収された青色の光成分に対応する補正値である。
【００５２】
第１補正値としては、例えば下記に示す例が挙げられる。なお、第１補正値が下記に示す例に限られないことは、言うまでもない。
・緑色の信号の青領域における底Ｇｂｏｔｔｏｍ
・青色の信号のピーク値Ｂｐｅａｋを示す波長における、緑色の光の吸収率Ｇ０
【００５３】
第１補正値が決定されると、第１の実施形態に係る信号処理装置は、第１補正値により緑色の信号および青色の信号それぞれを補正する。
【００５４】
第１の実施形態に係る信号処理装置は、例えば下記の数式１または下記の数式２に示すように、緑色の信号から第１補正値を減算して緑色の信号を補正する。
【００５５】
Ｇｉｎ’＝Ｇｉｎ−Ｇｂｏｔｔｏｍ
・・・（数式１）
【００５６】
Ｇｉｎ’＝Ｇｉｎ−Ｇ０
・・・（数式２）
【００５７】
また、第１の実施形態に係る信号処理装置は、例えば下記の数式３または下記の数式４に示すように、青色の信号に第１補正値を加算して青色の信号を補正する。
【００５８】
Ｂｉｎ’＝Ｂｉｎ＋Ｇｂｏｔｔｏｍ
・・・（数式３）
【００５９】
Ｂｉｎ’＝Ｂｉｎ＋Ｇ０
・・・（数式４）
【００６０】
なお、本発明の実施形態に係る吸収補正処理は、上記に示す例に限られない。例えば、第１の実施形態に係る信号処理装置は、例えば下記の数式５、数式６に示すように、緑色の信号および青色の信号それぞれを補正してもよい。
【００６１】
Ｇｉｎ’＝Ｇｉｎ−ａ・Ｂｉｎ／（１−ａ）
・・・（数式５）
【００６２】
Ｂｉｎ’＝Ｂｉｎ／（１−ａ）
・・・（数式６）
【００６３】
ここで、上記数式５、上記数式６に示す“ａ”は、例えば、第２光電変換層Ｌ２で吸収された青色の光成分を考慮して決定される。一例を挙げると、上記数式５、上記数式６に示す“ａ”としては、緑色の光の吸収率Ｇ０が挙げられる。
【００６４】
なお、上述したように、第１の実施形態に係る信号処理装置は、第２光電変換層Ｌ２で吸収された赤色の光に対応する波長の光成分を、吸収補正処理により補正することも可能である。この場合、第１の実施形態に係る信号処理装置は、緑色の信号および赤色の信号に基づいて第２補正値を決定する。そして、第１の実施形態に係る信号処理装置は、例えば、第１補正値を用いた補正と同様に、第２補正値により緑色の信号および赤色の信号それぞれを補正する。
【００６５】
本発明の実施形態に係る第２補正値とは、第２光電変換層Ｌ２で吸収された赤色の光成分に対応する補正値である。第２補正値としては、例えば下記に示す例が挙げられる。なお、第２補正値が下記に示す例に限られないことは、言うまでもない。
・緑色の信号の赤領域における底Ｇｂｏｔｔｏｍ’
・赤色の信号のピーク値Ｒｐｅａｋを示す波長における、緑色の光の吸収率Ｇ０’
【００６６】
また、第１の実施形態に係る信号処理装置は、例えば下記の数式７、数式８に示すように、緑色の信号および赤色の信号それぞれを補正してもよい。
【００６７】
Ｇｉｎ’＝Ｇｉｎ−ａ’・Ｒｉｎ／（１−ａ’）
・・・（数式７）
【００６８】
Ｒｉｎ’＝Ｒｉｎ／（１−ａ’）
・・・（数式８）
【００６９】
ここで、上記数式７、上記数式８に示す“ａ’”は、例えば、第２光電変換層Ｌ２で吸収された赤色の光成分を考慮して決定される。一例を挙げると、上記数式７、上記数式８に示す“ａ’”としては、緑色の光の吸収率Ｇ０’が挙げられる。
【００７０】
［２−１−２］図２のＤに示す色補正処理の一例
第１の実施形態に係る信号処理装置は、吸収補正の結果得られる信号を元に色補正処理を行う。第１の実施形態に係る信号処理装置において図２のＤに示す色補正処理は、例えば色補正部により行われる。
【００７１】
第１の実施形態に係る信号処理装置は、例えば下記の数式９に示すように吸収補正の結果得られる信号を元にカラー補正マトリクスを用いた行列演算を行い、色の微調整を行う。下記の数式９に示す３つの演算は、例えば３×３の行列で表される。また、下記の数式９は、第２光電変換層Ｌ２で吸収された青色の光に対応する波長の光成分が吸収補正処理により補正された場合における、カラー補正マトリクスを用いた行列演算の一例を示している。なお、色補正処理の例が、カラー補正マトリクスを用いた行列演算に限られないことは、言うまでもない。
【００７２】
【数１】
2019092003.tif 000003
【００７３】
［２−２］第１の実施形態の効果の一例
第１の実施形態に係る信号処理装置は、既知の吸収特性を事前に補正した上で、色補正処理を行う。よって、第１の実施形態に係る信号処理装置は、上述したように、撮像画像の高画質化を図ることができる。
【００７４】
なお、第１の実施形態に係る信号処理装置が奏する効果は、上記に示す例に限られない。次に、第１の実施形態の効果の一例を、吸収補正処理が行われない場合に想定される処理と比較して説明する。
【００７５】
図４は、吸収補正処理が行われない場合に想定される処理の一例を示す説明図である。図４のＡは、図２のＡと同様に、赤色の信号Ｒｉｎ、緑色の信号Ｇｉｎ、および青色の信号Ｂｉｎの一例を、示している。また、図４のＢは、図２のＢと同様に、第１光電変換層および第２光電変換層の構成の一例を示している。また、図４のＣは、吸収補正処理が行われない場合に想定される処理の一例を示している。
【００７６】
吸収補正処理が行われない場合に想定される処理としては、例えば下記の数式１０に示すようなカラー補正マトリクスを用いた行列演算処理が、挙げられる。また、吸収補正処理が行われない場合に想定される処理では、ホワイトバランス（White  Balance）処理がさらに行われてもよい。
【００７７】
【数２】
2019092003.tif 000004
【００７８】
ここで、吸収補正処理が行われない場合に、第２光電変換層Ｌ２で吸収された青色の光成分（または赤色の光成分）の影響を低減するためには、吸収分をカラー補正マトリクスを用いた行列演算処理で補正する必要がある。そして、その場合には、上記数式１０に示すそれぞれの係数Ｃ００、Ｃ１０、…、Ｃ２１、Ｃ２２を、上記数式９に示す係数と比較してより大きく、かつより精度を高くする必要がある。
【００７９】
そして、“カラー補正マトリクスを用いた行列演算における係数がより大きくなり、かつより高精度が必要となること”は、回路規模の増大につながる。
【００８０】
図５は、図４に示す吸収補正処理が行われない場合に想定される処理を実現するための回路１０の一例を示す説明図である。回路１０は、例えば、上記数式１０に示す係数Ｃ００、Ｃ１０、…、Ｃ２１、Ｃ２２それぞれを乗算する乗算器１２、１４、１６、１８、２０、２２、２４、２６、２８と、加算器３０、３２、３４とで構成される。
【００８１】
図６は、図２に示す第１の実施形態に係る信号処理装置における処理を実現するための回路１００の一例を示す説明図である。回路１００は、例えば、吸収補正回路１０２と、上記数式９に示す係数Ｃ００、Ｃ１０、…、Ｃ２１、Ｃ２２それぞれを乗算する乗算器１０４、１０６、１０８、１１０、１１２、１１４、１１６、１１８、１２０と、加算器１２２、１２４、１２６とで構成される。吸収補正回路１０２は、例えば、シフト加算器１３０（Shift  Adder）と、加算器１３２とで構成される。
【００８２】
ここで、図５に示す回路１０と、図６に示す回路１００とを比較すると、回路１００は、回路１０の構成に対して吸収補正回路１０２が追加された構成を有する。そのため、吸収補正回路１０２が追加された分、回路１００の方が回路１０よりも回路規模が大きくなっているように、見える。
【００８３】
しかしながら、実際には、吸収補正回路１０２を構成するシフト加算器１３０は小規模の回路（例えば数百Ｇａｔｅ程度）である。
【００８４】
また、図６に示す回路１００の構成では、上記数式９に示す係数Ｃ０１、Ｃ０２、Ｃ１０、Ｃ１２、Ｃ２０、Ｃ２１の値が小さく、０近傍の値であることが保証される。また、図６に示す回路１００の構成では、上記数式９に示す係数Ｃ００、Ｃ１１、Ｃ２２の値が１近傍であることが保証される。よって、図６に示す回路１００の構成では、乗算器１０４、１０６、１０８、１１０、１１２、１１４、１１６、１１８、１２０それぞれのｂｉｔ数を削減することができる。
【００８５】
一例を挙げると、図５に示す回路１０において全ての乗算器に正負１２ｂｉｔ程度の精度が必要であった場合、図６に示す回路１００を構成する乗算器は、下記のような精度で十分である。
・係数Ｃ０１、Ｃ０２、Ｃ１０、Ｃ１２、Ｃ２０、Ｃ２１に対応する乗算器１０６、１０８、１１０、１１４、１１６、１１８：正負８ｂｉｔ程度
・係数Ｃ００、Ｃ１１、Ｃ２２に対応する乗算器１０４、１１２、１２０：１近傍の正の値８ｂｉｔ程度
【００８６】
図７は、図５に示す回路１０に対する図６に示す回路１００の回路規模の削減例を示す説明図である。
【００８７】
例えば図７に示すように、第１の実施形態に係る信号処理装置は、行列演算のみで行っていた色補正を、既知の吸収特性を事前に補正することにより、回路規模を大幅に削減することができる。
【００８８】
［３］第２の実施形態
第２の実施形態に係る信号処理装置は、“既知の吸収特性を事前に補正した上で、色補正処理を行う装置”の他の例である。第２の実施形態における第１の実施形態との主な相違点は、“第２の実施形態に係る信号処理装置が、赤色の信号または青色の信号の補間を行う前に吸収補正処理を行う点”である。
【００８９】
［３−１］第２の実施形態に係る信号処理装置における処理
第２の実施形態に係る信号処理装置は、例えば下記の（ａ）の処理〜下記の（ｄ）の処理を行う。
（ａ）赤色または青色のうち、第２光電変換層Ｌ２が主に吸収する一方の色の画素の現像を行う
（ｂ）吸収補正処理を、第２光電変換層Ｌ２で光電変換される緑色の信号、および非吸収色の信号に対して行う
（ｃ）赤色または青色のうち、上記（ａ）において現像されていない他方の色の画素の現像を行う
（ｄ）色補正処理を行う
【００９０】
第２の実施形態に係る信号処理装置において上記（ａ）の処理は、第１補間部により行われる。また、第２の実施形態に係る信号処理装置において上記（ｂ）の処理は、吸収補正部により行われる。また、第２の実施形態に係る信号処理装置において上記（ｃ）の処理は、第２補間部により行われる。また、第２の実施形態に係る信号処理装置において上記（ｄ）の処理は、色補正部により行われる。
【００９１】
第１補間部としては、例えば、信号処理装置を構成するプロセッサや、画像処理回路などが挙げられる。また、第２補間部としては、例えば、信号処理装置を構成するプロセッサや、画像処理回路などが挙げられる。また、吸収補正部および色補正部それぞれとしては、第１の実施形態に係る信号処理装置と同様に、信号処理装置を構成するプロセッサや、画像処理回路などが挙げられる。第１補間部、吸収補正部、第２補間部、および色補正部として機能するプロセッサなどは、同一であってもよいし、少なくとも一部が異なっていてもよい。
【００９２】
以下、第２光電変換層Ｌ２が主に吸収する色が青色である場合を例に挙げて、第２の実施形態に係る信号処理装置における処理の一例を説明する。つまり、以下に示す処理の例は、“上記（ａ）に示す一方の色の画素が青色の画素であり、上記（ｃ）に示す他方の色の画素が赤色の画素である場合の処理の例”である。なお、“上記（ａ）に示す一方の色の画素が赤色の画素であり、上記（ｃ）に示す他方の色の画素が青色の画素である場合”であっても、第２の実施形態に係る信号処理装置は、以下に示す処理と同様に、処理を行うことが可能である。
【００９３】
図８は、第２の実施形態に係る信号処理装置における処理の一例を示す説明図である。図８のＡは、図２のＡと同様に、赤色の信号Ｒｉｎ、緑色の信号Ｇｉｎ、および青色の信号Ｂｉｎの一例を、示している。また、図８のＢは、図２のＢと同様に、第１光電変換層および第２光電変換層の構成の一例を示している。また、図８のＣは、青色の信号を補間する補間処理の一例を示している。また、図８のＤは、第２の実施形態に係る信号処理装置における吸収補正処理の一例を示している。また、図８のＥは、赤色の信号を補間する補間処理の一例を示している。そして、図８のＦは、第２の実施形態に係る信号処理装置における色補正処理の一例を示している。
【００９４】
［３−１−１］図８のＣに示す補間処理、図８のＤに示す吸収補正処理、および図８のＥに示す補間処理の一例
図９は、図８のＣに示す補間処理、図８のＤに示す吸収補正処理、および図８のＥに示す補間処理を概念的に示す説明図である。
【００９５】
図９のＡに示すように、第２の実施形態に係る信号処理装置は、まず青色の信号Ｂｉｎに対して補間を行う。赤色の画素と青色の画素とが市松模様状に配置される場合には、画素値が存在しない赤色の画素および青色の画素が存在する。そのため、第２の実施形態に係る信号処理装置は、まず青色の信号Ｂｉｎに対して補間を行う。なお、第２の実施形態に係る信号処理装置が、まず赤色の信号Ｒｉｎに対して補間を行うことが可能であることは、言うまでもない。第２の実施形態に係る信号処理装置において図９のＡに示す処理は、例えば第１補間部により行われる。
【００９６】
第２の実施形態に係る信号処理装置は、例えば、緑色の信号Ｇｉｎが示す緑色の画素の画素値の勾配を参照しながら、青色の信号Ｂｉｎに対する補間を行う。緑色の画素の画素値の勾配を参照して補間を行う理由は、例えば、緑色の全画素に画素値が存在し、各色の画像は相関があり、かつ緑色が最も輝度に対する寄与度が高いためである。また、緑色の信号Ｇｉｎには、第２光電変換層Ｌ２で吸収された青色の光成分が含まれているので、緑色の画素の画素値の勾配を参照して補間を行うことは、妥当な補間であるといえる。
【００９７】
青色の信号Ｂｉｎに対する補間が行われると、第２の実施形態に係る信号処理装置は、図９のＢに示すように、緑色の信号Ｇｉｎおよび補間された青色の信号に基づいて、緑色の信号Ｇｉｎに対して吸収補正処理を行う。第２の実施形態に係る信号処理装置において図９のＢに示す処理は、例えば吸収補正部により行われる。
【００９８】
第２の実施形態に係る信号処理装置は、上記第１の実施形態に係る信号処理装置における吸収補正処理と同様に、吸収補正処理を行う。よって、緑色の信号Ｇｉｎに対する吸収補正処理が行われることによって、色再現性の高い緑色の信号が生成される。
【００９９】
緑色の信号Ｇｉｎに対する吸収補正処理が行われると、第２の実施形態に係る信号処理装置は、図９のＣに示すように、赤色の信号Ｒｉｎに対して補間を行う。第２の実施形態に係る信号処理装置において図９のＣに示す処理は、例えば第２補間部により行われる。
【０１００】
第２の実施形態に係る信号処理装置は、例えば、吸収補正処理が行われた後の緑色の信号が示す緑色の画素の画素値の勾配を参照しながら、赤色の信号Ｒｉｎに対する補間を行う。吸収補正処理が行われた後の緑色の画素の画素値では、第２光電変換層Ｌ２で吸収された青色の光成分の影響が除かれている。したがって、吸収補正処理が行われた後の緑色の画素の画素値の勾配を参照して補間を行うことによって、青色の画素の画素値の勾配が赤色の信号Ｒｉｎの補間に及ぼす悪影響を、低減することができる。
【０１０１】
図１０は、図８のＣに示す補間処理、図８のＤに示す吸収補正処理、および図８のＥに示す補間処理を実現するための回路１５０の一例を示す説明図である。回路１５０は、例えば、Ｂｌｕｅ／Ｒｅｄ保持ラインメモリ（Line  Memory）１５２と、Ｇｒｅｅｎ保持ラインメモリ１５４と、ライトカウンタ（Write  Counter）１５６と、リードカウンタ（Read  Counter）１５８と、Ｂｌｕｅ補間回路１６０と、Ｂｌｕｅ保持ラインメモリ１６２と、Ｂｌｕｅ吸収補正回路１６４と、Ｇｒｅｅｎ保持ラインメモリ１６６と、Ｒｅｄ補間回路１６８とで構成される。
【０１０２】
Ｂｌｕｅ／Ｒｅｄ保持ラインメモリ１５２は、青色の信号Ｂｉｎおよび赤色の信号Ｒｉｎそれぞれを保持するラインメモリである。また、Ｇｒｅｅｎ保持ラインメモリ１５４は、緑色の信号Ｇｉｎを保持するラインメモリである。
【０１０３】
Ｂｌｕｅ／Ｒｅｄ保持ラインメモリ１５２およびＧｒｅｅｎ保持ラインメモリ１５４それぞれへの書き込みは、ライトカウンタ１５６により制御される。また、Ｂｌｕｅ／Ｒｅｄ保持ラインメモリ１５２およびＧｒｅｅｎ保持ラインメモリ１５４それぞれからの読み出しは、リードカウンタ１５８により制御される。
【０１０４】
ライトカウンタ１５６およびリードカウンタ１５８は、例えば第２の実施形態に係る信号処理装置を構成するプロセッサ（図示せず）などから伝達される同期信号の信号レベルの変化に基づいてカウントを行う。そして、ライトカウンタ１５６およびリードカウンタ１５８それぞれは、カウント値に応じて、Ｂｌｕｅ／Ｒｅｄ保持ラインメモリ１５２およびＧｒｅｅｎ保持ラインメモリ１５４それぞれを制御する。なお、ライトカウンタ１５６およびリードカウンタ１５８それぞれにおける制御の仕方は、図９を参照して説明した処理を実現することができれば、特に限定されない。
【０１０５】
Ｂｌｕｅ補間回路１６０は、Ｂｌｕｅ／Ｒｅｄ保持ラインメモリ１５２から読み出された青色の信号Ｂｉｎに対して補間を行う。Ｂｌｕｅ補間回路１６０は、Ｇｒｅｅｎ保持ラインメモリ１５４から読み出された緑色の信号Ｇｉｎが示す緑色の画素の画素値の勾配を参照しながら、青色の信号Ｂｉｎに対する補間を行う。
【０１０６】
Ｂｌｕｅ保持ラインメモリ１６２は、Ｂｌｕｅ補間回路１６０における処理の結果得られる、補間された青色の信号Ｂｉｎ’を保持するラインメモリである。Ｂｌｕｅ保持ラインメモリ１６２は、例えば緑色の信号の出力または赤色の信号の出力と同期する時間分、補間された青色の信号Ｂｉｎ’の出力を遅延させる遅延素子として機能する。
【０１０７】
Ｂｌｕｅ吸収補正回路１６４は、Ｇｒｅｅｎ保持ラインメモリ１５４から読み出された緑色の信号Ｇｉｎ、および補間された青色の信号Ｂｉｎ’に基づいて、緑色の信号Ｇｉｎに対して吸収補正処理を行う。Ｂｌｕｅ吸収補正回路１６４としては、例えば図６に示す吸収補正回路１０２が挙げられる。
【０１０８】
Ｇｒｅｅｎ保持ラインメモリ１６６は、Ｂｌｕｅ吸収補正回路１６４における処理の結果得られる緑色の信号Ｇｉｎ’を保持するラインメモリである。Ｇｒｅｅｎ保持ラインメモリ１６６は、青色の信号Ｂｉｎ’の出力と同期する時間分、緑色の信号Ｇｉｎ’の出力を遅延させる遅延素子として機能する。
【０１０９】
Ｒｅｄ補間回路１６８は、Ｂｌｕｅ／Ｒｅｄ保持ラインメモリ１５２から読み出された赤色の信号Ｒｉｎに対して補間を行う。Ｒｅｄ補間回路１６８は、Ｇｒｅｅｎ保持ラインメモリ１６６から読み出された緑色の信号Ｇｉｎ’が示す緑色の画素の画素値の勾配を参照しながら、赤色の信号Ｒｉｎに対する補間を行う。
【０１１０】
例えば図１０に示す構成の回路１５０によって、補間された赤色の信号Ｒｉｎ’、吸収補正処理が行われた後の緑色の信号Ｇｉｎ’、および補間された青色の信号Ｂｉｎ’が得られる。なお、図８のＣに示す補間処理、図８のＤに示す吸収補正処理、および図８のＥに示す補間処理を実現するための回路構成が、図１０に示す例に限られないことは、言うまでもない。
【０１１１】
［３−１−２］図８のＦに示す色補正処理
第２の実施形態に係る信号処理装置は、補間された赤色の信号、吸収補正処理が行われた後の緑色の信号、および補間された青色の信号に基づいて、色補正処理を行う。第２の実施形態に係る信号処理装置は、上記第１の実施形態に係る信号処理装置における色補正処理と同様に、色補正処理を行う。第２の実施形態に係る信号処理装置において図８のＦに示す色補正処理は、例えば色補正部により行われる。
【０１１２】
［３−２］第２の実施形態の効果の一例
第２の実施形態に係る信号処理装置は、既知の吸収特性を補間に係る処理の内部で実行して既知の吸収特性を事前に補正した上で、色補正処理を行う。よって、第２の実施形態に係る信号処理装置は、上述したように、撮像画像の高画質化を図ることができる。
【０１１３】
［４］本発明の実施形態に係る信号処理装置の適用例
本発明の実施形態に係る信号処理装置は、例えば、“ＰＣ（Personal  Computer）やサーバ（Server）などのコンピュータ（Computer）”や“タブレット（Tablet）型の装置”などの、“複数の光電変換層を有するイメージセンサにおける撮像により得られた画像信号を処理することが可能な、任意の機器”に適用することができる。また、本発明の実施形態に係る信号処理装置は、例えば、上記のような機器に組み込むことが可能なＩＣ（Integrated  Circuit）に適用することもできる。
【０１１４】
また、上述したように、本発明の実施形態に係る信号処理装置は、第１光電変換層および第２光電変換層（複数の光電変換層の一例）を有するイメージセンサで構成される撮像部を備え、撮像装置として機能してもよい。この場合、本発明の実施形態に係る撮像装置は、例えば、“デジタルスチルカメラ（Digital  Still  Camera）”や、“デジタルビデオカメラ（Digital  Video  Camera）”、“スマートフォン（Smartphone）や携帯電話などの撮像機能を有する任意の機器”に適用することができる。
【０１１５】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【０１１６】
１０、１００、１５０    回路
１２、１４、１６、１８、２０、２２、２４、２６、２８、１０４、１０６、１０８、１１０、１１２、１１４、１１６、１１８、１２０    乗算器
３０、３２、３４、１２２、１２４、１２６、１３２    加算器
１０２    吸収補正回路
１３０    シフト加算器
１５２    Ｂｌｕｅ／Ｒｅｄ保持ラインメモリ
１５４、１６６    Ｇｒｅｅｎ保持ラインメモリ
１５６    ライトカウンタ
１５８    リードカウンタ
１６０    Ｂｌｕｅ補間回路
１６２    Ｂｌｕｅ保持ラインメモリ
１６４    Ｂｌｕｅ吸収補正回路
１６８    Ｒｅｄ補間回路
Ｌ１    第１光電変換層
Ｌ２    第２光電変換層
【図１】
2019092003.tif 000005
【図２】
2019092003.tif 000006
【図３】
2019092003.tif 000007
【図４】
2019092003.tif 000008
【図５】
2019092003.tif 000009
【図６】
2019092003.tif 000010
【図７】
2019092003.tif 000011
【図８】
2019092003.tif 000012
【図９】
2019092003.tif 000013
【図１０】
2019092003.tif 000014