(57)【要約】【課題】被写体像を忠実に再現することが可能な撮像装置を提供する。【解決手段】固体撮像素子２００は、画素２０２Ｒ，Ｇ，Ｂを有し、画素２０２Ｒは、Ｒ光を検出するＰＤ２１４及びＩＲ光電変換膜２２６を含み、画素２０２Ｇは、Ｇ光を検出するＰＤ２１４及びＩＲ光電変換膜２２６を含み、画素２０２Ｂは、Ｂ光を検出するＰＤ２１４及びＩＲ光電変換膜２２６を含む。デジタルカメラのデジタル信号処理部１７は、各画素の光電変換膜２２６から得られたＩＲ信号からＩＲ画像データを生成する赤外画像データ生成部１７２と、各画素の光電変換素子２１４から得られたＲ，Ｇ，Ｂを用いてカラー画像データを生成するカラー画像データ生成部１７１と、ＩＲ画像データから輪郭を抽出した輪郭画像データを生成する輪郭画像データ生成部１７３と、輪郭画像データとカラー画像データとを合成して出力する画像合成部１７４とを備える。【選択図】図４
2009049524.tif 000002
【特許請求の範囲】
【請求項１】
多数の画素を有する固体撮像素子を備える撮像装置であって、
前記多数の画素の各々は、半導体基板上方に形成された特定の波長域の光を吸収してこれに応じた電荷を発生する光電変換膜と、前記光電変換膜下方の前記半導体基板内に形成された光電変換素子とを含み、
前記多数の画素に含まれる前記光電変換素子は、可視光のうちのそれぞれ異なる波長域の光を検出するための少なくとも３種類の光電変換素子からなり、
前記光電変換膜が、前記少なくとも３種類の光電変換素子で検出される波長域とは異なる波長域の光を吸収してこれに応じた電荷を発生するものであり、
前記多数の画素の前記光電変換膜から得られた第一の撮像信号から、各画素に対応する画素データに前記光電変換膜から得られる色情報を持たせた単色画像データを生成する単色画像データ生成手段と、
前記多数の画素の前記光電変換膜から得られた第一の撮像信号と前記多数の画素の前記光電変換素子から得られた第二の撮像信号のうち、少なくとも前記第二の撮像信号を用いて、各画素に対応する画素データに３つの色情報を持たせたカラー画像データを生成するカラー画像データ生成手段と、
前記単色画像データと前記カラー画像データとを用いて記録用画像データを生成する記録用画像データ生成手段とを備える撮像装置。
【請求項２】
請求項１記載の撮像装置であって、
前記複数種類の光電変換素子が、可視光のうちのそれぞれ異なる波長域の光を検出するための３種類の光電変換素子であり、
前記光電変換膜が、赤外の波長域の光を吸収してこれに応じた電荷を発生するものであり、
前記カラー画像データ生成手段が、前記第二の撮像信号を用いて前記カラー画像データを生成するものである撮像装置。
【請求項３】
請求項１記載の撮像装置であって、
前記複数種類の光電変換素子が、可視光のうちのそれぞれ異なる波長域の光を検出するための３種類の光電変換素子であり、
前記光電変換膜が、可視光のうちの前記３種類の光電変換素子で検出される波長域とは異なる波長域の光を吸収してこれに応じた電荷を発生するものであり、
前記カラー画像データ生成手段が、前記第一の撮像信号と前記第二の撮像信号とを用いて前記カラー画像データを生成するものである撮像装置。
【請求項４】
請求項１〜３のいずれか１項記載の撮像装置であって、
前記記録用画像データ生成手段は、
前記単色画像データから輪郭情報を抽出した輪郭画像データを生成する輪郭画像データ生成手段と、
前記カラー画像データと前記輪郭画像データとを合成した画像データを前記記録用画像データとして出力する画像合成手段とを含む撮像装置。
【請求項５】
請求項４記載の撮像装置であって、
前記画像合成手段は、被写体照度が前記光電変換素子からの出力が飽和しないレベルである場合、前記カラー画像データを前記記録用画像データとしてそのまま出力し、被写体照度が前記光電変換素子からの出力が飽和するレベルである場合、前記カラー画像データと前記輪郭画像データを合成した画像データを前記記録用画像データとして出力する撮像装置。
【請求項６】
多数の画素を有する固体撮像素子を備える撮像装置であって、
前記多数の画素の各々は、半導体基板上方に形成された特定の波長域の光を吸収してこれに応じた電荷を発生する光電変換膜と、前記光電変換膜下方の前記半導体基板内に形成された光電変換素子とを含み、
前記多数の画素に含まれる前記光電変換素子は、可視光のうちのそれぞれ異なる波長域の光を検出するための２種類の光電変換素子からなり、
前記光電変換膜が、可視光のうちの前記２種類の光電変換素子で検出される波長域とは異なる波長域の光を吸収してこれに応じた電荷を発生するものであり、
前記多数の画素の前記光電変換膜から得られた第一の撮像信号から、各画素に対応する画素データに前記光電変換膜から得られる色情報を持たせた単色画像データを生成する単色画像データ生成手段と、
前記多数の画素の前記光電変換膜から得られた第一の撮像信号と前記多数の画素の前記光電変換素子から得られた第二の撮像信号とを用いて、各画素に対応する画素データに３つの色情報を持たせたカラー画像データを生成するカラー画像データ生成手段と、
前記単色画像データと前記カラー画像データとを用いて記録用画像データを生成する記録用画像データ生成手段とを備える撮像装置。
【請求項７】
請求項６記載の撮像装置であって、
前記記録用画像データ生成手段は、
前記単色画像データから輪郭情報を抽出した輪郭画像データを生成する輪郭画像データ生成手段と、
前記カラー画像データと前記輪郭画像データとを合成した画像データを前記記録用画像データとして出力する画像合成手段とを含む撮像装置。
【請求項８】
請求項７記載の撮像装置であって、
前記画像合成手段は、被写体照度が前記光電変換素子からの出力が飽和しないレベルである場合、前記カラー画像データを前記記録用画像データとしてそのまま出力し、
被写体照度が前記光電変換素子からの出力が飽和するレベルである場合、前記カラー画像データと前記輪郭画像データを合成した画像データを前記記録用画像データとして出力する撮像装置。
【請求項９】
請求項１〜８のいずれか１項記載の撮像装置であって、
前記光電変換素子の露光条件を決定する露光条件決定手段と、
前記露光条件決定手段によって決定された露光条件での撮像において、前記多数の画素に含まれる前記光電変換膜からの信号に飽和レベルを超えるものが存在しないように、前記光電変換膜に印加する電圧を調整する印加電圧調整手段とを備え、
前記印加電圧調整手段で調整された電圧を前記光電変換膜に印加した状態で、前記露光条件に基づいた撮像を行う撮像装置。
【請求項１０】
多数の画素を有する固体撮像素子から得られた信号を処理する信号処理方法であって、
前記多数の画素の各々は、半導体基板上方に形成された特定の波長域の光を吸収してこれに応じた電荷を発生する光電変換膜と、前記光電変換膜下方の前記半導体基板内に形成された光電変換素子とを含み、
前記多数の画素に含まれる前記光電変換素子は、可視光のうちのそれぞれ異なる波長域の光を検出するための少なくとも３種類の光電変換素子からなり、
前記光電変換膜が、前記少なくとも３種類の光電変換素子で検出される波長域とは異なる波長域の光を吸収してこれに応じた電荷を発生するものであり、
前記多数の画素の前記光電変換膜から得られた第一の撮像信号から、各画素に対応する画素データに前記光電変換膜から得られる色情報を持たせた単色画像データを生成する単色画像データ生成ステップと、
前記多数の画素の前記光電変換膜から得られた第一の撮像信号と前記多数の画素の前記光電変換素子から得られた第二の撮像信号のうち、少なくとも前記第二の撮像信号を用いて、各画素に対応する画素データに３つの色情報を持たせたカラー画像データを生成するカラー画像データ生成ステップと、
前記単色画像データと前記カラー画像データとを用いて記録用画像データを生成する記録用画像データ生成ステップとを備える信号処理方法。
【請求項１１】
多数の画素を有する固体撮像素子から得られた信号を処理する信号処理方法であって、
前記多数の画素の各々は、半導体基板上方に形成された特定の波長域の光を吸収してこれに応じた電荷を発生する光電変換膜と、前記光電変換膜下方の前記半導体基板内に形成された光電変換素子とを含み、
前記多数の画素に含まれる前記光電変換素子は、可視光のうちのそれぞれ異なる波長域の光を検出するための２種類の光電変換素子からなり、
前記光電変換膜が、可視光のうちの前記２種類の光電変換素子で検出される波長域とは異なる波長域の光を吸収してこれに応じた電荷を発生するものであり、
前記多数の画素の前記光電変換膜から得られた第一の撮像信号から、各画素に対応する画素データに前記光電変換膜から得られる色情報を持たせた単色画像データを生成する単色画像データ生成ステップと、
前記多数の画素の前記光電変換膜から得られた第一の撮像信号と前記多数の画素の前記光電変換素子から得られた第二の撮像信号とを用いて、各画素に対応する画素データに３つの色情報を持たせたカラー画像データを生成するカラー画像データ生成ステップと、
前記単色画像データと前記カラー画像データとを用いて記録用画像データを生成する記録用画像データ生成ステップとを備える信号処理方法。
【請求項１２】
請求項１０又は１１記載の信号処理方法であって、
前記記録用画像データ生成ステップは、前記単色画像データから輪郭情報を抽出した輪郭画像データを生成する輪郭画像データ生成ステップと、前記カラー画像データと前記輪郭画像データとを合成して前記記録用画像データを出力する画像合成ステップとを含む信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多数の画素を有する固体撮像素子を備える撮像装置に関する。
【背景技術】
【０００２】
近年、広ダイナミックレンジ撮像が可能な撮像装置が種々提案されている（例えば特許文献１参照）。特許文献１には、各受光セルが高感度受光領域と低感度受光領域に分割されている固体撮像素子を用いて時間的及び空間的にズレの少ない高感度画像と低感度画像を取得し、これら２つの画像のうち一方の画像から白とび或いは黒つぶれなどの画質劣化領域を自動判別するとともに、その画質劣化領域の情報に従って他方の画像から該当領域を切り抜き、切り抜いた画像部分を画質劣化領域の部分に合成する。その後、合成画像の全領域若しくは合成境界の近傍領域についてローパスフィルタ処理を行い、画像を滑らかにつないだ後に、輪郭強調処理を行うといった画像合成方法が開示されている。
【０００３】
【特許文献１】特開２００４−４８４４５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記従来の方法では、低感度受光セルによる撮像画像と高感度受光セルによる撮像画像とを部分的に切り貼りして１枚の広ダイナミックレンジ画像を合成しているが、低感度受光セルは高感度受光セルに対してS／N比が低下するため、それらを部分的に合成した場合、不自然な画像となってしまう。又、低感度受光セルと高感度受光セルは、近接しているとは言え、別の位置に配置されているため、低感度受光セルによる撮像画像と高感度受光セルによる撮像画像には時間的及び空間的に微妙なズレが生じてしまい、不自然な画像となってしまう。
【０００５】
本発明は、上記事情に鑑みてなされたものであり、被写体像を忠実に再現することが可能な撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の撮像装置は、多数の画素を有する固体撮像素子を備える撮像装置であって、前記多数の画素の各々は、半導体基板上方に形成された特定の波長域の光を吸収してこれに応じた電荷を発生する光電変換膜と、前記光電変換膜下方の前記半導体基板内に形成された光電変換素子とを含み、前記多数の画素に含まれる前記光電変換素子は、可視光のうちのそれぞれ異なる波長域の光を検出するための少なくとも３種類の光電変換素子からなり、前記光電変換膜が、前記少なくとも３種類の光電変換素子で検出される波長域とは異なる波長域の光を吸収してこれに応じた電荷を発生するものであり、前記多数の画素の前記光電変換膜から得られた第一の撮像信号から、各画素に対応する画素データに前記光電変換膜から得られる色情報を持たせた単色画像データを生成する単色画像データ生成手段と、前記多数の画素の前記光電変換膜から得られた第一の撮像信号と前記多数の画素の前記光電変換素子から得られた第二の撮像信号のうち、少なくとも前記第二の撮像信号を用いて、各画素に対応する画素データに３つの色情報を持たせたカラー画像データを生成するカラー画像データ生成手段と、前記単色画像データと前記カラー画像データとを用いて記録用画像データを生成する記録用画像データ生成手段とを備える。
【０００７】
本発明の撮像装置は、前記複数種類の光電変換素子が、可視光のうちのそれぞれ異なる波長域の光を検出するための３種類の光電変換素子であり、前記光電変換膜が、赤外の波長域の光を吸収してこれに応じた電荷を発生するものであり、前記カラー画像データ生成手段が、前記第二の撮像信号を用いて前記カラー画像データを生成するものである。
【０００８】
本発明の撮像装置は、前記複数種類の光電変換素子が、可視光のうちのそれぞれ異なる波長域の光を検出するための３種類の光電変換素子であり、前記光電変換膜が、可視光のうちの前記３種類の光電変換素子で検出される波長域とは異なる波長域の光を吸収してこれに応じた電荷を発生するものであり、前記カラー画像データ生成手段が、前記第一の撮像信号と前記第二の撮像信号とを用いて前記カラー画像データを生成するものである。
【０００９】
本発明の撮像装置は、前記記録用画像データ生成手段が、前記単色画像データから輪郭情報を抽出した輪郭画像データを生成する輪郭画像データ生成手段と、前記カラー画像データと前記輪郭画像データとを合成した画像データを前記記録用画像データとして出力する画像合成手段とを含む。
【００１０】
本発明の撮像装置は、前記画像合成手段は、被写体照度が前記光電変換素子からの出力が飽和しないレベルである場合、前記カラー画像データを前記記録用画像データとしてそのまま出力し、被写体照度が前記光電変換素子からの出力が飽和するレベルである場合、前記カラー画像データと前記輪郭画像データを合成した画像データを前記記録用画像データとして出力する。
【００１１】
本発明の撮像装置は、多数の画素を有する固体撮像素子を備える撮像装置であって、前記多数の画素の各々は、半導体基板上方に形成された特定の波長域の光を吸収してこれに応じた電荷を発生する光電変換膜と、前記光電変換膜下方の前記半導体基板内に形成された光電変換素子とを含み、前記多数の画素に含まれる前記光電変換素子は、可視光のうちのそれぞれ異なる波長域の光を検出するための２種類の光電変換素子からなり、前記光電変換膜が、可視光のうちの前記２種類の光電変換素子で検出される波長域とは異なる波長域の光を吸収してこれに応じた電荷を発生するものであり、前記多数の画素の前記光電変換膜から得られた第一の撮像信号から、各画素に対応する画素データに前記光電変換膜から得られる色情報を持たせた単色画像データを生成する単色画像データ生成手段と、前記多数の画素の前記光電変換膜から得られた第一の撮像信号と前記多数の画素の前記光電変換素子から得られた第二の撮像信号とを用いて、各画素に対応する画素データに３つの色情報を持たせたカラー画像データを生成するカラー画像データ生成手段と、前記単色画像データと前記カラー画像データとを用いて記録用画像データを生成する記録用画像データ生成手段とを備える。
【００１２】
本発明の撮像装置は、前記記録用画像データ生成手段が、前記単色画像データから輪郭情報を抽出した輪郭画像データを生成する輪郭画像データ生成手段と、前記カラー画像データと前記輪郭画像データとを合成した画像データを前記記録用画像データとして出力する画像合成手段とを含む。
【００１３】
本発明の撮像装置は、前記画像合成手段が、被写体照度が前記光電変換素子からの出力が飽和しないレベルである場合、前記カラー画像データを前記記録用画像データとしてそのまま出力し、被写体照度が前記光電変換素子からの出力が飽和するレベルである場合、前記カラー画像データと前記輪郭画像データを合成した画像データを前記記録用画像データとして出力する。
【００１４】
本発明の撮像装置は、前記光電変換素子の露光条件を決定する露光条件決定手段と、前記露光条件決定手段によって決定された露光条件での撮像において、前記多数の画素に含まれる前記光電変換膜からの信号に飽和レベルを超えるものが存在しないように、前記光電変換膜に印加する電圧を調整する印加電圧調整手段とを備え、前記印加電圧調整手段で調整された電圧を前記光電変換膜に印加した状態で、前記露光条件に基づいた撮像を行う。
【００１５】
本発明の信号処理方法は、多数の画素を有する固体撮像素子から得られた信号を処理する信号処理方法であって、前記多数の画素の各々は、半導体基板上方に形成された特定の波長域の光を吸収してこれに応じた電荷を発生する光電変換膜と、前記光電変換膜下方の前記半導体基板内に形成された光電変換素子とを含み、前記多数の画素に含まれる前記光電変換素子は、可視光のうちのそれぞれ異なる波長域の光を検出するための少なくとも３種類の光電変換素子からなり、前記光電変換膜が、前記少なくとも３種類の光電変換素子で検出される波長域とは異なる波長域の光を吸収してこれに応じた電荷を発生するものであり、前記多数の画素の前記光電変換膜から得られた第一の撮像信号から、各画素に対応する画素データに前記光電変換膜から得られる色情報を持たせた単色画像データを生成する単色画像データ生成ステップと、前記多数の画素の前記光電変換膜から得られた第一の撮像信号と前記多数の画素の前記光電変換素子から得られた第二の撮像信号のうち、少なくとも前記第二の撮像信号を用いて、各画素に対応する画素データに３つの色情報を持たせたカラー画像データを生成するカラー画像データ生成ステップと、前記単色画像データと前記カラー画像データとを用いて記録用画像データを生成する記録用画像データ生成ステップとを備える。
【００１６】
本発明の信号処理方法は、多数の画素を有する固体撮像素子から得られた信号を処理する信号処理方法であって、前記多数の画素の各々は、半導体基板上方に形成された特定の波長域の光を吸収してこれに応じた電荷を発生する光電変換膜と、前記光電変換膜下方の前記半導体基板内に形成された光電変換素子とを含み、前記多数の画素に含まれる前記光電変換素子は、可視光のうちのそれぞれ異なる波長域の光を検出するための２種類の光電変換素子からなり、前記光電変換膜が、可視光のうちの前記２種類の光電変換素子で検出される波長域とは異なる波長域の光を吸収してこれに応じた電荷を発生するものであり、前記多数の画素の前記光電変換膜から得られた第一の撮像信号から、各画素に対応する画素データに前記光電変換膜から得られる色情報を持たせた単色画像データを生成する単色画像データ生成ステップと、前記多数の画素の前記光電変換膜から得られた第一の撮像信号と前記多数の画素の前記光電変換素子から得られた第二の撮像信号とを用いて、各画素に対応する画素データに３つの色情報を持たせたカラー画像データを生成するカラー画像データ生成ステップと、前記単色画像データと前記カラー画像データとを用いて記録用画像データを生成する記録用画像データ生成ステップとを備える。
【００１７】
本発明の信号処理方法は、前記記録用画像データ生成ステップが、前記単色画像データから輪郭情報を抽出した輪郭画像データを生成する輪郭画像データ生成ステップと、前記カラー画像データと前記輪郭画像データとを合成して前記記録用画像データを出力する画像合成ステップとを含む。
【発明の効果】
【００１８】
本発明によれば、被写体像を忠実に再現することが可能な撮像装置を提供することができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施形態について図面を参照して説明する。以下の説明では、入射光のうちの青色（Ｂ）の波長域（一般的には約３８０ｎｍ〜約５２０ｎｍ）の光をＢ光といい、緑色（Ｇ）の波長域（一般的には約４５０ｎｍ〜約６１０ｎｍ）の光をＧ光といい、赤色（Ｒ）の波長域（一般的には約５５０ｎｍ〜約７００ｎｍ）の光をＲ光といい、赤外（ＩＲ）の波長域（一般的には約６８０ｎｍ〜約３０００ｎｍ）の光をＩＲ光という。
【００２０】
（第一実施形態）
図１は、本発明の第一実施形態である固体撮像素子の概略構成を示す平面模式図である。
図１に示す固体撮像素子２００は、入射光のうちのＲ光に応じたＲ信号を出力可能な画素２０２Ｒと、入射光のうちのＧ光に応じたＧ信号を出力可能な画素２０２Ｇと、入射光のうちのＢ光に応じたＢ信号を出力可能な画素２０２Ｂとの３種類の画素を備え、これらの画素が、シリコン等の基板２０１上の行方向Ｘとこれに直交する列方向Ｙに二次元状に配列されている。
【００２１】
図１に示すように、固体撮像素子２００の画素配列は、画素２０２Ｇと画素２０２Ｒとを行方向Ｘに交互に配列した画素行であるＧＲ画素行と、画素２０２Ｂと画素２０２Ｇとを行方向Ｘに交互に配列した画素行であるＢＧ画素行とを、列方向Ｙに交互に配列したものとなっている。固体撮像素子２００の画素配列は図１に示したものにかぎらず、画素２０２Ｒと画素２０２Ｇと画素２０２Ｂとを縦ストライプや横ストライプ状に配列したものとしても良い。
【００２２】
基板２０１の側部には行選択走査部２０３が設けられ、下辺部には画像信号処理部２０４が設けられている。又、基板２０１には、画素を選択するためのタイミングパルスを生成したり、画素を駆動するための各種制御信号を生成したりする制御部２０５が適宜箇所に設けられている。
【００２３】
各画素行の上側部には、その画素行に対応させてリセット信号線２０６と行選択信号線２０７の２本の信号線が行方向Ｘに延びて設けられている。リセット信号線２０６と行選択信号線２０７は、それに対応する画素行の各画素と、行選択走査部２０３とに接続されている。
【００２４】
列方向Ｙに配列された複数の画素からなる画素列の右側部には、その画素列に対応させて列信号線２０８と列信号線２０９との２本の信号線が列方向Ｙに延びて設けられている。列信号線２０８と列信号線２０９は、それに対応する画素列の各画素と、画像信号処理部２０４とに接続されている。
【００２５】
図２は、図１に破線（イ）で囲った４つの画素の断面を１つに合成して図示した図である。
基板２０１は例えばｎ型のシリコン基板であり、この上にはｐウェル層２１１が形成されている。基板２０１とｐウェル層２１１とを合わせた部分が半導体基板を構成している。ｐウェル層２１１上には入射光に対して透明な絶縁層２２０が形成されている。絶縁層２２０上には、画素２０２Ｒの構成要素であるＲ光を透過するカラーフィルタ２２２Ｒ、画素２０２Ｇの構成要素であるＧ光を透過するカラーフィルタ２２２Ｇ、及び画素２０２Ｂの構成要素であるＢ光を透過するカラーフィルタ２２２Ｂからなるカラーフィルタ層が形成されている。カラーフィルタ層上には、画素毎に分割された入射光に対して透明な材料（例えば、ＩＴＯや薄い金属膜）からなる画素電極２２５が形成されている。画素電極２２５上には、ＩＲ光を吸収してこれに応じた電荷を発生する光電変換膜２２６が形成されている。光電変換膜２２６上には、入射光に対して透明な材料（例えば、ＩＴＯや薄い金属膜）からなる共通電極２２７が形成されている。共通電極２２７上には、入射光に対して透明な保護層２２８が形成されている。これら光電変換膜２２６、共通電極２２７、及び保護層２２８は、全ての画素で共通の１枚構成となっている。保護層２２８上の各画素に対応する位置には、各画素に入射光を集光するためのマイクロレンズ２２９が形成されている。
【００２６】
光電変換膜２２６は、ＩＲ光を吸収してこの光に応じた電荷を発生すると共に、可視光を透過する有機光電変換材料（例えば、フタロシアニン系有機材料やナフタロシアニン系有機材料）で構成されている。光電変換膜２２６は、無機材料で構成したものであっても良い。画素電極２２５と共通電極２２７とに所定のバイアス電圧を印加して光電変換膜２２６に電界を印加すると、光電変換膜２２６では、入射したＩＲ光の光量に応じた信号電荷が発生する。光電変換膜２２６は、上記光電変換材料を、スパッタ法やレーザアブレーション法，印刷技術，スプレー法等で画素電極２２５上に積層することで形成される。
【００２７】
尚、光電変換膜２２６と共通電極２２７は、それぞれ画素毎に対応して分割してあっても良い。共通電極２２７を画素毎に分割した場合は、分割した共通電極２２７を共通配線で接続して、それぞれに同一のバイアス電圧が印加できるようにしておけば良い。
【００２８】
画素２０２Ｒ、画素２０２Ｇ、及び画素２０２Ｂは、それぞれ、ｐウェル層２１１の一部と、カラーフィルタと、画素電極２２５と、光電変換膜２２６の一部と、共通電極２２７の一部と、マイクロレンズ２２９とを含んで構成されている。画素２０２Ｒ、画素２０２Ｇ、及び画素２０２Ｂの各々の構造は、カラーフィルタを除いて共通であるため、以下では、この共通の構造を、画素２０２Ｒを代表して説明する。
【００２９】
画素２０２Ｒのカラーフィルタ２２２Ｒの上には画素電極２２５が形成されている。この画素電極２２５と、この画素電極２２５に対向する共通電極２２７と、これらに挟まれた光電変換膜２２６とにより、ＩＲ光を検出する有機光電変換素子が構成される。
【００３０】
画素２０２Ｒのｐウェル層２１１内には、その表面から内側に形成されたｎ型の不純物層（以下、ｎ層という）２１２が形成されている。ｎ層２１２の表面から内側には、ｎ層２１２よりも不純物濃度の高い暗電流抑制用のｐ型の不純物層（以下、ｐ層という）２１３が形成されている。このｐウェル層２１１とｎ層２１２とｐ層２１３とにより、光電変換素子であるフォトダイオード（ＰＤ）２１４が構成されている。フォトダイオード２１４で発生した電荷はｎ層２１２に蓄積される。
【００３１】
フォトダイオード２１４の左隣には、少し離間して信号読出回路２１５が形成されている。信号読出回路２１５は、例えば既存のＣＭＯＳ型イメージセンサで用いられる３トランジスタ構成または４トランジスタ構成等のトランジスタ回路が用いられ、行選択走査部２０３や画像信号処理部２０４も既存のＣＭＯＳ型イメージセンサで用いられるものと同じものを用いることができる。
【００３２】
信号読出回路２１５の出力は列信号線２０９に接続されている。信号読出回路２１５は、行選択信号線２０７にも接続されており、ここからパルスが印加されると、ｎ層２１２に蓄積された電荷に応じた電圧信号を列信号線２０９に出力する。又、信号読出回路２１５は、リセット信号線２０６にも接続されており、ここからパルスが印加されると、ｎ層２１２に蓄積されている電荷をリセットドレインへと掃き出すリセット動作を行う。
【００３３】
フォトダイオード２１４の右隣には、少し離間して、その表面から内側に、画素２０２Ｒの有機光電変換素子の光電変換膜２２６で発生した電荷を蓄積するための例えばｎ層からなる電荷蓄積部２１６が形成されている。電荷蓄積部２１６の右隣には、少し離間して信号読出回路２１７が形成されている。
【００３４】
信号読出回路２１７は、例えば既存のＣＭＯＳ型イメージセンサで用いられる３トランジスタ構成または４トランジスタ構成等のトランジスタ回路が用いることができる。
【００３５】
信号読出回路２１７の出力は列信号線２０８に接続されている。信号読出回路２１７は、行選択信号線２０７にも接続されており、ここからパルスが印加されると、電荷蓄積部２１６に蓄積された電荷に応じた電圧信号を列信号線２０８に出力する。又、信号読出回路２１７は、リセット信号線２０６にも接続されており、ここからパルスが印加されると、電荷蓄積部２１６に蓄積されている電荷をリセットドレインへと掃き出すリセット動作を行う。
【００３６】
尚、信号読出回路２１５と信号読出回路２１７は、既存のＣＣＤ（電荷結合素子）型固体撮像素子と同様に、各画素で検出された信号電荷を電荷転送路（垂直電荷転送路ＶＣＣＤ，水平電荷転送路ＨＣＣＤ）でアンプまで転送し、アンプにて信号を出力する構造を採用しても良い。
【００３７】
電荷蓄積部２１６上の無機層２２０及びカラーフィルタ２２２Ｒにはアルミニウム等からなるコンタクト部２２４が画素電極２２５まで貫通して形成されている。コンタクト部２２４は、画素電極２２５と電荷蓄積部２１６とに直接接続され、これらを電気的に接続する接続手段として機能する。
【００３８】
絶縁層２２０内には、ポリ配線層２１８と３層メタル配線層２１９が設けられている。これらの配線層の数は、信号読出回路２１５，２１７の回路動作に必要な配線の数によって決まっている。３層メタル層２１９は、信号読出回路２１５，２１７を遮光する遮光膜としても機能する。絶縁層２２０の上面は平坦化されており、この上にカラーフィルタ層が形成されている。
【００３９】
以上までに説明した構造が、各画素で共通の構造である。次に、各画素で異なる構造部分について説明する。
【００４０】
画素２０２Ｒのフォトダイオード２１４上方には、このフォトダイオード２１４に対応するカラーフィルタ２２２Ｒが形成されている。画素２０２Ｇのフォトダイオード２１４上方には、このフォトダイオード２１４に対応するカラーフィルタ２２２Ｇが形成されている。画素２０２Ｂのフォトダイオード２１４上方には、このフォトダイオード２１４に対応するカラーフィルタ２２２Ｂが形成されている。
【００４１】
このような構成により、画素２０２Ｒのフォトダイオード２１４は、Ｒ光を検出する第１の光電変換素子として機能し、画素２０２Ｇのフォトダイオード２１４は、Ｇ光を検出する第２の光電変換素子として機能し、画素２０２Ｂのフォトダイオード２１４は、Ｂ光を検出する第３の光電変換素子として機能する。このように、固体撮像素子２００の各画素には、有機光電変換素子とフォトダイオード２１４とが含まれた構成となっている。
【００４２】
次に、このような構成の固体撮像素子２００の動作について説明する。
【００４３】
固体撮像素子２００に光が入射すると、画素２０２Ｒでは、入射光のうちのＩＲ光が光電変換膜２２６で吸収され、Ｒ光、Ｇ光、Ｂ光、紫外光が光電変換膜２２６を透過する。透過した光のうちのＲ光はカラーフィルタ２２２Ｒを透過し、フォトダイオード２１４に吸収される。
【００４４】
画素２０２Ｇでは、入射光のうちのＩＲ光が光電変換膜２２６に吸収され、Ｒ光、Ｇ光、Ｂ光、紫外光が光電変換膜２２６を透過する。透過した光のうちのＧ光はカラーフィルタ２２２Ｇを透過し、フォトダイオード２１４に吸収される。
【００４５】
画素２０２Ｂでは、入射光のうちのＩＲ光が光電変換膜２２６で吸収され、Ｒ光、Ｇ光、Ｂ光、紫外光が光電変換膜２２６を透過する。透過した光のうちのＢ光はカラーフィルタ２２２Ｂを透過し、フォトダイオード２１４に吸収される。
【００４６】
画素２０２Ｒにおける光電変換膜２２６では、入射したＩＲ光の光量に応じた信号電荷が発生する。画素２０２Ｒの光電変換膜２２６で発生した信号電荷は、画素２０２Ｒの画素電極２２５に集約され、画素２０２Ｒのコンタクト部２２４を通り、画素２０２Ｒの信号読出回路２１７で信号に変換されて、列信号線２０８にＩＲ信号として出力される。
【００４７】
画素２０２Ｇにおける光電変換膜２２６では、入射したＩＲ光の光量に応じた信号電荷が発生する。画素２０２Ｇの光電変換膜２２６で発生した信号電荷は、画素２０２Ｇの画素電極２２５に集約され、画素２０２Ｇのコンタクト部２２４を通り、画素２０２Ｇの信号読出回路２１７で信号に変換されて、列信号線２０８にＩＲ信号として出力される。
【００４８】
画素２０２Ｂにおける光電変換膜２２６では、入射したＩＲ光の光量に応じた信号電荷が発生する。画素２０２Ｂの光電変換膜２２６で発生した信号電荷は、画素２０２Ｂの画素電極２２５に集約され、画素２０２Ｂのコンタクト部２２４を通り、画素２０２Ｂの信号読出回路２１７で信号に変換されて、列信号線２０８にＩＲ信号として出力される。
【００４９】
列信号線２０８から出力される画素２０２Ｒ，２０２Ｇ，２０２Ｂから得られたＩＲ信号を処理することで、固体撮像素子２００の総画素数からなる赤外画像データ（各画素に対応する画素データにＩＲ信号を持たせたデータ）を生成することができる。
【００５０】
画素２０２Ｒのフォトダイオード２１４では、入射したＲ光の光量に応じたＲ信号電荷が発生する。Ｒ信号電荷に応じたＲ信号は、画素２０２Ｒの信号読出回路２１５から列信号線２０９に出力される。
【００５１】
画素２０２Ｇのフォトダイオード２１４では、入射したＧ光の光量に応じたＧ信号電荷が発生する。Ｇ信号電荷に応じたＧ信号は、画素２０２Ｇの信号読出回路２１５から列信号線２０９に出力される。
【００５２】
画素２０２Ｂのフォトダイオード２１４では、入射したＢ光の光量に応じたＢ信号電荷が発生する。Ｂ信号電荷に応じたＢ信号は、画素２０２Ｂの信号読出回路２１５から列信号線２０９に出力される。
【００５３】
そして、このようにして出力されたＲ信号、Ｇ信号、Ｂ信号を用いることにより、各画素に対応する画素データにＲＧＢの３つの色情報を持たせたＲＧＢカラー画像データを生成することができる。
【００５４】
上記手法により、ＲＧＢカラー画像データと赤外画像データとを、１回の撮像によって精度良く得ることが可能となる。
【００５５】
以上のような構成の固体撮像素子２００は、デジタルカメラやデジタルビデオカメラ等の撮像装置に搭載して用いることができる。以下に、固体撮像素子２００を搭載した撮像装置の一例であるデジタルカメラの構成について説明する。
図３は、図１に示す固体撮像素子２００を搭載した撮像装置の一例であるデジタルカメラの概略構成を示す図である。
図示するデジタルカメラの撮像系は、撮影レンズ１と、上述した構成の固体撮像素子２００と、この両者の間に設けられた絞り２と、光学ローパスフィルタ４とを備える。
【００５６】
デジタルカメラの電気制御系全体を統括制御するシステム制御部１１は、フラッシュ発光部１２及び受光部１３を制御し、レンズ駆動部８を制御して撮影レンズ１の位置をフォーカス位置に調整したりズーム調整を行ったりし、絞り駆動部９を介し絞り２の開口量を制御して露光量調整を行う。
【００５７】
又、システム制御部１１は、撮像素子駆動部１０を介して固体撮像素子２００を駆動し、撮影レンズ１を通して撮像した被写体画像を色信号として出力させる。システム制御部１１には、操作部１４を通してユーザからの指示信号が入力される。
【００５８】
デジタルカメラの電気制御系は、更に、固体撮像素子２００の出力に接続された相関二重サンプリング処理等のアナログ信号処理を行うアナログ信号処理部６と、このアナログ信号処理部６から出力された信号をデジタル信号に変換するＡ／Ｄ変換回路７とを備え、これらはシステム制御部１１によって制御される。
【００５９】
更に、このデジタルカメラの電気制御系は、メインメモリ１６と、メインメモリ１６に接続されたメモリ制御部１５と、補間演算やガンマ補正演算等の各種信号処理を行って記録用の画像データを生成するデジタル信号処理部１７と、デジタル信号処理部１７で生成された画像データをＪＰＥＧ形式に圧縮したり圧縮画像データを伸張したりする圧縮伸張処理部１８と、測光データを積算しデジタル信号処理部１７が行うホワイトバランス補正のゲインを求める積算部１９と、着脱自在の記録媒体２１が接続される外部メモリ制御部２０と、カメラ背面等に搭載された液晶表示部２３が接続される表示制御部２２とを備え、これらは、制御バス２４及びデータバス２５によって相互に接続され、システム制御部１１からの指令によって制御される。
【００６０】
図４は、図３に示すデジタル信号処理部１７の詳細構成を示したブロック図である。
デジタル信号処理部１７は、カラー画像データ生成部１７１と、赤外画像データ生成部１７２と、輪郭画像データ生成部１７３と、画像合成部１７４とを備えている。これらのブロックの機能は、デジタル信号処理部１７が所定のプログラムを実行することによって実現されるものである。
【００６１】
カラー画像データ生成部１７１は、固体撮像素子２００の各画素のフォトダイオード２１４から得られたＲ，Ｇ，Ｂ信号から、１つの画素データにＲ，Ｇ，Ｂの色信号を持たせたカラー画像データを生成する。具体的に、カラー画像データ生成部１７１は、固体撮像素子２００の各画素に対応する画素位置に、各画素のフォトダイオード２１４から得られない他の色信号を補間する同時化処理を行って、該画素位置にＲ，Ｇ，Ｂの３つの色信号を生成し、この３つの色信号を該画素位置に対応する画素データとして、固体撮像素子２００の総画素数と同じ数の画素データからなるカラー画像データを生成する。例えば、画素２０２Ｒに対応する画素位置には、Ｒ信号は存在しているが、Ｇ，Ｂ信号は存在していないため、この画素位置に、周囲の画素位置にあるＧ，Ｂ信号を用いてＧ，Ｂ信号を補間して、画素２０２Ｒに対応する画素位置にＲ，Ｇ，Ｂの３つの色信号を生成する。
【００６２】
赤外画像データ生成部１７２は、固体撮像素子２００の各画素の有機光電変換素子から得られたＩＲ信号から、１つの画素データにＩＲ信号を持たせた赤外画像データを生成する。具体的に、赤外画像データ生成部１７２は、固体撮像素子２００の各画素に対応する画素位置に、各画素の有機光電変換素子から得られたＩＲ信号を配置し、このＩＲ信号を該画素位置に対応する画素データとして、固体撮像素子２００の総画素数と同じ数の画素データからなる赤外画像データを生成する。
【００６３】
輪郭画像データ生成部１７３は、赤外画像データ生成部１７２で生成された赤外画像データから輪郭情報のみ抽出した輪郭画像データを生成する。輪郭情報の抽出方法については公知であるため説明を省略する。
【００６４】
画像合成部１７４は、カラー画像データ生成部１７１で生成されたカラー画像データと、輪郭画像データ生成部１７３で生成された輪郭画像データとを合成して、記録媒体２１への記録用の画像データを生成し、これを圧縮伸張処理部１８に出力する。
【００６５】
図５は、被写体照度に対する光電変換素子２１４からの出力信号（ＰＤ信号）と有機光電変換素子からの出力信号（膜信号）の関係を示した図である。
有機光電変換素子は、光電変換素子２１４よりも受光面積が大きいため、そのダイナミックレンジが光電変換素子２１４のダイナミックレンジよりも大きくなっている。つまり、被写体に、光電変換素子２１４では出力信号が飽和して白とびしてしまう高照度領域があった場合でも、有機光電変換素子によってこの高照度領域を、白とびを起こすことなく撮像することが可能となっている。
【００６６】
例えば、図６（ａ）に示すように、雲の存在する青空を背景にした建物を撮像する場合を考える。この被写体では、雲と青空のある領域が、光電変換素子２１４からの出力信号が飽和してしまう照度レベルである高照度領域となっているものとする。このような被写体を本実施形態のデジタルカメラで撮影すると、カラー画像データ生成部１７１で生成されたカラー画像データは、図６（ｂ）に示すように、高照度領域が白とびしたものとなってしまい、雲の部分の輪郭が消されたものとなってしまう。これに対し、赤外画像データ生成部１７２で生成された赤外画像データは、図６（ｃ）に示すように、高照度領域が白とびしていないものとなる。
【００６７】
本実施形態のデジタルカメラでは、輪郭画像データ生成部１７３が、図６（ｃ）に示した赤外画像データから輪郭情報を抽出して図６（ｄ）に示したような輪郭画像データを生成し、画像合成部１７４が、図６（ｄ）に示す輪郭画像データと図６（ｂ）に示したカラー画像データとを合成して、図６（ｅ）に示すような合成画像データを生成するものとしている。図６（ｄ）に示す輪郭画像データには雲の輪郭が残っているため、これと図６（ｂ）に示すカラー画像データとを合成することで、図６（ｂ）の高照度領域で白とびして消えてしまっていた雲の輪郭を再現することが可能となる。
【００６８】
次に、デジタルカメラの動作を説明する。図７は、本実施形態のデジタルカメラの撮影動作を説明するためのフローチャートである。
撮影指示がなされると、撮像素子駆動部１０の制御によって、光電変換素子２１４の電子シャッタが“開”となり、画素電極２２５及び共通電極２２７間に所定のバイアス電圧が印加されて、光電変換素子２１４と有機光電変換素子とで被写体の撮像が同時に開始される（ステップＳ１，Ｓ３）。露光期間が終了すると、光電変換素子２１４から得られたＲ，Ｇ，Ｂ信号からカラー画像データが生成される（ステップＳ２）。更に、有機光電変換素子から得られたＩＲ信号からＩＲ画像データが生成され、このＩＲ画像データから輪郭情報を抽出した輪郭画像データが生成される（ステップＳ４）。尚、ステップＳ２とステップＳ４は、同時に行っても良いし、どちらを先に行っても良い。
【００６９】
ステップＳ２とステップＳ４の後、カラー画像データと輪郭画像データとが合成され（ステップＳ５）、被写体の輪郭を忠実に再現した記録媒体記録用のカラー画像データが出力され（ステップＳ６）、このカラー画像データが圧縮された後、記録媒体２１に記録される。
【００７０】
以上のように、本実施形態のデジタルカメラは、ダイナミックレンジの狭い光電変換素子２１４から得られた信号により生成したカラー画像データに、ダイナミックレンジの広い有機光電変換素子から得られた信号により生成した被写体の輪郭を表す輪郭画像データを合成して、記録媒体２１への記録用画像データを生成している。このため、光電変換素子２１４だけでは白とびしてしまう高照度領域が被写体にあったとしても、この高照度領域にある被写体の輪郭を忠実に再現した画像データを得ることができる。
【００７１】
又、本実施形態のデジタルカメラは、固体撮像素子２００の光電変換膜がＩＲ光を吸収してこれに応じた電荷を発生する光電変換材料で構成されている。このため、暗闇における撮影においても、その暗闇の中にある建物の輪郭を忠実に再現した画像データを得ることができる。本実施形態のデジタルカメラは、どのような被写体（明るすぎる被写体や暗すぎる被写体）であっても、その輪郭を忠実に再現した画像データを得ることができるため、監視カメラ等のように、どんな状況でも被写体の動きを検出できることが重要となるシステムに適したものとなる。
【００７２】
又、固体撮像素子２００の光電変換膜２２６を構成する有機光電変換材料は、シリコンに比べて赤外光の平均自由工程が短いため、シリコンで赤外撮像を行う場合に比べて、画素間クロストークの少ない、つまり高解像度の赤外画像データを得ることができる。赤外画像データが高解像度となることで、輪郭の抽出精度が向上し、輪郭の再現性が向上するため、光電変換膜２２６は無機よりも有機の光電変換材料で構成することが好ましい。
【００７３】
又、固体撮像素子２００は、光電変換素子２１４と有機光電変換素子とが同一位置で積層された構造となっているため、カラー画像データ生成部１７１で生成されたカラー画像データと、赤外画像データ生成部１７２で生成された赤外画像データとを、空間的、時間的に全くズレのないものにすることができる。又、このズレのないカラー画像データ全体と、赤外画像データから生成された輪郭画像データ全体とを合成して記録用の画像データを生成しているため、記録用の画像データに基づく画像をより違和感のないものにすることができる。
【００７４】
尚、本実施形態では、固体撮像素子２００に含まれる多数の光電変換素子２１４が、Ｒ光を検出する光電変換素子と、Ｇ光を検出する光電変換素子と、Ｂ光を検出する光電変換素子との３種類の光電変換素子からなるものとして説明したが、これに限らず、多数の光電変換素子２１４を４種類以上の光電変換素子からなるものとしても良い。
【００７５】
又、光電変換膜２２６を構成する光電変換材料は、ＩＲ光を吸収してこれに応じた電荷を発生する材料に限らず、光電変換膜２２６から得られる信号から輪郭画像データを生成することができる材料であれば何でも良い。ただし、光電変換素子２１４で吸収させたい光を吸収してしまう材料を採用すると、光電変換素子２１４に光が入射されなくなってしまうため、光電変換素子２１４に吸収させたい光を透過する材料であることが望ましい。
【００７６】
又、本実施形態では、画像合成部１７４が、常に、カラー画像データと輪郭画像データとを合成した画像データを記録用画像データとして出力するようにしているが、デジタル信号処理部１７内に、光電変換素子２１４からの信号が飽和レベルに達しているか否かを判定する手段を設け、この判定結果に応じて、出力する内容を変更することも可能である。この場合、画像合成部１７４は、光電変換素子２１４からの信号が飽和レベルに達していなかった場合、カラー画像データ生成３７１で生成されたカラー画像データをそのまま記録用画像データとして出力し、光電変換素子２１４からの信号が飽和レベルに達していた場合、カラー画像データ生成３７１で生成されたカラー画像データと輪郭画像データとを合成したものを記録用画像データとして出力すれば良い。
【００７７】
（第二実施形態）
本実施形態で説明するデジタルカメラの全体構成は、図３に示したものとほぼ同じであるが、固体撮像素子２００とデジタル信号処理部１７の構成が若干異なっている。
本実施形態のデジタルカメラの固体撮像素子２００は、光電変換膜２２６として、Ｇ光の一部の波長域（約４８０ｎｍ〜約５２０ｎｍ）の光（以下エメラルド（Ｅ）光という）を吸収してこれに応じた電荷を発生する光電変換材料を用いている。このような構成により、有機光電変換素子の出力信号を用いてＥ成分のみからなるＥ画像データを生成し、光電変換素子２１４の出力信号と有機光電変換素子の出力信号とを用いて、色再現性を向上させたＲＧＢカラー画像データを生成することが可能となっている。
【００７８】
図８は、本発明の第二実施形態のデジタルカメラのデジタル信号処理部の詳細構成を示したブロック図である。
図８に示したデジタル信号処理部１７は、カラー画像データ生成部２７１と、Ｅ画像データ生成部２７２と、輪郭画像データ生成部２７３と、画像合成部２７４と、飽和レベル判定部２７５とを備えている。
【００７９】
カラー画像データ生成部２７１は、固体撮像素子２００の各画素のフォトダイオード２１４から得られたＲ，Ｇ，Ｂ信号と、光電変換膜２２６から得られたＥ信号とから、１つの画素データにＲ，Ｇ，Ｂの色信号を持たせたカラー画像データを生成する。具体的に、カラー画像データ生成部２７１は、固体撮像素子２００の各画素に対応する画素位置に、各画素のフォトダイオード２１４から得られない他の色信号を補間する同時化処理を行って、該画素位置にＲ，Ｇ，Ｂ，Ｅの４つの色信号を生成し、この４つの色信号のうちのＲ信号の視感度特性を、Ｅ信号を用いて補正する。そして、補正後のＲ信号と、Ｇ信号と、Ｂ信号との３つの色信号を該画素位置に対応する画素データとして、固体撮像素子２００の総画素数と同じ数の画素データからなるカラー画像データを生成する。
【００８０】
波長４８０〜５２０ｎｍのエメラルド色の光を検出する利点は、人間の視感度に応じて赤色を補正するためである。人間の視感度は、固体撮像素子２００の光電変換素子２１４でＲ，Ｇ，Ｂの正の感度のみ検出して色再現を行っても、人間の見た画像を再現することはできない。そこで、負感度の一番大きい赤の負感度をエメラルド膜によって検出し、光電変換素子２１４で検出した赤の感度から、この負感度分を差し引く信号処理を、特許第２８７２７５９号公報記載の信号処理と同様に行うことで、人間の赤色に対する感度を再現することができ、色再現性を向上させることができる。
【００８１】
Ｅ画像データ生成部２７２は、固体撮像素子２００の各画素の有機光電変換素子から得られたＥ信号から、１つの画素データにＥ信号を持たせたＥ画像データを生成する。具体的に、Ｅ画像データ生成部２７２は、固体撮像素子２００の各画素に対応する画素位置に、各画素の有機光電変換素子から得られたＥ信号を配置し、このＥ信号を該画素位置に対応する画素データとして、固体撮像素子２００の総画素数と同じ数の画素データからなるＥ画像データを生成する。
【００８２】
輪郭画像データ生成部２７３は、Ｅ画像データ生成部２７２で生成されたＥ画像データから輪郭情報のみ抽出した輪郭画像データを生成する。輪郭情報の抽出方法については公知であるため説明を省略する。
【００８３】
飽和レベル判定部２７５は、光電変換素子２１４から得られたＲ，Ｇ，Ｂ信号に、飽和レベルに達しているものがあるか否かを判定し、判定結果を画像合成部２７４に通知する。
【００８４】
画像合成部２７４は、光電変換素子２１４から得られたＲ，Ｇ，Ｂ信号に、飽和レベルに達しているものがなかった場合、即ち、被写体照度が、光電変換素子２１４からの出力が飽和しないレベルであった場合、カラー画像データ生成部２７１で生成されたカラー画像データを記録用画像データとしてそのまま出力する。一方、光電変換素子２１４から得られたＲ，Ｇ，Ｂ信号に、飽和レベルに達しているものがあった場合、即ち、被写体照度が、光電変換素子２１４からの出力が飽和するレベルであった場合、カラー画像データ生成部２７１で生成されたカラー画像データと、輪郭画像データ生成部２７３で生成された輪郭画像データとを合成して、記録用画像データを生成し、これを出力する。
【００８５】
次に、デジタルカメラの動作を説明する。
撮影指示がなされると、撮像素子駆動部１０の制御によって、光電変換素子２１４の電子シャッタが“開”となり、画素電極２２５及び共通電極２２７間に所定のバイアス電圧が印加されて、光電変換素子２１４と有機光電変換素子とで被写体の撮像が同時に開始される。露光期間が終了すると、光電変換素子２１４から得られたＲ，Ｇ，Ｂ信号と有機光電変換素子から得られたＥ信号とからカラー画像データが生成される。
【００８６】
次に、光電変換素子２１４から得られたＲ，Ｇ，Ｂ信号が飽和レベルに達しているか否かが判定され、飽和レベルに達していない場合、生成されたカラー画像データが記録用画像データとして出力される。一方、飽和レベルに達していた場合、有機光電変換素子から得られたＥ信号からＥ画像データが生成され、これから輪郭画像データが生成される。そして、この輪郭画像データとカラー画像データとが合成されて、記録用画像データとして出力される。この記録用画像データは圧縮された後、記録媒体２１に記録される。
【００８７】
以上のように、本実施形態のデジタルカメラによれば、被写体照度が、光電変換素子２１４からの出力が飽和しないレベルであった場合には、Ｒ，Ｇ，Ｂ信号とＥ信号とを用いて、色再現性を向上させたカラー画像データを生成し、これを記録用画像データとして出力させることができ、被写体照度が、光電変換素子２１４からの出力が飽和するレベルであった場合には、色再現性を向上させたカラー画像データと輪郭画像データとを合成した画像データを記録用画像データとして出力させることができる。このため、被写体照度が低く、白つぶれ等がない場合は、色再現性の高いカラー画像データを得ることができ、被写体照度が高く、白つぶれがある場合は、色再現性が高く且つ被写体の輪郭を忠実に再現したカラー画像データを得ることができる。
【００８８】
尚、図８に示した飽和レベル判定部２７５を省略し、画像合成部２７４が、常に、カラー画像データと輪郭画像データとを合成した画像データを記録用画像データとして出力するようにしても良い。
【００８９】
（第三実施形態）
本実施形態で説明するデジタルカメラの全体構成は、図３に示したものと同じであるが、固体撮像素子２００とデジタル信号処理部１７の構成が若干異なっている。
本実施形態のデジタルカメラの固体撮像素子２００は、図１に示したＧＲ画素行の画素２０２Ｇを画素２０２Ｂに変更し、図１に示したＢＧ画素行の画素２０２Ｇを画素２０２Ｒに変更し、光電変換膜２２６として、Ｇ光を吸収してこれに応じた電荷を発生する光電変換材料を用いた構成となっている。このような構成により、有機光電変換素子の出力信号を用いてＧ成分のみからなる白黒画像データを生成し、光電変換素子２１４の出力信号と有機光電変換素子の出力信号とを用いて、ＲＧＢカラー画像データを生成することが可能となっている。
【００９０】
図９は、本発明の第三実施形態のデジタルカメラのデジタル信号処理部の詳細構成を示したブロック図である。
図９に示したデジタル信号処理部１７は、カラー画像データ生成部３７１と、Ｇ画像データ生成部３７２と、輪郭画像データ生成部３７３と、画像合成部３７４と、飽和レベル判定部３７５とを備えている。
【００９１】
カラー画像データ生成部３７１は、固体撮像素子２００の各画素のフォトダイオード２１４から得られたＲ，Ｂ信号と、光電変換膜２２６から得られたＧ信号とから、１つの画素データにＲ，Ｇ，Ｂの色信号を持たせたカラー画像データを生成する。具体的に、カラー画像データ生成部３７１は、固体撮像素子２００の各画素に対応する画素位置に、各画素のフォトダイオード２１４から得られない他の色信号を補間する同時化処理を行って、該画素位置にＲ，Ｇ，Ｂの３つの色信号を生成し、この３つの色信号を該画素位置に対応する画素データとして、固体撮像素子２００の総画素数と同じ数の画素データからなるカラー画像データを生成する。例えば、画素２０２Ｒに対応する画素位置には、Ｒ信号とＧ信号は存在しているが、Ｂ信号は存在していないため、この画素位置に、周囲の画素位置にあるＢ信号を用いてＢ信号を補間して、画素２０２Ｒに対応する画素位置にＲ，Ｇ，Ｂの３つの色信号を生成する。
【００９２】
Ｇ画像データ生成部３７２は、固体撮像素子２００の各画素の有機光電変換素子から得られたＧ信号から、１つの画素データにＧ信号を持たせたＧ画像データを生成する。具体的に、Ｇ画像データ生成部３７２は、固体撮像素子２００の各画素に対応する画素位置に、各画素の有機光電変換素子から得られたＧ信号を配置し、このＧ信号を該画素位置に対応する画素データとして、固体撮像素子２００の総画素数と同じ数の画素データからなるＧ画像データを生成する。
【００９３】
輪郭画像データ生成部３７３は、Ｇ画像データ生成部３７２で生成されたＧ画像データから輪郭情報のみ抽出した輪郭画像データを生成する。輪郭情報の抽出方法については公知であるため説明を省略する。
【００９４】
飽和レベル判定部３７５は、光電変換素子２１４から得られたＲ，Ｂ信号に、飽和レベルに達しているものがあるか否かを判定し、判定結果を画像合成部３７４に通知する。
【００９５】
画像合成部３７４は、光電変換素子２１４から得られたＲ，Ｂ信号に、飽和レベルに達しているものがなかった場合、即ち、被写体照度が、光電変換素子２１４からの出力が飽和しないレベルであった場合、カラー画像データ生成部３７１で生成されたカラー画像データを記録用画像データとしてそのまま出力する。一方、光電変換素子２１４から得られたＲ，Ｂ信号に、飽和レベルに達しているものがあった場合、即ち、被写体照度が、光電変換素子２１４からの出力が飽和するレベルであった場合、カラー画像データ生成部３７１で生成されたカラー画像データと、輪郭画像データ生成部３７３で生成された輪郭画像データとを合成して、記録用画像データを生成し、これを出力する。
【００９６】
図１０は、被写体照度に対する光電変換素子２１４からの出力信号（ＰＤ信号）と有機光電変換素子からの出力信号（膜信号）の関係を示した図である。
図１０に示すように、ＰＤダイナミックレンジ内では、ＰＤが飽和していないため、輪郭画像データを合成しなくとも、輪郭を忠実に再現したカラー画像データを得ることができる。一方、ＰＤダイナミックレンジ外では、ＰＤが飽和してしまうため、輪郭画像データを合成することで、輪郭を忠実に再現したカラー画像データを得ることができる。
【００９７】
次に、デジタルカメラの動作を説明する。
撮影指示がなされると、撮像素子駆動部１０の制御によって、光電変換素子２１４の電子シャッタが“開”となり、画素電極２２５及び共通電極２２７間に所定のバイアス電圧が印加されて、光電変換素子２１４と有機光電変換素子とで被写体の撮像が同時に開始される。露光期間が終了すると、光電変換素子２１４から得られたＲ，Ｂ信号と有機光電変換素子から得られたＧ信号とからカラー画像データが生成される。
【００９８】
次に、光電変換素子２１４から得られたＲ，Ｂ信号が飽和レベルに達しているか否かが判定され、飽和レベルに達していない場合、生成されたカラー画像データが記録用画像データとして出力される。一方、飽和レベルに達していた場合、有機光電変換素子から得られたＧ信号からＧ画像データが生成され、これから輪郭画像データが生成される。そして、この輪郭画像データとカラー画像データとが合成されて、記録用画像データとして出力される。この記録用画像データは圧縮された後、記録媒体２１に記録される。
【００９９】
以上のように、本実施形態のデジタルカメラによれば、被写体照度が、光電変換素子２１４からの出力が飽和しないレベルであった場合には、Ｒ，Ｂ信号とＧ信号とを用いてカラー画像データを生成し、これを記録用画像データとして出力させることができ、被写体照度が、光電変換素子２１４からの出力が飽和するレベルであった場合には、カラー画像データと輪郭画像データとを合成した画像データを記録用画像データとして出力させることができる。このため、被写体照度が低く、白つぶれ等がない場合は、輪郭抽出を行うことなくカラー画像データを得ることができ、被写体照度が高く、白つぶれがある場合は、被写体の輪郭を忠実に再現したカラー画像データを得ることができる。
【０１００】
尚、図９に示した飽和レベル判定部３７５を省略し、画像合成部３７４が、常に、カラー画像データと輪郭画像データとを合成した画像データを記録用画像データとして出力するようにしても良い。
【０１０１】
（第四実施形態）
第一実施形態〜第三実施形態で説明したように、光電変換素子２１４の出力が飽和していても、輪郭を忠実に再現したカラー画像データを得られるという効果は、光電変換膜２２６からの出力信号が飽和してしまっていては得ることができない。そこで、本実施形態では、図３に示したデジタルカメラの撮像素子駆動部１０が、光電変換膜２２６からの出力信号が飽和レベルに達しないように、画素電極２２５及び共通電極２２７間に印加するバイアス電圧を調整した上で、被写体の撮像を行うように固体撮像素子２００を駆動するものとしている。
【０１０２】
図１１は、光電変換膜２２６に印加するバイアス電圧と光電変換膜２２６からの出力信号との関係を示した図である。
図１１に示すように、光電変換膜２２６からの出力信号は、同じ被写体照度であっても、バイアス電圧が大きい程、そのレベルが大きくなっていることが分かる。言い換えると、光電変換膜２２６の感度は、バイアス電圧に比例していることが分かる。このため、被写体に高照度領域が存在しており、この高照度領域では出力信号が飽和レベルに達してしまっている場合（ダイナミックレンジが足りない場合）は、光電変換膜２２６に印加する電圧を小さくしてダイナミックレンジを広げ、逆に、高照度領域における出力信号が飽和レベルまでだいぶ余裕がある場合（ダイナミックレンジが十分である場合）は、光電変換膜２２６に印加する電圧を大きくし、ダイナミックレンジを狭くして感度を向上させることが有効となる。
本実施形態のデジタルカメラは、第一実施形態〜第三実施形態で説明したデジタルカメラにおいて、システム制御部１１が光電変換膜２２６からの出力信号が飽和レベルに達しているか否かを判定し、飽和レベルに達していた場合には、光電変換膜２２６への印加電圧を小さくしてダイナミックレンジを広げるように撮像素子駆動部１０を制御することで、光電変換膜２２６の出力信号が飽和しない状態で、撮影を開始できるようにしている。
【０１０３】
以下、本実施形態のデジタルカメラの動作を説明する。
図１２は、本発明の第四実施形態デジタルカメラの撮影動作を説明するためのフローチャートである。図１２において図７と同じ処理には同一符号を付してある。図１３は、図１２に示すステップＳ１３の処理の詳細なフローを示した図である。
システム制御部１１は、シャッタボタンが半押しされると、受光部１３から得られた測光データ等に基づいて、光電変換素子２１４の露光条件（レンズ絞り値、シャッター速度等）を決定する（ステップＳ１１）。次に、システム制御部１１は、決定した露光条件での撮像において、光電変換膜２２６からの出力信号に飽和レベルに達しているものが存在しないように、撮像素子駆動部１０を介して、光電変換膜２２６に印加する電圧を調整する（ステップＳ１２）。
【０１０４】
具体的には、まず、システム制御部１１は、撮像素子駆動部１０を制御して、決定した露光条件で仮撮像を行い、仮撮像によって光電変換膜２２６から得られた信号から、光電変換膜２２６からの出力信号が飽和レベルに達している領域（画素）があるか否かを判定する（ステップＳ１２１）。飽和している領域があった場合、システム制御部１１は、撮像素子駆動部１０を介して、光電変換膜２２６に印加する電圧を小さくする（ステップＳ１２２）。次に、システム制御部１１は、再び仮撮像を行い、仮撮像によって光電変換膜２２６から得られた信号から、光電変換膜２２６からの出力信号が飽和レベルに達している領域（画素）があるか否かを判定する（ステップＳ１２３）。飽和している領域があった場合はステップＳ１２２に処理を移行し、飽和している領域がなかった場合は、光電変換膜２２６への印加電圧の調整を終了する（ステップＳ１２７）。
【０１０５】
ステップＳ１２１の判定において、飽和している領域がなかった場合、システム制御部１１は、撮像素子駆動部１０を介して、光電変換膜２２６に印加する電圧を大きくする（ステップＳ１２４）。次に、システム制御部１１は、再び仮撮像を行い、仮撮像によって光電変換膜２２６から得られた信号から、光電変換膜２２６からの出力信号が飽和レベルに達している領域（画素）があるか否かを判定する（ステップＳ１２５）。飽和している領域がなかった場合はステップＳ１２４に処理を移行し、飽和している領域があった場合は、光電変換膜２２６への印加電圧を、直前のステップＳ１２４の処理で設定した電圧に設定し（ステップＳ１２６）、調整を終了する（ステップＳ１２７）。
【０１０６】
システム制御部１１は、光電変換膜２２６に印加する電圧の調整後、シャッタボタンが全押しされて撮影指示がなされると、決定した露光条件に基づく駆動及び調整した電圧の光電変換膜２２６への印加を撮像素子駆動部１０を介して行って、ステップＳ１、Ｓ３以降の動作を行う。
【０１０７】
このように、本実施形態によれば、光電変換膜２２６からの出力信号が飽和しない状態で本撮像を開始することができるため、光電変換素子２１４の出力が飽和していても、輪郭を忠実に再現したカラー画像データを得られるという効果を確実に得ることが可能となる。
【図面の簡単な説明】
【０１０８】
【図１】本発明の第一実施形態である固体撮像素子の概略構成を示す平面模式図
【図２】図１に破線（イ）で囲った４つの画素の断面を１つに合成して図示した図
【図３】図１に示す固体撮像素子を搭載した撮像装置の一例であるデジタルカメラの概略構成を示す図
【図４】図３に示すデジタル信号処理部の詳細構成を示したブロック図
【図５】第一実施形態のデジタルカメラの固体撮像素子における、被写体照度に対する光電変換素子からの出力信号（ＰＤ信号）と有機光電変換素子からの出力信号（膜信号）の関係を示した図
【図６】画像合成処理を説明するための図
【図７】第一実施形態のデジタルカメラの撮影動作を説明するためのフローチャート
【図８】本発明の第二実施形態のデジタルカメラのデジタル信号処理部の詳細構成を示したブロック図
【図９】本発明の第三実施形態のデジタルカメラのデジタル信号処理部の詳細構成を示したブロック図
【図１０】第三実施形態のデジタルカメラの固体撮像素子における、被写体照度に対する光電変換素子からの出力信号（ＰＤ信号）と有機光電変換素子からの出力信号（膜信号）の関係を示した図
【図１１】光電変換膜に印加するバイアス電圧と該光電変換膜からの出力信号との関係を示した図
【図１２】本発明の第四実施形態デジタルカメラの撮影動作を説明するためのフローチャート
【図１３】図１２に示すステップＳ１３の処理の詳細なフローを示した図
【符号の説明】
【０１０９】
２００  固体撮像素子
２０２Ｒ，Ｇ，Ｂ  画素
２１４  光電変換素子
２２６  光電変換膜
１７  デジタル信号処理部
１７１  カラー画像データ生成部
１７２  赤外画像データ生成部
１７３  輪郭画像データ生成部
１７４  画像合成部
【図１】
2009049524.tif 000003
【図２】
2009049524.tif 000004
【図３】
2009049524.tif 000005
【図４】
2009049524.tif 000006
【図５】
2009049524.tif 000007
【図６】
2009049524.tif 000008
【図７】
2009049524.tif 000009
【図８】
2009049524.tif 000010
【図９】
2009049524.tif 000011
【図１０】
2009049524.tif 000012
【図１１】
2009049524.tif 000013
【図１２】
2009049524.tif 000014
【図１３】
2009049524.tif 000015