(57)【要約】【課題】高感度画素と低感度画素を有する固体撮像素子によって撮像された画像からスミアを高輝度領域まで除去し、しかも、画像の感度低下を防ぐ。【解決手段】低感度画素と高感度画素とが形成された固体撮像素子１０と、前記低感度画素から得られる低感度画像信号Ｌと前記高感度画素から得られる高感度画像信号Ｈと前記低感度画素及び前記高感度画素の感度比の値とからスミア成分を算出するスミア算出手段１６と、該スミア算出手段の算出したスミア成分を前記高感度画像信号から減算処理して画像データを生成する信号処理手段とを備える。スミア算出手段１６は、感度比を用いてスミア成分のみを算出できるため、高感度画像信号からスミア成分のみを感度を低下させることなく除去可能となる。【選択図】  図２
2004186971.tif 000002
【特許請求の範囲】
【請求項１】
低感度画素と高感度画素とが形成された固体撮像素子と、前記低感度画素から得られる低感度画像信号と前記高感度画素から得られる高感度画像信号と前記低感度画素及び前記高感度画素の感度比の値とからスミア成分を算出するスミア算出手段と、該スミア算出手段の算出したスミア成分を前記高感度画像信号から減算処理して画像データを生成する信号処理手段とを備えることを特徴とするデジタルカメラ。
【請求項２】
前記信号処理手段は、前記スミア算出手段の算出したスミア成分を前記低感度画像信号からも減算処理し該減算処理後の低感度画像信号とスミア成分減算処理後の高感度画像信号とを合成して合成画像データを生成することを特徴とする請求項１に記載のデジタルカメラ。
【請求項３】
前記信号処理手段は、前記スミア算出手段が算出したスミア成分の前記減算処理を、該減算処理前の前記高感度画像信号が飽和値に達した画素に対しては停止することを特徴とする請求項１または請求項２に記載のデジタルカメラ。
【請求項４】
前記信号処理手段はスミア成分の前記減算処理を動画撮影時に実行することを特徴とする請求項１乃至請求項３のいずれかに記載のデジタルカメラ。
【請求項５】
低感度画素と高感度画素とが形成された固体撮像素子によって撮像された画像信号からスミア成分を除去するスミア除去方法であって、前記低感度画素から得られる低感度画像信号と前記高感度画素から得られる高感度画像信号と前記低感度画素及び前記高感度画素の感度比の値とからスミア成分を算出し、算出した前記スミア成分を前記高感度画像信号から減算処理することを特徴とするスミア除去方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は低感度画素と高感度画素の両方を有する固体撮像素子を搭載したデジタルカメラとスミア除去方法に関する。
【０００２】
【従来の技術】
例えば特開平９―３７１５６号公報に記載された従来のビデオカメラは、高感度画像を撮像する高感度画素と、低感度画像を撮像する低感度画素の２種類の画素を形成した固体撮像素子を搭載し、この固体撮像素子を用いて撮像して得た高感度画像信号から低感度画像信号を減算することで、スミアを除去している。
【０００３】
【特許文献１】
特開平９―３７１５６号公報
【０００４】
【発明が解決しようとする課題】
上述した従来技術では、高感度画像信号と低感度画像信号の両方に等しく加算されているスミア成分を、高感度画像信号から低感度画像信号を減算処理することで除去しているが、この従来のスミア除去方法では、高感度画像信号の感度が減算処理により低下してしまうという問題があり、また、高輝度領域ではスミアが除去できない場合がある。
【０００５】
本発明の目的は、高感度画像信号の感度低下を防ぎ、且つ高輝度領域でもスミアを良好に除去可能なデジタルカメラとスミア除去方法を提供することにある。
【０００６】
【課題を解決するための手段】
上記目的を達成するデジタルカメラは、低感度画素と高感度画素とが形成された固体撮像素子と、前記低感度画素から得られる低感度画像信号と前記高感度画素から得られる高感度画像信号と前記低感度画素及び前記高感度画素の感度比の値とからスミア成分を算出するスミア算出手段と、該スミア算出手段の算出したスミア成分を前記高感度画像信号から減算処理して画像データを生成する信号処理手段とを備えることを特徴とする。
【０００７】
この構成により、スミア成分だけを算出でき、高感度画像信号からスミア成分のみを除去可能となるため、高感度画像信号の感度低下が防止され、しかも、高輝度領域までスミアを良好に除去できる。
【０００８】
本発明のデジタルカメラの前記信号処理手段は、前記スミア算出手段の算出したスミア成分を前記低感度画像信号からも減算処理し該減算処理後の低感度画像信号とスミア成分減算処理後の高感度画像信号とを合成して合成画像データを生成することを特徴とする。
【０００９】
この構成により、スミアが無く、しかもダイナミックレンジの広い合成画像を得ることが可能となる。
【００１０】
本発明のデジタルカメラの前記信号処理手段は、前記スミア算出手段が算出したスミア成分の前記減算処理を、該減算処理前の前記高感度画像信号が飽和値に達した画素に対しては停止することを特徴とする。
【００１１】
この構成により、スミア除去の有効な画素からの信号に対してのみスミア除去が行われ、画質破綻の少ない画像を得ることが可能となる。
【００１２】
本発明のデジタルカメラの前記信号処理手段は、スミア成分の前記減算処理を動画撮影時に実行することを特徴とする。
【００１３】
この構成により、スミアの目立つ動画（連続撮影）の画像信号からスミアが除去され、画質の良好な動画の画像信号を得ることができ、また、カメラ背面等に設けられた液晶等の表示部に画質の優れたスルー画像を表示可能となる。
【００１４】
上記目的を達成するスミア除去方法は、低感度画素と高感度画素とが形成された固体撮像素子によって撮像された画像信号からスミア成分を除去するスミア除去方法であって、前記低感度画素から得られる低感度画像信号と前記高感度画素から得られる高感度画像信号と前記低感度画素及び前記高感度画素の感度比の値とからスミア成分を算出し、算出した前記スミア成分を前記高感度画像信号から減算処理することを特徴とする。
【００１５】
この構成により、スミア成分だけを算出でき、高感度画像信号からスミア成分のみを除去可能となるため、高感度画像信号の感度低下が防止され、しかも、高輝度領域までスミアを良好に除去できる。
【００１６】
【発明の実施の形態】
以下、本発明の一実施形態を図面を参照して説明する。
【００１７】
図１は、本発明の一実施形態に係るデジタルカメラに搭載した固体撮像素子（ＣＣＤ）の画素配置図である。広ダイナミックレンジの画像を撮像するＣＣＤ部分の画素１は、例えば特開平１０―１３６３９１号公報に記載されている画素配置をとり、偶数行の各画素１に対して奇数行の各画素が水平方向に１／２ピッチずらして配置され、各画素１から読み出された信号電荷を垂直方向に転送する垂直転送路（図示せず）が、垂直方向の各画素を避けるように蛇行配置される構成をとっている。
【００１８】
各画素１は、図示する例では、画素１の面積の約１／５を占める低感度画素２と、残りの約４／５を占める高感度画素３とに分割して設けられ、各低感度画素２の蓄積電荷（信号電荷）と、各高感度画素３の蓄積電荷（信号電荷）とを区別して上記垂直転送路に読み出し転送することができるようになっている。尚、画素１をどのような割合、どの様な位置で分割するかは設計的に決められるものであり、図１は単なる例示に過ぎない。
【００１９】
図２は、本発明の一実施形態に係るデジタルカメラのブロック構成図である。このデジタルカメラは、静止画撮影モードと動画（連続撮影）撮影モードとを有し、図１で説明した固体撮像素子１０と、この固体撮像素子１０の出力信号を取り込み相関二重サンプリング処理するＣＤＳ回路１１と、ＣＤＳ回路１１の出力信号をアナログ信号処理するアナログゲイン回路１２と、アナログゲイン回路１２の出力信号をデジタル信号に変換するＡ／Ｄ変換回路１３とを備える。
【００２０】
このデジタルカメラは更に、Ａ／Ｄ変換回路１３から出力される高感度画像信号（高感度画素３から読み出されデジタル信号に変換された信号）を記憶する第１バッファメモリ１４と、Ａ／Ｄ変換回路１３から出力される低感度画像信号（低感度画素２から読み出されデジタル信号に変換された信号）を記憶する第２バッファメモリ１５と、各バッファメモリ１４，１５内の信号を読み出して詳細は後述するようにスミア成分Ｓを算出するスミア算出回路１６と、第１バッファメモリ１４から読み出された高感度画像信号からスミア成分Ｓを減算する第１加算回路１７と、第２バッファメモリ１５から読み出された低感度画像信号からスミア成分Ｓを減算する第２加算回路１８と、第１加算回路１７から出力されるスミア除去後の高感度画像信号をゲイン補正する第１ゲイン補正回路１９と、第２加算回路１８から出力されるスミア除去後の低感度画像信号をゲイン補正する第２ゲイン補正回路２０を備える。
【００２１】
更にこのデジタルカメラは、第１ゲイン補正回路１９から出力される高感度画像信号に対してガンマ補正を行う第１ガンマ補正回路２１と、第２ゲイン補正回路２０から出力される低感度画像信号に対してガンマ補正する第２ガンマ補正回路２２と、第１，第２ガンマ補正回路２１，２２の両方の出力信号を取り込んで画像合成処理を行う合成処理回路２３と、合成処理回路２３から出力される合成画像信号を取り込み同時化処理を行うＲＧＢ補間処理回路２４と、ＲＧＢ信号を輝度信号Ｙと色差信号Ｃｒ，Ｃｂでなる画像データに変換する変換回路２５と、輝度信号Ｙに対して輪郭補正する輪郭補正回路２６と、色差信号に対して色差マトリクスを乗算して色調補正する色差補正回路２７と、輪郭補正後の輝度信号Ｙと色調補正後の色差信号とを取り込みＪＰＥＧ画像等に圧縮する圧縮回路２８とを備え、圧縮回路２８から出力される最終画像（この例ではＪＰＥＧ画像）を外部メモリ２９に記録する様になっている。
【００２２】
上述した第１，第２バッファメモリ１４，１５から輪郭補正回路２６，色差補正回路２７までは、例えば、ＤＳＰ等のデジタル信号処理手段によって構成されるが、個々のディスクリートな信号処理回路によって実現してもよい。
【００２３】
上述した固体撮像素子１０から撮像画像信号を読み出す場合、先ず、低感度画素２の蓄積電荷（信号電荷）を垂直転送路に読み出し、この信号電荷を垂直転送路に沿って水平転送路まで転送させて固体撮像素子１０から低感度画像信号として出力させる。そして次に、高感度画素３の蓄積電荷（信号電荷）を垂直転送路に読み出し、この信号電荷を垂直転送路に沿って水平転送路まで転送させて固体撮像素子１０から高感度画像信号として出力させる。
【００２４】
デジタルカメラで動画を撮像する場合には、固体撮像素子１０のシャッタを開放状態に保ったまま低感度画素２の信号電荷の読み出し及び転送と高感度画素３の信号電荷の読み出し及び転送を繰り返すことになり、夫々の垂直転送路に沿った転送時に転送中の信号電荷にスミア成分が混入してしまうことになる。
【００２５】
図３は、高感度画像信号と低感度画像信号の特性図であり、固体撮像素子から出力される低感度画像信号Ｌと高感度画像信号Ｈとにスミア成分Ｓが等しく加算されていると見ることができる。
【００２６】
即ち、真の低感度画像信号をＬ０、真の高感度画像信号をＨ０とした場合、
Ｌ＝Ｌ０＋Ｓ
Ｈ＝Ｈ０＋Ｓ                …式１
と表すことができる。
【００２７】
一方、低感度画素２と高感度画素３の感度比ｋは、低感度画素２，高感度画素３の分割形状や各画素２，３のフォトダイオード構造等によって設計的に決まってしまう値であり、
ｋ＝Ｈ０／Ｌ０              …式２
と表すことができる。
【００２８】
従って、これらの式１，式２からＨ０，Ｌ０を消去すると、
スミア成分Ｓ＝（ｋ・Ｌ−Ｈ）／（ｋ−１）        …式３
と表される。
【００２９】
そこで、本実施形態に係るデジタルカメラの図２に示すスミア算出回路１６は、第１バッファメモリ１４から読み出した高感度画像信号Ｈ（＝Ｈ０＋Ｓ）と、第２バッファメモリ１５から読み出した低感度画像信号Ｌ（＝Ｌ０＋Ｓ）と、デジタルカメラの図示しないメモリに予め記憶されている機種情報中の上記感度比ｋの値とからスミア成分Ｓを式３により求め、そして、算出したスミア成分Ｓの値を、第１加算回路１７と第２加算回路１８とに出力する。これにより、第１加算回路１７からは真の高感度画像信号Ｈ０が出力され、第２加算回路１８からは真の低感度画像信号Ｌ０が出力されることになる。
【００３０】
画像合成処理回路２３は、ゲイン補正，ガンマ補正された真の高感度画像信号Ｈ０及び低感度画像信号Ｌ０とを合成処理するため、図４に信号特性を示す様に、合成結果の合成画像Ｃはスミアの無いダイナミックレンジの広い綺麗な画像となる。また、本実施形態では、スミア成分Ｓを求めてスミア成分Ｓのみを高感度画像信号と低感度画像信号から減算するため、画像信号の感度を低下させることはなく、しかも、低輝度から高輝度まで全体に渡ってスミアを除去することが可能となる。
【００３１】
本実施形態では、高感度画像信号と低感度画像信号とを合成して最終画像を得ているが、高感度画像信号Ｈからスミア成分Ｓを減算した真の高感度画像信号Ｈ０のみで完成画像を生成し、低感度画像信号はスミア成分Ｓの算出にのみ使用する構成でもよい。
【００３２】
また、高感度画像信号Ｈが飽和状態（図３で水平になった状態）になると、高感度画像信号Ｈ中のスミア成分Ｓの量が不明となるため、高感度画像信号Ｈの値すなわちＡ／Ｄ変換回路１３の出力ビット数が飽和を示す値になるまでは上記のスミア除去を実行し、飽和したときは上記のスミア除去を停止させる構成とすることでもよい。この様にしても、スミア除去の演算処理は画素単位に行われるため、１枚の画像中でスミアが乗っても目立たない白飛びしている画素部分だけがスミア除去対象外となるだけであり、画像全体の画質を低下させることにはならない。
【００３３】
尚、上記実施形態は、動画撮影モードで連続して撮像した画像の１枚１枚の画像データからスミアを除去するのに有利であるが、メカニカルシャッタを使用せずに撮像した静止画像の画像データからスミアを除去するのにも効果がある。また、デジタルカメラの背面等に設けられた液晶等の表示部に表示されるスルー画像の画像データからスミアを除去するのにも効果がある。
【００３４】
【発明の効果】
本発明によれば、低輝度から高輝度まで全体に渡ってスミアを除去することができ、しかも、感度低下を起こすことがないデジタルカメラとスミア除去方法を提供可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係るデジタルカメラに搭載する固体撮像素子の画素配置図である。
【図２】図１に示す固体撮像素子を搭載した本発明の一実施形態に係るデジタルカメラのブロック構成図である。
【図３】高感度画像信号と低感度画像信号に乗るスミア成分を説明する信号特性図である。
【図４】本発明の一実施形態に係るデジタルカメラで合成処理した合成画像の信号特性図である。
【符号の説明】
１  画素
２  低感度画素
３  高感度画素
１０  固体撮像素子
１４  第１バッファメモリ
１５  第２バッファメモリ
１６  スミア算出回路
１７  第１加算回路
１８  第２加算回路
２３  画像合成処理回路
【図１】
2004186971.tif 000003
【図２】
2004186971.tif 000004
【図３】
2004186971.tif 000005
【図４】
2004186971.tif 000006