(57)【要約】【課題】広い輝度範囲の光学被写体像を、ノイズを目立たせずに画像信号に変換することができる撮像装置を提供する。【解決手段】異なる色に関する信号を生成する複数の光電変換セル及び輝度に関する信号を生成する光電変換セルを２行２列に配置した光電変換セルグループを備える撮像素子２を備えるるまた、輝度に関する信号を生成する光電変換セルからの輝度信号の大きさによって異なる色に関する信号を生成する複数の光電変換セルからの色信号の大きさを抑圧する色抑圧制御信号生成回路７を備える。【選択図】図１
2010103817.tif 000002
【特許請求の範囲】
【請求項１】
異なる色に関する信号を生成する複数の光電変換セル及び輝度に関する信号を生成する光電変換セルを２行２列に配置した光電変換セルグループを備える撮像素子と、
前記輝度に関する信号を生成する光電変換セルからの輝度信号の大きさによって前記異なる色に関する信号を生成する複数の光電変換セルからの色信号の大きさを抑圧する信号処理手段と、
を備えることを特徴とする撮像装置。
【請求項２】
前記異なる色に関する信号を生成する複数の光電変換セルは、赤、緑、青の３種類であることを特徴とする請求項１記載の撮像装置。
【請求項３】
前記信号処理手段は、前記輝度に関する信号を生成する光電変換セルからの輝度信号の大きさが所定の値より小さいときに、前記異なる色に関する信号を生成する複数の光電変換セルからの色信号の値に１より小さい所定の係数を乗ずることを特徴とする請求項１または２記載の撮像装置。
【請求項４】
前記信号処理手段は、前記輝度に関する信号を生成する光電変換セルからの輝度信号の大きさが所定の値より大きいときに、前記異なる色に関する信号を生成する複数の光電変換セルからの色信号の値を用いて輝度信号を生成することを特徴とする請求項１乃至３のいずれかに記載の撮像装置。
【請求項５】
前記信号処理手段は、前記２行２列に配置した光電変換セルグループからの信号を同時に処理することを特徴とする請求項１乃至４のいずれかに記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光学被写体像を画像信号に変換し、更に輝度信号及び色に関する信号を生成する撮像装置に関する。
【背景技術】
【０００２】
従来、撮像装置において、広い輝度範囲の光学像を取得する技術として、特許文献１にあるように、複数回露光した画像情報を合成する技術が提案されている。
【０００３】
また、広い輝度範囲の光学像を取得する技術として、特許文献２、特許文献３にあるように、感度の異なる光電変換セルを色毎に備え、それらの光電変換セルからの情報を合成することによって、広い輝度範囲の情報を取得する技術が提案されている。
【０００４】
また、ノイズが目立ちにくい画像処理技術として、特許文献４にあるように、低輝度において、色信号を抑圧する信号処理技術が提案されていた。
【０００５】
また、画像信号における偽色を軽減する技術として、特許文献５にあるように、ＲＧＧＢ４画素をまとめて輝度情報と色に関する情報を生成する技術が提案されている。
【０００６】
また、輝度情報の帯域を広く、且つ、色情報も正確に取得する技術として、特許文献６にあるように、色情報取得のための光電変換セルに隣接して輝度情報を取得する光電変換セルを設ける技術が提案されている。
【０００７】
また、特許文献７には、光学ローパスフィルタの帯域設定に関する技術が提案されている。
【特許文献１】特許第３３８２３５９号
【特許文献２】特開２００４−２２２１８４号公報
【特許文献３】特開２００５−２８６１０４号公報
【特許文献４】特許第３９６９８３６号
【特許文献５】特開２００４−１７２２７８号公報
【特許文献６】特開２００４−３３６１８４号公報
【特許文献７】特公平６−２０３１６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上記特許文献１の技術においては、露光を複数回行う必要があるため、露光のタイミングの異なる複数画像を合成することになり、被写体が動いている場合には、ぶれになってしまうという欠点がある。
【０００９】
上記特許文献２、上記特許文献３の技術においては、特許文献１の技術のような画像取得の時間的なずれは生じない。しかし、ＲＧＢそれぞれに光電変換セルの面積を変えることによって感度の異なるセルを作ることから、半導体の製造プロセスが、面積の小さな光電変換セルにおいて微細になり、光電変換セルが製造しにくいという欠点を有する。
【００１０】
また、光電変換セルの面積を変えずに（カラーフィルタの濃度を変える等して）感度の違う光電変換セルを色毎に備えた場合には、３原色それぞれに感度の異なる光電変換セルが必要になる。
【００１１】
そのため、輝度信号と色信号を生成するための光電変換セルグループが６つの光電変換セルから構成されることになり、撮像素子上に２次元的に配列する場合、２行３列または３行２列になる。従って、水平方向と垂直方向でのサンプリング周期が異なってしまうという欠点がある。
【００１２】
上記特許文献４の技術においては、色信号を抑圧するための制御信号を、色信号の演算によって生成しているおり、低輝度時にはこの制御信号のノイズ（誤差）が拡大されてしまうため、色抑圧の制御そのものの精度が低いという欠点がある。
【００１３】
上記特許文献５は、画像信号における偽色を軽減することについての記述のみで、被写体像のダイナミックレンジについては言及されていない。
【００１４】
上記特許文献６の技術においては、色情報を取得する光電変換セル一つに付き輝度情報を取得する光電変換セルが一つ設けられているため、特許文献２、特許文献３と同様に、輝度情報、色情報共に、水平方向と、垂直方向のサンプリング周期が異なってしまう欠点がある。
【００１５】
上記特許文献７の技術においては、水平方向と、垂直方向のサンプリング周期に合わせて、被写体像の空間周波数帯域を制限しているが、輝度のサンプリング周期と色のサンプリング周期が異なることに対しては、解決策を開示していない。
【００１６】
具体的には、輝度信号のサンプリング周期に適合した遮断特性を持った光学ローパスフィルタの場合、偽色が生じてしまう欠点がある。さらに、上記特許文献７では、像のダイナミックレンジについてはまったく考慮されていない。
【００１７】
本発明の目的は、広い輝度範囲の光学被写体像を、ノイズを目立たせずに画像信号に変換することができる撮像装置を提供することにある。
【課題を解決するための手段】
【００１８】
上記目的を達成するために、請求項１記載の撮像装置は、異なる色に関する信号を生成する複数の光電変換セル及び輝度に関する信号を生成する光電変換セルを２行２列に配置した光電変換セルグループを備える撮像素子と、前記輝度に関する信号を生成する光電変換セルからの輝度信号の大きさによって前記異なる色に関する信号を生成する複数の光電変換セルからの色信号の大きさを抑圧する信号処理手段とを備えることを特徴とする。
【発明の効果】
【００１９】
本発明の撮像装置によれば、広い輝度範囲の光学被写体像を、ノイズを目立たせずに画像信号に変換することができる。
【発明を実施するための最良の形態】
【００２０】
以下、本発明を図面を参照しながら詳細に説明する。
【００２１】
（第１の実施の形態）
図１は、本発明の第１の実施の形態に係る撮像装置のブロック図である。
【００２２】
撮像装置は、以下の構成要素（ブロック）を備えている。
【００２３】
光学ローパスフィルタ１は、光学像の空間周波数の高域成分を除去する。撮像素子２は、光電変換セルを２次元状に配列している。ＡＤ変換器３は、撮像素子２からの電気信号をデジタル信号にする。
【００２４】
輝度／色分離回路４は、ＡＤ変換器３から出力される信号を色信号と輝度信号に分離する。色信号抑圧回路５は、色信号抑圧を抑圧する。色差信号生成回路６は、色信号と輝度信号から色差信号を生成する。
【００２５】
色抑圧制御信号生成回路（信号処理手段）７は、輝度信号の値が所定のレベルより低いときに、色信号抑圧回路５を制御する（制御信号を生成する）。輝度レベル判定回路８は、輝度信号のレベルを判定し、色信号を抑圧するかどうかの制御信号を発生する。
【００２６】
図２は、図１における撮像素子２の光電変換セルの配列を示す図である。
【００２７】
次に、図１の撮像装置の動作を説明する。
【００２８】
図示されない光学系によって撮像素子２上に結像された被写体像を、撮像素子２から読み出す。ここで、この光学系には光学ローパスフィルタ１も含み、その空間周波数特性には、光学ローパスフィルタ１の特性のみならず、レンズ、絞り等と光の波としての性質との干渉によって生じるＯＴＦの特性も考慮に入れる。
【００２９】
読み出し方法は、撮像素子２の種類によってさまざまであるが、ここでは、プログレッシブ読み出しの撮像素子として説明する。
【００３０】
撮像素子２は、図２に示すように、カラーフィルタを持たずに可視光全域に感度を持つ輝度信号生成セル（Ｗセル）と、赤・緑・青の純色フィルタによって分光感度をコントロールされた色信号生成セル（Ｒセル・Ｇセル・Ｂセル）を、２行２列に配置している。
【００３１】
図３は、図１における撮像素子２から出力される信号を時系列に示す図である。
【００３２】
図３は、具体的には、ＡＤ変換器（ＡＤＣ）３によって変換された後の信号を示している。撮像素子２から出力された信号し、図３のような信号列になっている。この信号を、輝度／色分離回路４によって輝度信号と色信号に分離する。
【００３３】
この例では、輝度／色分離回路４内で、少なくとも１水平走査線分のメモリを備え、線順次に読み出された信号を、２行２列の光電変換セルグループ単位に並べ替える処理も行っている。
【００３４】
本実施の形態においては、撮像素子２をプログレッシブ読み出しとして説明したため、光電変換セルグループ単位に並べ替えるのに、少なくとも１水平走査線分のメモリが必要になった。しかし、２ライン同時読み出しができる撮像素子２であれば、１水平走査線分のメモリではなく、２画素分のメモリで、光電変換セルグループ単位に並べ替えることが可能である。
【００３５】
図４は、図１における輝度／色分離回路４から出力される信号を時系列に示す図である。
【００３６】
輝度／色分離回路４からは、図４に示すように、３種類の色信号（Ｇセル・Ｂセル・Ｒセルからの信号。以下、Ｇ信号・Ｂ信号・Ｒ信号）と、輝度信号（Ｗセルからの信号。以下、Ｙ信号）とが、光電変換セルグループ単位に同期して出力される。
【００３７】
これらの信号のうち、Ｙ信号は撮像素子２に結像した被写体像の輝度信号として用いられると共に、被写体輝度が低い場合に色信号を抑圧するために、色抑圧制御信号生成回路７と輝度レベル判定回路８に供給される。
【００３８】
輝度レベル判定回路８は、Ｙ信号を所定値と比較し、Ｙ信号が所定値以下である場合に色抑圧制御信号生成回路７に対して、色抑圧制御を動作させる信号を出力する．色抑圧制御信号生成回路７は、輝度レベル判定回路８の出力と、Ｙ信号の値に応じて、１、または、Ｙ信号の値に正の相関を持つ１未満の係数ｋを出力する。
【００３９】
図５（ａ）、（ｂ）は、図１における輝度／色分離回路４から出力されるＹ信号と、色信号に乗ずる係数ｋの関係を示す図である。
【００４０】
色信号抑圧回路５は、色信号と、色抑圧制御信号生成回路７からの係数ｋとを受けて、低輝度の場合に抑圧された色信号を色差信号生成回路６に出力する。色差信号生成回路６は、Ｙ信号と色信号抑圧回路５からの低輝度の場合に抑圧された色信号とから色差信号を生成する。
【００４１】
このように、輝度の低い被写体像においては、Ｗセルから出力され、生成されたＹ信号によって、色信号を抑圧することで、輝度の低い（暗い）被写体の色ノイズを目立たなくすることができる。輝度の低い被写体像の色は薄くなるが、人間の視感度特性も、暗いときには色を判別しにくいため、不自然に感じることはない。
【００４２】
尚、本発明と直接関係しないため、詳述しないが、ホワイトバランス補正は、色抑圧の前に行った方がよく、ガンマ補正は、色抑圧処理の前に行っても、色抑圧処理の後に行ってもよい。これらの信号処理については、上記特許文献４に詳しい。
【００４３】
図６は、図１における色信号抑圧回路５、色抑圧制御信号生成回路７、輝度レベル判定回路８の第１の例を示す図である。
【００４４】
Ｙ信号が所定の値（この例では、１２ｂｉｔのＹ信号に対して、０４０ｈ（１６進表記））より小さい場合に、Ｙ信号の値に直線的に比例した係数ｋ（７ｂｉｔ）を、Ｇ信号（１２ｂｉｔ）・Ｂ信号（１２ｂｉｔ）・Ｒ信号（１２ｂｉｔ）に乗ずる。その後、当該所定の値で割っている。
【００４５】
この処理により、１２ｂｉｔＹ信号が０４０ｈより小さい場合に、図５（ａ）で示すように、Ｇ信号・Ｂ信号・Ｒ信号が、Ｙ信号に直線的に比例して抑圧される。
【００４６】
図７は、図１における色信号抑圧回路５、色抑圧制御信号生成回路７、輝度レベル判定回路８の第２の例を示す図である。
【００４７】
この例では、色抑圧制御信号生成回路７内に、色信号抑圧係数生成回路９を備え、図５（ｂ）のように、非直線な場合の係数ｋを生成する。色信号抑圧係数生成回路９の構成としては、例えば、ルックアップテーブルのような構成が考えられる。色信号抑圧回路５及び輝度レベル判定回路８は、図６と同じ構成である。
【００４８】
色信号抑圧回路５、色抑圧制御信号生成回路７、輝度レベル判定回路８は、これ以外の構成であっても、以下の条件を満たす回路であれば差し支えない。
【００４９】
即ち、図５で示したように、Ｙ信号が所定値以下のときに、色信号に対して、Ｙ信号の値に正の相関を持つ１未満の係数を乗じて、色信号の値を抑圧できる回路であれば、どのようなものであってもよい。
【００５０】
例えば、特許文献４の図４の回路からＬＰＦ９１を除いた（本発明の構成では、Ｙ信号の帯域と、色信号の帯域が等しいため必要がない）回路等もその例となり得る。尚、特許文献４の図４の回路では、後述する本発明の第２及び第３の実施の形態のように、高輝度の被写体像に対しても色抑圧を行っている。
【００５１】
（第２の実施の形態）
図８は、本発明の第２の実施の形態に係る撮像装置のブロック図である。
【００５２】
第１の実施の形態と同じ機能を持つブロックについては、同じ番号を付し説明は省略する。
【００５３】
高輝度判定回路１０は、輝度信号が輝度信号を発生する光電変換セルの飽和レベルに近いかどうかを判定し、色信号の抑圧と、輝度信号の選択を制御する信号を発生する。輝度信号合成回路１１は、色信号から輝度信号を生成する。
【００５４】
輝度信号選択回路１２は、輝度情報を生成する光電変換セルからの輝度信号と、色信号から合成された輝度信号とを切り替える。
【００５５】
色抑圧制御信号生成回路７は、輝度信号選択回路１２から出力された輝度信号と、低輝度判定回路１３の出力と、高輝度判定回路１０の出力とによって色信号抑圧回路５を制御する。
【００５６】
動作においても、輝度／色分離回路４からの出力までは、第１の実施の形態と同じなので、説明を省略する。違いは、輝度／色分離回路４からのＹ信号と色信号の処理にある。
【００５７】
撮像素子２に結像された被写体像のうち、暗い部分（Ｙ信号の値が小さな部分）についての処理は、第１の実施の形態と同じである。
【００５８】
しかし、撮像素子２に結像された被写体像のうち、明るい部分（Ｙ信号の値が大きな部分）について、Ｙ信号を高輝度判定回路１０によって判断して、高輝度色抑圧を開始させるＨ１信号を出力し、色抑圧制御信号生成回路７を動作させるところに違いがある。
【００５９】
図９（ａ）、（ｂ）は、図８における輝度／色分離回路４から出力されるＹ信号と、色信号に乗ずる係数ｋの関係を示す図である。
【００６０】
色抑圧制御信号生成回路７から係数ｋが出力される。さらに、高輝度判定回路１０の出力Ｈ２によって、撮像装置から出力する輝度信号を、ＷセルからのＹ信号から、Ｒ信号・Ｇ信号・Ｂ信号にそれぞれ所定の係数を乗じた後、加算した合成Ｙ信号に切り替えるところも、第１実施の形態と異なっている。
【００６１】
被写体像の高輝度部分においては、色フィルタを持った色信号生成セルよりも、可視光全域に感度を持つＷセルの方が先に飽和してしまう。そのため、飽和してしまったＷセルからのＹ信号を破棄し、より飽和レベルの高い色信号生成セルからのＧ信号・Ｂ信号・Ｒ信号を合成して作った輝度信号に置き替えることで、撮像装置の高輝度へのリニアリティを向上させる効果を持つ。
【００６２】
輝度信号に関して、よく使われるマトリクスに、合成Ｙ＝０．３＊Ｒ＋０．５９＊Ｇ＋０．１１＊Ｂがあるが、Ｒセル・Ｇセル・Ｂセルの分光感度によっては、これ以外の係数の組み合わせを用いてもよい。
【００６３】
高輝度色抑圧領域判定出力Ｈ１が出力されるＹ信号のレベルと、輝度信号をＹ信号から合成Ｙ信号に切り替えるＨ２信号が出力されるＹ信号のレベルとは、同じであってもよいし、異なっていてもよい。それぞれのレベルは、Ｒセル・Ｇセル・Ｂセルの分光感度（及び合成Ｙの生成マトリクス）とＷセルの感度（及び飽和レベル）に応じて決められる。
【００６４】
第２の実施の形態によれば、従来と変わらない高輝度特性を持つ撮像装置が得られる。また、低輝度での色ノイズが減ることと併せて、実質的に広いダイナミックレンジを持つ撮像装置が得られる。
【００６５】
また、異なる色に関する信号を生成する複数の光電変換セルの光に対する感度（分光感度）を調整すれば（感度のある波長の分光感度を低くして、飽和しにくくする）、従来よりも高輝度まで階調と色を保つことも可能になる。
【００６６】
（第３の実施の形態）
図１０は、本発明の第３の実施の形態に係る撮像装置のブロック図である。
【００６７】
第１の実施の形態と同じ機能を持つブロックについては、同じ番号を付し説明は省略する。
【００６８】
飽和レベル判定回路１４は、色信号が光電変換セルの飽和レベルに近いかどうかを判定し、色信号の抑圧と輝度信号の選択を制御する信号を発生する。
【００６９】
色抑圧制御信号生成回路７は、輝度信号選択回路１２から出力された輝度信号と、低輝度判定回路１３の出力と、飽和レベル判定回路１４の出力とによって色信号抑圧回路５を制御する。
【００７０】
図１１は、図１０における飽和レベル判定回路１４の例を示す図である。
【００７１】
飽和レベル判定回路１４は、コンパレータ１４ａとゲートｂを備える。コンパレータ１４ａにて、Ｇ、Ｂ、Ｒと飽和より低い所定レベルの値を比較する。
【００７２】
動作においても、輝度／色分離回路４からの出力までは、第１の実施の形態と同じなので説明を省略する。違いは、輝度／色分離回路４からのＹ信号と色信号の処理にある。
【００７３】
撮像素子２に結像された被写体像のうち、暗い部分（Ｙ信号の値が小さな部分）についての処理は、第１の実施の形態と同じである。
【００７４】
撮像素子２に結像された被写体像のうち、明るい部分について、Ｒ信号・Ｇ信号・Ｂ信号の値を飽和レベル判定回路１４によって判断して、高輝度色抑圧を行い、輝度信号をＹ信号から合成Ｙ信号へ切り替える点が第１の実施の形態とは異なる。また、高輝度色抑圧の開始を指示するＳ信号を出力し、色抑圧制御信号生成回路７と、輝度信号選択回路１２の動作を制御するところも異なる。
【００７５】
図１２（ａ）、（ｂ）は、図１０における輝度／色分離回路４から出力されるＹ信号と、色信号に乗ずる係数ｋの関係を示す図である。
【００７６】
この図において、横軸の値は、被写体像の輝度が低い部分においては、Ｗセルの値に応じたＹ信号であり、被写体像の輝度が高い部分においては、Ｒ信号・Ｇ信号・Ｂ信号のうち一番レベルの高い信号である。輝度が高い部分とは、正確には、Ｒセル・Ｇセル・Ｂセルのレベルが高い部分である。被写体像が純色の場合、輝度としてはそれほど高くなくてもＲセル・Ｇセル・Ｂセルのどれかのみが飽和することがある。
【００７７】
第３の実施の形態によっても、従来と変わらない高輝度特性を持つ撮像装置が得られる。また、低輝度での色ノイズが減ることと併せて、実質的に広いダイナミックレンジを持つ撮像装置が得られる。
【００７８】
また、異なる色に関する信号を生成する複数の光電変換セルの光に対する感度（分光感度）を調整すれば（感度のある波長の分光感度を低くして、飽和しにくくする）、従来よりも高輝度まで階調と色を保つことも可能になる。
【図面の簡単な説明】
【００７９】
【図１】本発明の第１の実施の形態に係る撮像装置のブロック図である。
【図２】図１における撮像素子２の光電変換セルの配列を示す図である。
【図３】図１における撮像素子２から出力される信号を時系列に示す図である。
【図４】図１における輝度／色分離回路４から出力される信号を時系列に示す図である。
【図５】図１における輝度／色分離回路４から出力されるＹ信号と、色信号に乗ずる係数ｋの関係を示す図である。
【図６】図１における色信号抑圧回路５、色抑圧制御信号生成回路７、輝度レベル判定回路８の第１の例を示す図である。
【図７】図１における色信号抑圧回路５、色抑圧制御信号生成回路７、輝度レベル判定回路８の第２の例を示す図である。
【図８】本発明の第２の実施の形態に係る撮像装置のブロック図である。
【図９】図８における輝度／色分離回路４から出力されるＹ信号と、色信号に乗ずる係数ｋの関係を示す図である。
【図１０】本発明の第３の実施の形態に係る撮像装置のブロック図である。
【図１１】図１０における飽和レベル判定回路１４の例を示す図である。
【図１２】図１０における輝度／色分離回路４から出力されるＹ信号と、色信号に乗ずる係数ｋの関係を示す図である。
【符号の説明】
【００８０】
１  光学ローパスフィルタ
２  撮像素子
３  ＡＤ変換器
４  輝度／色分離回路
５  色信号抑圧回路
６  色差信号生成回路
７  色抑圧制御信号生成回路
８  輝度レベル判定回路
【図１】
2010103817.tif 000003
【図２】
2010103817.tif 000004
【図３】
2010103817.tif 000005
【図４】
2010103817.tif 000006
【図５】
2010103817.tif 000007
【図６】
2010103817.tif 000008
【図７】
2010103817.tif 000009
【図８】
2010103817.tif 000010
【図９】
2010103817.tif 000011
【図１０】
2010103817.tif 000012
【図１１】
2010103817.tif 000013
【図１２】
2010103817.tif 000014