(57)【要約】【課題】低照度下において、高感度・高フレーム周波数・高解像度な撮像を可能とする。【解決手段】固体撮像素子は、入射光の波長に依存する感度特性を有し、受けた光の強度に応じた画素信号を出力する光電変換部を各画素が備え、感度特性が相互に異なる複数種類の画素群と、複数種類の画素群の各々から画素信号を読み出し、画素群の種類に応じた画像の画像信号を出力する読み出し回路とを備えている。読み出し回路は、画素群の種類に応じて画像のフレーム周波数を変化させた画像信号を出力する。【選択図】図３
2010183357.tif 000002
【特許請求の範囲】
【請求項１】
入射光の波長に依存する感度特性を有し、受けた光の強度に応じた画素信号を出力する光電変換部を各画素が備え、前記感度特性が相互に異なる複数種類の画素群と、
前記複数種類の画素群の各々から前記画素信号を読み出し、画素群の種類に応じた画像の画像信号を出力する読み出し回路と
を備えた固体撮像素子であって、
前記読み出し回路は、画素群の種類に応じて画像のフレーム周波数を変化させた画像信号を出力する、固体撮像素子。
【請求項２】
同一種類の画素群から読み出された複数の画素信号を加算する信号加算回路をさらに備え、
前記信号加算回路は、前記画素群の種類に応じて加算する画素信号の数を変化させることにより、前記画素群の種類に応じた画像の空間周波数を変化させる、請求項１に記載の固体撮像素子。
【請求項３】
前記複数種類の画素群に含まれる少なくとも３種類の画素群は、それぞれ、赤色、緑色、青色の入射光に対して最も高い感度を有する光電変換部を備えており、
前記赤色に対して最も高い感度を有する赤色画素群、および、前記青色に対して最も高い感度を有する青色画素群からそれぞれ読み出された各画像のフレーム周波数は、前記緑色に対して最も高い感度を有する緑色画素群から読み出された画像のフレーム周波数よりも高い、請求項１または２に記載の固体撮像素子。
【請求項４】
前記赤色画素群および前記青色画素群から読み出された各画像の空間周波数は、前記緑色画素群から読み出された画像の空間周波数よりも低い、請求項３に記載の固体撮像素子。
【請求項５】
前記複数種類の画素群に含まれる少なくとも４種類の画素群は、それぞれ、赤色、緑色、青色の入射光に対して最も高い感度を有する光電変換部と、可視光の全域にわたって高い感度を有する光電変換部を備えており、
前記可視光の全域にわたって高い感度を有する白色画素群から読み出された画像のフレーム周波数は、前記赤色に対して最も高い感度を有する赤色画素群、前記青色に対して最も高い感度を有する青色画素群、および、前記緑色に対して最も高い感度を有する緑色画素群から読み出された各画像のフレーム周波数よりも高い、請求項１または２に記載の固体撮像素子。
【請求項６】
前記白色画素群から読み出された画像の空間周波数は、前記赤色画素群、前記緑色画素群および前記青色画素群から読み出された各画像の空間周波数よりも低い、請求項５に記載の固体撮像素子。
【請求項７】
前記複数種類の画素群に含まれる少なくとも４種類の画素群は、それぞれ、緑色の入射光に対して最も高い感度を有する光電変換部、および、３原色の各々に対する補色となる入射光に対して最も高い感度を有する光電変換部を備えており、
前記補色に関する３種類の補色画素群から読み出された各画像のフレーム周波数は、前記緑色に対して最も高い感度を有する緑色画素群から読み出された画像のフレーム周波数よりも高い、請求項１または２に記載の固体撮像素子。
【請求項８】
前記３種類の補色画素群から読み出された画像の空間周波数は、前記緑色画素群から読み出された画像の空間周波数よりも低い、請求項７に記載の固体撮像素子。
【請求項９】
請求項１から８のいずれかに記載の固体撮像素子と、
前記固体撮像素子から読み出された、フレーム周波数が相対的に高い画像フレームから被写体の動きを算出する動き検出部と、
前記固体撮像素子から読み出された、フレーム周波数が相対的に低い画像フレーム間に補間フレームを生成する復元処理部と
を備えた、カメラシステム。
【請求項１０】
前記復元処理部は、前記固体撮像素子から読み出された、空間周波数が相対的に高い画像フレームから被写体の形状を復元し、前記固体撮像素子から読み出された、空間周波数が相対的に低い画像フレームに対して補間画素を生成する、請求項９に記載のカメラシステム。
【請求項１１】
被写体の明るさに応じて前記読み出し回路が画像を読み出す際の動作周波数を変更することにより、前記画素群の種類に応じて読み出される画像のフレーム周波数を制御するタイミング生成部をさらに備えた、請求項９または１０に記載のカメラシステム。
【請求項１２】
被写体の明るさに応じて前記信号加算回路が加算する画素信号の数を変化させることにより、前記画素群の種類に応じた画像の空間周波数を制御するタイミング生成部をさらに備えた、請求項１１に記載のカメラシステム。
【請求項１３】
感度特性が相互に異なる複数種類の画素群を有する固体撮像素子から画像信号を読み出す方法であって、
前記複数種類の画素群を構成する各画素は、入射光の波長に依存する感度特性を有し、受けた光の強度に応じた画素信号を出力する光電変換部を備えており、
前記複数種類の画素群の各々から、異なる露光時間で受けた光の強度に応じた前記画素信号を読み出すステップと、
前記複数種類の画素群の種類に応じた画像の画像信号を出力するステップであって、画素群の種類に応じて画像のフレーム周波数を変化させた画像信号を出力するステップと
を包含する、読み出し方法。
【請求項１４】
同一種類の画素群から読み出された複数の画素信号を加算するステップをさらに包含し、
前記加算するステップは、前記画素群の種類に応じて加算する画素信号の数を変化させ、
前記画像信号を出力するステップは、加算された前記複数の画素信号に基づいて、前記画素群の種類に応じて空間周波数が異なる画像の画像信号を出力する、請求項１３に記載の読み出し方法。
【請求項１５】
前記複数種類の画素群に含まれる少なくとも３種類の画素群は、それぞれ、赤色、緑色、青色の入射光に対して最も高い感度を有する光電変換部を備えており、
前記赤色に対して最も高い感度を有する赤色画素群、および、前記青色に対して最も高い感度を有する青色画素群の露光時間は、前記緑色に対して最も高い感度を有する緑色画素群の露光時間よりも短く、
前記画像信号を出力するステップは、前記緑色画素群、前記赤色画素群、および、前記青色画素群からそれぞれ読み出された画像の画像信号を出力し、
前記赤色画素群、および、前記青色画素群からそれぞれ読み出された各画像のフレーム周波数は、前記緑色画素群から読み出された画像のフレーム周波数よりも高い、請求項１３または１４に記載の読み出し方法。
【請求項１６】
同一種類の画素群から読み出された複数の画素信号を加算するステップをさらに包含し、
前記加算するステップが前記画素群の種類に応じて加算する画素信号の数を変化させることにより、前記赤色画素群および前記青色画素群から読み出された各画素信号の数は、前記緑色画素群から読み出された各画素信号の数よりも多く、
前記赤色画素群および前記青色画素群から読み出された各画像の空間周波数は、前記緑色画素群から読み出された画像の空間周波数よりも低い、請求項１５に記載の読み出し方法。
【請求項１７】
前記複数種類の画素群に含まれる少なくとも４種類の画素群は、それぞれ、赤色、緑色、青色の入射光に対して最も高い感度を有する光電変換部と、可視光の全域にわたって高い感度を有する光電変換部を備えており、
前記赤色に対して最も高い感度を有する赤色画素群、および、前記青色に対して最も高い感度を有する青色画素群、および、前記緑色に対して最も高い感度を有する緑色画素群の露光時間は、前記可視光の全域にわたって高い感度を有する白色画素群の露光時間よりも短く、
前記画像信号を出力するステップは、前記緑色画素群、前記赤色画素群、前記青色画素群、および、前記白色画素群からそれぞれ読み出された画像の画像信号を出力し、
前記赤色画素群、前記青色画素群、および、前記緑色画素群から読み出された各画像のフレーム周波数は、前記白色画素群から読み出された画像のフレーム周波数よりも高い、請求項１３または１４に記載の読み出し方法。
【請求項１８】
同一種類の画素群から読み出された複数の画素信号を加算するステップをさらに包含し、
前記加算するステップが前記画素群の種類に応じて加算する画素信号の数を変化させることにより、前記赤色画素群、前記青色画素群および前記緑色画素群から読み出された各画素信号の数は、前記白色画素群から読み出された各画素信号の数よりも多く、
前記赤色画素群、前記青色画素群および前記緑色画素群から読み出された各画像の空間周波数は、前記白色画素群から読み出された画像の空間周波数よりも低い、請求項１７に記載の読み出し方法。
【請求項１９】
前記複数種類の画素群に含まれる少なくとも４種類の画素群は、それぞれ、緑色の入射光に対して最も高い感度を有する光電変換部、および、３原色の各々に対する補色となる入射光に対して最も高い感度を有する光電変換部を備えており、
前記補色に関する３種類の補色画素群の露光時間は、前記緑色に対して最も高い感度を有する緑色画素群の露光時間よりも短く、
前記３種類の補色画素群から読み出された各画像のフレーム周波数は、前記緑色画素群から読み出された画像のフレーム周波数よりも高い、請求項１３または１４に記載の読み出し方法。
【請求項２０】
同一種類の画素群から読み出された複数の画素信号を加算するステップをさらに包含し、
前記加算するステップが前記画素群の種類に応じて加算する画素信号の数を変化させることにより、前記３種類の補色画素群から読み出された各画素信号の数は、前記緑色画素群から読み出された各画素信号の数よりも多く、
前記３種類の補色画素群から読み出された各画像の空間周波数は、前記緑色画素群から読み出された画像の空間周波数よりも低い、請求項１９に記載の読み出し方法。
【請求項２１】
入射光の波長に依存する感度特性を有し、受けた光の強度に応じた画素信号を出力する光電変換部を各画素が備え、前記感度特性が相互に異なる複数種類の画素群と、
前記固体撮像素子から読み出された画像を処理する信号処理装置と
を備えたカメラシステムにおいて、前記信号処理装置において実行される信号処理方法であって、
請求項１３から２０のいずれかに記載の読み出し方法により、前記固体撮像素子から読み出された高いフレーム周波数の画像から被写体の動きを算出するステップと、
低いフレーム周波数の画像間に補間フレームを発生するステップと
を包含する、信号処理方法。
【請求項２２】
前記固体撮像素子から読み出された高い空間周波数の画像から前記被写体の形状を算出するステップと、
算出された前記形状に基づいて、前記固体撮像素子から読み出された低い空間周波数の画像に対して、画素を補間するステップと
をさらに包含する、請求項２１に記載の信号処理方法。
【請求項２３】
被写体の明るさに適応して、前記複数種類の画素群の種類に応じて露光時間を変えることにより、前記画素群毎にフレーム周波数を制御するステップをさらに包含する、請求項２１または２２に記載の信号処理方法。
【請求項２４】
同一種類の画素群から読み出された複数の画素信号を加算するステップをさらに包含し、
前記加算するステップは、前記被写体の明るさに適応して、前記複数種類の画素群の種類に応じて、加算する画素信号の数を変えることにより、画素群の種類に応じて画像の空間周波数を制御する、請求項２３に記載の信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、固体撮像素子、カメラシステムおよび駆動方法に関する。より具体的には、本発明は、高解像度かつ高フレーム周波数な動画を高感度に撮像するための固体撮像素子、当該固体撮像素子を備えたカメラシステムおよび当該固体撮像素子の駆動方法に関する。
【背景技術】
【０００２】
地上波放送がデジタル化され、従来の放送フォーマットよりも高解像度な画像を高品位ディスプレイに表示し、家庭で楽しめるようになってきた。それと同時に、放送システムと同等の２００万画素という高解像度な動画像を撮像するカメラもまた家庭へと普及しつつある。高解像度化の流れはとどまることはなく、今後は８００万画素（４Ｋ２Ｋフォーマット）、さらには３２００万画素（８Ｋ４Ｋフォーマット）といった高解像度の規格化が議論されている。
【０００３】
現在のカメラで用いられている固体撮像素子の一例は、ＭＯＳ（Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型である。図３０は、イメージセンサの構成を示す。光の３原色（Ｒ；赤色、Ｇ；緑色、Ｂ；青色）に対応した波長帯に感度を有する画素１１が二次元マトリクス状に配置され、その周辺に走査のための垂直シフトレジスタ１２および水平シフトレジスタ１３が配置されている。
【０００４】
固体撮像素子は、行方向の配線群を活性化させて画素から画素信号を読み出す動作を垂直方向に走査し、水平シフトレジスタ１３により画素信号を水平方向に転送することにより二次元の画像情報をシリアルに出力する。各色フィルタに対応した画素信号が読み出されることにより、赤（Ｒ）画像、緑（Ｇ）画像および青（Ｂ）画像が得られる。図３１は、イメージセンサから出力された、Ｒ，Ｇ，Ｂ信号を示している。１枚の画像は「フレーム」と呼ばれる。赤（Ｒ）画像、緑（Ｇ）画像および青（Ｂ）画像の３つのフレームにより、カラー画像１フレームが構成される。Ｒ画像、Ｇ画像およびＢ画像の各々について、複数のフレームを連続して読み出すことで動画を撮像できる。１フレームの出力に要する時間を１フレーム期間、また１秒間に出力されるフレーム数をフレーム周波数という。
【０００５】
撮影環境が明るい状態で高照度の被写体を撮像した場合、図３１のように全ての画素から画素信号を読み出してフル解像度のＲ，Ｇ，Ｂ画像を出力すればよい。一方、撮影環境が暗く、低照度の被写体を撮像する場合には、個々の画素から出力される画素信号のレベルが低下してしまう。
【０００６】
このような低照度下でも高感度に撮像するため、例えばフレーム周波数を下げてフォトダイオード２１に光が照射される時間、すなわち露光時間を増やすことで感度低下を防ぐ方法が知られている。あるいは、信号加算回路１７を用いて、複数の画素から出力される画素信号を加算して信号レベルを高めて出力する方法（いわゆる「ビニング処理」）が知られている。
【０００７】
図３２は、図３１に示すＲ，Ｇ，Ｂ画像に対してビニング処理を行ったときの出力画像の例を示す。例えばＲ，Ｇ，Ｂ画素の４画素ずつを加算すると、垂直および水平解像度は図３１の例と比較して１／２に低下するものの感度は４倍となり、高感度な動画撮像が可能となる。
【０００８】
このような低照度下における画素加算による感度向上は、例えば特許文献１に開示されている。なお、より正確に言えば画素加算したＲ，Ｇ，Ｂ画像の空間位相は１画素程度のずれが生じる。しかしながら、図３２は動作説明の概念図のため空間位相を一致させて描いている点に留意されたい。以降の画素加算に関する図面においても同様である。
【特許文献１】特願２００３−１００１８７
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、低照度下で高感度に動画撮像する従来の方法は、フレーム周波数または解像度が犠牲になっていた。具体的には、露光時間を増やす方法ではフレーム周波数が低下し、ビニング処理を行う方法では解像度が低下していた。
【００１０】
本発明は上記問題に鑑みてなされたものであり、低照度下において高感度・高フレーム周波数・高解像度の撮像を可能とすることを目的とする。
【課題を解決するための手段】
【００１１】
本発明による固体撮像素子は、入射光の波長に依存する感度特性を有し、受けた光の強度に応じた画素信号を出力する光電変換部を各画素が備え、前記感度特性が相互に異なる複数種類の画素群と、前記複数種類の画素群の各々から前記画素信号を読み出し、画素群の種類に応じた画像の画像信号を出力する読み出し回路とを備えた固体撮像素子であって、前記読み出し回路は、画素群の種類に応じて画像のフレーム周波数を変化させた画像信号を出力する。
【００１２】
前記固体撮像素子は、同一種類の画素群から読み出された複数の画素信号を加算する信号加算回路をさらに備え、前記信号加算回路は、前記画素群の種類に応じて加算する画素信号の数を変化させることにより、前記画素群の種類に応じた画像の空間周波数を変化させてもよい。
【００１３】
前記複数種類の画素群に含まれる少なくとも３種類の画素群は、それぞれ、赤色、緑色、青色の入射光に対して最も高い感度を有する光電変換部を備えており、前記赤色に対して最も高い感度を有する赤色画素群、および、前記青色に対して最も高い感度を有する青色画素群からそれぞれ読み出された各画像のフレーム周波数は、前記緑色に対して最も高い感度を有する緑色画素群から読み出された画像のフレーム周波数より高くてもよい。
【００１４】
前記赤色画素群および前記青色画素群から読み出された各画像の空間周波数は、前記緑色画素群から読み出された画像の空間周波数より低くてもよい。
【００１５】
前記複数種類の画素群に含まれる少なくとも４種類の画素群は、それぞれ、赤色、緑色、青色の入射光に対して最も高い感度を有する光電変換部と、可視光の全域にわたって高い感度を有する光電変換部を備えており、前記可視光の全域にわたって高い感度を有する白色画素群から読み出された画像のフレーム周波数は、前記赤色に対して最も高い感度を有する赤色画素群、前記青色に対して最も高い感度を有する青色画素群、および、前記緑色に対して最も高い感度を有する緑色画素群から読み出された各画像のフレーム周波数より高くてもよい。
【００１６】
前記白色画素群から読み出された画像の空間周波数は、前記赤色画素群、前記緑色画素群および前記青色画素群から読み出された各画像の空間周波数より低くてもよい。
【００１７】
前記複数種類の画素群に含まれる少なくとも４種類の画素群は、それぞれ、緑色の入射光に対して最も高い感度を有する光電変換部、および、３原色の各々に対する補色となる入射光に対して最も高い感度を有する光電変換部を備えており、前記補色に関する３種類の補色画素群から読み出された各画像のフレーム周波数は、前記緑色に対して最も高い感度を有する緑色画素群から読み出された画像のフレーム周波数より高くてもよい。
【００１８】
前記３種類の補色画素群から読み出された画像の空間周波数は、前記緑色画素群から読み出された画像の空間周波数より低くてもよい。
【００１９】
本発明によるカメラシステムは、上述したいずれかの固体撮像素子と、前記固体撮像素子から読み出された、フレーム周波数が相対的に高い画像フレームから被写体の動きを算出する動き検出部と、前記固体撮像素子から読み出された、フレーム周波数が相対的に低い画像フレーム間に補間フレームを生成する復元処理部とを備えている。
【００２０】
前記復元処理部は、前記固体撮像素子から読み出された、空間周波数が相対的に高い画像フレームから被写体の形状を復元し、前記固体撮像素子から読み出された、空間周波数が相対的に低い画像フレームに対して補間画素を生成してもよい。
【００２１】
前記カメラシステムは、被写体の明るさに応じて前記読み出し回路が画像を読み出す際の動作周波数を変更することにより、前記画素群の種類に応じて読み出される画像のフレーム周波数を制御するタイミング生成部をさらに備えていてもよい。
【００２２】
前記カメラシステムは、被写体の明るさに応じて前記信号加算回路が加算する画素信号の数を変化させることにより、前記画素群の種類に応じた画像の空間周波数を制御するタイミング生成部をさらに備えていてもよい。
【００２３】
本発明による方法は、感度特性が相互に異なる複数種類の画素群を有する固体撮像素子から画像信号を読み出す方法であって、前記複数種類の画素群を構成する各画素は、入射光の波長に依存する感度特性を有し、受けた光の強度に応じた画素信号を出力する光電変換部を備えており、前記複数種類の画素群の各々から、異なる露光時間で受けた光の強度に応じた前記画素信号を読み出すステップと、前記複数種類の画素群の種類に応じた画像の画像信号を出力するステップであって、画素群の種類に応じて画像のフレーム周波数を変化させた画像信号を出力するステップとを包含する。
【００２４】
前記読み出し方法は、同一種類の画素群から読み出された複数の画素信号を加算するステップをさらに包含し、前記加算するステップは、前記画素群の種類に応じて加算する画素信号の数を変化させ、前記画像信号を出力するステップは、加算された前記複数の画素信号に基づいて、前記画素群の種類に応じて空間周波数が異なる画像の画像信号を出力してもよい。
【００２５】
前記複数種類の画素群に含まれる少なくとも３種類の画素群は、それぞれ、赤色、緑色、青色の入射光に対して最も高い感度を有する光電変換部を備えており、前記赤色に対して最も高い感度を有する赤色画素群、および、前記青色に対して最も高い感度を有する青色画素群の露光時間は、前記緑色に対して最も高い感度を有する緑色画素群の露光時間よりも短く、前記画像信号を出力するステップは、前記緑色画素群、前記赤色画素群、および、前記青色画素群からそれぞれ読み出された画像の画像信号を出力し、前記赤色画素群、および、前記青色画素群からそれぞれ読み出された各画像のフレーム周波数は、前記緑色画素群から読み出された画像のフレーム周波数より高くてもよい。
【００２６】
前記読み出し方法は、同一種類の画素群から読み出された複数の画素信号を加算するステップをさらに包含し、前記加算するステップが前記画素群の種類に応じて加算する画素信号の数を変化させることにより、前記赤色画素群および前記青色画素群から読み出された各画素信号の数は、前記緑色画素群から読み出された各画素信号の数よりも多く、前記赤色画素群および前記青色画素群から読み出された各画像の空間周波数は、前記緑色画素群から読み出された画像の空間周波数より低くてもよい。
【００２７】
前記複数種類の画素群に含まれる少なくとも４種類の画素群は、それぞれ、赤色、緑色、青色の入射光に対して最も高い感度を有する光電変換部と、可視光の全域にわたって高い感度を有する光電変換部を備えており、前記赤色に対して最も高い感度を有する赤色画素群、および、前記青色に対して最も高い感度を有する青色画素群、および、前記緑色に対して最も高い感度を有する緑色画素群の露光時間は、前記可視光の全域にわたって高い感度を有する白色画素群の露光時間よりも短く、前記画像信号を出力するステップは、前記緑色画素群、前記赤色画素群、前記青色画素群、および、前記白色画素群からそれぞれ読み出された画像の画像信号を出力し、前記赤色画素群、前記青色画素群、および、前記緑色画素群から読み出された各画像のフレーム周波数は、前記白色画素群から読み出された画像のフレーム周波数より高くてもよい。
【００２８】
前記読み出し方法は、同一種類の画素群から読み出された複数の画素信号を加算するステップをさらに包含し、前記加算するステップが前記画素群の種類に応じて加算する画素信号の数を変化させることにより、前記赤色画素群、前記青色画素群および前記緑色画素群から読み出された各画素信号の数は、前記白色画素群から読み出された各画素信号の数よりも多く、前記赤色画素群、前記青色画素群および前記緑色画素群から読み出された各画像の空間周波数は、前記白色画素群から読み出された画像の空間周波数より低くてもよい。
【００２９】
前記複数種類の画素群に含まれる少なくとも４種類の画素群は、それぞれ、緑色の入射光に対して最も高い感度を有する光電変換部、および、３原色の各々に対する補色となる入射光に対して最も高い感度を有する光電変換部を備えており、前記補色に関する３種類の補色画素群の露光時間は、前記緑色に対して最も高い感度を有する緑色画素群の露光時間よりも短く、前記３種類の補色画素群から読み出された各画像のフレーム周波数は、前記緑色画素群から読み出された画像のフレーム周波数より高くてもよい。
【００３０】
前記読み出し方法は、同一種類の画素群から読み出された複数の画素信号を加算するステップをさらに包含し、前記加算するステップが前記画素群の種類に応じて加算する画素信号の数を変化させることにより、前記３種類の補色画素群から読み出された各画素信号の数は、前記緑色画素群から読み出された各画素信号の数よりも多く、前記３種類の補色画素群から読み出された各画像の空間周波数は、前記緑色画素群から読み出された画像の空間周波数より低くてもよい。
【００３１】
本発明による方法は、入射光の波長に依存する感度特性を有し、受けた光の強度に応じた画素信号を出力する光電変換部を各画素が備え、前記感度特性が相互に異なる複数種類の画素群と、前記固体撮像素子から読み出された画像を処理する信号処理装置とを備えたカメラシステムにおいて、前記信号処理装置において実行される信号処理方法であって、請求項１３から２０のいずれかに記載の読み出し方法により、前記固体撮像素子から読み出された高いフレーム周波数の画像から被写体の動きを算出するステップと、低いフレーム周波数の画像間に補間フレームを発生するステップとを包含する。
【００３２】
前記信号処理方法は、前記固体撮像素子から読み出された高い空間周波数の画像から前記被写体の形状を算出するステップと、算出された前記形状に基づいて、前記固体撮像素子から読み出された低い空間周波数の画像に対して、画素を補間するステップとをさらに包含してもよい。
【００３３】
前記信号処理方法は、被写体の明るさに適応して、前記複数種類の画素群の種類に応じて露光時間を変えることにより、前記画素群毎にフレーム周波数を制御するステップをさらに包含してもよい。
【００３４】
前記信号処理方法は、同一種類の画素群から読み出された複数の画素信号を加算するステップをさらに包含し、前記加算するステップは、前記被写体の明るさに適応して、前記複数種類の画素群の種類に応じて、加算する画素信号の数を変えることにより、画素群の種類に応じて画像の空間周波数を制御してもよい。
【発明の効果】
【００３５】
本発明によれば、高解像度、高フレーム周波数、かつ、高感度で、カラー画像の撮像が可能となる。
【発明を実施するための最良の形態】
【００３６】
以下、添付の図面を参照しながら、本発明による固体撮像素子、カメラシステムおよび固体撮像素子の駆動方法の実施形態を説明する。
【００３７】
まず、実施形態１として、本発明によるカメラシステムの実施形態を説明するとともに、そのカメラシステムに実装される固体撮像素子およびその駆動方法の実施形態を説明する。その後、実施形態２〜５として、種々の固体撮像素子およびその駆動方法を説明する。
【００３８】
なお、実施形態１にかかる固体撮像素子に代えて、実施形態２〜５にかかる各固体撮像素子を実装したカメラシステムを実現することも可能である。しかしながら、実施形態１の説明と重複するため、実施形態２〜５においてはカメラシステムの説明は省略する。
【００３９】
（実施形態１）
図１（ａ）および（ｂ）は、本発明によるカメラシステムの実施形態であるデジタルスチルカメラ１００ａおよびビデオカメラ１００ｂの外観を示している。デジタルスチルカメラ１００ａは主として静止画を撮影するために利用されるが、動画を撮影する機能も有している。一方、ビデオカメラ１００ｂは、主として動画を撮影する機能を有している。
【００４０】
以下では、デジタルスチルカメラ１００ａおよびビデオカメラ１００ｂを、「カメラシステム１００」と総称する。
【００４１】
図２は、本実施形態によるカメラシステム１００のハードウェア構成図である。
【００４２】
カメラシステム１００は、レンズ１５１と、固体撮像素子８１と、タイミング生成器（タイミングジェネレータ、ＴＧともいう）８３と、信号処理回路８２と、外部インターフェイス部１５５とを備えている。
【００４３】
レンズ１５１を通過した光は、固体撮像素子８１に入射する。固体撮像素子８１は、単板のカラー撮像素子である。信号処理回路８２は、タイミングジェネレータ８３を介して固体撮像素子８１を駆動し、固体撮像素子８１からの出力信号を取り込む。
【００４４】
本実施形態による固体撮像素子８１は、複数種類の画素群を有している。「複数種類の画素群」とは、入射光の波長に依存して相互に異なる感度特性を有する光電変換部を備えた画素群を意味する。たとえば、赤（Ｒ）の感度特性を有する画素群、緑（Ｇ）の感度特性を有する画素群、および、青（Ｂ）の感度特性を有する画素群である。
【００４５】
固体撮像素子８１は、複数種類の画素群によって生成された画素信号を独立して読み出すことが可能である。これにより、感度特性ごとの画像信号が得られ、感度特性ごとの画像（フレーム）が生成される。以下では、赤（Ｒ）の感度特性を有する画素群から得られる画像を「Ｒ画像」と呼び、同様に、緑（Ｇ）および青（Ｂ）の感度特性を有する画素群から画像をそれぞれ「Ｇ画像」および「Ｂ画像」と呼ぶ。
【００４６】
本実施形態による画素信号の読み出し方法、すなわち固体撮像素子８１の駆動方法の特徴のひとつは、ある感度特性を有する画素群から得られる画像のフレーム周波数が、他の画素群から得られる画像のフレーム周波数と異なるよう、画像信号を読み出す点にある。
【００４７】
具体例を挙げると、固体撮像素子８１は、Ｒ画像およびＢ画像のフレーム周波数がＧ画像のフレーム周波数よりも高くなるよう、各画像を読み出す。なお、解像度に関しては、Ｇ画像の解像度がＲ画像およびＢ画像の解像度よりも高くなるよう、各画像を読み出す。
【００４８】
信号処理回路８２は、複数種類の画素群からの出力信号に対して各種の信号処理を施す。
【００４９】
信号処理回路８２は、高フレーム周波数で入力されるＲ画像およびＢ画像から被写体の動きを検出してＧ画像の補間フレームを生成し、Ｇ画像のフレーム周波数を高める。同時に、フル解像度で入力されるＧ画像に基づいてＲ画像およびＢ画像の補間画素を生成し、Ｒ画像およびＢ画像の解像度を高める。
【００５０】
信号処理回路８２は、高解像度および高フレーム周波数の各画像の信号を、外部インターフェイス部１５５を介して外部に出力する。これにより、高解像度、高フレーム周波数、かつ、高感度で撮影されたカラー画像が得られる。
【００５１】
以下、感度特性に応じてフレーム周波数を相違させて画像信号を読み出すための、固体撮像素子８１の構成および駆動方法を説明する。その後、得られた複数種類の画像信号に基づいて、高解像度および高フレーム周波数の各画像の信号を得る信号処理回路８２の処理を説明する。
【００５２】
図３は、本実施形態による固体撮像素子８１の構成図である。光の３原色（Ｒ；赤色、Ｇ；緑色、Ｂ；青色）に対応した波長帯に感度を有する画素１１が二次元マトリクス状に配置され、その周辺に走査のための垂直シフトレジスタ１２および水平シフトレジスタ１３が配置されている。垂直シフトレジスタ１２および水平シフトレジスタ１３は、固体撮像素子８１の各画素から画素信号を読み出すための読み出し回路である。なお、読み出し回路には、例えばデコーダを用いることもできる。
【００５３】
また、固体撮像素子８１は、画素電源部１４、駆動部１５、信号加算回路１７および出力アンプ１８も備えている。画素電源部１４は、各画素から画素信号を読み出すために印加すべき電圧を供給する。信号加算回路１７は、複数画素の画素信号を加算して出力する。この処理は、いわゆるビニング処理に代表される、空間加算処理である。駆動部１５は、垂直シフトレジスタ１２、水平シフトレジスタ１３および信号加算回路１７の動作を制御する。
【００５４】
図４は、画素１１の回路構成を示す。図４に示す通り光電変換素子であるフォトダイオード２１は光の入射面にＲ，Ｇ，Ｂの色フィルタのいずれかを備えており、Ｒ，Ｇ，Ｂ波長帯の入射光の強度に比例した電荷量に変換する。本願明細書では、Ｒ，Ｇ，Ｂの色フィルタを備えた各フォトダイオードを「Ｒ画素」，「Ｇ画素」，「Ｂ画素」と記述する。
【００５５】
図５は、Ｒ，Ｇ，Ｂ画素の光電変換特性３１〜３３を示す。Ｒ画素スペクトル３１、Ｇ画素スペクトル３２、Ｂ画素スペクトル３３はそれぞれ４７０ｎｍ、５５０ｎｍ、６２０ｎｍ付近の波長にピークをもつ。なお、後述するようにＲ，Ｂ画像から被写体の動きを抽出してＧ画像のフレーム補間を行うため、互いに重なる波長域を有するＧスペクトルとＢスペクトル、および、ＧスペクトルとＲスペクトルの色フィルタを採用することが望ましい。
【００５６】
フォトダイオード２１には転送トランジスタ２２を介して出力トランジスタ２５のゲートが接続される。ゲート容量およびノード２３に存在する寄生容量により光電変換された電荷は信号電圧に変換（Ｑ−Ｖ変換）される。出力トランジスタ２５には選択トランジスタ２６が接続され、マトリクス配置された複数の画素群から任意の画素を選択して画素信号は出力端子ＯＵＴに出力される。出力端子ＯＵＴは垂直信号線ＶＳＬ（図中で添字は列番号を表す）に接続され、その一端で負荷素子１６を介して接地される。
【００５７】
選択トランジスタ２６がオン状態にあるとき、出力トランジスタ２５と負荷素子１６はソースフォロワ回路を構成する。画素への入射光を光電変換して生成された画素信号はソースフォロワ回路から信号加算回路１７を通して水平シフトレジスタ１３に伝えられ、水平転送されて出力アンプ１８で増幅された後、出力端子ＳＩＧＯＵＴからシリアルに出力される。画素信号が出力された後にゲート電位をリセットするため、ノード２３にはリセットトランジスタ２４が接続される。転送トランジスタ２２を制御するゲート端子は、それぞれ行方向に配列した同色の画素群に共通の制御信号線ＴＲＡＮＲ、ＴＲＡＮＧおよびＴＲＡＮＢ（図中で添字は行番号を表す）に結線される。
【００５８】
本実施形態による固体撮像素子の特徴の一つは、ＴＲＡＮ配線の接続が、従来の固体撮像素子と異なっている点にある。また、リセットトランジスタ２４および選択トランジスタ２６を制御するゲート端子は、それぞれ行方向に配列した画素群に共通の制御信号線ＲＳＴおよびＳＥＬ（図中で添字は行番号を表す）に結線されている。これらの行方向の配線ＴＲＡＮＲ，ＴＲＡＮＧ，ＴＲＡＮＢ，ＲＳＴ，ＳＥＬは、垂直シフトレジスタ１２から出力される制御パルスによりオン・オフ動作する。
【００５９】
固体撮像素子８１は、行方向の配線群を活性化させて画素から画素信号を読み出す動作を垂直方向に走査し、水平シフトレジスタ１３により画素信号を水平方向に転送することにより二次元の画像情報をシリアルに出力する。撮影環境が明るい状態における高照度の被写体を撮像する場合には従来の固体撮像素子と同様に、フレーム毎にＴＲＡＮＲ，ＴＲＡＮＧ，ＴＲＡＮＢを活性化させて全画素から画素信号を読み出す。
【００６０】
図６は、１フレーム期間の読み出し動作において、垂直シフトレジスタ１１からＴＲＡＮＲ，ＴＲＡＮＧ，ＴＲＡＮＢ，ＲＳＴ，ＳＥＬ配線へ出力されるパルスの駆動タイミングと、垂直信号線ＶＳＬの電位変化を示す。非活性な行では、ＴＲＡＮＲ，ＴＲＡＮＧ，ＴＲＡＮＢはＬｏｗ電位、ＲＳＴはＨｉｇｈ電位、ＳＥＬはＬｏｗ電位を印加する。
【００６１】
一方、画素信号を読み出すために活性化する行では、最初にＳＥＬにＨｉｇｈ電位を印加して選択トランジスタ２６をオンとし、画素１１と垂直信号線ＶＳＬを接続する。このとき、ＲＳＴはＨｉｇｈ電位なのでリセットトランジスタ２４はオンとなっており、出力トランジスタ２５のゲートにはＶＲＳＴなる電圧が印加されているので、ＶＳＬは高レベルのリセット電圧ＶＲＳＴ−Ｖｔ（Ｖｔは出力トランジスタのしきい値電圧）に変化する。
【００６２】
次いで、ＲＳＴをＬｏｗ電位にしてリセットトランジスタ２４をオフにし、ＴＲＡＮＲ，ＴＲＡＮＧあるいはＴＲＡＮＧ，ＴＲＡＮＢ（行によって色が異なる）にＨｉｇｈ電位を印加して転送トランジスタ２２をオンにする。この動作により、フォトダイオード２１で光電変換された電荷は出力トランジスタ２５のゲートに移動し、Ｑ−Ｖ変換されてゲート電位をＶｓｉｇへと低下させる。同時に、ＶＳＬの電圧レベルは低下し、信号電圧Ｖｓｉｇ−Ｖｔへと変化する。
【００６３】
ここで、相関二重サンプリング（ＶＳＬに出力されたリセット電圧ＶＲＳＴ−Ｖｔと信号電圧Ｖｓｉｇ−Ｖｔの差分をとる）を素子内あるいは素子外に実装した差分回路で実行することが好ましい。差分により出力電圧（ＶＲＳＴ−Ｖｓｉｇ）からＶｔの項を除去することができ、Ｖｔばらつきによる画質劣化を抑制できるからである。
【００６４】
ＶＳＬへの信号電圧を出力後、ＴＲＡＮＲ，ＴＲＡＮＧあるいはＴＲＡＮＧ，ＴＲＡＮＢをＬｏｗ電位へ、ＲＳＴをＨｉｇｈ電位へ、ＳＥＬをＬｏｗ電位へと順次変化させて読み出しを終了する。以上の動作を行方向に順次実行することにより、例えば、図３１に示されるような、全画素信号からなるフレームの動画撮像を行うことができる。
【００６５】
一方、撮影環境が暗く、低照度の被写体を撮像する場合には、ＶＳＬの差分出力電圧（ＶＲＳＴ−Ｖｓｉｇ）が低下してしまう。図７は、固体撮像素子８１の出力端子ＳＩＧＯＵＴに信号処理回路８２およびタイミングジェネレータ（ＴＧ）８３が接続されたカメラシステムの構成を示している。
【００６６】
信号処理回路８２は画像の輝度レベル低下を検知し、タイミングジェネレータ８３へ高感度撮像モードへの変更命令を出力する。輝度が基準レベル以下になったとき、信号処理回路８２は被写体をとらえた画像の輝度レベルが低下したと検出する。本明細書では、輝度が基準レベル以下になった状態を「撮影環境が暗い」と表現し、輝度が基準レベル以下になっていない状態を「撮影環境が明るい」と表現する。
【００６７】
変更命令を受け取ったタイミングジェネレータ８３は、固体撮像素子８１に内蔵された垂直シフトレジスタ１２および水平シフトレジスタ１３の制御を行う駆動部１５へ印加するタイミングパルスの周波数を変更する。これにより、垂直シフトレジスタ１２および水平シフトレジスタ１３が画像を読み出す際の動作周波数が変更される。このとき、ＴＲＡＮＲ，ＴＲＡＮＢは毎フレーム活性化し、ＴＲＡＮＧは４フレームに１度の頻度で活性化させる。すなわち、４ｎ−３フレーム（ｎは自然数）は図６のようにＴＲＡＮＲ，ＴＲＡＮＧ，ＴＲＡＮＢを活性化させて全画素からの信号をＶＳＬに出力する。
【００６８】
続く４ｎ−２，  ４ｎ−１，  ４ｎフレーム目はＴＲＡＮＲ，ＴＲＡＮＢのみを活性化する。図８は、４ｎ−２，  ４ｎ−１，  ４ｎフレーム目においてＴＲＡＮＲ，ＴＲＡＮＢのみが活性化されているパルスの駆動タイミングを示す。４ｎ−２，  ４ｎ−１，  ４ｎフレームの場合、奇数行からの読み出しではＲ画素からの信号電圧が奇数列のＶＳＬのみに出力され、偶数行からの読み出しではＢ画素からの信号電圧が偶数列のＶＳＬのみに出力される。
【００６９】
さらに、高感度撮像モードでは駆動部１５を通じて信号加算回路１７を活性化させ、Ｒ画素およびＢ画素をそれぞれ４画素ずつ加算する。信号加算回路１７は４つの画素信号を加算することによって、それらの平均値となる信号電圧を出力する。画素信号に含まれるノイズ成分は、加算する信号数の平方根で除した電圧値まで低下するので、半減（＝１／（４1/2））させることができる。すなわち、Ｓ／Ｎ（ＳＮ比）は２倍となる。
【００７０】
図９は、信号加算回路１７の２列分に相当する構成を示す。以下、１，３行目および１，３列目のＲ画素から出力された画素信号の加算動作を例に挙げて説明する。なお、高感度撮像モードへ移行する前は、駆動部１５によりスイッチＳＷ０，１，７，８は接点Ａ側に接続されており、信号加算回路１７に入力される信号電圧は水平シフトレジスタ１３へとスルー出力されている。
【００７１】
１行目の読み出し動作では、駆動部１５からの指令によりスイッチＳＷ０，１，７，８は接点Ｂ側に接続し、スイッチＳＷ２，４をオンにする。この状態でＴＲＡＮＲ1を活性化し、Ｒ画素からＶＳＬ1およびＶＳＬ3へ出力された信号電圧Ｖｓｉｇ11−ＶｔおよびＶｓｉｇ13−Ｖｔを、キャパシタＣ０およびＣ２へ書き込む。なお、偶数列に接続された信号加算回路１７のスイッチＳＷ０，１，７，８は接点Ａ側に接続し、４ｎ−３フレームに限って出力されるＧ画素からの信号電圧を水平シフトレジスタ１３へとスルー出力する。
【００７２】
次いでスイッチＳＷ２，４をオフにし、スイッチＳＷ０，１，７，８は接点Ａ側に接続して、２行目の読み出し動作を行う。４ｎ−３フレームであればＧ画素から入力される信号電圧を水平シフトレジスタ１３へとスルー出力し、それ以外のフレームではＧ画素からの入力信号はない。なお、４ｎ−３，４ｎ−２，  ４ｎ−１，  ４ｎフレームのいずれかに関わらず、偶数列に配置した信号加算回路１７はＢ画素から入力される信号電圧をキャパシタへ書き込む。
【００７３】
３行目の読み出し動作では、再びスイッチＳＷ０，１，７，８は接点Ｂ側に接続し、スイッチＳＷ３，５をオンにする。この状態でＴＲＡＮＲ3を活性化し、Ｒ画素からＶＳＬ1およびＶＳＬ3へ出力された信号電圧Ｖｓｉｇ31−ＶｔおよびＶｓｉｇ33−Ｖｔを、キャパシタＣ１およびＣ３へ書き込む。次いでスイッチＳＷ３，５をオフにし、スイッチＳＷ６をオンにする。この動作で４つのキャパシタＣ０〜Ｃ３に書き込まれていた信号電圧は加算され、信号加算電圧（Ｖｓｉｇ11＋Ｖｓｉｇ13＋Ｖｓｉｇ31＋Ｖｓｉｇ33）／４−Ｖｔを水平シフトレジスタ１３へと出力する。なお、偶数列に接続された信号加算回路１７のスイッチＳＷ０，１，７，８は接点Ａ側に接続し、４ｎ−３フレームに限って出力されるＧ画素からの信号電圧を水平シフトレジスタ１３へとスルー出力する。
【００７４】
図９の信号加算回路１７に代えて、図１０に示す信号加算回路を内蔵してもよい。この場合、信号加算回路と同様にＳ／Ｎ（ＳＮ比）を改善できるだけでなく、信号出力レベルを高めることができるので出力された信号へのノイズ飛び込み耐性が高くなる。図１０は、信号加算回路の２列分に相当する構成を示す。以下、１，３行目および１，３列目のＲ画素から出力された画素信号の加算動作を例に挙げて説明する。
【００７５】
１行目の読み出し動作では、駆動部１５からの指令によりスイッチＳＷ０，１，８，９は接点Ｂ側に接続し、スイッチＳＷ６をオフ、スイッチ７をオン、スイッチＳＷ２，４をオンにする。この状態でＴＲＡＮＲ1を活性化し、Ｒ画素からＶＳＬ1およびＶＳＬ3へ出力された信号電圧Ｖｓｉｇ11−ＶｔおよびＶｓｉｇ13−Ｖｔを、キャパシタＣ０およびＣ２へ書き込む。なお、偶数列に接続された信号加算回路のスイッチＳＷ０，１，８，９は接点Ａ側に接続し、４ｎ−３フレームに限って出力されるＧ画素からの信号電圧を水平シフトレジスタ１３へとスルー出力する。
【００７６】
次いでスイッチＳＷ２，４をオフにし、スイッチＳＷ０，１，８，９は接点Ａ側に接続して、２行目の読み出し動作を行う。４ｎ−３フレームであればＧ画素から入力される信号電圧を水平シフトレジスタ１３へとスルー出力し、それ以外のフレームではＧ画素からの入力信号はない。なお、４ｎ−３，４ｎ−２，  ４ｎ−１，  ４ｎフレームのいずれかに関わらず、偶数列に配置した信号加算回路１７はＢ画素から入力される信号電圧をキャパシタへ書き込む。
【００７７】
３行目の読み出し動作では、再びスイッチＳＷ０，１，８，９は接点Ｂ側に接続し、スイッチＳＷ３，５をオンにする。この状態でＴＲＡＮＲ3を活性化し、Ｒ画素からＶＳＬ1およびＶＳＬ3へ出力された信号電圧Ｖｓｉｇ31−ＶｔおよびＶｓｉｇ33−Ｖｔを、キャパシタＣ１およびＣ３へ書き込む。次いでスイッチＳＷ３，５をオフ、スイッチＳＷ７をオフ、スイッチＳＷ６をオンにする。この動作で４つのキャパシタＣ０〜Ｃ３に書き込まれていた信号電圧は加算され、信号加算電圧（Ｖｓｉｇ11＋Ｖｓｉｇ13＋Ｖｓｉｇ31＋Ｖｓｉｇ33）−４Ｖｔを水平シフトレジスタ１３へと出力する。なお、偶数列に接続された信号加算回路１７のスイッチＳＷ０，１，７，８は接点Ａ側に接続し、４ｎ−３フレームに限って出力されるＧ画素からの信号電圧を水平シフトレジスタ１３へとスルー出力する。
【００７８】
図１１は、イメージセンサ（固体撮像素子８１）から出力された各画像のフレームを示している。上述の処理によれば、フル解像度のＧ画像が４フレーム毎に出力され、垂直および水平解像度が１／２のＲ画像およびＢ画像が毎フレーム出力される。
【００７９】
Ｇ画素の露光時間は、Ｒ画素およびＢ画素の露光時間よりも４倍長く、暗い環境下にある低照度の被写体であっても高感度に撮像することができる。一方、Ｒ画素およびＢ画素は、４画素の信号加算により信号レベルが４倍となっており、暗い環境下でも同様に高感度に撮像することができる。これは、実質的に光電変換するフォトダイオードの面積が４倍になっていることに相当する。
【００８０】
信号処理回路８２は高フレーム周波数で入力されるＲ画像およびＢ画像から被写体の動きを検出してＧ画像の補間フレームを生成し、そのフレーム周波数を高める。同時に、フル解像度で入力されるＧ画像に基づいてＲ画像およびＢ画像の補間画素を生成し、その解像度を高める。
【００８１】
図１２は、信号処理回路８２から出力される、フル解像度かつ高フレーム周波数のＲ画像、Ｇ画像およびＢ画像を示している。各画像を合成することにより、カラー動画像を得ることができる。
【００８２】
以下、Ｒ画像、Ｇ画像およびＢ画像ともにフル解像度かつ高フレーム周波数の動画像を得る処理の詳細を説明する。
【００８３】
図１３は、本実施形態におけるカメラシステム１００の構成を示すブロック図である。図１３において、カメラシステム１００は、レンズ１５１と、固体撮像素子８１と、信号処理回路８２とを備えている。
【００８４】
固体撮像素子８１の構成は上述のとおりである。
【００８５】
固体撮像素子８１は、光電変換されたＧ画像の画素値を時間方向に複数フレーム加算する。ここで、「時間方向への加算」とは、連続する複数のフレーム（画像）の各々において共通の画素座標値を有する各画素の画素値を加算することであり、本発明では高感度撮像モードでフレーム周波数を低下させて長時間の露光を行うことで実現している。具体的には、上述の動作説明においてＧ画素からは４フレームに１度の頻度で読み出すことで４フレーム期間の露光を行ったので、４フレームの画素値を時間方向へ加算したことに相当する。時間方向への加算は、２フレームから９フレーム程度の範囲で、画素座標値が同じ画素の画素値を加算することが好適である。
【００８６】
また、固体撮像素子８１は、光電変換されたＲ画像の画素値を空間方向に複数画素分加算するとともに、Ｂ画像の画素値についても空間方向に複数画素分加算する。ここで、「空間方向への加算」とは、ある時刻に撮影された１フレーム（画像）を構成する複数の画素の画素値を加算することであり、本発明では高感度撮像モードで信号加算回路を活性化させ、ビニング処理を行うことで実現している。具体的には、上述の動作説明においてＲ画素およびＢ画素はフレーム毎に読み出し、水平２画素×垂直２画素の４画素加算を行った後に出力した。画素値が加算される「複数の画素」の例は、水平２画素×垂直１画素、水平１画素×垂直２画素、水平２画素×垂直２画素、水平２画素×垂直３画素、水平３画素×垂直２画素、水平３画素×垂直３画素、等である。これらの複数の画素に関する画素値（光電変換値）を空間方向に加算する。
【００８７】
信号処理回路８２は、固体撮像素子８１によって時間加算されたＧ画像、および、固体撮像素子８１によって空間加算されたＲ画像およびＢ画像の各データを受け取り、これらに画像復元を行うことによって各画素におけるＲ，Ｇ、Ｂの各値を推定しカラー画像を復元する。
【００８８】
図１４は、信号処理回路８２のより詳細な構成の一例を示す構成図である。図１４において、信号処理回路８２以外の構成は、図１３と同一である。信号処理回路８２は、動き検出部２０１および復元処理部２０２を有している。以下に説明する動き検出部２０１および復元処理部２０２の機能は、信号処理回路８２によって行われる処理として実現されればよい。
【００８９】
動き検出部２０１は、ブロックマッチング、勾配法、位相相関法等の公知技術により、空間加算されたＲ画像、Ｂ画像の各データから、動き（オプティカルフロー）を検出する。動き検出部２０１は、検出されたこの動きの情報（動き情報）を出力する。公知技術として、たとえばP. Anandan. "Computaional framework and an algorithm for the measurement of visual motion", International Journal of Computer Vision, Vol. 2, pp. 283−310, 1989が知られている。
【００９０】
図１５（ａ）および（ｂ）は、ブロックマッチングによって動き検出を行うときの基準フレームと参照フレームとを示している。動き検出部２０１は、基準とするフレーム（動きを求めるべく着目している時刻ｔにおける画像）内に、図１５（ａ）に示す窓領域Ａを設定する。そして、窓領域内のパターンと類似するパターンを参照フレーム内で探索する。参照フレームとして、たとえば着目フレームの次のフレームが利用されることが多い。
【００９１】
探索範囲は、図１５（ｂ）に示すように、通常、移動量ゼロの位置Ｂを基準に予め一定の範囲（同図１５（ｂ）中のＣ）が設定される。また、パターンの類似の度合い（程度）は、（数１）に示す残差平方和（ＳＳＤ：Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅ  Ｄｉｆｆｅｒｒｅｎｃｅｓ）や、（数２）に示す残差絶対値和（ＳＡＤ：Ｓｕｍ  ｏｆ Ａｂｓｏｌｕｔｅｄ  Ｄｉｆｆｅｒｅｎｃｅｓ）を評価値として計算することによって評価する。
【数１】
2010183357.tif 000003
【数２】
2010183357.tif 000004
【００９２】
（数１）および（数２）において、ｆ（ｘ、ｙ、ｔ）は画像すなわち画素値の時空間的な分布であり、ｘ，ｙ∈Ｗは、基準フレームの窓領域内に含まれる画素の座標値を意味する。
【００９３】
動き検出部２０１は、探索範囲内で（ｕ，ｖ）を変化させることにより、上記評価値を
最小とする（ｕ，ｖ）の組を探索し、これをフレーム間での動きベクトルとする。窓領域の設定位置を順次シフトさせることによって、動きを画素毎もしくはブロック毎（例えば８画素×８画素）に求める。
【００９４】
ここで、本願発明ではカラーフィルターアレイを装着した単板カラー画像の３色中の２色の空間加算画像に対して動き検出を行うため、探索範囲内での（ｕ，ｖ）の変化ステップには注意が必要である。
【００９５】
図１６は、２×２画素の空間加算をする際の仮想的サンプル位置を示す。Ｒ，Ｇ，Ｂは、それぞれ赤、緑、青のカラーフィルターが装着された画素を意味する。なお、単に「Ｒ」，「Ｇ」，「Ｂ」と記載したときは、その色成分のみを含む画像を意味することもある。
【００９６】
図１６（ａ）のＲとＢを２×２画素の空間加算した場合の、仮想的なサンプル位置を図１６（ｂ）に示す。この場合、仮想的なサンプル位置は、ＲもしくはＢだけについては、４画素おきに均等な配置になっているが、ＲとＢの双方を同時に含むサンプル位置は非均等になっている。そのため、（数１）もしくは（数２）による（ｕ，ｖ）を、この場合４画素おきに変化させる必要がある。もしくは、図１６（ｂ）に示す仮想的なサンプル位置のＲとＢの値から、各画素におけるＲとＢの値を公知の補間方法によって求めた上で、上記の（ｕ，ｖ）を１画素おきに変化させるようにしてもよい。
【００９７】
上記の様にして得られた（数１）または（数２）を最小にする（ｕ，ｖ）の近傍での（ｕ，ｖ）の値の分布に対して、１次ないし２次関数を当てはめる（等角フィッテング法やパラボラフィッティング法として知られる公知の技術）ことによって、サブピクセル精度の動き検出を行う。
【００９８】
＜各画素におけるＧの画素値の復元＞
復元処理部２０２は、次式を最小化して、各画素におけるＧの画素値を計算する。
【数３】
2010183357.tif 000005
【００９９】
ここで、Ｈはサンプリング過程、ｆは復元すべき高空間解像度かつ高時間解像度のＧ画像、ｇは固体撮像素子８１によって撮像されたＧの画像、Ｍはべき指数、Ｑは復元すべき画像ｆが満たすべき条件、すなわち拘束条件である。
【０１００】
ｆおよびｇは、動画像の各画素値を要素とする縦ベクトルである。以下では、画像についてのベクトル表記は、画素値をラスタースキャン順に並べた縦ベクトルを意味し、関数表記は、画素値の時空間的分布を意味する。画素値としては、輝度値の場合は、１画素につき１個の値を考えればよい。ｆの要素数は、例えば、復元すべき動画像を横２０００画素、縦１０００画素、３０フレームとすると、２０００×１０００×３０＝６０００００００となる。
【０１０１】
図１６に示すようなベイヤー配列の撮像素子で撮像する場合、ｇの要素数はｆの２分の１となり、３０００００００となる。ｆの縦横の画素数と信号処理に用いるフレーム数は、信号処理回路８２によって設定される。サンプリング過程Ｈは、ｆをサンプリングする。Ｈは、行数がｇの要素数と等しく、列数がｆの要素数と等しい行列である。
【０１０２】
現在一般に普及しているコンピュータでは、動画像の画素数（例えば幅２０００画素×高さ１０００画素）とフレーム数（例えば３０フレーム）に関する情報量が多すぎるため、（数２）を最小化するｆを単一の処理で求めることはできない。この場合、時間的、空間的な部分領域についてｆの一部を求める処理を繰り返すことにより、復元すべき動画像ｆを計算することができる。
【０１０３】
次に、サンプリング過程Ｈの定式化を簡単な例を用いて説明する。幅２画素（ｘ＝１，２）、高さ２画素（ｙ＝１，２）、２フレーム（ｔ＝１，２）の画像をベイヤー配列の撮像素子で撮像し、Ｇを２フレーム分時間加算する場合のＧの撮像過程について考える。
【数４】
2010183357.tif 000006
【数５】
2010183357.tif 000007
これらによれば、サンプリング過程Ｈは以下のように定式化される。
【数６】
2010183357.tif 000008
【０１０４】
（数４）において、Ｇ111〜Ｇ222は各画素におけるＧの値を示し、３個の添字は順にｘ、ｙ、ｔの値を示す。ｇはベイヤー配列の撮像素子により撮像して得た画像なので、その画素数は、全画素読み出しした画像の２分の１である。
【０１０５】
（数３）のべき指数Ｍの値は、特に限定するものではないが、演算量の観点から、１または２が好ましい。
【０１０６】
（数６）は、ｆをベイヤー配列の撮像素子により撮像してｇを得る過程を示す。逆に、ｇからｆを復元する問題は、一般に逆問題といわれる。拘束条件Ｑがない場合、下記（数７）を最小化するｆは無数に存在する。
【数７】
2010183357.tif 000009
【０１０７】
これは、サンプリングされない画素値に任意の値を入れても（数７）が成り立つことにより、容易に説明できる。そのため、（数７）の最小化によってｆを一意に解くことはできない。
【０１０８】
ｆについての一意な解を得るために、Ｑとして、画素値ｆの分布に関する滑らかさの拘束や、ｆから得られる画像の動きの分布に関する滑らかさの拘束を与える。
【０１０９】
画素値ｆの分布に関する滑らかさの拘束としては、以下の拘束式を用いる。
【数８】
2010183357.tif 000010
【数９】
2010183357.tif 000011
【０１１０】
ここで、∂ｆ／∂ｘは復元すべき動画像の画素値のｘ方向の１階の微分値を要素とする縦ベクトル、∂ｆ／∂ｙは復元すべき動画像の画素値のｙ方向の１階の微分値を要素とする縦ベクトル、∂2ｆ／∂ｘ2は復元すべき動画像の画素値のｘ方向の２階の微分値を要素とする縦ベクトル、∂2ｆ／∂ｙ2は復元すべき動画像の画素値のｙ方向の２階の微分値を要素とする縦ベクトルである。また、｜｜はベクトルのノルムを表す。べき指数ｍの値は、（数２）、（数７）におけるべき指数Ｍと同様に、１または２が望ましい。
【０１１１】
なお、上記の偏微分値∂ｆ／∂ｘ、∂ｆ／∂ｙ、∂2ｆ／∂ｘ2、∂2ｆ／∂ｙ2は、着目画素近傍の画素値による差分展開により、例えば（数１０）により近似計算することができる。
【数１０】
2010183357.tif 000012
差分展開は上記（数１０）に限らず、例えば（数１１）の様に、近傍の他の画素を参照するようにしてもよい。
【数１１】
2010183357.tif 000013
【０１１２】
（数１１）は（数１０）による計算値に対して、近傍で平均化することになる。これにより、空間解像度は低下するが、ノイズの影響を受けにくくできる。さらに、両者の中間的なものとして、０≦α≦１の範囲のαで重み付けをして、以下の式を採用してもよい。
【数１２】
2010183357.tif 000014
【０１１３】
差分展開をどのように計算するかに関して、処理結果の画質がより改善されるようにノイズレベルに応じてαを予め決めてもよいし、もしくは、回路規模や演算量を少しでも小さくするために、（数１０）を用いるようにしてもよい。
【０１１４】
なお、画像ｆの画素値の分布に関する滑らかさの拘束としては、（数８）、（数９）に限らず、例えば、（数１３）に示す２階の方向微分の絶対値のｍ乗を用いても良い。
【数１３】
2010183357.tif 000015
【０１１５】
ここで、ベクトルｎminおよび角度θは１階の方向微分の２乗が最小になる方向であり、下記（数１４）によって与えられる。
【数１４】
2010183357.tif 000016
【０１１６】
さらに、画像ｆの画素値の分布に関する滑らかさの拘束としては、下記（数１５）から（数１７）のいずれかのＱを用いて、ｆの画素値のこう配に応じて拘束条件を適応的に変化させてもよい。
【数１５】
2010183357.tif 000017
【数１６】
2010183357.tif 000018
【数１７】
2010183357.tif 000019
【０１１７】
（数１５）から（数１７）において、ｗ（ｘ，ｙ）は画素値のこう配の関数であり、拘束条件に対する重み関数である。例えば、下記（数１８）に示す画素値のこう配成分のべき乗和が、大きい場合にはｗ（ｘ，ｙ）の値が小さく、逆の場合にはｗ（ｘ，ｙ）の値が大きくなるようにすると、ｆのこう配に応じて拘束条件を適応的に変化させることができる。
【数１８】
2010183357.tif 000020
【０１１８】
このような重み関数を導入することにより、復元される画像ｆが必要以上に平滑化されることを防ぐことができる。
【０１１９】
また、（数１８）に示す輝度こう配の成分の２乗和の代わりに、（数１９）に示す方向微分のべき乗の大小によって、重み関数ｗ（ｘ，ｙ）を定義してもよい。
【数１９】
2010183357.tif 000021
【０１２０】
ここで、ベクトルｎmaxおよび角度θは方向微分が最大になる方向であり、下記（数２０）によって与えられる。
【数２０】
2010183357.tif 000022
である。
【０１２１】
（数８）、（数９）、（数１３）〜（数１７）に示したような、動画像ｆの画素値の分布に関する滑らかさの拘束を導入して（数２）を解く問題は、公知の解法（有限要素法等の変分問題の解法）によって計算することができる。
【０１２２】
ｆに含まれる画像の動きの分布に関する滑らかさの拘束としては、下記（数２１）または（数２２）を用いる。
【数２１】
2010183357.tif 000023
【数２２】
2010183357.tif 000024
【０１２３】
ここで、ｕは動画像ｆから得られる各画素についての動きベクトルのｘ方向の成分を要素とする縦ベクトル、ｖは動画像ｆから得られる各画素についての動きベクトルのｙ方向の成分を要素とする縦ベクトルである。
【０１２４】
ｆから得られる画像の動きの分布に関する滑らかさの拘束としては、（数１７）、（数１８）に限らず、例えば（数２３）、（数２４）に示す１階または２階の方向微分としてもよい。
【数２３】
2010183357.tif 000025
【数２４】
2010183357.tif 000026
【０１２５】
さらに、（数２５）〜（数２８）に示すように、（数１７）〜（数２０）の拘束条件を、ｆの画素値のこう配に応じて適応的に変化させてもよい。
【数２５】
2010183357.tif 000027
【数２６】
2010183357.tif 000028
【数２７】
2010183357.tif 000029
【数２８】
2010183357.tif 000030
【０１２６】
ここで、ｗ（ｘ，ｙ）は、ｆの画素値のこう配に関する重み関数と同一のものであり、（数１８）に示す画素値のこう配の成分のべき乗和、または、（数１９）に示す方向微分のべき乗によって定義されるものである。
【０１２７】
このような重み関数を導入することにより、ｆの動き情報が必要以上に平滑化されることを防ぐことができ、その結果、復元される画像ｆが必要以上に平滑化されることを防ぐことができる。
【０１２８】
（数２１）〜（数２８）に示したような、画像ｆから得られる動きの分布に関する滑らかさの拘束を導入して（数２）を解く問題は、復元すべき画像ｆと動き情報（ｕ，ｖ）が相互に依存するため、ｆについての滑らかさの拘束を用いる場合と比較して複雑な計算が必要となる。
【０１２９】
これに対しては、公知の解法（ＥＭアルゴリズム等を用いた変分問題の解法）によって計算することができる。その際、繰り返し計算に、復元すべき画像ｆと動き情報（ｕ，ｖ）の初期値が必要になる。ｆの初期値としては、入力画像の補間拡大画像を用いればよい。
【０１３０】
一方、動き情報としては、動き検出部２０１において（数１）ないし（数２）を計算して求めた動き情報を用いる。その結果、復元処理部２０２において、上述のごとく、（数２１）〜（数２８）に示したような、画像ｆから得られる動きの分布に関する滑らかさの拘束を導入して（数２）を解くことにより、超解像処理結果の画質を向上させることができる。
【０１３１】
画像生成部１０８における処理は、（数８）、（数９）、（数１３）〜（数１７）に示した画素値の分布に関する滑らかさの拘束のいずれかと、（数２１）〜（数２８）に示した動きの分布に関する滑らかさの拘束のいずれかの両方を組み合わせて、（数２９）のように同時に用いてもよい。
【数２９】
2010183357.tif 000031
【０１３２】
ここで、Ｑｆ はｆの画素値のこう配に関する滑らかさの拘束、Ｑｕｖはｆから得られ
る画像の動きの分布に関する滑らかさの拘束、λ１ ，λ２ はＱｆ とＱｕｖの拘束に関
する重みである。
【０１３３】
画素値の分布に関する滑らかさの拘束と、画像の動きの分布に関する滑らかさの拘束の両方を導入して（数３）を解く問題も、公知の解法（ＥＭアルゴリズム等を用いた変分問題の解法）によって計算することができる。
【０１３４】
また、動きに関する拘束は、（数２１）〜（数２８）に示した動きベクトルの分布の滑らかさに関するものに限らず、対応点間の残差（動きベクトルの始点と終点間における画素値の差）を評価値として、これを小さくするようにしてもよい。対応点間の残差は、ｆを関数ｆ（ｘ，ｙ，ｔ）として表すと、
【数３０】
2010183357.tif 000032
と表せる。
【０１３５】
ｆをベクトルとして、画像全体について考えると、各画素における残差は下記（数３１）に示すようにベクトル表現できる。
【数３１】
2010183357.tif 000033
残差の平方和は下記（数３２）に示すように表すことができる。
【０１３６】
【数３２】
2010183357.tif 000034
【０１３７】
（数３１）、（数３２）において、Ｈmはベクトルｆの要素数（時空間の総画素数）×ｆの要素数の行列である。Ｈmは、各行において、動きベクトルの視点と終点に相当する要素だけが０でない値を持ち、それ以外の要素は０の値を持つ。動きベクトルが整数精度の場合、視点と終点に相当する要素が、それぞれ、−１と１の値を持ち、他の要素は０である。
【０１３８】
動きベクトルがサブピクセル精度の場合には、動きベクトルのサブピクセル成分の値に応じて、終点近傍の複数の画素に相当する複数の要素が値を持つことになる。
【０１３９】
（数３２）をＱｍとおき、拘束条件を（数３３）のようにしてもよい。
【数３３】
2010183357.tif 000035
ここで、λ３は拘束条件Ｑｍに関する重みである。
【０１４０】
以上述べた方法によってＲとＢの低解像度動画像から抽出した動き情報を用いることにより、ベイヤー配列の撮像素子によって撮像されたＧの動画像（複数フレームにわたって露光された画像）を高時空間解像度化することができる。
【０１４１】
＜各画素におけるＲ，Ｂの画素値の復元＞
図１７は、復元処理部２０２の構成の一例である。
【０１４２】
ＲとＢについては、図１７に示すように、補間拡大したＲ画像、Ｂ画像に、前記高時空間解像度化したＧの高周波成分を重畳することにより、簡易な処理によってより高解像度化した結果をカラー画像として出力できる。その際、高周波数域以外（中低周波数域の）のＲ，Ｇ，Ｂ間の局所的な相関関係に応じて、上記重畳する高域成分の振幅を制御することにより、偽色の発生を抑え、見た目に自然な高解像度化処理を行うことができる。
【０１４３】
また、Ｒ，Ｂについても、Ｇの高域を重畳して高解像度化するので、より安定した高解像度化が可能となる。以下、具体的に説明する。
【０１４４】
復元処理部２０２は、Ｇ復元部５０１と、サブサンプリング部５０２と、Ｇ補間部５０３と、Ｒ補間部５０４と、Ｒ用ゲイン制御部５０５と、Ｂ補間部５０６と、Ｂ用ゲイン制御部５０７とを備えている。
【０１４５】
Ｇ復元部５０１は、上述したＧの復元を行う。
【０１４６】
サブサンプリング部５０２は、高解像度化したＧをＲ，Ｂと同じ画素数に間引く。
【０１４７】
Ｇ補間部５０３は、サブサンプリングによって画素値が失われた画素における画素値を補間によって計算する。
【０１４８】
Ｒ補間部５０４は、Ｒを補間する。
【０１４９】
Ｒ用ゲイン制御部５０５は、Ｒに重畳するＧの高域成分に対するゲイン係数を計算する。
【０１５０】
Ｂ補間部５０６は、Ｂを補間する。
【０１５１】
Ｂ用ゲイン制御部５０７は、Ｂに重畳するＧの高域成分に対するゲイン係数を計算する。
【０１５２】
以下、上述の復元処理部２０２の動作を説明する。
【０１５３】
Ｇ復元部５０１は、Ｇを高解像度高フレームレート画像として復元する。Ｇ復元部５０１は、復元結果を出力画像のＧ成分として出力する。当該Ｇ成分はサブサンプリング部５０２に入力される。サブサンプリング部５０２は、入力されたＧ成分を間引く（サブサンプリングする）。
【０１５４】
Ｇ補間部５０３は、サブサンプリング部５０２で間引かれたＧ画像を補間する。これにより、サブサンプリングによって画素値が失われた画素における画素値が、周囲の画素値からの補間によって計算される。このようにして補間計算されたＧ画像を、Ｇ復元部５０１の出力から差し引くことによって、Ｇの高空間周波数成分が抽出される。
【０１５５】
一方、Ｒ補間部５０４は、空間加算されたＲ画像をＧと同じ画素数になるよう補間拡大する。Ｒ用ゲイン制御部５０５は、Ｇ補間部５０３の出力（すなわち、Ｇの低空間周波成分）とＲ補間部５０４の出力との間での、局所的な相関係数を計算する。局所的な相関係数として、例えば（数３４）により、着目画素（ｘ，ｙ）の近傍３×３画素における相関係数が計算される。
【数３４】
2010183357.tif 000036
【０１５６】
このようにして計算されたＲとＧの低空間周波数成分における相関係数を、Ｇの高空間周波数成分に乗じた後、Ｒ補間部５０４の出力に加算することにより、Ｒ成分の高解像度化が行なわれる。
【０１５７】
Ｂ成分についてもＲ成分と同様に処理する。すなわち、Ｂ補間部５０６は、空間加算されたＢ画像を、Ｇと同じ画素数になるよう補間拡大する。Ｂ用ゲイン制御部５０７は、Ｇ補間部５０３の出力（すなわち、Ｇの低空間周波成分）とＢ補間部５０６の出力との間での、局所的な相関係数を計算する。局所的な相関係数として、例えば（数３５）により、着目画素（ｘ，ｙ）の近傍３×３画素における相関係数が計算される。
【数３５】
2010183357.tif 000037
【０１５８】
このようにして計算されたＢとＧの低空間周波数成分における相関係数を、Ｇの高空間周波数成分に乗じた後、Ｂ補間部５０６の出力に加算することにより、Ｂ成分の高解像度化が行なわれる。
【０１５９】
なお、上述した復元部２０２におけるＧおよびＲ，Ｂの画素値の計算方法は一例であり、他の計算方法を採用してもよい。例えば復元部２０２においてＲ，Ｇ，Ｂの画素値を同時に計算してもよい。
【０１６０】
すなわち復元部２０２において、目的とするカラー画像ｇにおける各色の画像の空間的変化パターンが近い程度を表す評価関数Ｊを設定し、評価関数Ｊを最小化する目的画像ｇを求める。空間的変化パターンが近いことは、青画像、赤画像、および緑画像の空間的変化が相互に相似していることを意味する。評価関数Ｊの一例を（数３６）に示す。
【数３６】
2010183357.tif 000038
【０１６１】
評価関数Ｊは、生成したい高解像度カラー画像（目的画像）ｇを構成する赤、緑、および青の各色の画像（画像ベクトルとしてＲH、ＧH、ＢHと表記）の関数として定義される。（数３６）におけるＨR、ＨG、ＨBは、それぞれ、目的画像ｇの各色画像ＲH、ＧH、ＢHから、各色の入力画像ＲL、ＧL、ＢL（ベクトル表記）への低解像度化変換を表す。ＨRおよびＨG、ＨBは、それぞれ、例えば（数３７）（数３８）（数３９）に示されるような低解像度化の変換である。
【数３７】
2010183357.tif 000039
【数３８】
2010183357.tif 000040
【数３９】
2010183357.tif 000041
【０１６２】
入力画像の画素値は、目的画像の対応する位置を中心とした、局所領域の画素値の重み付け和となっている。
【０１６３】
（数３７）、（数３８）、（数３９）において、ＲH（ｘ，ｙ）ＧH（ｘ，ｙ）ＢH（ｘ，ｙ）は、それぞれ、目的画像ｇの画素位置（ｘ，ｙ）における赤（Ｒ）の画素値、緑（Ｇ）の画素値、青（Ｂ）の画素値を示す。また、ＲL（ｘRL，ｙRL）、ＧL（ｘGL，ｙGL）、ＢL（ｘBL，ｙBL）は、それぞれ、赤入力画像の画素位置（ｘRL，ｙRL）の画素値、緑入力画像の画素位置（ｘGL，ｙGL）の画素値、青入力画像の画素位置（ｘBL，ｙBL）の画素値を示している。ｘ（ｘRL）、ｙ（ｙRL）、ｘ（ｘGL）、ｙ（ｙGL）、ｘ（ｘBL）、ｙ（ｙBL）は、それぞれ、入力画像の赤画像の画素位置（ｘRL，ｙRL）に対応する目的画像の画素位置のｘ、ｙ座標と、入力画像の緑画像の画素位置（ｘGL，ｙGL）に対応する目的画像の画素位置のｘ、ｙ座標と、入力画像の青画像の画素位置（ｘBL，ｙBL）に対応する目的画像の画素位置のｘ、ｙ座標とを表している。また、ｗRとｗGとｗBは、赤画像と緑画像と青画像の入力画像の画素値に対する目的画像の画素値の重み関数をそれぞれ示している。なお、（ｘ’，ｙ’）∈Ｃは、ｗRとｗGとｗBとが定義される局所領域の範囲を示している。
【０１６４】
低解像度化画像および入力画像の対応画素位置における画素値の差の２乗和を、評価関数の評価条件として設定する（（数３０）の第１項、第２項、および第３項）。つまり、これらの評価条件は、低解像度化画像に含まれる各画素値を要素とするベクトルと、入力画像に含まれる各画素値を要素とするベクトルとの差分ベクトルの大きさを表す値により設定される。
【０１６５】
（数３６）の第４項のＱsは、画素値の空間的な滑らかさを評価する評価条件である。
【０１６６】
Ｑsの例であるＱs1およびＱs2を（数４０）および（数４１）に示す。
【数４０】
2010183357.tif 000042
【０１６７】
（数４０）において、θH（ｘ，ｙ）、ψH（ｘ，ｙ）、ｒH（ｘ，ｙ）は、目的画像の画素位置（ｘ，ｙ）における赤、緑、青のそれぞれの画素値で表される３次元直交色空間（いわゆるＲＧＢ色空間）内の位置を、ＲＧＢ色空間に対応する球面座標系（θ、ψ、ｒ）で表現した場合の座標値である。ここで、θH（ｘ，ｙ）とψH（ｘ，ｙ）は２種類の偏角を表し、ｒH（ｘ，ｙ）は動径を表す。
【０１６８】
図１８は、ＲＧＢ色空間と球面座標系（θ、ψ、ｒ）との対応例を示す。
【０１６９】
図１８では、一例として、θ＝０°かつψ＝０°の方向をＲＧＢ色空間のＲ軸の正方向とし、θ＝９０°かつψ＝０°の方向をＲＧＢ色空間のＧ軸の正方向としている。ここで、偏角の基準方向は、図１８に示す方向に限定されることなく、他の方向であってもよい。このような対応に従って、画素ごとに、ＲＧＢ色空間の座標値である赤、緑、青のそれぞれの画素値を、球面座標系（θ、ψ、ｒ）の座標値に変換する。
【０１７０】
目的画像の各画素の画素値をＲＧＢ色空間内の３次元ベクトルとして考えた場合に、３次元ベクトルをＲＧＢ色空間に対応付けられる球面座標系（θ、ψ、ｒ）で表現することにより、画素の明るさ（信号強度、輝度も同義である）は、ベクトルの大きさを表すｒ軸の座標値に相当する。また、画素の色彩（色相、色差、彩度などを含む色情報）を表すベクトルの向きは、θ軸およびψ軸の座標値によって規定される。このため、球面座標系（θ、ψ、ｒ）を用いることにより、画素の明るさおよび色彩を規定するｒ、θ、ψの３つのパラメータを個別に取り扱うことができる。
【０１７１】
（数４０）は、目的画像の球面座標系で表現された画素値の、ｘｙ空間方向の２階差分値の２乗和を定義している。（数４０）は、目的画像内で空間的に隣り合う画素における球面座標系で表現された画素値の変化が一様であるほど、値が小さくなる条件Ｑs1を定義している。画素値の変化が一様であることは、画素の色が連続していることに対応する。条件Ｑs1の値が小さくあるべきということは、目的画像内の空間的に隣り合う画素の色が連続すべきということを表している。
【０１７２】
画像中において画素の明るさの変化および画素の色彩の変化は、物理的に異なる事象から生じ得る。このため、（数４０）に示すように、画素の明るさの連続性（ｒ軸の座標値の変化の一様性）に関する条件（（数４０）の大括弧内の第３項）と、画素の色彩の連続性（θ軸およびψ軸の座標値の変化の一様性）に関する条件（（数４０）の大括弧内の第１項および第２項）とを個別に設定することにより、望ましい画質が得やすくなる。
【０１７３】
λθ（ｘ，ｙ）、λψ（ｘ，ｙ）、およびλr（ｘ，ｙ）は、それぞれ、θ軸、ψ軸、およびｒ軸の座標値を用いて設定される条件に対して、目的画像の画素位置（ｘ，ｙ）において適用される重みである。これらの値は、予め定めておく。簡単には、λθ（ｘ，ｙ）＝λψ、（ｘ，ｙ）＝１．０、λr（ｘ，ｙ）＝０．０１のように、画素位置やフレームに依らずに設定してもよい。また、好ましくは、画像中の画素値の不連続性などが予測できる位置において、この重みを小さく設定してもよい。画素値が不連続であることは、入力画像のフレーム画像内の隣り合う画素における画素値の差分値や２階差分値の絶対値が一定値以上であることにより判断してもよい。
【０１７４】
画素の色彩の連続性に関する条件に適用する重みを、画素の明るさの連続性に関する条件に適用する重みよりも大きくしておくことが望ましい。これは、被写体表面の凹凸や動きによる被写体表面の向き（法線の向き）の変化によって、画像中の画素の明るさが色彩に比べて変化しやすい（変化の一様性に乏しい）ことによる。
【０１７５】
なお、（数４０）では、目的画像の球面座標系で表現された画素値の、ｘｙ空間方向の２階差分値の２乗和を条件Ｑs1として設定したが、２階差分値の絶対値和、または１階差分値の２乗和もしくは絶対値和を条件として設定してもよい。
【０１７６】
上記説明ではＲＧＢ色空間に対応付けられる球面座標系（θ、ψ、ｒ）を用いて色空間条件を設定したが、用いる座標系は球面座標系に限るものではなく、画素の明るさと色彩とを分離しやすい座標軸を有する新たな直交座標系において条件を設定することで、前述と同様の効果が得られる。
【０１７７】
新たな直交座標系の座標軸は、例えば、入力動画像または基準となる他の動画像に含まれる画素値のＲＧＢ色空間内での頻度分布を主成分分析することで固有ベクトルの方向を求め、求めた固有ベクトルの方向に設ける（固有ベクトル軸とする）ことができる。
【数４１】
2010183357.tif 000043
【０１７８】
（数４１）において、Ｃ1（ｘ，ｙ）、Ｃ2（ｘ，ｙ）、Ｃ3（ｘ，ｙ）は、目的画像の画素位置（ｘ，ｙ）における赤、緑、青のそれぞれの画素値であるＲＧＢ色空間の座標値を、新たな直交座標系の座標軸Ｃ1、Ｃ2、Ｃ3の座標値に変換する回転変換である。
【０１７９】
（数４１）は、目的画像の新たな直交座標系で表現された画素値の、ｘｙ空間方向の２階差分値の２乗和を定義している。（数４１）は、目的画像の各フレーム画像内で空間的に隣り合う画素における新たな直交座標系で表現された画素値の変化が一様である（つまり画素値が連続している）ほど、値が小さくなる条件Ｑs2を定義している。
【０１８０】
条件Ｑs2の値が小さくあるべきことは、目的画像内の空間的に隣り合う画素の色が連続すべきことを表している。
【０１８１】
λC1（ｘ，ｙ）、λC2（ｘ，ｙ）、λC3（ｘ，ｙ）はそれぞれ、Ｃ1軸、Ｃ2軸、Ｃ3軸の座標値を用いて設定される条件に対して、目的画像の画素位置（ｘ，ｙ）において適用される重みであり、予め定めておく。
【０１８２】
Ｃ1軸、Ｃ2軸、Ｃ3軸が固有ベクトル軸である場合、各固有ベクトル軸に沿ってλC1（ｘ，ｙ）、λC2（ｘ，ｙ）、λC3（ｘ，ｙ）の値を個別に設定することで、固有ベクトル軸によって異なる分散の値に応じて好適なλの値を設定できるという利点がある。すなわち、非主成分の方向には分散が小さく、２階差分の２乗和が小さくなることが期待できるため、λの値を大きくする。逆に、主成分の方向にはλの値を相対的に小さくする。
【０１８３】
以上、２種類の条件Ｑs1、Ｑs2の例を説明した。条件Ｑsとしては、Ｑs1、Ｑs2いずれを用いることもできる。
【０１８４】
例えば、（数４０）に示される条件Ｑs1を用いた場合、球面座標系（θ、ψ、ｒ）を導入することにより、色情報を表すθ軸およびψ軸の座標値、ならびに信号強度を表すｒ軸の座標値のそれぞれの座標値を個別に用いて条件を設定し、かつ条件の設定に際して色情報と信号強度とにそれぞれ好適な重みパラメータλを付与できるので、高画質の画像の生成が容易になるという利点がある。
【０１８５】
（数４１）に示される条件Ｑs2を用いた場合、ＲＧＢ色空間の座標値から線型（回転）変換によって得られる新たな直交座標系の座標値で条件を設定するため、演算が簡素化できる利点がある。
【０１８６】
また、固有ベクトル軸を新たな直交座標系の座標軸Ｃ1、Ｃ2、Ｃ3とすることにより、より多くの画素が影響を受ける色の変化を反映した固有ベクトル軸の座標値を用いて条件を設定できる。このため、単純に赤、緑、青の各色コンポーネントの画素値を用いて条件を設定する場合と比べて、得られる目的画像の画質の向上が期待できる。
【０１８７】
なお、評価関数Ｊは、上記に限定するものではなく、（数３６）の項を類似式からなる項と置換し、また異なる条件を表す新たな項を追加してもよい。
【０１８８】
次に、（数３６）の評価関数Ｊの値をできるだけ小さく（望ましくは最小に）する目的画像の各画素値を求めることによって、目的画像の各色画像ＲH、ＧH、ＢHを生成する。評価関数Ｊを最小にする目的画像ｇは、例えば、Ｊを目的画像の各色画像ＲH、ＧH、ＢHの各画素値成分で微分した式を全て０とおいた（数４２）の方程式を解いて求めてもよく、また最急勾配法などの反復演算型の最適化手法を用いて求めてもよい。
【数４２】
2010183357.tif 000044
【０１８９】
なお、本実施形態では、出力するカラー画像をＲ、Ｇ、Ｂとして説明した。しかしながら、輝度信号Ｙと２つの色差信号Ｐｂ，Ｐｒを用いたカラー画像であってもよい。図１９は、信号処理回路８２から出力される、輝度（Ｙ）画像，Ｐｂ画像およびＰｒ画像を示している。Ｐｂ画像およびＰｒ画像の水平画素数は、Ｙ画像の水平画素数の半分である。Ｙ画像，Ｐｂ画像およびＰｒ画像と、Ｒ画像、Ｇ画像およびＢ画像との関係は、下記（数４３）に示すとおりである。
【０１９０】
すなわち、上記（数４２）と、下記（数４３）とから、（数４４）に示す変数変換を行うことができる。
【数４３】
2010183357.tif 000045
【数４４】
2010183357.tif 000046
【０１９１】
さらに、Ｐｂ、ＰｒはＹと比べて水平画素数が半分であることを考慮して、下記（数４５）の関係を利用することにより、ＹH、ＰｂL、ＰｒLについての連立方程式を立てることができる。
【数４５】
2010183357.tif 000047
【０１９２】
この場合、連立方程式で解くべき変数の総数をＲＧＢの場合と比べて３分の２に低減させることができ、演算量を低減できる。
【０１９３】
以上述べたように、本実施形態によれば、色再現性に優れ、かつ高解像度・高フレーム周波数な動画を高感度に撮像することができる。
【０１９４】
（実施形態２）
図２０は、本実施形態による固体撮像素子９２の構成図である。固体撮像素子９２では、光の３原色（Ｒ，Ｇ，Ｂ）に対応した波長帯に感度特性を有する画素と、可視光全域（Ｒ，Ｇ，Ｂに対応した波長帯全域）にわたって高い感度特性を有する白（Ｗ）画素とが二次元マトリクス状に配置されている。図２１は、Ｗ画素の光電変換特性９１と、Ｒ，Ｇ，Ｂ画素の光電変換特性３１〜３３との関係を示す。
【０１９５】
本実施形態による固体撮像素子９２に関しては、周辺回路および画素回路の構成は実施形態１と同様であり、また動作方法も同様である。また、実施形態１の図７と同様に、固体撮像素子の出力端子ＳＩＧＯＵＴに信号処理回路８２およびタイミングジェネレータ８３を接続してシステムが構成される。以下では、白（Ｗ）の感度特性を有する画素群から得られる画像を「Ｗ画像」と呼ぶ。
【０１９６】
撮影環境が明るい状態における高照度の被写体の撮像では、Ｒ，Ｇ，Ｂ，Ｗ画素の転送トランジスタ２２のゲート端子が接続されたＴＲＡＮＲ，ＴＲＡＮＧ，ＴＲＡＮＢ，ＴＲＡＮＷをフレーム毎に活性化させて全画素から画素信号を読み出す。
【０１９７】
一方、撮影環境が暗く、低照度の被写体を撮像する場合には高感度モードに移行し、ＴＲＡＮＲ，ＴＲＡＮＧ，ＴＲＡＮＢを毎フレーム活性化し、ＴＲＡＮＷを３フレームに１度の頻度で活性化させる。さらに、信号加算回路１７を活性化させ、Ｒ画素、Ｇ画素およびＢ画素をそれぞれ４画素ずつ加算する。図２２は、イメージセンサ（固体撮像素子９２）から出力された各画像のフレームを示している。図２２に示されるように、フル解像度のＷ画像が３フレーム毎に出力され、垂直および水平解像度が１／２のＲ画像、Ｇ画像およびＢ画像が毎フレーム出力される。
【０１９８】
信号処理回路は高フレーム周波数で入力されるＲ画像、Ｇ画像およびＢ画像から被写体の動きを検出してＷ画像の補間フレームを生成し、そのフレーム周波数を高める。同時に、フル解像度で入力されるＷ画像に基づいてＲ画像、Ｇ画像およびＢ画像の補間画素を生成し、その解像度を高める。
【０１９９】
図２３は、信号処理回路８２から出力される、フル解像度かつ高フレーム周波数のＲ画像、Ｇ画像およびＢ画像を示している。図２３に示すようにＲ画像、Ｇ画像およびＢ画像ともにフル解像度かつ高フレーム周波数の動画像を得ることができる。各画像を合成することにより、カラー動画像を得ることができる。
【０２００】
なお、フル解像度で入力されるＷ画像に基づいてＲ画像、Ｇ画像、Ｂ画像の補間画素を生成し、その解像度を高める方法は、実施形態１と同様である。実施形態１において、フル解像度で入力されるＧ画像に基づいてＲ画像およびＢ画像の補間画素を生成し、その解像度を高める方法と同じ方法を採用すればよい。
【０２０１】
本実施形態によれば、Ｗ画素を配置することで実施形態１よりもさらに高感度に撮像することができる。
【０２０２】
（実施形態３）
図２４は、本実施形態による固体撮像素子９３の構成図である。固体撮像素子９３では、Ｒ，Ｇ，Ｂの補色となるシアン（Ｃｙ），マゼンタ（Ｍｇ），イエロー（Ｙｅ）に対応した波長帯に感度を有する画素と、Ｇに対応した波長帯に感度を有する画素とが二次元マトリクス状に配置されている。なおシアン（Ｃｙ）はＲの補色であるため、主としてＧおよびＢに対応した波長帯をカバーする。マゼンタ（Ｍｇ）およびイエロー（Ｙｅ）がカバーする波長帯も同様である。
【０２０３】
本実施形態による固体撮像素子９３に関しては、周辺回路および画素回路の構成は実施形態１と同様であり、また動作方法も同様である。また、実施形態１の図７と同様に、固体撮像素子９３の出力端子ＳＩＧＯＵＴに信号処理回路８２およびタイミングジェネレータ８３を接続してシステムが構成される。
【０２０４】
撮影環境が明るい状態における高照度の被写体の撮像では、Ｃｙ，Ｍｇ，Ｙｅ，Ｇ画素の転送トランジスタ２２のゲート端子が接続されたＴＲＡＮＣ，ＴＲＡＮＭ，ＴＲＡＮＹ，ＴＲＡＮＧをフレーム毎に活性化させて全画素から画素信号を読み出す。
【０２０５】
一方、撮影環境が暗い状態で低照度の被写体を撮像する場合には高感度モードに移行し、ＴＲＡＮＣ，ＴＲＡＮＭ，ＴＲＡＮＹを毎フレーム活性化し、ＴＲＡＮＧを８フレームに１度の頻度で活性化させる。さらに、信号加算回路１７を活性化させ、Ｃｙ画素、Ｍｇ画素およびＹｅ画素をそれぞれ４画素ずつ加算する。図２５は、イメージセンサ（固体撮像素子９２）から出力された各画像のフレームを示している。図２５に示されるように、フル解像度のＧ画像が８フレーム毎に出力され、垂直および水平解像度が１／２のＣｙ画像、Ｍｇ画像およびＹｅ画像が毎フレーム出力される。
【０２０６】
信号処理回路は高フレーム周波数で入力されるＣｙ画像、Ｍｇ画像およびＹｅ画像から被写体の動きを検出してＧ画像の補間フレームを生成し、そのフレーム周波数を高める。同時に、フル解像度で入力されるＧ画像に基づいてＣｙ画像、Ｍｇ画像およびＹｅ画像の補間画素を生成し、その解像度を高める。
【０２０７】
図２６は、信号処理回路８２から出力される、フル解像度かつ高フレーム周波数のＲ画像、Ｇ画像およびＢ画像を示している。図２６に示すようにＲ画像、Ｇ画像およびＢ画像ともにフル解像度かつ高フレーム周波数の動画像を得ることができる。各画像を合成することにより、カラー動画像を得ることができる。
【０２０８】
なお、高フレーム周波数で入力されるＣｙ画像、Ｍｇ画像およびＹｅ画像から被写体の動きを検出してＧ画像の補間フレームを生成し、そのフレーム周波数を高める方法は、実施形態１と同じである。また、フル解像度で入力されるＧ画像に基づいてＣｙ画像、Ｍｇ画像、Ｙｅ画像の補間画素を生成し、その解像度を高める方法も、実施形態１と同様である。実施形態１において、フル解像度で入力されるＧ画像に基づいてＲ画像およびＢ画像の補間画素を生成し、その解像度を高める方法と同じ方法を採用すればよい。
【０２０９】
本実施形態によれば、３原色構成よりも色再現性は劣るものの、感度に優れた固体撮像素子を実現することができる。
【０２１０】
（実施形態４）
図２７は、本実施形態による固体撮像素子の４行２列構成の画素回路図である。この固体撮像素子は、いわゆる２画素１セルの構成を有している。すなわち、各画素にはフォトダイオード２１１，２１２と転送トランジスタ２２１，２２２とがそれぞれ配置されている。そして、隣接する上下の画素で、リセットトランジスタ２３、出力トランジスタ２４および選択トランジスタ２５を共有している。
【０２１１】
実施形態１と同様、本実施形態による固体撮像素子においても、光電変換素子であるフォトダイオード２１１、２１２等の光の入射面にはＲ，Ｇ，Ｂの色フィルタのいずれかが備えられている。各フォトダイオードは、Ｒ，Ｇ，Ｂ波長帯の入射光を、その強度に比例した電荷量に変換する。画素は二次元マトリクス状に配置されており、リセットトランジスタ２４および選択トランジスタ２６を制御するゲート端子は、それぞれ行方向に配列した画素群に共通の制御信号線ＲＳＴおよびＳＥＬに結線されている。また、ＲおよびＢ画素とＧ画素の転送トランジスタ２２１，２２２を制御するゲート端子は、それぞれ行方向に交差しながら配線された制御信号線ＴＲＡＮＲＢおよびＴＲＡＮＧＧに結線される。
【０２１２】
周辺回路の構成は実施形態１と同様であり、以下本実施形態で特徴的な画素の駆動方法について述べる。
【０２１３】
撮影環境が明るい状態における高照度の被写体の撮像では、ＴＲＡＮＧＧを活性化するＧ画素群の読み出しとＴＲＡＮＢＢを活性化するＲ，Ｂ画素群の読み出しを垂直方向へ順に行う。固体撮像素子上でＧ画素群は上下に交互にずれて配置されているが、出力されたＧ画像は行方向に並んでいるため、信号処理回路でアドレス変換を行って固体撮像素子上の配置に復元する。Ｒ，Ｂ画素についても同様にアドレス変換を行う。本動作により、フル解像度のＲ画像、Ｇ画像およびＢ画像が毎フレーム出力される。
【０２１４】
一方、撮影環境が暗く、低照度の被写体を撮像する場合には高感度モードに移行し、Ｒ，Ｂ画素から画素信号を毎フレーム読み出し、Ｇ画素群からは４フレームに１度の頻度で読み出しを行う。４フレームに１度のＲ，Ｇ，Ｂ画素群からの読み出しは、上述の明るい環境下における動作と同様である。Ｇ画素のみから画素信号を読み出すフレームでは、２種類の転送トランジスタ制御線のうちＴＲＡＮＧＧのみを活性化する。Ｇ画素のフォトダイオード２１２で光電変換された電荷は、転送トランジスタ２２２を介して出力トランジスタ２５のゲートに移動し、ゲート容量およびノード２３に存在する寄生容量により信号電圧に変換される。ＳＥＬを活性化して選択トランジスタ２６はオン状態となり、電気信号は出力端子ＯＵＴに出力される。画素信号が出力された後に転送トランジスタ２２２および選択トランジスタ２６はオフ状態にし、ＲＳＴを活性化してゲート電位をリセットする。以上の動作を垂直方向へ順に行い、マトリクス配置された画素群からＧ画像のみを出力し、これをアドレス変換する。
【０２１５】
本実施形態によれば、リセットトランジスタ、出力トランジスタおよび選択トランジスタを複数の画素で共有した構成をとることにより、画素サイズを小さくすることが可能となる。従って、画素を高集積化することができる。
【０２１６】
（実施形態５）
図２８は、本実施形態による固体撮像素子９４の構成図である。また図２９は、固体撮像素子９４を構成する画素の回路図である。周辺回路の構成は実施形態１と同様であり、転送トランジスタが省略された画素回路となっている。光電変換素子であるフォトダイオード２１の光の入射面にはＲ，Ｇ，Ｂの色フィルタのいずれかが備えられている。各フォトダイオード２１は、Ｒ，Ｇ，Ｂ波長帯の入射光を、その強度に比例した電荷量に変換する。選択トランジスタ２６を制御するゲート端子は、行方向に配列した画素群に共通の制御信号線ＳＥＬに結線されている。また、Ｒ画素、Ｇ画素およびＧ画素のリセットトランジスタ２４を制御するゲート端子ＲＳＴは、それぞれ行方向に配線された制御信号線ＲＳＴＲ、ＲＳＴＧおよびＲＳＴＢに結線される。以下本実施形態で特徴的な画素の駆動方法について述べる。
【０２１７】
本実施形態ではフォトダイオード２１と出力トランジスタ２５のゲートが転送トランジスタを介さずに直接接続されているので、フォトダイオード２１で光電変換された電荷は発生と同時にゲート容量およびノード２３に存在する寄生容量により信号電圧に変換される。
【０２１８】
撮影環境が明るい状態における高照度の被写体の撮像では、垂直方向へ順にＳＥＬを活性化して選択トランジスタ２６をオン状態とし、画素信号を出力端子ＯＵＴに出力する。垂直信号線ＶＳＬにはＧ，Ｒ画素信号とＧ，Ｂ画素信号が行毎に読み出される。各行の画素信号が読み出された後に、それぞれＲＳＴＧ，ＲＳＴＲとＲＳＴＧ，ＲＳＴＢを活性化してゲート電位をリセットする。水平シフトレジスタ１７は画素信号を転送し、出力アンプ１８で増幅して出力端子ＳＩＧＯＵＴから出力する。本動作により、フル解像度のＲ画像、Ｇ画像およびＢ画像が毎フレーム出力される。
【０２１９】
一方、撮影環境が暗い状態で低照度の被写体を撮像する場合には高感度モードに移行し、Ｒ，Ｂ画素から画素信号を毎フレーム読み出し、Ｇ画素群からは４フレームに１度の頻度で読み出しを行う。垂直方向へ順にＳＥＬを活性化して選択トランジスタ２６をオン状態とし、画素信号を出力端子ＯＵＴに出力する。垂直信号線ＶＳＬにはＧ，Ｒ画素信号とＧ，Ｂ画素信号が行毎に読み出される。各行の画素信号が読み出された後に、それぞれＲＳＴＲとＲＳＴＢを活性化してＲ画素およびＢ画素のゲート電位をリセットする。また、Ｇ画素信号が読み出された後にも、ＲＳＴＧを活性化してＧ画素のゲート電位をリセットする。駆動部１５は信号加算回路１７を活性化させ、Ｒ画素およびＢ画素をそれぞれ４画素ずつ加算する。その結果、フル解像度のＧ画像が４フレーム毎に出力され、垂直および水平解像度が１／２のＲ画像およびＢ画像が毎フレーム出力される。
【０２２０】
本実施形態によれば、転送トランジスタが省略できるので画素サイズを小さくすることが可能となる。従って、画素を高集積化することができる。
【０２２１】
上述の実施形態による固体撮像素子は、いずれも複数種類の画素群が二次元マトリクス状に配置されているとして説明した。しかしながら「二次元マトリクス状」は例である。例えば、複数種類の画素群がハニカム構造の撮像素子を形成していてもよい。
【産業上の利用可能性】
【０２２２】
本発明は、固体撮像素子によって動画を撮影する機器、たとえばビデオカメラ、動画撮影機能を有するデジタルスチルカメラ、携帯電話などに利用されることで、高解像度かつ高フレーム周波数なカラー画像を高感度に撮像する用途に最適である。
【図面の簡単な説明】
【０２２３】
【図１】（ａ）および（ｂ）は、デジタルスチルカメラ１００ａおよびビデオカメラ１００ｂの外観を示す図である。
【図２】カメラシステム１００のハードウェア構成図である。
【図３】実施形態１による固体撮像素子８１の構成図である。
【図４】画素１１の回路構成を示す図である。
【図５】Ｒ，Ｇ，Ｂ画素の光電変換特性３１〜３３を示す図である。
【図６】１フレーム期間の読み出し動作において、垂直シフトレジスタ１１から各配線へ出力されるパルスの駆動タイミングと、垂直信号線ＶＳＬの電位変化を示す図である。
【図７】固体撮像素子８１の出力端子ＳＩＧＯＵＴに信号処理回路８２およびタイミングジェネレータ（ＴＧ）８３が接続されたカメラシステムの構成を示す図である。
【図８】４ｎ−２，  ４ｎ−１，  ４ｎフレーム目においてＴＲＡＮＲ，ＴＲＡＮＢのみが活性化されているパルスの駆動タイミングを示す図である。
【図９】信号加算回路１７の２列分に相当する構成を示す図である。
【図１０】信号加算回路の２列分に相当する構成を示す図である。
【図１１】イメージセンサ（固体撮像素子８１）から出力された各画像のフレームを示す図である。
【図１２】信号処理回路８２から出力される、フル解像度かつ高フレーム周波数のＲ画像、Ｇ画像およびＢ画像を示す図である。
【図１３】実施形態１におけるカメラシステム１００の構成を示すブロック図である。
【図１４】信号処理回路８２のより詳細な構成の一例を示す構成図である。
【図１５】（ａ）および（ｂ）は、ブロックマッチングによって動き検出を行うときの基準フレームと参照フレームとを示す図である。
【図１６】（ａ）および（ｂ）は、２×２画素の空間加算をする際の仮想的サンプル位置を示す図である。
【図１７】復元処理部２０２の構成の一例を示す図である。
【図１８】ＲＧＢ色空間と球面座標系（θ、ψ、ｒ）との対応例を示す図である。
【図１９】信号処理回路８２から出力される、輝度（Ｙ）画像，Ｐｂ画像およびＰｒ画像を示す図である。
【図２０】実施形態２による固体撮像素子９２の構成図である。
【図２１】Ｗ画素の光電変換特性９１と、Ｒ，Ｇ，Ｂ画素の光電変換特性３１〜３３との関係を示す図である。
【図２２】イメージセンサ（固体撮像素子９２）から出力された各画像のフレームを示す図である。
【図２３】信号処理回路８２から出力される、フル解像度かつ高フレーム周波数のＲ画像、Ｇ画像およびＢ画像を示す図である。
【図２４】実施形態３による固体撮像素子９３の構成図である。
【図２５】イメージセンサ（固体撮像素子９２）から出力された各画像のフレームを示す図である。
【図２６】信号処理回路８２から出力される、フル解像度かつ高フレーム周波数のＲ画像、Ｇ画像およびＢ画像を示す図である。
【図２７】実施形態４による固体撮像素子の４行２列構成の画素回路図である。
【図２８】実施形態５による固体撮像素子９４の構成図である。
【図２９】固体撮像素子９４を構成する画素の回路図である。
【図３０】イメージセンサの構成を示す図である。
【図３１】イメージセンサから出力された、Ｒ，Ｇ，Ｂ信号を示す図である。
【図３２】図３１に示すＲ，Ｇ，Ｂ画像に対してビニング処理を行ったときの出力画像の例を示す図である。
【符号の説明】
【０２２４】
１１  画素
１２  垂直シフトレジスタ
１３  水平シフトレジスタ
１４  画素電源部
１５  駆動部
１６  負荷素子
１７  信号加算回路
１８  出力アンプ
８１  固体撮像素子
【図１】
2010183357.tif 000048
【図２】
2010183357.tif 000049
【図３】
2010183357.tif 000050
【図４】
2010183357.tif 000051
【図５】
2010183357.tif 000052
【図６】
2010183357.tif 000053
【図７】
2010183357.tif 000054
【図８】
2010183357.tif 000055
【図９】
2010183357.tif 000056
【図１０】
2010183357.tif 000057
【図１１】
2010183357.tif 000058
【図１２】
2010183357.tif 000059
【図１３】
2010183357.tif 000060
【図１４】
2010183357.tif 000061
【図１５】
2010183357.tif 000062
【図１６】
2010183357.tif 000063
【図１７】
2010183357.tif 000064
【図１８】
2010183357.tif 000065
【図１９】
2010183357.tif 000066
【図２０】
2010183357.tif 000067
【図２１】
2010183357.tif 000068
【図２２】
2010183357.tif 000069
【図２３】
2010183357.tif 000070
【図２４】
2010183357.tif 000071
【図２５】
2010183357.tif 000072
【図２６】
2010183357.tif 000073
【図２７】
2010183357.tif 000074
【図２８】
2010183357.tif 000075
【図２９】
2010183357.tif 000076
【図３０】
2010183357.tif 000077
【図３１】
2010183357.tif 000078
【図３２】
2010183357.tif 000079