(57)【要約】【課題】  主画素と副画素とに領域分割されたフォトダイオードを持つ固体撮像素子を搭載した画像データ取込装置の画像データの読み出しに要する時間の短縮と必要となる画像メモリの容量の削減を図る。【解決手段】  １つ１つの光電変換素子が大面積の主画素と残りの小面積の副画素とに領域分割されている固体撮像素子と、該固体撮像素子から主画素に蓄積された画像データを読み出すと共に副画素に蓄積された画像データを読み出して両画像データを加算合成する信号処理部とを備える画像データ取込装置において、主画素の読み出しデータ数より、副画素の読み出しデータ数を少なく読み出す制御手段（ステップＦ１２）を備える。これにより、副画素の読み出し時間が主画素の読み出し時間より短縮され、また、副画素から読み出されたデータを格納するメモリ容量も削減できる。【選択図】  図４
2006340065.tif 000002
【特許請求の範囲】
【請求項１】
１つ１つの光電変換素子が大面積の主画素と残りの小面積の副画素とに領域分割されている固体撮像素子と、該固体撮像素子から前記主画素に蓄積された画像データを読み出すと共に前記副画素に蓄積された画像データを読み出して両画像データを加算合成する信号処理部とを備える画像データ取込装置において、前記主画素の読み出しデータ数より、前記副画素の読み出しデータ数を少なく読み出す制御手段を備えることを特徴とする画像データ取込装置。
【請求項２】
前記制御手段は、前記副画素の画像データを読み出すとき画素間引き読み出しすることを特徴とする請求項１に記載の画像データ取込装置。
【請求項３】
前記制御手段は、前記副画素の画像データを読み出すとき画素混合して読み出すことを特徴とする請求項１または請求項２に記載の画像データ取込装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラやスキャナ等の画像データ取込装置に係り、特に、搭載する固体撮像素子の各フォトダイオード（光電変換素子）が夫々主画素領域と副画素領域とに領域分割されている画像データ取込装置に関する。
【背景技術】
【０００２】
デジタルカメラやスキャナ等の画像データ取込装置に搭載されるＣＣＤ型やＣＭＯＳ型等の固体撮像素子は、入射光を光電変換するフォトダイオードを多数備えており、また、下記特許文献１は、各フォトダイオードを、主画素領域と副画素領域とに領域分割した固体撮像素子を開示している。
【０００３】
図７は、各フォトダイオードを、主画素領域と副画素領域とに領域分割した固体撮像素子の表面模式図である。図示する固体撮像素子はＣＣＤ型であり、偶数行の各フォトダイオード１に対して奇数行の各フォトダイオード１が水平方向に１／２ピッチずらして配置され、各フォトダイオード１から読み出された信号電荷を垂直方向に転送する垂直転送路（図示せず）が、垂直方向の各フォトダイオード１を避けるように蛇行配置される構成をとっている。
【０００４】
各フォトダイオード１は、図示する例では、フォトダイオード１の面積の約４／５を占める主画素（高感度画素ともいう。）２と、残りの約１／５を占める副画素（低感度画素ともいう。）３とに領域分割されており、主画素２に蓄積された電荷と副画素３に蓄積された電荷とを別々に上記の垂直転送路に読み出し転送することができるようになっている。尚、図中のＲ，Ｇ，Ｂは、各フォトダイオード１に積層されたカラーフィルタ赤（Ｒ），緑（Ｇ），青（Ｂ）を示している。
【０００５】
【特許文献１】特開２００３―２１８３４３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
主画素２と副画素３とに領域分割されたフォトダイオードを画素として持つ固体撮像素子で画像データを撮像した場合、主画素２で撮像した画像データ（主画素データ）と、副画素３で撮像した画像データ（副画素データ）とを区別して固体撮像素子から読み出す必要がある。
【０００７】
図８は、デジタルカメラに上記の固体撮像素子を搭載したときの画像データの読み出しシーケンスを示す図である。デジタルカメラのメカニカルシャッタが開いている間（主／副露光期間）に主画素２と副画素３とに夫々信号電荷が蓄積され、メカニカルシャッタが閉じたとき露光が終了する。
【０００８】
信号電荷の読出前に、垂直転送路を掃き出し駆動して垂直転送路上の不要電荷を排出し、その後、主画素２の信号電荷（主画素データ）を垂直転送路に読み出して水平転送路（図示せず）まで転送し、水平転送路を転送して固体撮像素子から出力する。次に、副画素３の信号電荷（副画素データ）を垂直転送路に読み出し、同様にして固体撮像素子から出力する。
【０００９】
固体撮像素子の主画素２から読み出された主画素データは、主画素データ用の画像メモリに蓄積され、副画素３から読み出された副画素データは、副画素データ用の画像メモリに蓄積される。そして、各画像メモリのデータを用いて信号処理が施され、撮像画像が再生される。
【００１０】
固体撮像素子の各画素（フォトダイオード）が主画素と副画素とに領域分割されていることで、高解像度の画像が撮像でき、また、広ダイナミックレンジの画像が撮像できるが、上述した様に、主画素データのデータ数と副画素データのデータ数とは同数であるため、領域分割していない固体撮像素子に比較して画像データの読み出しに２倍の時間がかかり、また、画像メモリ容量も２倍必要になってしまうという問題がある。
【００１１】
本発明の目的は、主画素と副画素とに領域分割されたフォトダイオードを持つ固体撮像素子を搭載した画像データ取込装置の画像データの読み出しに要する時間の短縮を図り、また、必要となる画像メモリの容量の削減を図ることを目的とする。
【課題を解決するための手段】
【００１２】
本発明の画像データ取込装置は、１つ１つの光電変換素子が大面積の主画素と残りの小面積の副画素とに領域分割されている固体撮像素子と、該固体撮像素子から前記主画素に蓄積された画像データを読み出すと共に前記副画素に蓄積された画像データを読み出して両画像データを加算合成する信号処理部とを備える画像データ取込装置において、前記主画素の読み出しデータ数より、前記副画素の読み出しデータ数を少なく読み出す制御手段を備えることを特徴とする。
【００１３】
本発明の画像データ取込装置の前記制御手段は、前記副画素の画像データを読み出すとき画素間引き読み出しすることを特徴とする。
【００１４】
本発明の画像データ取込装置の前記制御手段は、前記副画素の画像データを読み出すとき画素混合して読み出すことを特徴とする。
【発明の効果】
【００１５】
本発明によれば、主画素と副画素とに領域分割されたフォトダイオードを持つ固体撮像素子を搭載した画像データ取込装置の画像データの読み出しに要する時間の短縮を図り、また、必要となる画像メモリの容量の削減を図ることができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の一実施形態について、図面を参照して説明する。
【００１７】
図１は、本発明の画像データ取込装置の一例であるデジタルスチルカメラのブロック構成図である。撮影レンズ１０，光学ローパスフィルタ１１，図示しないメカニカルシャッタの背面部に固体撮像素子（この例ではＣＣＤ）１２が配置される。ＣＣＤ１２の各フォトダイオードは、図７に示す様に、主画素２と副画素３とに領域分割されている。
【００１８】
図２は、ＣＣＤ１２の主画素２と副画素３の光電変換特性を示すグラフである。主画素２の出力は、特性線Ｉに示す様に、被写体輝度（横軸）が低輝度のとき輝度に応じてリニアに上昇し、ある輝度以上で飽和する。これに対し、副画素３の出力は、特性線IIに示す様に、飽和輝度が主画素２に対して４倍に設定され、飽和出力は、主画素２の飽和出力の１／４に設定される。この違いは、主画素２と副画素３の面積比によるものであり、主画素２に対して副画素３の感度は１／１６となる。
【００１９】
ＣＣＤ１２の出力はアナログ処理回路（相関二重サンプリング回路ＣＤＳやゲインコントロールアンプＧＣＡ）１３で処理された後、ＡＤ変換器１４でデジタルデータに変換され、信号処理部１５で信号処理される。
【００２０】
デジタルスチルカメラ全体を統括制御するＣＰＵ１６は、タイミング発生器１７を制御し、タイミング発生器１７から出力される電子シャッタ信号等の各種タイミング信号がドライバ１８を介してＣＣＤ１２に与えられ、ＣＣＤ１２が駆動制御される。同様に、タイミング発生器１７から出力される各種タイミング信号により、アナログ処理回路１３や、ＡＤ変換器１４や、信号処理回路１５が制御される。
【００２１】
信号処理回路１５は、ＣＰＵ１６との間で信号を授受しながら画像処理を行い、再生した画像データの縮小画像を表示部１９に表示したり、ＪＰＥＧデータ等に圧縮した画像データを記録メディア２０に格納する。尚、符号２１は、ＣＰＵ１６に対してユーザ指示を入力する操作キーである。
【００２２】
図３は、信号処理回路１５の詳細機能ブロック図である。本実施形態の信号処理回路１５には、ＣＣＤ１２の主画素２から読み出した主画素データを格納する画像メモリ２３と、ＣＣＤ１２の副画素３から読み出した副画素データを格納する画像メモリ２４とを備える。この画像メモリ２４は、後述する理由により画像メモリ２３の半分の容量となっている。
【００２３】
信号処理回路１５は更に、主画素データのホワイトバランスをとるＷＢゲイン部２５と、副画素データのホワイトバランスをとるＷＢゲイン部２６と、主画素データのガンマ変換を行うγ変換部２７と、副画素データのガンマ変換を行うγ変換部２８と、主画素データと副画素データとを後述の様に加算する画像加算部２９と、加算された画像データを同時化処理する同時化処理部３０と、同時化処理した画像データに対してノイズを除去する等の各種補正を行う各種補正部３１と、各種補正後の画像データに対してＪＰＥＧ圧縮を施すＪＰＥＧ圧縮部３２と、ＪＰＥＧ画像データを表示部１９に表示できる画像データに縮小する画像縮小部３３とを備える。
【００２４】
図４は、上述した構成のデジタルスチルカメラの動作手順を示すフローチャートである。デジタルスチルカメラの電源がオンされると、ＣＰＵ１６は、２段レリーズボタンのスイッチＳ１がオン状態になるのを待機する（ステップＦ１）。スイッチＳ１がオンになると、本撮影の準備のために、撮影レンズ１０の焦点位置合わせや測光を行う（ステップＦ２）。
【００２５】
ＣＰＵ１６は、次に、測光データに基づいて、被写体輝度の輝度分布評価値を算出してダイナミックレンジがどの程度必要であるかを求め（ステップＦ３）、スイッチＳ２の投入を待機する（ステップＦ４）。スイッチＳ２が投入された場合には、次に、ステップＦ３で求めた輝度分布評価値に基づき、被写体輝度が主画素の通常の再現域であるか否かを判定する（ステップＦ５）。即ち、被写体輝度が、図２の特性線Ｉのリニアに変化する範囲内であるか、飽和域の範囲内であるかを判定する。
【００２６】
被写体輝度が特性線Ｉのリニアに変化する範囲内であれば、主画素から読み出した信号電荷だけで被写体画像を良好に再生できるため、図８で説明した画像データの読み出しシーケンスのうち、副画素読み出しは行わずに主画素データのみ読み出す（ステップＦ６）。そして、ＣＣＤ１２から読み出した主画素データに通常の信号処理を施し（ステップＦ７：「通常」とは、主画素と副画素とに領域分割していない固体撮像素子における信号処理と同じという意味）、ＪＰＥＧ画像データを記録メディア２０に保存し（ステップＦ８）、今回の撮影処理を終了する。
【００２７】
ステップＦ５の判定処理で、被写体輝度が特性線Ｉの飽和領域に入っていると判定された場合には、ステップＦ５からステップＦ９に進み、ステップＦ３で求めた輝度分布評価値に基づき、どの程度の副画素信号量が必要となるかを予測し、後述のステップＦ１２における副画素データ読み出し駆動モードを決定する。
【００２８】
そして、以下の主画素／副画素独立読み出しを実行する。即ち、図５に示す様に、先ず、主画素データを読み出し（ステップＦ１０）、この主画素データを図３の画像メモリ２３に書き込み（Ｆ１１）、次に、副画素データを読み出し（ステップＦ１２）、この副画素データを図３の画像メモリ２４に書き込む（ステップＦ１３）。
【００２９】
本実施形態では、副画素の画像データ読み出し駆動モードとして、
（１）画素間引き読み出しモード
（２）画素混合読み出しモード
の２つが用意されている。画素間引き読み出しモードとは、垂直方向に並ぶ副画素を１画素置きに読み出すモードであり、画素混合読み出しモードとは、垂直転送路上（または垂直転送路上）で２つの副画素データを画素混合して読み出すモードである。画素混合を行う場合には、同色の副画素データである必要があるため、図７に示す固体撮像素子では、垂直方向に１／２間引き読み出ししてから、画素混合を行う必要がある。どの様な混合ができるかは、固体撮像素子に設けられているカラーフィルタの配置に依存するため、採用されているカラーフィルタ配置に従って、副画素の画像データ読み出し駆動モードを用意することになる。
【００３０】
図５に示す例は、副画素から１／２画素間引き読み出しを行っている例を示し、副画素データの読み出し時間が、主画素データの読み出し時間に比較して、１／２に短縮されている。また、副画素データのデータ数も主画素データに比較して１／２であるため、主画素データ用の画像メモリ２３に対して副画素データ用の画像メモリ２４は、容量が１／２で済む。
【００３１】
主画素データと副画素データとが読み出され画像メモリに書き込まれた後は、広ダイナミックレンジ信号処理を施し（ステップＦ１４）、得られた画像データを保存して（ステップＦ８）、今回の撮影処理を終了する。
【００３２】
広ダイナミックレンジ信号処理とは、図３に示す画像加算部２９において、ホワイトバランス補正及びガンマ変換後の主画素データに、ホワイトバランス補正及びガンマ変換後の副画像データを加算して画像データを得る信号処理である。
【００３３】
これは、図６に示す様に、主画素２のリニアに変化する部分の光電変換特性Ｉに対して、主画素２が飽和点に達した以後、副画素３の光電変換特性IIのうちリニアに変化する部分II’を加算することに相当し、ダイナミックレンジの広い画像データを再生することが可能となる。
【００３４】
本実施形態では、副画像データを間引き、或いは混合しているため、副画素データの解像度は、主画像データの解像度に比較して低下している。しかし、副画素は出力値が小さくγ変換により更に小さくなっているため、この解像度の低下は目立たず、副画素データの間引き読み出し，混合読み出しによって得られる利点すなわち読み出し時間の短縮化，メモリ容量の削減の利点の方が大きく、広ダイナミックレンジの動画像の撮像も容易となる。また、画素混合して読み出す場合には、信号量が増えるため、Ｓ／Ｎが向上する利点もある。
【産業上の利用可能性】
【００３５】
本発明によれば、広ダイナミックレンジの画像データを高速に得ることができまた必要メモリ容量の削減も可能なため、動画などを撮影するデジタルカメラやスキャナ等の画像データ取込装置として有用である。
【図面の簡単な説明】
【００３６】
【図１】本発明の画像データ取込装置の一例であるデジタルスチルカメラのブロック構成図である。
【図２】主画素と副画素とに領域分割されたフォトダイオードの光電変換特性を示すグラフである。
【図３】図１に示す信号処理回路の機能ブロック構成図である。
【図４】図１に示すデジタルスチルカメラの動作手順を示すフローチャートである。
【図５】図１に示すデジタルスチルカメラの動作シーケンス図である。
【図６】図１に示すデジタルスチルカメラで広ダイナミックレンジの画像を得る信号処理説明図である。
【図７】主画素と副画素とに領域分割されたフォトダイオードを画素として持つ固体撮像素子の表面模式図である。
【図８】主画素と副画素とに領域分割されたフォトダイオードを画素として持つ固体撮像素子を搭載した従来のデジタルカメラの動作シーケンス図である。
【符号の説明】
【００３７】
１  フォトダイオード（光電変換素子）
２  主画素（高感度画素）
３  副画素（低感度画素）
１２  ＣＣＤ
１５  信号処理回路
２３  主画素データ用の画像メモリ
２４  副画素データ用の画像メモリ
２９  画像加算部
【図１】
2006340065.tif 000003
【図２】
2006340065.tif 000004
【図３】
2006340065.tif 000005
【図４】
2006340065.tif 000006
【図５】
2006340065.tif 000007
【図６】
2006340065.tif 000008
【図７】
2006340065.tif 000009
【図８】
2006340065.tif 000010