(57)【要約】【課題】イメージセンサを簡易かつ小型化に適した構造にでき、かつ解像度の低下が抑制されたＨＤＲ合成画像を得ること。【解決手段】実施形態によれば、画素アレイ１２は、単位パターンが垂直方向及び水平方向へ繰り返し配置されている。単位パターンは、垂直方向へ少なくとも４個、及び水平方向へ２個の画素が配列されてなる。単位パターンは、２つの第１の緑色画素を含む第１のグループの画素と、２つの第２の緑色画素を含む第２のグループの画素とからなる。２つの第１の緑色画素は、垂直方向において赤色画素及び青色画素のいずれか１つを介して配列されている。２つの第２の緑色画素は、垂直方向において赤色画素及び青色画素のいずれか１つを介して配列されている。【選択図】図３
2015133633.tif 000002
【特許請求の範囲】
【請求項１】
入射光量に応じて生成された信号電荷を蓄積する複数の画素であり、第１の時間において露光される第１のグループの画素と、前記第１の時間より短い第２の時間において露光される第２のグループの画素とが、垂直方向及び水平方向へベイヤー配列された画素アレイと、
前記第１及び第２のグループの画素からの信号の読み出しを制御する制御部と、
前記第１のグループの画素からの信号と前記第２のグループの画素からの信号とのハイダイナミックレンジ合成を実施する信号処理部と、を有し、
前記画素アレイは、垂直方向へ少なくとも４個、及び水平方向へ２個の画素が配列されてなる単位パターンが、垂直方向及び水平方向へ繰り返し配置され、
前記単位パターンは、垂直方向において赤色画素及び青色画素のいずれか１つを介して配列された２つの第１の緑色画素を含む前記第１のグループの画素と、垂直方向において赤色画素及び青色画素のいずれか１つを介して配列された２つの第２の緑色画素を含む前記第２のグループの画素とからなることを特徴とする固体撮像装置。
【請求項２】
入射光量に応じて生成された信号電荷を蓄積する複数の画素である第１のグループの画素と第２のグループの画素とが、垂直方向及び水平方向へベイヤー配列された画素アレイと、
第１のフレームでは、前記第１のグループの画素から信号を読み出すとともに、前記第２のグループの画素からの信号の読み出しを停止させ、前記第１のフレームより後の第２のフレームでは、前記第２のグループの画素から信号を読み出すとともに前記第１のグループの画素からの信号の読み出しを停止させるように、前記第１及び第２のグループの画素からの信号の読み出しを制御する制御部と、を有し、
前記画素アレイは、垂直方向へ少なくとも４個、及び水平方向へ２個の画素が配列されてなる単位パターンが、垂直方向及び水平方向へ繰り返し配置され、
前記単位パターンは、垂直方向において赤色画素及び青色画素のいずれか１つを介して配列された２つの第１の緑色画素を含む前記第１のグループの画素と、垂直方向において赤色画素及び青色画素のいずれか１つを介して配列された２つの第２の緑色画素を含む前記第２のグループの画素と、からなることを特徴とする固体撮像装置。
【請求項３】
前記第１の緑色画素は、水平方向において青色画素と交互に配列されており、
前記第２の緑色画素は、水平方向において赤色画素と交互に配列されていることを特徴とする請求項１または２に記載の固体撮像装置。
【請求項４】
前記画素アレイは、前記第１のグループの画素を水平方向へ配列させてなる水平ラインと、前記第２のグループの画素を水平方向へ配列させてなる水平ラインとを含むことを特徴とする請求項１から３のいずれか一項に記載の固体撮像装置。
【請求項５】
前記画素アレイには、水平方向へ画素を配列させてなる水平ラインごとに２本の信号線が配置され、
前記制御部は、前記信号線ごとに信号の読み出しを制御することを特徴とする請求項１から４のいずれか一項に記載の固体撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、固体撮像装置に関する。
【背景技術】
【０００２】
ハイダイナミックレンジ（high  dynamic  range；ＨＤＲ）合成は、通常の撮影に比べて幅広いダイナミックレンジを表現するための撮影技法として知られている。ＨＤＲ合成の手法として、例えば、信号電荷の蓄積時間を異ならせた画素同士からの信号を合成するものが知られている。
【０００３】
このＨＤＲ合成を実施する固体撮像装置として、例えば、長時間露光の画素からなる２つの水平ラインと短時間露光の画素からなる２つの水平ラインとが垂直方向へ交互に配置されたものがある。この固体撮像装置を使用する手法の場合、ＨＤＲ合成画像の１画素の信号を、当該画素の位置に隣接する複数の画素の信号から得る処理が実施される。これによると、ＨＤＲ合成画像の解像度は、イメージセンサの画素数に対して半減することになる。
【０００４】
ＨＤＲ合成を実施する他の固体撮像装置として、垂直方向及び水平方向において長時間露光の画素と短時間露光の画素とを周期配列とする技術が提案されている。水平方向に配列されている画素に対して露光時間を異ならせる制御を行う場合に、画素からの信号の読み出しを制御するための配線の増設が必要となる場合がある。この場合、固体撮像装置は、配線の数が増えることでイメージセンサの構造が複雑となり、イメージセンサの小型化が難しくなる。固体撮像装置は、イメージセンサの各画素が微細であるほど、配線の数を増やすことが困難である。
【０００５】
画素からの信号の読み出しを制御する固体撮像装置は、ＨＤＲ合成のほか、例えば、高速動画の撮影に適用されることがある。高速動画の撮影のための固体撮像装置として、例えば、信号を読み出す水平ラインを各フレームにおいて間引くこととし、間引く対象とする水平ラインをフレームごとに交互に変化させるものがある。この場合も、動画の解像度がイメージセンサの解像度に対して半減することとなる。また、水平方向に配列されている画素に対して信号を読み出すタイミングを異ならせるには、画素からの信号の読み出しを制御するための配線の増設が必要となる場合がある。この場合、イメージセンサの構造が複雑となり、またイメージセンサの小型化が困難となる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００４−１７２８５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明の一つの実施形態は、イメージセンサを簡易かつ小型化に適した構造にでき、かつ解像度の低下が抑制されたＨＤＲ合成画像を得ることができる固体撮像装置を提供することを目的とする。
【０００８】
また、本発明の一つの実施形態は、イメージセンサを簡易かつ小型化に適した構造にでき、かつ解像度の低下が抑制された高速動画を得ることができる固体撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の一つの実施形態によれば、固体撮像装置は、画素アレイ、制御部及び信号処理部を有する。画素アレイは、第１及び第２のグループの画素が、垂直方向及び水平方向へベイヤー配列されている。第１及び第２のグループの画素は、入射光量に応じて生成された信号電荷を蓄積する複数の画素である。第１のグループの画素は、第１の時間において露光される。第２のグループの画素は、第２の時間において露光される。第２の時間は、第１の時間より短い。制御部は、第１及び第２のグループの画素からの信号の読み出しを制御する。信号処理部は、第１のグループの画素からの信号と第２のグループの画素からの信号とのハイダイナミックレンジ合成を実施する。画素アレイは、単位パターンが垂直方向及び水平方向へ繰り返し配置されている。単位パターンは、垂直方向へ少なくとも４個、及び水平方向へ２個の画素が配列されてなる。単位パターンは、２つの第１の緑色画素を含む第１のグループの画素と、２つの第２の緑色画素を含む第２のグループの画素とからなる。２つの第１の緑色画素は、垂直方向において赤色画素及び青色画素のいずれか１つを介して配列されている。２つの第２の緑色画素は、垂直方向において赤色画素及び青色画素のいずれか１つを介して配列されている。
【図面の簡単な説明】
【００１０】
【図１】図１は、第１の実施形態にかかる固体撮像装置の概略構成を示すブロック図である。
【図２】図２は、固体撮像装置を備えるカメラシステムの概略構成を示すブロック図である。
【図３】図３は、画素アレイにおける画素の色配列と、画素ごとの露光時間の設定との一例を示す図である。
【図４】図４は、図３に示す画素アレイに含まれる第１及び第２のグループの各色画素の単位パターンを示す図である。
【図５】図５は、各画素からの信号を読み出す信号線を示す図である。
【図６】図６は、Ｇ画素における信号を補間処理によって生成する例を示す図である。
【図７】図７は、Ｒ画素における信号を補間処理によって生成する例を示す図である。
【図８】図８は、Ｂ画素における信号を補間処理によって生成する例を示す図である。
【図９】図９は、画素アレイにおける画素の色配列と、各画素からの信号の読み出しの制御との一例を示す図である。
【図１０】図１０は、ＩＳＰにてフレームを再構成する第２のフレーム再構成方法について説明する図である。
【図１１】図１１は、ＩＳＰにてフレームを再構成する第３のフレーム再構成方法について説明する図である。
【発明を実施するための形態】
【００１１】
以下に添付図面を参照して、実施形態にかかる固体撮像装置を詳細に説明する。なお、これらの実施形態により本発明が限定されるものではない。
【００１２】
（第１の実施形態）
図１は、第１の実施形態にかかる固体撮像装置の概略構成を示すブロック図である。図２は、固体撮像装置を備えるカメラシステムの概略構成を示すブロック図である。カメラシステム１は、カメラモジュール２及び後段処理部３を有する。カメラシステム１は、例えばデジタルカメラである。デジタルカメラは、デジタルスチルカメラ及びデジタルビデオカメラのいずれであっても良い。カメラシステム１は、デジタルカメラ以外に、カメラモジュール２を備える電子機器（例えばカメラ付き携帯端末）等でも良い。カメラモジュール２は、撮像光学系４及び固体撮像装置５を有する。後段処理部３は、イメージシグナルプロセッサ（ＩＳＰ）６、記憶部７及び表示部８を有する。
【００１３】
撮像光学系４は、被写体からの光を取り込み、被写体像を結像させる。固体撮像装置５は、被写体像を撮像する。画像処理装置であるＩＳＰ６は、固体撮像装置５での撮像により得られた画像信号の信号処理を実施する。記憶部７は、ＩＳＰ６での信号処理を経た画像を格納する。記憶部７は、ユーザの操作等に応じて、表示部８へ画像信号を出力する。
【００１４】
表示部８は、ＩＳＰ６あるいは記憶部７から入力される画像信号に応じて、画像を表示する。表示部８は、例えば液晶ディスプレイである。カメラシステム１は、ＩＳＰ６での信号処理を経たデータに基づき、カメラモジュール２のフィードバック制御を実施する。
【００１５】
固体撮像装置５は、撮像素子であるイメージセンサ１０と、信号処理部である信号処理回路１１とを備える。イメージセンサ１０は、例えばＣＭＯＳイメージセンサである。イメージセンサ１０は、ＣＭＯＳイメージセンサの他、ＣＣＤであっても良い。
【００１６】
イメージセンサ１０は、画素アレイ１２、垂直シフトレジスタ１３、タイミング制御部１４、相関二重サンプリング部（ＣＤＳ）１５、アナログデジタル変換部（ＡＤＣ）１６及びラインメモリ１７を有する。
【００１７】
画素アレイ１２は、イメージセンサ１０の撮像領域に設けられている。画素アレイ１２は、水平方向（行方向）及び垂直方向（列方向）へアレイ状に配置された複数の画素からなる。各画素は、光電変換素子であるフォトダイオードを備える。各画素は、露光時間において入射光量に応じた信号電荷を生成し、入射光量に応じて生成された信号電荷を蓄積する。
【００１８】
制御部であるタイミング制御部１４は、複数の画素からの信号の読み出しを制御する。タイミング制御部１４は、画素アレイ１２の各画素からの信号を読み出すタイミングを指示する垂直同期信号を、垂直シフトレジスタ１３へ供給する。また、タイミング制御部１４は、ＣＤＳ１５、ＡＤＣ１６及びラインメモリ１７に対し、駆動タイミングを指示するタイミング信号をそれぞれ供給する。
【００１９】
垂直シフトレジスタ１３は、垂直同期信号に応じて、画素アレイ１２内の画素を水平ラインごとに選択する。垂直シフトレジスタ１３は、選択された水平ラインの各画素へ読み出し信号を出力する。読み出し信号が入力された画素は、蓄積された信号電荷を出力する。画素アレイ１２は、画素からの信号を、垂直信号線を介してＣＤＳ１５へ出力する。
【００２０】
ＣＤＳ１５は、画素アレイ１２からの信号に対し、固定パターンノイズの低減のための相関二重サンプリング処理を行う。ＡＤＣ１６は、アナログ方式の信号をデジタル方式の信号へ変換する。ラインメモリ１７は、ＡＤＣ１６からの信号を蓄積する。イメージセンサ１０は、ラインメモリ１７に蓄積された信号を出力する。
【００２１】
信号処理部である信号処理回路１１は、イメージセンサ１０からの画像信号に対し、各種の信号処理を実施する。信号処理回路１１は、第１のグループの画素からの信号と第２のグループの画素からの信号とのハイダイナミックレンジ合成を実施する。この他、信号処理回路１１は、各種信号処理、例えば、キズ補正、ガンマ補正、ノイズ低減処理、レンズシェーディング補正、ホワイトバランス調整、歪曲補正、解像度復元等を実施する。
【００２２】
固体撮像装置５は、信号処理回路１１での信号処理を経た画像信号をチップ外部へ出力する。固体撮像装置５は、信号処理回路１１での信号処理を経たデータに基づき、イメージセンサ１０のフィードバック制御を実施する。
【００２３】
カメラシステム１は、本実施形態において信号処理回路１１が実施するものとした各種信号処理の少なくともいずれかを、ＩＳＰ６が実施することとしても良い。カメラシステム１は、各種信号処理の少なくともいずれかを、信号処理回路１１及びＩＳＰ６の双方が実施しても良い。信号処理回路１１及びＩＳＰ６は、本実施形態で説明する信号処理以外の信号処理を実施することとしても良い。図３は、画素アレイ１２における画素の色配列と、画素ごとの露光時間の設定との一例を示す図である。画素アレイ１２において、垂直方向及び水平方向における各色画素の配列は、ベイヤー配列である。
【００２４】
ベイヤー配列は、２×２の画素ブロックを単位とする。この画素ブロックの対角に赤色（Ｒ）画素及び青色（Ｂ）画素が配置され、残りの対角に２つの緑色（Ｇ）画素が配置される。画素ブロックに含まれる２つのＧ画素のうち、水平方向においてＢ画素と隣り合うＧ画素を、Ｇｂ画素（第１の緑色画素）と称する。画素ブロックに含まれる２つのＧ画素のうち、水平方向においてＲ画素と隣り合うＧ画素を、Ｇｒ画素（第２の緑色画素）と称する。画素アレイ１２では、Ｒ画素とＧｒ画素と、また、Ｂ画素とＧｂ画素とは、水平方向において交互に配置されている。
【００２５】
画素アレイ１２に配列された複数の画素は、第１のグループと第２のグループとに分けられている。第１のグループの画素は、長時間露光され、露光時間は第１の時間とする。第２のグループの画素は、短時間露光され、露光時間は第２の時間とする。すなわち、第２の時間は、第１の時間より短い。
【００２６】
図３に示す画素アレイ１２のうち、白抜きとした各画素を第１のグループとし、トーンを付した各画素を第２のグループとする。第１のグループには、Ｒ，Ｂ，Ｇｂの画素が含まれている。第２のグループには、Ｒ，Ｂ，Ｇｒの画素が含まれている。
【００２７】
図４は、図３に示す画素アレイに含まれる第１及び第２のグループの各色画素の単位パターンを示す図である。単位パターン３０は、８個の画素から構成され、垂直方向へ４個、水平方向へ２個の画素が配列されてなる。画素アレイ１２は、単位パターン３０が垂直方向及び水平方向へ繰り返されている。
【００２８】
単位パターン３０には、第１のグループの画素として、Ｒ画素とＢ画素が１つずつと、２つのＧｂ画素が含まれている。第１のグループのＲ画素は、垂直方向に２つのＧｂ画素に挟まれている。第１のグループのＢ画素は、水平方向にＧｂ画素と隣り合っている。また、単位パターン３０には、第２のグループの画素として、Ｒ画素とＢ画素が１つずつと、２つのＧｒ画素が含まれている。第２のグループのＲ画素は、水平方向に１つのＧｒ画素と隣り合っている。第２のグループのＢ画素は、垂直方向に他のＧｒ画素と隣り合っている。
【００２９】
単位パターン３０は、垂直方向においてＲ画素を介して配列された２つのＧｂ画素と、垂直方向においてＢ画素を介して配列された２つのＧｒ画素とを含む。この単位パターン３０が水平方向へ配列されることで、画素アレイ１２には、第１のグループの画素を水平方向へ配列させてなる水平ラインと、第２のグループの画素を水平方向へ配列させてなる水平ラインとが含まれる。また、図３に示す画素アレイ１２は、第１のグループのＢ画素とＧｂ画素とを交互に配列させてなる水平ラインと、第２のグループのＧｒ画素とＲ画素とを交互に配列させてなる水平ラインとを含む。第１のグループの画素からなる水平ラインと、第２のグループの画素からなる水平ラインとは、それぞれ垂直方向において周期的に配置されている。
【００３０】
図５は、各画素からの信号を読み出す信号線を示す図である。画素アレイ１２の各画素は、画素の構成要素であるＭＯＳトランジスタを２×２画素にて共有している。この２×２画素は、ベイヤー配列の単位とする画素ブロックに相当する。かかる構造を、以下の説明では２Ｖ２Ｈの画素共有構造と称する。互いに隣接する４つの画素は、例えば、ＭＯＳトランジスタである転送トランジスタ、リセットトランジスタ、増幅トランジスタ及び行選択トランジスタを共有している。イメージセンサ１０は、画素共有構造とすることで、画素ごとにＭＯＳトランジスタを配置する場合に比べて、画素ピッチを縮小できる。画素共有構造は、イメージセンサ１０の小型化に適している。
【００３１】
イメージセンサ１０は、色配列に応じた各画素の駆動を制御するために、各水平ラインに２本ずつの信号線が配置されている。単位パターン３０には、８本の信号線Ａ０，Ａ１，Ｂ０，Ｂ１，Ｃ０，Ｃ１，Ｄ０，Ｄ１が接続されている。タイミング制御部１４は、この信号線ごとに、信号電荷のリセット及び読み出しを制御する。これにより、イメージセンサ１０は、各画素の露光時間の設定と色配列とに応じた各画素の駆動の制御を実現可能とする。
【００３２】
信号線Ａ０，Ａ１は、第２のグループのＧｒ画素及びＲ画素を交互に配列させてなる水平ラインに設けられている。信号線Ａ０は、この水平ラインの各Ｇｒ画素に接続されている。信号線Ａ１は、この水平ラインの各Ｒ画素に接続されている。信号線Ｂ０，Ｂ１は、第１のグループのＢ画素及びＧｂ画素を交互に配列させてなる水平ラインに設けられている。信号線Ｂ０は、この水平ラインの各Ｂ画素に接続されている。信号線Ｂ１は、この水平ラインの各Ｇｂ画素に接続されている。
【００３３】
信号線Ｃ０，Ｃ１は、第２のグループのＧｒ画素と第１のグループのＲ画素とを交互に配列させてなる水平ラインに設けられている。信号線Ｃ０は、この水平ラインの各Ｇｒ画素に接続されている。信号線Ｃ１は、この水平ラインの各Ｒ画素に接続されている。信号線Ｄ０，Ｄ１は、第２のグループのＢ画素と第１のグループのＧｂ画素とを交互に配列させてなる水平ラインに設けられている。信号線Ｄ０は、この水平ラインの各Ｂ画素に接続されている。信号線Ｄ１は、この水平ラインの各Ｇｂ画素に接続されている。
【００３４】
タイミング制御部１４は、信号線Ｂ０，Ｂ１，Ｃ１，Ｄ１に対しては、信号電荷のリセットから、蓄積された信号電荷の読み出しまでの時間を第１の時間に調整する。タイミング制御部１４は、信号線Ａ０，Ａ１，Ｃ０，Ｄ０に対しては、信号電荷のリセットから、蓄積された信号電荷の読み出しまでの時間を第２の時間に調整する。これにより、タイミング制御部１４は、第１のグループでは露光時間を第１の時間、第２のグループでは露光時間を第２の時間として、複数の画素からの信号の読み出しを制御する。
【００３５】
イメージセンサ１０の各画素は、入射光量が所定の飽和光量より大きくなると、光電変換により発生する信号電荷がフォトダイオードの蓄積容量に達する。信号処理回路１１は、入射光量が飽和光量に達した第１のグループの画素に対し、その周辺に位置する第２のグループの画素で生成された信号を補間する。信号処理回路１１は、かかる補間処理をＨＤＲ合成として実施する。これにより、固体撮像装置５は、通常の撮影に比べて幅広いダイナミックレンジを持つ画像を得る。
【００３６】
図６から図８は、第１のグループの画素を対象画素とする補間処理の例を示す。なお、本実施形態で説明する補間処理は一例であって、適宜変更しても良い。図６は、Ｇ画素における信号を補間処理によって生成する例を示す図である。この例では、対象画素Ｘは、第１のグループのＧｂ画素であるものとする。信号処理回路１１は、対象画素Ｘの周辺に位置する４つのＧｒ画素（Ｇｒ１，Ｇｒ２，Ｇｒ３，Ｇｒ４）からの信号を基に、補間値を算出する。Ｇｒ１〜Ｇｒ４はそれぞれ、対象画素Ｘとは斜め方向において隣接している。
【００３７】
信号処理回路１１は、第１のグループの画素と第２のグループの画素とで出力レベルを一致させるために、第２のグループの画素からの信号に所定のゲインを乗算する。ゲインは、例えば、第１の時間と第２の時間との比に一致する。
【００３８】
信号処理回路１１は、例えば、Ｇｒ１〜Ｇｒ４の各信号レベルの平均値にゲインを乗算して得た値を、対象画素Ｘに対する補間値とする。信号処理回路１１は、出力飽和のために取り込まれなかった対象画素Ｘの画像データを、かかる補間処理によって復元する。信号処理回路１１は、対象画素Ｘが第１のグループのＧｒ画素である場合、周辺に位置するＧｂ画素の信号レベルから補間値を算出する。
【００３９】
図７は、Ｒ画素における信号を補間処理によって生成する例を示す図である。対象画素Ｘは、第１のグループのＲ画素である。Ｒ１，Ｒ２は、垂直方向において、１つの画素を介して対象画素Ｘと隣接する第２のグループのＲ画素とする。
【００４０】
信号処理回路１１は、Ｒ１，Ｒ２の各信号レベルと、６つのＧｒ画素（Ｇｒ１，Ｇｒ２，Ｇｒ３，Ｇｒ４，Ｇｒ５，Ｇｒ６）の各信号レベルを参照する。Ｇｒ１，Ｇｒ２は、水平方向におけるＲ１の両隣に位置するＧｒ画素とする。Ｇｒ３，Ｇｒ４は、水平方向における対象画素Ｘの両隣に位置するＧｒ画素とする。Ｇｒ５，Ｇｒ６は、水平方向におけるＲ２の両隣に位置するＧｒ画素とする。
【００４１】
信号処理回路１１は、例えば以下の式（１），（２），（３）を基に、信号レベルの平均値ＡＡを求める。なお、各式において、例えば、Ｒ１の信号レベルを[R1]と表すものとする。
ΔＧＲ１＝（[Gr1]＋[Gr2]）／２−[R1]      ・・・（１）
ΔＧＲ２＝（[Gr5]＋[Gr6]）／２−[R2]      ・・・（２）
ＡＡ＝（[Gr3]＋[Gr4]）／２−（ΔＧＲ１＋ΔＧＲ２）／２      ・・・（３）
【００４２】
図８は、Ｂ画素における信号を補間処理によって生成する例を示す図である。対象画素Ｘは、第１のグループのＢ画素である。Ｂ１，Ｂ２は、垂直方向において、１つの画素を介して対象画素Ｘと隣接する第２のグループのＢ画素とする。Ｇｒ１，Ｇｒ２，Ｇｒ３，Ｇｒ４は、それぞれＢ画素（Ｂ１，Ｘ，Ｂ２）を挟んで垂直方向に並列しているＧｒ画素とする。
【００４３】
信号処理回路１１は、例えば以下の式（４），（５），（６）を基に、信号レベルの平均値ＡＢを求める。
ΔＧＢ１＝（[Gr1]＋[Gr2]）／２−[B1]      ・・・（４）
ΔＧＢ２＝（[Gr3]＋[Gr4]）／２−[B2]      ・・・（５）
ＡＢ＝（[Gr2]＋[Gr3]）／２−（ΔＧＢ１＋ΔＧＢ２）／２      ・・・（６）
【００４４】
信号処理回路１１は、例えば、平均値にゲインを乗算して得た値を、対象画素Ｘに対する補間値とする。信号処理回路１１は、出力飽和のために取り込まれなかった対象画素Ｘの画像データを、かかる補間処理によって復元する。
【００４５】
なお、信号処理回路１１は、対象画素Ｘの周辺のいずれかの位置にある画素が第２のグループの画素であれば、この画素の信号を基に、補間処理を実施することとしても良い。信号処理回路１１は、信号レベルを参照する画素の数を適宜変更しても良い。
【００４６】
本実施形態によると、固体撮像装置５は、水平方向へ２個の画素を配列させた単位パターン３０を採用することで、各水平ラインに２本ずつの信号線が配置された構成を備える。固体撮像装置５は、この２Ｖ２Ｈの画素共有構造の場合に対し水平ラインごとの信号線を追加しなくても、各画素の露光時間の設定と色配列とに応じて、各画素の駆動を制御することができる。固体撮像装置５は、信号線の増設が不要であることで、イメージセンサ１０を簡易かつ小型化に適した構造にできる。
【００４７】
固体撮像装置５は、単位パターン３０内に、第１のグループの２つのＧ画素を垂直方向に配列させ、また第２のグループの２つのＧ画素を垂直方向に配列させている。この配列によると、画素アレイ１２には、垂直方向及び水平方向において、第１のグループのＧ画素同士がいずれも１つの画素おきに配置される。画素アレイ１２には、垂直方向及び水平方向において、第２のグループのＧ画素同士がいずれも１つの画素おきに配置される。
【００４８】
人間の眼の分光感度は、Ｇ光の波長付近をピークとしていることが知られている。Ｇ成分の解像度は、他の色成分の解像度に比べて、カラー画像の見かけ上の解像度に大きく影響を及ぼすこととなる。仮に、画素アレイ１２において第１のグループのＧ画素同士の間隔または第２のグループのＧ画素同士の間隔が不均一である場合、補間処理において、対象画素から近くあるいは遠くにあるＧ画素の信号レベルを使う場合が生じる。固体撮像装置５は、補間処理において対象画素から遠くにあるＧ画素の信号レベルを使う場合にＧ成分の解像度が低下することとなり、カラー画像の見かけ上の解像度を維持することが難しくなる。
【００４９】
本実施形態によると、固体撮像装置５は、第１のグループのＧ画素同士の間隔、及び第２のグループのＧ画素同士の間隔が均一であることで、カラー画像の見かけ上の解像度を維持し易くすることができる。以上により、固体撮像装置５は、イメージセンサ１０を簡易かつ小型化に適した構造にでき、かつ解像度の低下が抑制されたＨＤＲ合成画像を得ることができる。
【００５０】
なお、単位パターン３０における第１及び第２のグループの各色画素の配列は、適宜変更しても良い。例えば、図３に示す画素アレイ１２の中には、垂直方向へ４個、水平方向へ２個の画素におけるグループ及び色配列のパターンとして、８通りのパターンが含まれている。図３に示す画素アレイ１２では、単位パターン３０は、この８通りのパターンのいずれであっても良い。単位パターン３０は、これらのパターンの左右を反転させたもの、上下を反転させたものであっても良い。
【００５１】
単位パターン３０は、図３及び図４にて第１のグループとして示している各画素を第２のグループの画素とし、第２のグループとして示している各画素を第１のグループの画素としても良い。この場合、画素アレイ１２に含まれるＧｒ画素は、第１のグループの、第１の緑色画素である。画素アレイ１２に含まれるＧｂ画素は、第２のグループの、第２の緑色画素である。
【００５２】
単位パターン３０のうち垂直方向へ配列する画素は４個である場合に限られない。単位パターン３０のうち垂直方向へ配列する画素は４個以上であれば良いものとする。垂直方向へ配列する画素は、４の倍数の個数、例えば８個などとしても良い。固体撮像装置５は、単位パターン３０における第１及び第２のグループの各色画素の配列や、単位パターン３０のうち垂直方向における画素数を適宜変更しても、イメージセンサ１０を簡易かつ小型化に適した構造とし、かつ解像度の低下を抑制させるという効果を得ることができる。
【００５３】
（第２の実施形態）
第２の実施形態にかかる固体撮像装置は、画素からの信号の読み出しを制御することで、高速動画を撮影する。本実施形態にかかる固体撮像装置は、図１と同様の概略構成を備える。第１の実施形態と同一の部分には同一の符号を付し、重複する説明を適宜省略する。
【００５４】
タイミング制御部１４は、第１のフレームでは、複数の画素のうち、第１のグループの画素から信号を読み出すとともに、第２のグループの画素からの信号の読み出しを停止させる。タイミング制御部１４は、第１のフレームより後の第２のフレームでは、第２のグループの画素からの信号を読み出すとともに、第１のグループの画素からの信号の読み出しを停止させる。タイミング制御部１４は、このようにして、複数の画素からの信号の読み出しを制御する。
【００５５】
信号処理回路１１は、イメージセンサ１０からの画像信号に信号処理を施す。固体撮像装置５は、信号処理回路１１での信号処理を経た画像信号をチップ外部へ出力する。固体撮像装置５は、信号を読み出す画素のグループと信号の読み出しを停止させるグループとをフレームごとに変化させる。固体撮像装置５は、各フレームにて信号を読み出す画素を間引くことで、フレームごとの信号を高速に読み出すことができる。
【００５６】
画像処理装置であるＩＳＰ６（図２参照）は、複数の画素から読み出された信号からなる画像信号の処理を実施する。ＩＳＰ６は、第１のフレームにて読み出された信号と第２のフレームにて読み出された信号との信号処理を順次実施する。
【００５７】
図９は、画素アレイにおける画素の色配列と、各画素からの信号の読み出しの制御との一例を示す図である。画素アレイ１２において、垂直方向及び水平方向における各色画素の配列は、ベイヤー配列である。
【００５８】
画素アレイ１２に配列された複数の画素は、第１のグループと第２のグループとに分けられている。図９の上段には、第１のフレームＦ１における画素アレイ１２を示している。第１のフレームＦ１のうち、トーンを付した各画素を第１のグループとし、白抜きとした各画素を第２のグループとする。図９の下段には、第２のフレームＦ２における画素アレイ１２を示している。第２のフレームＦ２のうち、トーンを付した各画素を第２のグループとし、白抜きとした各画素を第１のグループとする。
【００５９】
第１のフレームＦ１及び第２のフレームＦ２のいずれについても、トーンを付した各画素の信号が読み出され、白抜きとした各画素の信号は読み出しが停止される。第１のグループの画素は、第１のフレームＦ１で信号が読み出され、第２のフレームＦ２で信号の読み出しが停止される。第２のグループの画素は、第２のフレームＦ２で信号が読み出され、第１のフレームＦ１で信号の読み出しが停止される。
【００６０】
タイミング制御部１４は、第１のグループの画素の信号を読み出す第１のフレームＦ１における制御と、第２のグループの画素の信号を読み出す第２のフレームＦ２における制御とを、交互に繰り返す。固体撮像装置５は、各フレームにて、画素アレイ１２に含まれる画素全体のうちの半分から、信号を読み出す。固体撮像装置５は、各フレームにおいてる画素全体の信号を読み出す場合に比べて、フレームごとにおける信号の読み出しを２倍の速度とすることができる。
【００６１】
図９に示す画素アレイ１２において、第１のグループには、Ｒ，Ｂ，Ｇｒの各画素が含まれている。第２のグループには、Ｒ，Ｂ，Ｇｂの各画素が含まれている。Ｇｒ画素（第１の緑色画素）はいずれも第１のグループであり、Ｇｂ画素（第２の緑色画素）はいずれも第２のグループである。
【００６２】
図９に示す画素アレイ１２は、第１のグループのＧｒ画素とＲ画素とを交互に配列させてなる水平ラインと、第２のグループのＢ画素とＧｂ画素とを交互に配列させてなる水平ラインとを含む。第１のグループの画素からなる水平ラインと、第２のグループの画素からなる水平ラインとは、それぞれ垂直方向において周期的に配置されている。
【００６３】
第２の実施形態の画素アレイ１２は、第１の実施形態と同様に、画素の構成要素であるＭＯＳトランジスタを２×２画素にて共有し、２Ｖ２Ｈの画素共有構造を備える。イメージセンサ１０は、各水平ラインに２本ずつの信号線が配置されている。単位パターン３０には、図５と同様に、８本の信号線Ａ０〜Ｄ１が接続されている。タイミング制御部１４は、この信号線ごとに、信号電荷のリセット及び読み出しを制御する。
【００６４】
タイミング制御部１４は、第１のフレームＦ１では、信号線Ｂ０，Ｂ１，Ｃ１，Ｄ１をとばして、信号線Ａ０，Ａ１，Ｃ０，Ｄ０に対して信号電荷の読み出しを指示する。タイミング制御部１４は、第２のフレームＦ２では、第１のフレームＦ１の場合とは逆に、信号線Ａ０，Ａ１，Ｃ０，Ｄ０をとばして、信号線Ｂ０，Ｂ１，Ｃ１，Ｄ１に対して信号電荷の読み出しを指示する。なお、本実施形態では、第１のフレームＦ１及び第２のフレームＦ２のいずれにおいても、信号電荷のリセットから、蓄積された信号電荷の読み出しまでの時間は同一であるものとする。
【００６５】
本実施形態によると、固体撮像装置５は、水平方向へ２個の画素を配列させた単位パターン３０を採用することで、各水平ラインに２本ずつの信号線が配置された構成を備える。固体撮像装置５は、この２Ｖ２Ｈの画素共有構造の場合に対し水平ラインごとの信号線を追加しなくても、各画素からの信号の読み出しについての設定と色配列とに応じて、各画素の駆動を制御することができる。固体撮像装置５は、２Ｖ２Ｈの画素共有構造の場合に対し信号線の増設が不要であることで、イメージセンサ１０を簡易かつ小型化に適した構造にできる。
【００６６】
本実施形態によると、固体撮像装置５は、第１のグループのＧ画素同士の間隔、及び第２のグループのＧ画素同士の間隔が均一であることで、カラー画像の見かけ上の解像度を維持し易くすることができる。以上により、固体撮像装置５は、イメージセンサ１０を簡易かつ小型化に適した構造にでき、かつ解像度の低下が抑制された高速動画を得ることができる。
【００６７】
例えば、ＩＳＰ６は、信号電荷を読み出さなかった画素を対象画素とする補間処理を実施しても良い。ＩＳＰ６は、例えば第１のフレーム再構成方法として、１つのフレームについて取得された画像信号の情報を基に、当該フレームの画像データを再構成する。
【００６８】
ＩＳＰ６は、第１のフレームＦ１の画像信号に対しては、第１のグループの画素の信号を補間して、第２のグループの画素の位置における信号を生成する。ＩＳＰ６は、第２のフレームＦ２の画像信号に対しては、第２のグループの画素の信号を補間して、第１のグループの画素の位置における信号を生成する。これにより、ＩＳＰ６は、１つのフレームについて取得された画像信号の情報を基に、当該フレームの画像データを再構成する。
【００６９】
本実施形態においても、第１の実施形態で説明する補間処理を適宜変更しても良い。ＩＳＰ６は、例えば、第１の実施形態の場合と同様の補間処理を実施する。ＩＳＰ６は、信号電荷が読み出されなかった画素の画像データを、かかる補間処理によって復元する。
【００７０】
カメラシステム１は、ＩＳＰ６での補間処理によって画像データを復元することで、イメージセンサ１０の解像度を半減させず維持することができる。これにより、カメラシステム１は、高速かつ解像度の高い動画を得ることができる。
【００７１】
図１０は、ＩＳＰ６にてフレームを再構成する第２のフレーム再構成方法について説明する図である。ＩＳＰ６は、例えば第２のフレーム再構成方法として、２以上のフレームについて取得された画像信号の情報を基に、１つのフレームの画像データを再構成する。
【００７２】
ＩＳＰ６は、あるフレームにおいて信号電荷が読み出されなかった画素について、当該フレームの前後のフレームの画像信号を使用して、当該画素の画像データを補う。図１０には、第２のフレームＦ２において信号電荷が読み出されなかった画素について、第１のフレームＦ１の画像信号から画像データを補う処理を例として示している。
【００７３】
第２のフレームＦ２では、第１のグループのＧｒ画素の信号電荷の読み出しは停止されている。第１のフレームＦ１では、Ｇｒ画素の信号電荷が読み出されている。ＩＳＰ６は、例えば第２のフレームＦ２において画像データが抜けているＧｒ画素の位置４１について、当該位置４１に対応するＧｒ画素の画像データを、第１のフレームＦ１の画像信号から取得する。ＩＳＰ６は、取得された画像データを、位置４１における画像データとして第２のフレームＦ２の画像信号へ補う。
【００７４】
ＩＳＰ６は、例えば、第１のフレームＦ１において信号電荷を読み出さなかった画素について、第２のフレームＦ２の画像信号から画像データを補うこととしても良い。ＩＳＰ６は、例えば、第２のフレームＦ２において信号電荷を読み出さなかった画素について、第１のフレームＦ１の画像信号における信号レベルと、第２のフレームＦ２より後の第３のフレームの画像信号における信号レベルとの平均値を補うこととしても良い。
【００７５】
ＩＳＰ６は、第１のフレームＦ１のうち信号電荷が読み出されなかった第２のグループの画素の信号として、第１のフレームＦ１より前のフレームのうち同じ位置の第２のグループの画素の信号、第２のフレームＦ２のうち同じ位置の第２のグループの画素の信号、あるいはそれらの信号の平均を補う。
【００７６】
ＩＳＰ６は、第２のフレームＦ２のうち信号電荷が読み出されなかった第１のグループの画素の信号として、第１のフレームＦ１のうち同じ位置の第１のグループの画素の信号、第２のフレームＦ２より後のフレームのうち同じ位置の第１のグループの画素の信号、あるいはそれらの信号の平均を補う。
【００７７】
このようにして、ＩＳＰ６は、２以上のフレームにおける画像信号の情報を基に、フレームを再構成する。この場合も、カメラシステム１は、信号電荷を読み出さなかった画素について、ＩＳＰ６にて前後のフレームの画像信号を基に画像データを復元することで、イメージセンサ１０の解像度を半減させず維持することができる。これにより、カメラシステム１は、高速かつ解像度の高い動画を得ることができる。
【００７８】
図１１は、ＩＳＰ６にてフレームを再構成する第３のフレーム再構成方法について説明する図である。ＩＳＰ６は、例えば、あるフレームＳＦ（ｉ）と、フレームＳＦ（ｉ）より前のフレームＳＦ（ｉ−１）について、上述の第１のフレーム再構成方法によりフレームを再構成する。フレームＳＦ（ｉ−１）及びＳＦ（ｉ）はそれぞれ、第１のフレーム及び第２のフレームとする。ＩＳＰ６は、フレームＳＦ（ｉ）の再構成結果と、フレームＳＦ（ｉ−１）の再構成結果とを比較する。
【００７９】
ＩＳＰ６は、フレームＳＦ（ｉ−１）から、ある画素領域Ｒｉ−１（例えば３×３の画素領域）の信号を抽出する。また、ＩＳＰ６は、フレームＳＦ（ｉ）から、画素領域Ｒｉ−１と同じ位置の画素領域Ｒｉの信号を抽出する。ＩＳＰ６は、画素領域Ｒｉ−１及びＲｉについて、各画素の輝度値の差の絶対値の合計（Sum  of  Absolute  Difference；ＳＡＤ）を求める。ＳＡＤの値が大きいほど、フレームＳＦ（ｉ−１）及びＳＦ（ｉ）の間にて被写体の動きが大きいことを示す。ＳＡＤの値が小さいほど、フレームＳＦ（ｉ−１）及びＳＦ（ｉ）の間にて被写体の動きが小さいことを示す。ＩＳＰ６は、ＳＡＤを求めることで、被写体の動きの程度を推定する。
【００８０】
ＩＳＰ６は、フレームＳＦ（ｉ）について、第１の再構成結果及び第２の再構成結果を求める。第１の再構成結果は、第１のフレーム再構成方法により画像データを求めた結果とする。第２の再構成結果は、第２のフレーム再構成方法により画像データを求めた結果とする。
【００８１】
第１のフレーム再構成方法では１つのフレームについて取得された情報からフレームの画像データを再構成する。第１のフレーム再構成方法は、被写体の動きが大きい場合におけるアーティファクト（画像の乱れ）の低減が望まれる場合に適している。第２のフレーム再構成方法では２以上のフレームの同じ位置の画素の信号を使用してフレームを再構成する。第２のフレーム再構成方法は、被写体の動きが小さい場合に解像度を高めることが望まれる場合に適している。
【００８２】
ＩＳＰ６は、例えばＳＡＤが第１の閾値より大きい場合に、第１の再構成結果をフレームＳＦ（ｉ）の再構成結果として採用する。これにより、被写体の動きが大きく被写体のぶれ（モーションブラー）が生じ易い状況において、アーティファクトを低減させる。第１のフレーム再構成方法の場合、複数の画素の信号を平均して１つの画素の信号とすることから、解像度の低下を生じさせ易くなる。これについては、モーションブラーが発生することで、解像度の低下を目立ちにくくすることができる。
【００８３】
ＩＳＰ６は、例えばＳＡＤが第２の閾値より小さい場合に、第２の再構成結果をフレームＳＦ（ｉ）の再構成結果として採用する。これにより、被写体の動きが小さくモーションブラーが少ない状況において、高解像度を実現する。
【００８４】
ＩＳＰ６は、例えばＳＡＤが第１の閾値以下かつ第２の閾値以上である場合に、第３の再構成結果を求める。第３の再構成結果は、第１の再構成結果と、第２の再構成結果とを混合して得られたものとする。ＩＳＰ６は、第３の再構成結果を求める際に、第１の再構成結果を混合させる割合と、第２の再構成結果を混合させる割合とを、ＳＡＤの算出結果に応じて調整する。
【００８５】
このとき、ＩＳＰ６は、ＳＡＤの値が大きいほど、第１の再構成結果を混合させる割合を大きくする。これにより、被写体の動きが少ないほど解像度を重視する一方、被写体の動きが大きくなるにしたがいアーティファクトの低減を重視するように、フレームを再構成することができる。このようにして、ＩＳＰ６は、ＳＡＤの値に応じて、第１乃至第３の再構成結果のいずれか１つを出力する。
【００８６】
固体撮像装置５は、第１の実施形態のＨＤＲ合成と、第２の実施形態の高速動画との双方を、共通の画素配列構成を使用して実施可能とする。カメラシステム１は、第１の実施形態のＨＤＲ合成と、第２の実施形態の高速動画との双方を実施可能であっても良い。この場合、タイミング制御部１４は、複数の画素からの信号の読み出しを、ＨＤＲ合成のための制御と、高速動画の撮影のための制御とに切り換え可能であっても良い。
【００８７】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００８８】
５  固体撮像装置、６  ＩＳＰ、１１  信号処理回路、１２  画素アレイ、１４  タイミング制御部、３０  単位パターン。
【図１】
2015133633.tif 000003
【図２】
2015133633.tif 000004
【図３】
2015133633.tif 000005
【図４】
2015133633.tif 000006
【図５】
2015133633.tif 000007
【図６】
2015133633.tif 000008
【図７】
2015133633.tif 000009
【図８】
2015133633.tif 000010
【図９】
2015133633.tif 000011
【図１０】
2015133633.tif 000012
【図１１】
2015133633.tif 000013