(57)【要約】  本発明の実施形態に係る固体撮像素子は、行および列状に配列された複数の画素（Ｒ、Ｇｒ、Ｇｂ、Ｂ、・・・）と、行方向に配列された複数の画素に接続された読み出し信号線４０１、４０２と、列方向に配列された複数の画素に接続された出力信号線４０３、４０４、４０５、４０６とを備えている。また、各々の画素は第１の露出時間あるいはそれより短い第２の露出時間で読み出され、第１の露出時間の画素の群に接続された第１読み出し信号線４０１と、第２の露出時間の画素の群に接続された第２読み出し信号線４０２とに分かれている。第１および第２の読み出し信号線は、垂直方向に隣接する２つの水平画素列上の、水平方向に隣接する２つの第１および第２の露出時間の画素同士で、それぞれ共有している。
2012127772.tif 000002
【特許請求の範囲】
【請求項１】
行および列状に配列された複数の画素を有する画素アレイと、
各々が、行方向に配列された複数の画素に接続された複数の読み出し信号線と、
各々が、列方向に配列された複数の画素に接続された複数の出力信号線と、
前記複数の画素にそれぞれ入射する光の色成分を規定するカラーフィルタアレイと、
を備え、
前記画素アレイにおいて、第１の露出時間によって撮像を行う複数の画素からなる第１画素群と、前記第１の露出時間よりも短い第２の露出時間によって撮像を行う複数の画素からなる第２画素群とが、行または列方向に交互に配列されており、前記第１画素群および前記第２画素群は、それぞれ、１行Ｌ列（Ｌは２以上の整数）の画素からなり、
前記複数の読み出し信号線は、
前記第１画素群に接続された複数の第１読み出し信号線と、前記第２画素群に接続された複数の第２読み出し信号線とに分かれており、各第１読み出し信号線は、その一方の側に隣接する行に位置する前記第１画素群と、その他方の側に隣接する行に位置する前記第１画素群とに接続されており、各第２読み出し信号線は、その一方の側に隣接する行に位置する前記第２画素群と、その他方の側に隣接する行に位置する前記第２画素群とに接続されており、
前記カラーフィルタアレイは、前記第１画素群に含まれる複数の画素に、それぞれ、異なる色成分の光を入射させ、かつ、前記第２画素群に含まれる複数の画素に、それぞれ、異なる色成分の光を入射させる、固体撮像素子。
【請求項２】
前記画素アレイの全範囲において、前記第１画素群および前記第２画素群が行または列方向に交互に配列されている、請求項１に記載の固体撮像素子。
【請求項３】
前記カラーフィルタアレイは、前記第１画素群に含まれる複数の画素の少なくとも１つと、前記第２画素群に含まれる複数の画素の少なくとも１つに、それぞれ、同じ色成分の光を入射させる、請求項１または２に記載の固体撮像素子。
【請求項４】
前記カラーフィルタアレイは、前記第１画素群に含まれる複数の画素の少なくとも１つと、前記第２画素群に含まれる複数の画素の少なくとも１つに、それぞれ、グリーンの光を入射させる、請求項３に記載の固体撮像素子。
【請求項５】
前記カラーフィルタアレイは、隣接する２行の一方の行に位置する第１画素群、および、前記隣接する２行の他方の行に位置する第１画素群に、それぞれ、異なる色の組み合わせの光を入射させる、請求項１から４のいずれかに記載の固体撮像素子。
【請求項６】
前記第１画素群および前記第２画素群は、それぞれ、１行２列の画素からなる、請求項１から５のいずれかに記載の固体撮像素子。
【請求項７】
前記第１画素群および前記第２画素群は、行方向に沿って交互に配列され、かつ、列方向に沿って交互に配列されている、請求項１から６のいずれかに記載の固体撮像素子。
【請求項８】
各第１読み出し信号線は、２Ｋ−１番目（Ｋは１以上の整数）の行と２Ｋ番目の行との間に位置し、
各第２読み出し信号線は、２Ｋ番目の行と２Ｋ＋１番目の行との間に位置する、請求項１から７のいずれかに記載の固体撮像素子。
【請求項９】
各第２読み出し信号線は、２Ｋ−１番目（Ｋは１以上の整数）の行と２Ｋ番目の行との間に位置し、
各第１読み出し信号線は、２Ｋ番目の行と２Ｋ＋１番目の行との間に位置する、請求項１から７のいずれかに記載の固体撮像素子。
【請求項１０】
前記第１画素群および前記第２画素群は、それぞれ、１行２列の画素からなり、
前記カラーフィルタアレイは、第１色成分、第２色成分、および第３色成分をそれぞれ透過する第１色成分フィルタ、第２色成分フィルタ、および第３色成分フィルタが配列された構成を備え、
２Ｋ−１番目（Ｋは１以上の整数）の行に位置する前記第１画素群は、前記第１色成分および前記第３色成分の光がそれぞれ入射する画素を含み、
前記２Ｋ−１番目の行に位置する前記第２画素群は、前記第１色成分および前記第３色成分の光がそれぞれ入射する画素を含み、
２Ｋ番目の行に位置する前記第１画素群は、前記第２色成分および前記第３色成分の光がそれぞれ入射する画素を含み、
前記２Ｋ番目の行に位置する前記第２画素群は、前記第２色成分および前記第３色成分の光がそれぞれ入射する画素を含む、請求項１に記載の固体撮像素子。
【請求項１１】
前記第１色成分は、レッドおよびブルーの一方であり、前記第２色成分は、レッドおよびブルーの他方であり、前記第３色成分はグリーンである請求項１０に記載の固体撮像素子。
【請求項１２】
前記第１画素群および前記第２画素群は、それぞれ、１行２列の画素からなり、
前記カラーフィルタアレイは、第１色成分、第２色成分、第３色成分、および第４色成分をそれぞれ透過する第１色成分フィルタ、第２色成分フィルタ、第３色成分フィルタ、および第４色成分フィルタが配列された構成を備え、
２Ｋ−１番目（Ｋは１以上の整数）の行に位置する前記第１画素群は、前記第１色成分および前記第４色成分の光がそれぞれ入射する画素を含み、
前記２Ｋ−１番目の行に位置する前記第２画素群は、前記第１色成分および前記第４色成分の光がそれぞれ入射する画素を含み、
２Ｋ番目の行に位置する前記第１画素群は、前記第２色成分および前記第３色成分の光がそれぞれ入射する画素を含み、
前記２Ｋ番目の行に位置する前記第２画素群は、前記第２色成分および前記第３色成分の光がそれぞれ入射する画素を含む、請求項１０に記載の固体撮像素子。
【請求項１３】
前記第１色成分は、第２色成分、第３色成分、および第４色成分の組は、シアン、マゼンタ、イエロー、およびグリーンの組である、請求項１２に記載の固体撮像素子。
【請求項１４】
請求項１から１３のいずれかに記載の固体撮像素子と、
前記固体撮像素子の前記第１読み出し信号線および前記第２読み出し信号線に、それぞれ、互いに有効となる期間が重複しない２種の読み出し信号を出力する撮像制御部と、
前記固体撮像素子の前記第１画素群から得られる前記第１の露出時間の画素信号と、前記第２画素群から得られる前記第２の露出時間の画素信号とから、前記第２の露出時間に対応するフレームレートの動画像を高画質化し、カラー動画像を生成する高画質化処理部と、
を備える撮像装置。
【請求項１５】
前記高画質化処理部は、
前記第２の露出時間に対応するフレームレートになるよう時間サンプリングしたときにおける、各フレームの画素値と、前記第２の露出時間によって撮像を行う画素の各フレームの画素値との誤差が減少するよう、前記カラー動画像の各フレームの画素値を決定する、請求項１４に記載の撮像装置。
【請求項１６】
前記高画質化処理部は、
生成されるカラー動画像の画素値が、時空間的に隣り合う画素の画素値の連続性から満たすべき拘束条件を指定し、前記指定された前記拘束条件が維持されるように前記カラー動画像を生成する、請求項１４または１５に記載の撮像装置。
【請求項１７】
前記第２の露出時間で撮像された動画像から対象物の動きを検出する動き検出部をさらに備え、
前記高画質化処理部は、生成される新たな動画像の画素値が、前記動き検出結果に基づいて満たすべき拘束条件が維持されるように前記カラー動画像を生成する、請求項１４から１６のいずれかに記載の撮像装置。
【請求項１８】
請求項１から１３のいずれかに記載の固体撮像素子から、前記第１の露出時間で撮像された第１の動画像及び前記第２の露出時間で撮像された第２の動画像を受け取るステップと、
前記第１及び第２の動画像から、前記第１の動画像のフレームレートよりも高いフレームレートのカラー動画像を生成する高画質化処理ステップと、
を含む画像処理方法。
【請求項１９】
前記出力カラー動画像を前記第２の露出時間に対応するフレームレートになるよう時間サンプリングしたときにおける、各フレームの画素値と、前記第２露出時間によって撮像を行う画素の各フレームの画素値との誤差が減少するよう、前記出力カラー動画像の各フレームの画素値を決定する、請求項１８に記載の画像処理方法。
【請求項２０】
前記高画質化処理ステップは、
生成される出力カラー動画像の画素値が、時空間的に隣り合う画素の画素値の連続性から満たすべき拘束条件を指定し、
前記指定された前記拘束条件が維持されるように前記出力カラー動画像を生成する、請求項１８または１９に記載の画像処理方法。
【請求項２１】
前記第２の露出時間で撮像された動画像から対象物の動きを検出する動き検出ステップをさらに備え、
前記高画質化処理ステップは、生成される新たな動画像の画素値が、前記動き検出結果に基づいて満たすべき拘束条件が維持されるように前記出力カラー動画像を生成する、請求項１８から２０のいずれかに記載の画像処理方法。
【請求項２２】
複数の動画像から新たな動画像を生成するコンピュータプログラムであって、
前記コンピュータプログラムは前記コンピュータプログラムを実行するコンピュータに対し、請求項１８から２１のいずれかに記載の画像処理方法を実行させる、コンピュータプログラム。
【請求項２３】
請求項２２に記載のコンピュータプログラムを記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、固体撮像素子および当該固体撮像素子を備える撮像装置、ならびに画像処理方法に関する。より具体的には、画素群ごとに異なるフレームレートで撮像することが可能な固体撮像素子および撮像装置などに関する。
【背景技術】
【０００２】
公知の固体撮像素子は、フォトダイオードなどの光電変換素子が２次元的に配列された半導体層と、半導体層の光入射側に配置されたカラーフィルタのアレイとを備えている。カラーフィルタは、個々の光電変換素子に入射する光の波長をＲ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）などの特定波長帯域に制限する。固体撮像素子の各画素では、その画素に割り当てられた色のカラーフィルタを透過した光（Ｒ光、Ｇ光、またはＢ光）を光電変換素子が受ける。光電変換素子は、その画素に入射した光のうち、その画素のカラーフィルタを透過した色成分の光の量（入射光量）に応じた量の電荷を生成する。【０００３】
画素は、固体撮像素子の撮像面に行（ロウ）および列（カラム）状に配列されている。個々の画素にアドレッシングし、着目する画素で蓄積された電荷の量に応じた信号（画素信号）を読み出すためには、個々の画素に接続された多数の信号線と、これらの信号線に接続された周辺回路とが必要になる。【０００４】
ＣＭＯＳイメージセンサでは、撮像面の１つの画素に相当する領域に、光電変換素子と、この光電変換素子が生成した蓄積電荷量に応じた大きさの信号を読み出すための複数のトランジスタとが配置されている。このように、ＣＭＯＳイメージセンサにおける１つの「画素」は、通常、１つの光電変換素子および複数のトランジスタから構成される。【０００５】
本明細書では、簡単のため、Ｒ光を透過するフィルタ（Ｒフィルタ）が光入射側に配置された画素を「Ｒ画素」、Ｇ光を透過するフィルタ（Ｇフィルタ）が光入射側に配置された画素を「Ｇ画素」、Ｂ光を透過するフィルタ（Ｂフィルタ）が光入射側に配置された画素を「Ｂ画素」と称する。また、撮像素子上に配列された複数のＲ画素から得られる画像を「Ｒ画像」、複数のＧ画素から得られる画像を「Ｇ画像」、複数のＢ画素から得られる画像を「Ｂ画像」と称する。これらの画像は、撮像面に配列された多数の画素から画素信号を読み出すことによって取得できる。画像のデータは、フレーム単位で読み出される。画像データを１秒当たりに読み出す回数は、「フレームレート」と称されている。【０００６】
このような固体撮像素子を用いて高解像度かつ高フレームレートの動画像を得るためには、各画素の面積を小さくして高解像度化するとともに、個々の画素の電荷蓄積期間（露出時間）を短縮して高フレームレート化する必要がある。画素の面積縮小および露出時間の短縮は、個々の画素での入射光量を低下させる。入射光量の低下は、画素信号の出力レベルを下げるため、動画像のＳＮＲ（Ｓｉｇｎａｌ  ｔｏ  Ｎｏｉｓｅ  Ｒａｔｉｏ）を低下させるという問題を引きおこす。【０００７】
このような問題を解決するため、Ｒ、Ｇ、Ｂの色成分を、それぞれ異なる解像度および異なる露出時間で撮像する方式が提案された。入射光を例えばＲおよびＢ成分とＧ成分とに分け、これら２つの色成分ごとに別個の撮像素子で撮像を行う技術が特許文献１および特許文献２に開示されている。例えばＲおよびＢの色成分について、低解像度かつ高フレームレートで撮像を行えば、ＲおよびＢの色成分については時間的に解像度の高い画像を得ることができる。一方、Ｇの色成分について、高解像度かつ低フレームレートで撮像を行えば、Ｇの色成分については、必要な露出時間と空間解像度を確保できるため、充分な光量を得てＳＮＲが高いＧ画像を高い空間解像度で得ることができる。そして、低解像度かつ高フレームレートで撮像した色成分画像と、高解像度かつ低フレームレートで撮像した色成分画像とから、画像処理により、高解像度かつ高フレームレートの動画像を復元すれば、高解像かつ高フレームレートのカラー動画像を得ることができる。また、単板カラー撮像素子に対して上記のような撮像ならびに高画質化処理を行う技術についても、特許文献３に開示されている。【０００８】
前記のような色成分ごとに露出時間およびフレームレートの異なる撮像では、画素の出力信号が撮像素子より出力されるタイミングが色成分ごとに異なる。そのため、単板カラー撮像素子によって上記の撮像を行うためには、各色成分に対応する画素に、各々のフレームレートに対応したタイミングで独立に読み出し信号を与え、各色成分の画素信号が独立に出力される必要がある。【０００９】
単板カラー撮像素子において、例えばＧ画像を得るためのフレームレートをＲ画像およびＢ画像を得るためのフレームレートよりも低くするためには、Ｇ画素に蓄積された電荷の信号を読み出す時間間隔を、Ｒ画素およびＢ画素に蓄積された電荷の信号を読み出す時間間隔よりも長くする必要がある。非特許文献１は、Ｒ画素、Ｇ画素、Ｂ画素の各々に対して独立に画素出力のための読み出し信号を与え、かつ列方向（垂直方向）に隣接する２つの画素から並列に信号を読み出すことができる撮像素子を開示している。【００１０】
非特許文献１に記載の単板撮像素子の構成を図３５に示す。図３５において、符号Ｒは、入射光のＲ成分の強度を検出する画素、符号Ｂは、入射光のＢ成分の強度を検出する画素、符号ＧｒおよびＧｂは、入射光のＧ成分の強度を検出する画素を示す。この撮像素子では、Ｒ画素およびＧ画素が水平方向に交互に配置されている行（ＲＧ行）と、Ｂ画素およびＧ画素が水平方向に交互に配置されている行（ＢＧ行）が、垂直方向に交互に配置されている。【００１１】
以下、ＲＧ行のＧ画素をＧｒ画素、ＢＧ行のＧ画素をＧｂ画素と称する。非特許文献１では、Ｇ画素の露出時間をＲおよびＢ画素の露出時間より長くし、低いフレームレートで出力することを仮定している。図３５に示すように、各画素へ読み出し信号を伝達する読み出し信号線、および画素出力信号をＡＤ変換などの次段の処理に伝達する出力信号線を、Ｒ、Ｂ画素およびＧ画素で別個に配置している。その結果、同図右側に示すように、各画素行に沿って、Ｒ画素またはＢ画素に接続された読み出し信号線とＧ画素に接続された読み出し信号線とからなる２本の信号線が水平方向に延びている。【００１２】
一方、各画素列に沿って、Ｒ画素またはＢ画素に接続された出力信号線とＧ画素に接続された出力信号線とからなる２本の信号線が垂直方向に延びている。このような構成にすることで、Ｒ、Ｂ画素およびＧ画素に独立に読み出し信号を与え、かつ、各色画素から並列に出力を得る（読み出しを行う）ことができる。【００１３】
なお、特許文献４は、フレームレートが異なる複数の画素群を備える固体撮像素子を開示している。特許文献５は、フレームレートは同じであるが、それぞれが異なる露出時間を有する複数の画素群を備える画像センサを開示している。
【先行技術文献】
【特許文献】
【００１４】
【特許文献１】国際公開第２００９／０１９８２３号
【特許文献２】国際公開第２００９／０１９８２４号
【特許文献３】国際公開第２０１０／０９００２５号
【特許文献４】特開２００９−２７２８２０号公報
【特許文献５】国際公開第２００９／０４４２４６号
【非特許文献】
【００１５】
【非特許文献１】Ｔａｋｅｏ  Ａｚｕｍａ，Ｔａｒｏ  Ｉｍａｇａｗａ，Ｓａｎｚｏ  Ｕｇａｗａ，Ｙｕｓｕｋｅ  Ｏｋａｄａ，Ｈｉｒｏｙｏｓｈｉ  Ｋｏｍｏｂｕｃｈｉ，Ｍｏｔｏｎｏｒｉ  Ｉｓｈｉｉ，Ｓｈｉｇｅｔａｋａ  Ｋａｓｕｇａ，Ｙｏｓｈｉｈｉｓａ  Ｋａｔｏ，“Ａ  ２．２／３−ｉｎｃｈ  ４Ｋ２Ｋ  ＣＭＯＳ  Ｉｍａｇｅ  Ｓｅｎｓｏｒ  Ｂａｓｅｄ  ｏｎ  Ｄｕａｌ  Ｒｅｓｏｌｕｔｉｏｎ  Ａｎｄ  Ｅｘｐｏｓｕｒｅ  Ｔｅｃｈｎｉｑｕｅ，”Ｐｒｏｃｅｅｄｉｎｇｓ  ｉｎ  ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｓｏｌｉｄ−Ｓｔａｔｅ  Ｃｉｒｃｕｉｔ  Ｃｏｎｆｅｒｎｃｅ  ２０１０，ｐｐ．４０８−４１０，２０１０．
【発明の概要】
【発明が解決しようとする課題】
【００１６】
しかしながら、前記高解像度かつ低フレームレートで撮像した色成分画像は、被写体が動いている場合には動きぶれが含まれる画像となってしまう。特に、前記従来技術ではＧ成分画像を長時間露出で撮像するため、例えば被写体がシステム規定の検出範囲よりも大きく動く場合や、被写体の変形を伴うような複雑な動きをする場合などＲＢ成分画像で動きの検出がうまく動作しなかった場合に、Ｇ成分の動きぶれが除去しきれずに高画質化処理後の画像に残り、緑色またはその補色であるマゼンタの色にじみが発生する。そのため、多くの場合得られた動画像の画質は高かったものの、動きの検出が困難な一部の範囲においては、高画質化処理後の画像上に前記色にじみが見られることがあり、画質改善の余地があった。【００１７】
また、単板カラー撮像素子によって上記のような色ごとにフレームレートの異なる撮像を行う場合は、高解像度・高フレームレートの出力カラー画像を復元する処理の性能の観点から、各色画素の配置、及び長時間露出（低フレームレート）の画素と短時間露出（高フレームレート）の画素の配置が、それぞれ対称的である必要がある。ここで各色画素の対称的な配置とは、例えば撮像面上で同一の色の画素が垂直あるいは水平方向に連続して配置されるのではなく、一般にベイヤ配列として知られているような、ＲＧＢの各画素が交互に配置され、撮像面上に均一に分布した配置を意味する。また、長時間露出・短時間露出の画素の対称的な配置とは、上記各色成分画素の配置と同様、特定の箇所に長時間露出あるいは短時間露出の画素が集中する配置ではなく、ある画素数ごとに長時間露出の画素及び短時間露出の画素の配列が交互に繰り返される配置を意味する。【００１８】
また、前記画質改善手法の入力画像を生成する撮像素子においては、画素自身の感度を向上するために、例えば画素上の金属配線数を減らした、より広い開口面積を確保できる構成であることが望ましい。しかしながら、従来の単板撮像素子において画素ごとに露出時間を変える構成では、例えば図３５に示すように各画素行に２本の読み出し信号線が配置され、また、各画素列に２本の出力信号線が配列されている。そのために、撮像エリア上で前記信号線が占める面積が大きくなることによって画素の開口面積が減少し、画素の集光能力が低下することによって感度が低下する。なお、特許文献４に開示されている固体撮像素子には、配線の本数が多くなるという問題がある。特許文献５に開示されているイメージセンサによれば、フレームレートが全画素で同じであると問題がある。【００１９】
本発明は、上記課題を解決するためになされたものであり、光量を確保するために少なくとも一部の画素において長い露出時間で撮像を行う場合にも、色にじみの発生を低減した画像を得ることのできる撮像素子および撮像装置を提供することにある。【００２０】
また、本発明の他の目的は、上記の撮像素子の出力から高解像化された動画像を生成する画像処理方法と、この処理方法を実行するためのコンピュータプログラムを提供することにある。
【課題を解決するための手段】
【００２１】
本発明の固体撮像素子は、行および列状に配列された複数の画素を有する画素アレイと、各々が、行方向に配列された複数の画素に接続された複数の読み出し信号線と、各々が、列方向に配列された複数の画素に接続された複数の出力信号線と、前記複数の画素にそれぞれ入射する光の色成分を規定するカラーフィルタアレイとを備え、前記画素アレイにおいて、第１の露出時間によって撮像を行う複数の画素からなる第１画素群と、前記第１の露出時間よりも短い第２の露出時間によって撮像を行う複数の画素からなる第２画素群とが、行または列方向に交互に配列されており、前記複数の読み出し信号線は、前記第１画素群に接続された複数の第１読み出し信号線と、前記第２画素群に接続された複数の第２読み出し信号線とに分かれており、前記カラーフィルタアレイは、前記第１画素群に含まれる複数の画素に、それぞれ、異なる色成分の光を入射させ、かつ、前記第２画素群に含まれる複数の画素に、それぞれ、異なる色成分の光を入射させる。【００２２】
ある実施形態では、前記画素アレイの全範囲において、前記第１画素群および前記第２画素群が行または列方向に交互に配列されている。【００２３】
ある実施形態において、前記カラーフィルタアレイは、前記第１画素群に含まれる複数の画素の少なくとも１つと、前記第２画素群に含まれる複数の画素の少なくとも１つに、それぞれ、同じ色成分の光を入射させる。【００２４】
ある実施形態において、前記カラーフィルタアレイは、前記第１画素群に含まれる複数の画素の少なくとも１つと、前記第２画素群に含まれる複数の画素の少なくとも１つに、それぞれ、グリーンの光を入射させる。【００２５】
ある実施形態において、前記カラーフィルタアレイは、隣接する２行の一方の行に位置する第１画素群、および、前記隣接する２行の他方の行に位置する第１画素群に、それぞれ、異なる色の組み合わせの光を入射させる。【００２６】
ある実施形態において、前記第１画素群は、Ｍ行Ｎ列（ＭおよびＮは、それぞれ、１以上の整数であって、Ｍ×Ｎは２以上である）の画素からなり、前記第２画素群は、Ｍ’行Ｎ’列（Ｍ’およびＮ’は、それぞれ、１以上の整数であって、Ｍ’×Ｎ’は２以上である）の画素からなる。【００２７】
ある実施形態において、前記第１画素群および前記第２画素群は、それぞれ、１行２列の画素からなる。【００２８】
ある実施形態において、前記第１画素群および前記第２画素群は、それぞれ、２行１列の画素からなる。【００２９】
ある実施形態において、前記第１画素群および前記第２画素群は、それぞれ、２行２列の画素からなる。【００３０】
ある実施形態において、前記第１画素群および前記第２画素群は、行方向に沿って交互に配列され、かつ、列方向に沿って交互に配列されている。【００３１】
ある実施形態において、前記第１画素群および前記第２画素群は、それぞれ、１行Ｌ列（Ｌは２以上の整数）の画素からなり、各第１読み出し信号線は、その一方の側に隣接する行に位置する前記第１画素群と、その他方の側に隣接する行に位置する前記第１画素群とに接続されており、各第２読み出し信号線は、その一方の側に隣接する行に位置する前記第２画素群と、その他方の側に隣接する行に位置する前記第２画素群とに接続されている。【００３２】
ある実施形態において、各第１読み出し信号線は、２Ｋ−１番目（Ｋは１以上の整数）の行と２Ｋ番目の行との間に位置し、各第２読み出し信号線は、２Ｋ番目の行と２Ｋ＋１番目の行との間に位置する。【００３３】
ある実施形態において、各第２読み出し信号線は、２Ｋ−１番目（Ｋは１以上の整数）の行と２Ｋ番目の行との間に位置し、各第１読み出し信号線は、２Ｋ番目の行と２Ｋ＋１番目の行との間に位置する。【００３４】
ある実施形態において、前記第１画素群および前記第２画素群は、それぞれ、１行２列の画素からなり、前記カラーフィルタアレイは、第１色成分、第２色成分、および第３色成分をそれぞれ透過する第１色成分フィルタ、第２色成分フィルタ、および第３色成分フィルタが配列された構成を備え、２Ｋ−１番目（Ｋは１以上の整数）の行に位置する前記第１画素群は、前記第１色成分および前記第３色成分の光がそれぞれ入射する画素を含み、前記２Ｋ−１番目の行に位置する前記第２画素群は、前記第１色成分および前記第３色成分の光がそれぞれ入射する画素を含み、２Ｋ番目の行に位置する前記第１画素群は、前記第２色成分および前記第３色成分の光がそれぞれ入射する画素を含み、前記２Ｋ番目の行に位置する前記第２画素群は、前記第２色成分および前記第３色成分の光がそれぞれ入射する画素を含む。【００３５】
ある実施形態において、前記第１色成分は、レッドおよびブルーの一方であり、前記第２色成分は、レッドおよびブルーの他方であり、前記第３色成分はグリーンである。【００３６】
ある実施形態において、前記第１画素群および前記第２画素群は、それぞれ、１行２列の画素からなり、前記カラーフィルタアレイは、第１色成分、第２色成分、第３色成分、および第４色成分をそれぞれ透過する第１色成分フィルタ、第２色成分フィルタ、第３色成分フィルタ、および第４色成分フィルタが配列された構成を備え、２Ｋ−１番目（Ｋは１以上の整数）の行に位置する前記第１画素群は、前記第１色成分および前記第４色成分の光がそれぞれ入射する画素を含み、前記２Ｋ−１番目の行に位置する前記第２画素群は、前記第１色成分および前記第４色成分の光がそれぞれ入射する画素を含み、２Ｋ番目の行に位置する前記第１画素群は、前記第２色成分および前記第３色成分の光がそれぞれ入射する画素を含み、前記２Ｋ番目の行に位置する前記第２画素群は、前記第２色成分および前記第３色成分の光がそれぞれ入射する画素を含む。【００３７】
ある実施形態において、前記第１色成分は、第２色成分、第３色成分、および第４色成分の組は、シアン、マゼンタ、イエロー、およびグリーンの組である。【００３８】
本発明の撮像装置は、上記いずれかの固体撮像素子と、前記固体撮像素子の前記第１読み出し信号線および前記第２読み出し信号線に、それぞれ、互いに有効となる期間が重複しない２種の読み出し信号を出力する撮像制御部と、前記固体撮像素子の前記第１画素群から得られる前記第１の露出時間の画素信号と、前記第２画素群から得られる前記第２の露出時間の画素信号とから、前記第２の露出時間に対応するフレームレートの動画像を高画質化し、カラー動画像を生成する高画質化処理部とを備える。【００３９】
ある実施形態において、前記高画質化処理部は、前記第２の露出時間に対応するフレームレートになるよう時間サンプリングしたときにおける、各フレームの画素値と、前記第２の露出時間によって撮像を行う画素の各フレームの画素値との誤差が減少するよう、前記カラー動画像の各フレームの画素値を決定する。【００４０】
ある実施形態において、前記高画質化処理部は、生成されるカラー動画像の画素値が、時空間的に隣り合う画素の画素値の連続性から満たすべき拘束条件を指定し、前記指定された前記拘束条件が維持されるように前記カラー動画像を生成する。【００４１】
ある実施形態において、前記第２の露出時間で撮像された動画像から対象物の動きを検出する動き検出部をさらに備え、前記高画質化処理部は、生成される新たな動画像の画素値が、前記動き検出結果に基づいて満たすべき拘束条件が維持されるように前記カラー動画像を生成する。【００４２】
本発明の画像処理方法は、上記いずれかの固体撮像素子から、前記第１の露出時間で撮像された第１の動画像及び前記第２の露出時間で撮像された第２の動画像を受け取るステップと、前記第１及び第２の動画像から、前記第１の動画像のフレームレートよりも高いフレームレートのカラー動画像を生成する高画質化処理ステップとを含む。【００４３】
ある実施形態において、前記出力カラー動画像を前記第２の露出時間に対応するフレームレートになるよう時間サンプリングしたときにおける、各フレームの画素値と、前記第２露出時間によって撮像を行う画素の各フレームの画素値との誤差が減少するよう、前記出力カラー動画像の各フレームの画素値を決定する。【００４４】
ある実施形態において、前記高画質化処理ステップは、生成される出力カラー動画像の画素値が、時空間的に隣り合う画素の画素値の連続性から満たすべき拘束条件を指定し、前記指定された前記拘束条件が維持されるように前記出力カラー動画像を生成する。【００４５】
ある実施形態において、前記第２の露出時間で撮像された動画像から対象物の動きを検出する動き検出ステップをさらに備え、前記高画質化処理ステップは、生成される新たな動画像の画素値が、前記動き検出結果に基づいて満たすべき拘束条件が維持されるように前記出力カラー動画像を生成する。【００４６】
本発明のコンピュータプログラムは、複数の動画像から新たな動画像を生成するコンピュータプログラムであって、前記コンピュータプログラムは前記コンピュータプログラムを実行するコンピュータに対し、上記いずれかの画像生成方法を実行させる。【００４７】
本発明の記録媒体は、上記コンピュータプログラムを記録している。
【発明の効果】
【００４８】
本発明の実施形態によれば、従来の技術において長時間露出（低フレームレート）で読み出しをしていた色成分画像の画素（例えばＧ画素）を、２種類の画素、すなわち長時間露出（低フレームレート）の画素と、短時間露出（高フレームレート）の画素とに分けて、各種類の画素から信号を読み出す。これにより、全て長時間露出によって画素信号を得た場合と比較して被写体の動きに起因する色にじみを抑制した画像信号を得ることができる。
【図面の簡単な説明】
【００４９】
【図１Ａ】本発明の撮像素子における画素群の配置例を示す図である。
【図１Ｂ】本発明の撮像素子における画素群の他の配置例を示す図である。
【図２Ａ】本発明の第１実施形態に係る撮像装置の全体構成を示すブロック図である。
【図２Ｂ】本発明の第１実施形態に係る撮像素子の画素配列を示す図である。
【図２Ｃ】本発明の第１実施形態に係る撮像素子の構成例を示す一部断面図である。
【図２Ｄ】本発明の第１実施形態に係る撮像素子の他の構成例を示す一部断面図である。
【図３】本発明の第１実施形態に係る撮像素子の構成例を示す図である。
【図４】本発明の第１実施形態に係る画素アレイにおける読み出し信号線および出力信号線の結線図である。
【図５】本発明の第１実施形態に係る撮像素子１０２における１画素の回路の一例を示す図である。
【図６Ａ】本発明の第１実施形態に係る撮像素子１０２におけるＡＤ変換部の構成例を示す図である。
【図６Ｂ】本発明の第１実施形態に係る撮像素子１０２におけるＡＤ変換部の動作を示す図である。
【図７】本発明の第１実施形態に係る撮像素子の他の構成例を示す図である。
【図８】本発明の第１実施形態に係る撮像制御部から出力される読み出し信号の信号波形の一例を示す図である。
【図９】本発明の第１実施形態において短時間画素の読み出し信号が有効となる時点における画素アレイの動作イメージ図である。
【図１０】本発明の第１実施形態において長時間画素の読み出し信号が有効となる時点における画素アレイの動作イメージ図である。
【図１１】本発明の第１実施形態に係る撮像制御部から出力される読み出し信号の、複数の水平画素配列に供給する信号波形を示す図である。
【図１２】本発明の第１実施形態に係る高画質化処理部１０５の構成を示す図である。
【図１３】（ａ）および（ｂ）は、本発明の第１実施形態に係る動き検出部１１０１の動作を示す図である。
【図１４】本発明の第１実施形態に係る撮像素子の画素配列の一部を示す図である。
【図１５】本発明の第１実施形態に係る高画質化処理における色空間での座標変換に関する説明図である。
【図１６Ａ】従来例における配線の占める領域を示す図である。
【図１６Ｂ】本発明の第１実施形態における配線の占める領域を示す図である。
【図１７Ａ】本発明で採用し得る画素配列の他の構成例を示す図である。
【図１７Ｂ】本発明で採用し得る更に他の画素配列を示す図である。
【図１８】本発明の第２実施形態に係る撮像素子の構成例を示す図である。
【図１９】本発明の第２実施形態において短時間画素の読み出し信号が有効となる時点における画素アレイの動作イメージ図である。
【図２０】本発明の第２実施形態において長時間画素の読み出し信号が有効となる時点における画素アレイの動作イメージ図である。
【図２１】本発明の第２実施形態に係る撮像素子の他の構成例を示す図である。
【図２２】本発明で採用し得る画素配列の他の構成例を示す図である。
【図２３Ａ】本発明で採用し得る画素配列の更に他の構成例を示す図である。
【図２３Ｂ】本発明で採用し得る画素配列の更に他の構成例を示す図である。
【図２４】本発明で採用し得る画素配列の更に他の構成例を示す図である。
【図２５】本発明で採用し得る画素配列の更に他の構成例を示す図である。
【図２６】本発明に係る撮像装置への入力画像の一例（正解画像）を示す図である。
【図２７】本発明に係る撮像装置への入力画像の、長時間画素での撮像画像の一例。
【図２８】従来技術による高画質化処理結果の一例を示す図である。
【図２９】本発明にかかる撮像装置による高画質化処理結果の一例。
【図３０】各色成分の長時間画素および短時間画素が撮像面上に混在する画素配列の他の構成例を示す図である。
【図３１】各色成分の長時間画素および短時間画素が撮像面上に混在する画素配列の更に他の構成例を示す図である。
【図３２】図３０に示す構成の撮像装置による高画質化処理結果の一例を示す図である。
【図３３】図３１に示す構成の撮像装置による高画質化処理結果の一例を示す図である。
【図３４】本発明の第１実施形態に係る高画質化処理部１０５の他の構成例を示す図である。
【図３５】従来技術の単板撮像素子における読み出し信号線および出力信号線の結線図である。
【図３６】本発明の第１実施形態に係る画像処理部の内部構成例を示す図である。
【図３７】本発明の第４実施形態に係る撮像装置の構成例を示す図である。
【図３８】本発明の第４実施形態に係る画像処理部の内部構成例を示す図である。
【図３９】比較例に係る画素配列の構成例を示す図である。
【図４０】他の比較例に係る画素配列の構成例を示す図である。
【図４１】（ａ）および（ｂ）は、ブロック１、２の配置例を示す図、（ｃ）は、ブロック１、２内の画素配置例を示す図である。
【図４２】本発明の第５実施形態に係る撮像素子の構成例を示す図である。
【図４３Ａ】本発明の第５実施形態に係る撮像素子の領域Ａにおける構成例を示す図である。
【図４３Ｂ】本発明の第５実施形態に係る撮像素子の領域Ｂにおける構成例を示す図である。
【発明を実施するための形態】
【００５０】
本発明の固体撮像素子は、行および列状に配列された複数の画素を有する画素アレイと、各々が、行方向に配列された複数の画素に接続された複数の読み出し信号線と、各々が、列方向に配列された複数の画素に接続された複数の出力信号線と、前記複数の画素にそれぞれ入射する光の色成分を規定するカラーフィルタアレイとを備えている。
【００５１】
まず、図１Ａを参照しながら、本発明の画素アレイにおける画素の配置例を説明する。図示されている例では、画素アレイにおいて、第１の露出時間によって撮像を行う複数の画素からなる第１画素群１１と、第１の露出時間よりも短い第２の露出時間によって撮像を行う複数の画素からなる第２画素群１２とが、行または列方向に交互に配列されている。図１Ａでは、簡単のため、読み出し信号線および出力信号線は記載されていない。図中、Ｒ、Ｇ、Ｂの記号を付した矩形領域は、それぞれ、カラーフィルタを透過したレッド（Ｒ）、グリーン（Ｇ）、ブルー（Ｂ）の光が入射する画素である。実際の画素アレイには、より多くの個数の画素が行および列状に配列されている。図１Ａでは、４つの画素群が記載されているが、現実には、これらの画素群を更に行方向および列方向に交互に配置されている。
【００５２】
図示されていないが、読み出し信号線は、第１画素群１１に接続された複数の第１読み出し信号線と、第２画素群１２に接続された複数の第２読み出し信号線とに分かれている。各画素と読み出し信号線との接続については、後に詳しく説明する。
【００５３】
図１Ａの例では、第１画素群１１および第２画素群１２の各々が異なる色の画素を含んでいる。言い換えると、カラーフィルタアレイは、第１画素群１１および第２画素群１２の各々に、異なる色成分の光を入射するように構成されている。
【００５４】
図１Ａの例では、第１画素群１１および第２画素群は、いずれも、２行２列の画素からなる。しかし、画素群の構成は、この例に限定されない。一般的に表現すれば、第１画素群１１は第Ｍ行Ｎ列（ＭおよびＮは、それぞれ、１以上の整数であって、Ｍ×Ｎは２以上である）の画素からなっていてもよい。また、第２画素群１２は、Ｍ’行Ｎ’列（Ｍ’およびＮ’は、それぞれ、１以上の整数であって、Ｍ’×Ｎ’は２以上である）の画素からなっていてもよい。
【００５５】
図１Ｂは、他の画素配置例を示している。この例では、第１画素群１１および第２画素群は、いずれも、１行３列の画素からなる。図１Ｂの画素配置例でも、図１Ａの画素配置例と同様に、第１画群１１および第２画素群１２が行方向および列方向のそれぞれに交互に配置されている。各画素群が１行Ｌ列（Ｌは２以上の整数）の画素からなると、配線構造を簡単化することができる。
【００５６】
第１読み出し信号線に読み出し信号を伝達することにより、第１の露出時間によって生成された画素信号を第１画素群１１から出力信号線に読み出すことができる。また、第２読み出し信号線に読み出し信号を伝達することにより、第２の露出時間によって生成された画素信号を第２画素群１２から出力信号線に読み出すことができる。
【００５７】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００５８】
（実施の形態１）
図２Ａは、本実施形態における撮像装置の構成例を示すブロック図である。
【００５９】
本実施形態の撮像装置に係る撮像部１０は、図２Ａに例示するように、撮影レンズ１０１と、撮影レンズ１０１を透過した光を受け取る固体撮像素子（以下、単に「撮像素子」と称する）１０２と、撮像素子１０２の撮像動作を制御する撮像制御部１０３と、撮像素子１０２から出力された２種類の露出時間のカラー動画像を処理し高画質化を行う高画質化処理部１０５を有している。本実施形態における撮像素子１０２は、単板式のカラー撮像素子である。上記撮像素子１０２、撮像制御部１０３、及び高画質化処理部１０５の構成および動作は、後に詳しく説明する。
【００６０】
撮影レンズ１０１は、公知の構成を有しており、現実には複数のレンズから構成されたレンズユニットであり得る。撮影レンズ１０１は、不図示の機構によって駆動され、光学ズーミング、オートフォーカス（ＡＦ：Ａｕｔｏ  Ｆｏｃｕｓ）に必要な動作が実行される。
【００６１】
本実施形態の撮像装置において、最も特徴的な構成を有する素子は、撮像素子１０２である。以下、撮像素子１０２の構成および動作を詳細に説明する。
【００６２】
図２Ｂは、本実施形態に係る撮像装置における撮像素子１０２における画素配列の一例を示す。図２Ｂにおいて、符号Ｒは、入射光のＲ（レッド）成分の強度を検出する画素、符号Ｂは、入射光のＢ（ブルー）成分の強度を検出する画素、符号ＧｒおよびＧｂは、入射光のＧ（グリーン）成分の強度を検出する画素である。なお、現実の画素の平面形状は、正方形である必要はなく、長方形、他の多角形、円形、または楕円形であってもよい。
【００６３】
撮像素子１０２では、Ｒ画素およびＧ画素が水平方向に交互に配置されている行（ＲＧ行）と、Ｇ画素およびＢ画素が水平方向に交互に配置されている行（ＢＧ行）が、垂直方向に交互に配置されている。以下、ＲＧ行におけるＧ画素をＧｒ画素、ＢＧ行におけるＧ画素をＧｂ画素と称する。現実の撮像素子１０２では、多数の画素が行および列状に配列されているが、本実施形態では、２行×２列の隣接する４画素が基本ユニットを構成している。この基本ユニットが垂直方向および水平方向に周期的に配列されている。図２Ｂは、撮像面の一部のみを記載したものである。なお、本明細書で「垂直方向」とは、図２ＢのＹ方向に平行な方向であり、「水平方向」とは図２Ｂに示す「Ｘ方向」に平行な方向である。
【００６４】
図２Ｃは、図２ＢのＢ−Ｂ’線断面の例を模式的に示す図である。この例では、光電変換素子２４が形成された半導体層２５の光入射側面に配線層２７およびカラーフィルタアレイ２６が配置されている。図２Ｃの例における半導体層２５は、自立基板として機能する十分な厚さを有しているため、通常、「半導体基板」と称される。半導体基板の選択された領域に対して表面側から不純物イオンをドープすることにより、光電変換素子２４が形成されている。
【００６５】
なお、本発明は、後述するように、「裏面照射型」の固体撮像素子にも適用できる。図２Ｄは、裏面照射型に適用した場合における図２ＢのＢ−Ｂ’線断面の例を模式的に示す図である。図２Ｄの例では、光電変換素子２４が形成された半導体層２５の裏面にカラーフィルタアレイ２６が配置され、半導体層２５の裏面側から光が入射する。半導体層２５の表面には配線層２７が配置され、半導体層２５を支持する基材２８が設けられている。裏面照射型では、半導体基板の選択された領域に対して表面側から不純物イオンをドープすることによって光電変換素子２４を形成した後、半導体基板の裏面から半導体基板の一部をエッチングする。こうして、半導体基板の表面側部分から半導体層２５を形成する。半導体層２５に形成された光電変換素子２４には、半導体層２５の裏面から照射した光が入射し得る。図２Ｄから明らかなように、裏面照射型の固体撮像素子では、配線層２７は入射光を遮らない。
【００６６】
図３は、本実施形態に係る撮像素子１０２の構成例を示すブロック図である。
【００６７】
画素アレイ３０１は、同一シーンのカラー画像のＲ成分、Ｇ成分、Ｂ成分について、入射光の強度を電気信号に変換する光電変換機能を有する。
【００６８】
Ｒ／Ｂ画素ＡＤ変換部３０２は、画素アレイ３０２のＲ画素及びＢ画素の出力に対して、アナログ−デジタル変換を行う。Ｒ／Ｂ画素ＨＳＲ（水平シフトレジスタ）３０４は、ラッチ部３０３を介してＲ／Ｂ画素ＡＤ変換部３０２の出力を受け取り、受け取った出力を水平転送し、Ｒ画素及びＢ画素の画素信号を撮像素子外に出力する。
【００６９】
Ｇｒ／Ｇｂ画素ＡＤ変換部３０５は、画素アレイ３０２のＧｒ画素及びＧｂ画素の出力信号をアナログ−デジタル変換する。Ｇｒ／Ｇｂ画素ＨＳＲ（水平シフトレジスタ）３０７は、ラッチ部３０６を介してＧｒ／Ｇｂ画素ＡＤ変換部３０５の出力を受け取り、受け取った出力を水平転送し、Ｇｒ画素及びＧｂ画素の画素信号を撮像素子外に出力する。
【００７０】
なお、本実施形態において、上記Ｒ／Ｂ画素ＡＤ変換部３０２、Ｇｒ／Ｇｂ画素ＡＤ変換部３０５、Ｒ／Ｂ画素ＨＳＲ３０４、Ｇｒ／Ｇｂ画素ＨＳＲ３０７は、それぞれ単一の回路で上記各々２色成分の画素のＡＤ変換ならびに水平転送を行うのでなく、Ｒ画素用、Ｂ画素用、Ｇｒ画素用及びＧｂ画素用のそれぞれのＡＤ変換機構及び水平シフトレジスタを有するものとし、ここで用いている呼称は、それらのＡＤ変換機構及び水平シフトレジスタを総称したものである。また、本実施形態においては、画素アレイ３０１からの画素信号出力をＲ／Ｂ画素、Ｇｒ／Ｇｂ画素で振り分けており、例えばＲ画素のＡＤ変換部には、短時間露出で撮像されたＲ画素と長時間露出で撮像されたＲ画素がともに入力される構成としている。このような、２種類の露出時間で撮像される画素出力を単一のＡＤ変換機構でアナログ−デジタル変換する動作については、後に詳しく述べる。
【００７１】
また、これ以降で、短時間露出で撮像を行う画素及び長時間露出で撮像を行う画素を、簡単のために短時間画素及び長時間画素と呼ぶことがある。
【００７２】
ラッチ部３０３、３０６は、Ｒ／Ｂ画素ＡＤ変換部３０２およびＧｒ／Ｇｂ画素ＡＤ変換部３０５から出力されるデジタル出力信号を、それぞれ、Ｒ／Ｂ画素ＨＳＲ３０４およびＧｒ／Ｇｂ画素ＨＳＲ３０７に入力するタイミングを揃える。撮像制御部１０３は、前記のとおり、画素アレイ３０１の動作を制御する。
【００７３】
以下に上記構成の動作を詳細に説明する。
【００７４】
画素アレイ３０１は、図２に示すように配列されたＲ画素、Ｂ画素、Ｇｒ画素、Ｇｂ画素を備えている。
【００７５】
本実施形態における画素アレイは、各画素と信号線との接続の仕方が新規である。この点の詳細は、後述する。画素アレイ３０１は、２行×２列の隣接する４画素（Ｒ画素、Ｂ画素、Ｇｒ画素、Ｇｂ画素）の出力信号を、水平シフトレジスタ３０４および３０７を通して撮像素子１０２外に４チャネル並列に出力することが可能である。
【００７６】
本実施形態における高フレームレートとは、例えば３０ｆｐｓ（フレーム毎秒）から６０ｆｐｓ程度までの範囲にある。また、本実施形態における「短時間露出」とは、最長でもフレームレートで決まる１フレームの上限（本実施形態の場合、３０分の１秒から６０分の１秒程度）以下の時間の露光である。
【００７７】
また、本実施形態における「低フレームレート」とは、第１の色成分についてのフレームレートの数分の１から２０分の１程度である。また、本実施形態における「長時間露出」とは、このフレームレートの値で決まる１フレームの時間を上限とし、かつ、上記の「短時間露出」の時間よりも長い露出時間である。「長時間露出」の時間（第１の露出時間）は、「短時間露出」の１フレームの期間よりも長く、「短時間露出」の時間（第２の露出時間）は、「短時間露出」の１フレームの期間に等しいか、この期間よりも短い。
【００７８】
なお、上で述べた短時間露出、長時間露出、高フレームレート、低フレームレートという言葉の意味は相対的なものである。すなわち、短時間画素の露出時間は、長時間画素の露出時間よりも短く、短時間画素のフレームレートは長時間画素のそれよりも高ければよく、上記に例示した数値の範囲に限定するものではない。
【００７９】
Ｒ／Ｂ画素ＡＤ変換部３０２は、Ｒ画素及びＢ画素の出力信号を、アナログ信号からデジタル信号へと変換する。
【００８０】
ラッチ部３０３は、Ｒ画素及びＢ画素の出力デジタル信号をＲ／Ｂ画素ＨＳＲ３０４から撮像素子外に出力するタイミングと、Ｇｒ画素及びＧｂ画素の出力デジタル信号をＧｒ／Ｇｂ画素ＨＳＲ３０７から撮像素子外に出力するタイミングを揃えるために、Ｒ／Ｂ画素ＡＤ変換部３０２の出力を一時的に保持する。
【００８１】
Ｒ／Ｂ画素ＨＳＲ３０４は、Ｒ／Ｂ画素ＡＤ変換部３０２によってデジタル信号に変換されたＲ画素及びＢ画素の画素信号を、水平転送によって撮像素子外に出力する。
【００８２】
Ｇｒ／Ｇｂ画素ＡＤ変換部３０５は、Ｇｒ画素及びＧｂ画素の画素出力信号を、アナログ信号からデジタル信号へと変換する。
【００８３】
ラッチ部３０６は、Ｇｒ画素及びＧｂ画素の出力デジタル信号をＧｒ／Ｇｂ画素ＨＳＲ３０７から撮像素子外に出力するタイミングと、Ｒ画素及びＢ画素の出力デジタル信号をＲ／Ｂ画素ＨＳＲ３０４から撮像素子外に出力するタイミングを揃えるために、Ｇｒ／Ｇｂ画素ＡＤ変換部３０５の出力を一時的に保持する。
【００８４】
Ｇｒ／Ｇｂ画素ＨＳＲ３０７は、Ｇｒ／Ｇｂ画素ＡＤ変換部３０５によってデジタル信号に変換されたＧｒ／Ｇｂ画素の画素信号を、水平転送によって撮像素子外に出力する。
【００８５】
撮像制御部１０３は、画素アレイ３０１に対し、読み出し信号を出力する機能、およびＡＤ変換部３０２、３０５への入力信号の選択を行う制御信号を出力する。
【００８６】
図４は、画素アレイ３０１の詳細な構成を示す。本実施形態の固体撮像素子は、図４に示すように、行および列状に配列された複数の画素（Ｒ、Ｇｒ、Ｇｂ、Ｂ、・・・）と、各々が、行方向に配列された複数の画素に接続された複数の読み出し信号線４０１、４０２と、各々が、列方向に配列された複数の画素に接続された複数の出力信号線４０３、４０４、４０５、４０６とを備えている。複数の画素（Ｒ、Ｇｒ、Ｇｂ、Ｂ、・・・）にそれぞれ入射する光の色成分は、カラーフィルタアレイによって調節されている。
【００８７】
読み出し信号線４０１、４０２は、長時間露出によって撮像を行う画素の群に接続された複数の第１読み出し信号線４０１と、短時間露出によって撮像を行う画素の群に接続された複数の第２読み出し信号線４０２とに分かれている。
【００８８】
図４に示す例では、長時間画素（図中でＲL、ＧｒL、ＧｂL、ＢLと表記）が水平方向に２個連続して配置されたている。本明細書では、下付文字の「Ｌ」は長時間（Ｌｏｎｇ）を意味し、下付文字の「Ｓ」は短時間（Ｓｈｏｒｔ）を意味している。また、図２のＧｒ画素位置の長時間画素及び短時間画素を、それぞれ、ＧｒL画素及びＧｒS画素と呼ぶ。同様に、図２のＧｂ画素位置の長時間画素及び短時間画素を、それぞれ、ＧｂL画素及びＧｂS画素と呼ぶ。
【００８９】
図４に示さる例では、長時間画素ＲL、ＧｒL、ＧｂL、ＢLが、第１読み出し信号線４０１に接続されている。これらの長時間画素のうち、隣接する２つの列にそれぞれ属する２つの画素のペア（ＲLとＧｒL、ＧｂLとＢL）は、第１読み出し信号線４０１に関して反対の側にそれぞれ配置されている。言い換えると、ある１本の第１読み出し信号線４０１に対して、図４の上側に位置する長時間画素ＲL、ＧｒLと、図４の下側に位置する長時間画素ＧｂL、ＢLが接続されている。
【００９０】
また、短時間画素（図中でＲS、ＧｒS、ＧｒS、ＢSと表記）が水平方向に２個連続して配置されている。短時間画素は、第２読み出し信号線４０２に接続されている。これらの短時間画素のうち、隣接する２つの列にそれぞれ属する２つの画素のペアは、第２読み出し信号線４０２に関して反対の側にそれぞれ配置されている。言い換えると、ある１本の第２読み出し信号線４０２に対して、図４の上側に位置する短時間画素ＧｂS、ＢSと、図４の下側に位置する短時間画素ＲS、ＧｒSが接続されている。
【００９１】
図４に示すように、第１読み出し信号線４０１は、垂直方向に隣接する２つの水平走査線上の長時間画素の組で共有されており、第２読み出し信号線４０２は、垂直方向に隣接する２つの水平走査線上の短時間画素の組で共有されている。例えば、図４中において破線で囲った水平方向に並ぶ２列の画素列において、それぞれの画素列に属する長時間画素（添え字Ｌ）が、読み出し信号線４０１を共有している。
【００９２】
出力信号線４０３はＲL画素とＧｂS画素で共有され、出力信号線４０４はＧｒL画素とＢS画素で共有され、出力信号線４０５はＲS画素とＧｂL画素で共有され、出力信号線４０６はＧｒS画素とＢL画素で共有されている。
【００９３】
出力信号線４０３は、ＲLおよびＧｂS画素の画素出力信号を伝達する。出力信号線４０４は、ＧｒLおよびＢS画素の画素出力信号を伝達する。出力信号線４０５は、ＲSおよびＧｂL画素の画素出力信号を伝達する。出力信号線４０６は、ＧｒSおよびＢL画素の画素出力信号を伝達する。より詳細には、ＲS画素、ＲL画素、ＢS画素、ＢL画素の出力信号はそれぞれ出力信号線４０３、４０５、４０４、４０６を通して、同図中、上向きに出力される。同様に、ＧｒS画素、ＧｒL画素、ＧｂS画素、ＧｂL画素の出力信号はそれぞれ出力信号線４０４、４０６、４０３、４０５を通して、同図中、下向きに出力され、ＡＤ変換部３０５に入力される。
【００９４】
読み出し信号および画素出力信号について、図５を参照しながら説明する。図５は画素の回路図の一例を示す。
【００９５】
フォトダイオード５０１は、入射光の強度を電気信号に変換する。スイッチ５０２は、フォトダイオード５０１の光電変換によって得られた電気信号を出力信号線へ出力する。スイッチ５０３は、画素のリセットを行う。アナログバッファ５０４は、画素出力信号を受ける。入力端子５０５は、前記読み出し信号の入力端子である。５０６は前記出力信号の出力端子である。同図中、画素バイアス信号はスイッチ５０３およびアナログバッファ５０４のドレインに入力され、画素リセット信号はスイッチ５０３のゲートに入力される。前記読み出し信号は、スイッチ５０２のゲートの入力となり、前記画素出力信号は、アナログバッファ５０４の出力となる。つまり、前記読み出し信号とは、フォトダイオード５０１の光電変換によって得られた電気信号を出力信号線に出力するタイミングを規定する信号である。前記画素出力信号とは、フォトダイオード５０１における光電変換によって得られた電気信号である。
【００９６】
ＡＤ変換部３０２および３０５は、例えば、図６Ａに示すような、ランプ波生成器６０１、比較器６０２およびカウンタ６０３からなる構成を採用することができる。図６Ｂに示すように、ランプ波生成器６０１より生成されたランプ波と画素出力信号を比較し、ランプ波が画素出力信号より小さい期間、カウンタ６０３を駆動する。ランプ波が画素出力信号を上回った時点でカウンタを停止し、画素出力信号のデジタル値を該カウンタの出力として得る。
【００９７】
なお、図３の例においては、ＡＤ変換部３０２および３０５を撮像素子１０２の内部に配置している。ＡＤ変換部３０２および３０５を撮像素子１０２の外部に配置し、撮像素子１０２からはアナログの画素信号を出力する構成にしてもよい。図７は、ＡＤ変換部３０２およびＡＤ変換部３０５が撮像素子１０２の外部に存在する構成例を示すブロック図である。この例の撮像素子において、画素アレイ３０１から出力された画素出力信号は、アナログラッチ部７０２および７０４に一度保持された後に、アナログ信号を転送する短時間ＨＳＲ７０３および長時間ＨＳＲ７０５から撮像素子７０１外に出力される。その後、撮像素子外のＡＤ変換部７０６および７０７において、デジタル信号に変換される。なお、アナログラッチ部７０２および７０４は、例えば図４における出力信号線４０３から４０６に並列に挿入されたコンデンサによって電荷を保持する構成にすることができる。
【００９８】
次に、撮像制御部１０３の動作を説明する。
【００９９】
図８は、撮像制御部１０３から画素アレイ３０１に出力する読み出し信号の波形を示す。ＴＲＡＮＳは読み出し信号線４０１に与える短時間露出によって撮像を行う画素出力の読み出し信号であり、ＴＲＡＮＬは読み出し信号線４０２に与える長時間露出によって撮像を行う画素出力の読み出し信号である。図８には、ある１つの画素に与えられる読み出し信号の波形が示されている。短時間画素のフレームレートおよび露出時間は、それぞれ、長時間画素の４倍および１／４である。言い換えると、長時間画素の読み出し信号ＴＲＡＮＬは、ＴＲＡＮＳが４度Ｈレベルになるたびに１度Ｈレベルとなる。しかし、フレームレートおよび露出時間は、この値に制限されるものではない。なお、フレームレートと露出時間との間には、ほぼ逆数の関係がある。すなわち、フレームレートが３０ｆｐｓ（フレーム毎秒）であれば、１フレームの時間は１／３０秒であるため、露出時間は１／３０秒程度である。
【０１００】
図８に示す例では、ＴＲＡＮＳおよびＴＲＡＮＬがともに活性化される（同図中に示すＨレベルとなる）フレームにおいて、ＴＲＡＮＬはＴＲＡＮＳよりも６μｓ遅れてＨレベルとなっている。しかし、図８に示すこの時間差は単なる一例である。ＴＲＡＮＬがＨレベルになるタイミングとＴＲＡＮＳがＨレベルになるタイミングとの間の時間差は、この値に制限されるものでない。この時間差は、例えばＴＲＡＮＳがＨレベルになることにより短時間画素の出力が出力信号線４０３〜４０７に出力され、該画素出力が図３のＡＤ変換部３０２に到達しＡＤ変換動作が完了するまで、または図７のラッチ部７０２に到達するまでの所要時間に相当する時間に設定することができる。
【０１０１】
ＴＲＡＮＳおよびＴＲＡＮＬがＨレベルとなるタイミングの時間差は、前記短時間画素の出力が図３のＡＤ変換部３０２に到達しそこから出力されるまで、または図７のラッチ部７０２に到達するまでの所要時間を下限とし、短時間画素の１フレームの露出時間を上限とする範囲内で、任意の値に設定することができる。なお、ここで図３に示す構成の場合に上記ＴＲＡＮＳとＴＲＡＮＬの時間差にＡＤ変換動作の時間を含めているのは、ＡＤ変換部３０２及び３０５において同色の短時間画素、長時間画素の両方のＡＤ変換を行うためである。また、前記ＡＤ変換部上で前記２種類の露出時間の画素出力が混在することを避けるためでもある。図８の例では、読み出し信号はＴＲＡＮＳがＴＲＡＮＬよりも先にＨレベルとなっているが、ＴＲＡＮＬがＴＲＡＮＳよりも先にＨレベルになってもかまわない。
【０１０２】
読み出し信号ＴＲＡＮＳおよびＴＲＡＮＬがともにＨレベルとなるフレームにおける画素アレイ３０１の動作について、図９および図１０を参照しながら説明する。なお、以下の説明では、図３に示す構成を備える固体撮像素子を例にとる。
【０１０３】
図９は、ＴＲＡＮＳがＨレベルとなったときの、撮像制御部１０３および画素アレイ３０１を示す。ＴＲＡＮＳがＨレベルとなると、同図中実線で示した読み出し信号線４０２を伝達する信号がＨレベルとなる。このとき、出力信号線４０３にはＧｂS画素の画素出力信号が伝達され、出力信号線４０４にはＢS画素の画素出力信号が伝達され、出力信号線４０５にはＲS画素の画素出力信号が伝達され、出力信号線４０６にはＧｒS画素の画素出力信号が伝達される。さらに、このとき撮像制御部１０３によってＲ／Ｂ画素ＡＤ変換部３０２に通じるスイッチ９０４及びスイッチ９０５、及びＧｒ／Ｇｂ画素ＡＤ変換部３０５に通じるスイッチ９０９及びスイッチ９１２をＯＮの状態にする。その結果、ＲS画素、ＢS画素の画素出力信号が、それぞれＲ／Ｂ画素ＡＤ変換部３０２内のＲ画素ＡＤ変換部９０１とＢ画素ＡＤ変換部９０２に伝達される。また、ＧｒS画素およびＧｂS画素の画素出力信号が、それぞれ、Ｇｒ／Ｇｂ画素ＡＤ変換部３０５内のＧｒ画素ＡＤ変換部９０７とＧｂ画素ＡＤ変換部９０８に伝達される。
【０１０４】
その後、例えば直前のＴＲＡＮＳによる読み出し及びＡＤ変換動作が対象となるすべての短時間画素で完了した後に（図８の例では６μｓ後）、ＴＲＡＮＬがＨレベルとなり、読み出し信号線４０１を伝達する信号がＨレベルとなる。このときの画素アレイ３０１を図１０に示す。このとき、出力信号線４０３にはＲL画素の画素出力信号が伝達され、出力信号線４０４にはＧｒL画素の画素出力信号が伝達され、出力信号線４０５にはＧｂL画素の画素出力信号が伝達され、出力信号線４０６にはＢL画素の画素出力信号が伝達される。さらに、このとき撮像制御部１０３によってＲ／Ｂ画素ＡＤ変換部３０２に通じるスイッチ９０３及びスイッチ９０６をＯＮの状態にし、Ｇｒ／Ｇｂ画素ＡＤ変換部３０５に通じるスイッチ９１０及びスイッチ９１１をＯＮの状態にする。その結果、ＲL画素及びＢL画素の画素出力信号が、それぞれＲ／Ｂ画素ＡＤ変換部３０２内のＲ画素ＡＤ変換部９０１とＢ画素ＡＤ変換部９０２に伝達され、ＧｒL画素およびＧｂL画素の画素出力信号が、それぞれＧｒ／Ｇｂ画素ＡＤ変換部３０５内のＧｒ画素ＡＤ変換部９０７とＧｂ画素ＡＤ変換部９０８に伝達される。
【０１０５】
図１１は、本実施形態に係る撮像素子の、読み出し信号線４０１及び４０２に供給する読み出し信号の例を示す。同図において、ＴＲＡＮＳｎ、ＴＲＡＮＳｎ＋１、ＴＲＡＮＳｎ＋２、ＴＲＡＮＳｎ＋３は、短時間画素の読み出し信号（読み出し信号線４０２に伝達される信号）であり、ＴＲＡＮＬｎ、ＴＲＡＮＬｎ＋１、ＴＲＡＮＬｎ＋２、ＴＲＡＮＬｎ＋３は、長時間画素の読み出し信号（読み出し信号線４０１に伝達される信号）である。また、ＴＲＡＮＳｎは、垂直方向のｎ番目の短時間画素の組に供給される読み出し信号であり、ＲＡＮＬｎは、垂直方向のｎ番目の長時間画素の組に供給される読み出し信号である。以下、ＴＲＡＮＳｎ＋１、ＴＲＡＮＬｎ＋１はｎ＋１番目の組、と続く。
【０１０６】
本実施形態に係る撮像素子では、図４に示されるように、垂直方向に隣接する２つの水平画素ラインに属する長時間画素（例えばＲL、ＧｒL、ＧｂL、ＢL）、あるいは垂直方向に隣接する２つの水平画素ラインに属する短時間画素（例えばＧｂS、ＢS、ＲS、ＧｒS）に同時に読み出し信号が供給されるため、撮像制御部１０３は、短時間画素及び長時間画素の組ごとに一つの読み出し信号を生成する。
【０１０７】
図１１には、図８と同様に長時間画素のフレームレートが短時間画素の１／４である場合の例を示しており、ＴＲＡＮＳが４度Ｈレベルとなる間にＴＲＡＮＬが１度Ｈレベルとなる。また、図８と同様に、長時間画素と短時間画素の両方の信号が読み出されるフレームにおいて、同じ水平画素ラインペアに供給されるＴＲＡＮＳとＴＲＡＮＬ（例えば、ＴＲＡＮＳｎとＴＲＡＮＬｎ）は、６μｓの時間差をもってＨレベルとなる。さらに、互いに異なる水平画素ラインのペアに供給される読み出し信号（例えばＴＲＡＮＳｎ、ＴＲＡＮＳｎ＋１、ＴＲＡＮＳｎ＋２、ＴＲＡＮＳｎ＋３）は、それぞれ１水平スキャン期間（図１１で１Ｈと記載）の時間差をもってＨレベルとなる（ＴＲＡＮＬについても同様）。
【０１０８】
このような構成を採用することで、単板カラー撮像素子において、すべての水平ラインについて長時間画素と短時間画素の双方を含み、またそれらがある間隔で交互に配列した、均等な画素配置を実現することができる。この画素配置では、カラーフィルタの各色成分も、通常のベイヤ配列と同様に均等であり、各色成分に長時間画素および短時間画素の両方が割り当てられている。
【０１０９】
さらに、複数の画素で前記出力信号線を共有させた場合にも、画素同士で出力信号が混じり合うことなしに各画素の画素出力信号を取得することができる。より具体的には、画素数に対する信号線本数の割合を従来例よりも少なくしながら、複数の行にまたがって配置された短時間画素および長時間画素の出力信号を並列に読み出すことができる。また、同様に、複数の行にまたがって配置された画素（例えばＧｒL画素およびＧｂL画素）の出力信号を並列に読み出すこともできる。
【０１１０】
本実施形態では、画素アレイ３０１から第１の色成分（Ｒ、Ｂ）の画素信号と第２の色成分（Ｇ）の画素信号とを別々の回路部分によって読み出している。したがって、１つの画素アレイ３０１からＲ画素及びＢ画素の画素信号を読み出す回路部分を「第１の読み出し部」、その画素アレイ３０１からＧｒ画素及びＧｂ画素の画素信号を読み出す回路部分を「第２の読み出し部」と称することができる。図３に示す例において、「第１の読み出し部」の最小構成要素は、Ｒ／Ｂ画素ＡＤ変換部３０２である。一方、「第２の読み出し部」の最小構成要素は、Ｇｒ／Ｇｂ画素ＡＤ変換部３０５である。なお、「第１の読み出し部」にラッチ部３０３、Ｒ／Ｂ画素ＨＳＲ（水平シフトレジスタ）３０４などの付加的構成要素を含めても良い。同様に、「第２の読み出し部」に、ラッチ部３０６、Ｇｒ／Ｇｂ画素ＨＳＲ（水平シフトレジスタ）３０７などの付加的構成要素を含めても良い。
【０１１１】
ラッチ部３０３および３０６は、第１の読み出し部によって得られた色成分の画素出力デジタル信号を水平シフトレジスタ３０４から撮像素子外に出力するタイミングと、第２の読み出し部によって得られた色成分の画素出力デジタル信号を水平シフトレジスタ３０７から撮像素子外に出力するタイミングとを揃える。上記のように、読み出し信号のタイミングが短時間画素と長時間画素とで異なる構成では、短時間画素の画素出力信号が画素アレイ３０１からＡＤ変換部３０２あるいは３０５に到達する時刻と、長時間画素の画素出力信号が画素アレイ３０１から前記ＡＤ変換部に到達する時刻にずれが発生する。しかし、色成分ごとの画素信号出力のタイミングは、水平シフトレジスタ３０４および３０７から撮像素子１０２外に出力される時点で揃えられていればよく、撮像素子内部の画素出力信号の流れのタイミングは任意でかまわない。ラッチ部３０３および３０６によって、撮像素子１０２外に各色成分の画素出力信号が出力される前に該画素出力信号のタイミングを揃える構成を採用することで、撮像素子２０外に出力される画素出力信号は、色成分ごとにずれは発生しない。
【０１１２】
なお、図３に示す例では、ラッチ部３０３および３０６を、それぞれ、ＡＤ変換部３０２および３０５の後段に配置し、画素出力信号がデジタル信号に変換された時点でタイミング調整を行っている。しかし、ラッチ部３０３および３０６を配置する場所は、これに限定されるものではない。例えばＡＤ変換部３０２および３０５の直前に配置し、ラッチ部３０３および３０６がアナログ信号を保持するように構成されていても良い。この場合は、例えば、ＡＤ変換部３０２および３０５の入力端にコンデンサを付加し、第１の読み出し部によって得られる画素出力信号と、第２の読み出し部によって得られる画素出力信号の双方が該コンデンサに保持された時点で、前記ＡＤ変換部に入力するという構成とすればよい。
【０１１３】
撮像制御部１０３は、撮像素子１０２内に設置し、撮像素子１０２の内部で前記読み出し信号および前記スイッチの制御信号を発生する構成してもよいし、撮像素子１０２の外に配置してもよい。撮像制御部１０３が撮像素子の外に配置される場合、撮像制御部１０３は、撮像素子１０２の外部より前記読み出し信号および前記スイッチの制御信号を与える。
【０１１４】
なお、本実施形態に係る構成において、画素上にオンチップマイクロレンズを配置し、さらに集光能力を高める構成としてもよい。
【０１１５】
続いて、高画質化処理部１０５の動作について説明する。本実施形態における高画質化処理部１０５は、水平方向の画素のペアごとに異なる露出時間（例えばＲL画素およびＧｒL画素のペアの露出時間は、ＲS画素およびＧｒS画素のペアの露出時間よりも長い）で撮像されたデータを受け取る。そして、これらに高画質化処理を行うことによって各画素における画素値（例えばＲ、Ｇ、Ｂの画素値）を推定し、カラー画像を得る。
【０１１６】
図１２は、高画質化部１０５のより詳細な構成の一例を示す構成図である。図１２に示す撮像部１０において、高画質化部１０５以外の構成は、図２Ｃに示す撮像部１０の構成と同一である。高画質化処理部１０５は、動き検出部１１０１および画像処理部１１０２を有している。
【０１１７】
動き検出部１１０１は、ブロックマッチング、勾配法、位相相関法等の既存の公知技術によって、短時間露出で撮影された画素値から動き（オプティカルフロー）を検出する。公知技術として、たとえばP. Anandan. “Computational framework and an algorithm for the measurement of visual motion”, International Journal of Computer Vision, Vol. 2, pp. 283−310, 1989が知られている。
【０１１８】
図１３（ａ）および（ｂ）は、ブロックマッチングによって動き検出を行うときの基準フレームと参照フレームとを示している。動き検出部１１０１は、基準とするフレーム（動きを求めるべく着目している時刻ｔにおける画像）内に、図１３（ａ）に示す窓領域Ａを設定する。そして、窓領域内のパターンと類似するパターンを参照フレーム内で探索する。参照フレームとして、たとえば着目フレームの次のフレームが利用されることが多い。探索範囲は、図１３（ｂ）に示すように、通常、移動量ゼロの位置Ｂを基準に予め一定の範囲（同図（ｂ）中のＣ）が設定される。また、パターンの類似の度合い（程度）は、（数１）に示す残差平飽和（ＳＳＤ：Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅ  Ｄｉｆｆｅｒｒｅｎｃｅｓ）や、（数２）に示す残差絶対値和（ＳＡＤ：Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅｄ  Ｄｉｆｆｅｒｅｎｃｅｓ）を評価値として計算することによって評価する。
【数１】
2012127772.tif 000003
【数２】
2012127772.tif 000004
【０１１９】
（数１）および（数２）において、Ｉ（ｘ、ｙ、ｔ）は画像すなわち画素値の時空間的な分布であり、ｘ，ｙ∈Ｗは、基準フレームの窓領域内に含まれる画素の座標値を意味する。本実施形態では、
【数３】
2012127772.tif 000005
として輝度成分を求め、動き検出を行っている。
【０１２０】
なお、Ｉ（ｘ，ｙ，ｔ）としては、（数３）に限らず、単純なＲＧＢ値の加算等にしてもよい。
【０１２１】
動き検出部１１０１は、探索範囲内で（ｕ，ｖ）を変化させることにより、上記評価値を最小とする（ｕ，ｖ）の組を探索し、これをフレーム間での動きベクトルとする。具体的には、窓領域の設定位置を順次シフトさせることによって、動きを画素毎もしくはブロック毎（例えば８画素×８画素）に求め、動きベクトルを生成する。
【０１２２】
上記の様にして得られた（数１）または（数２）を最小にする（ｕ，ｖ）の近傍での（ｕ，ｖ）の値の分布に対して、１次ないし２次関数を当てはめることによって、サブピクセル精度の動き検出を行う。１次ないし２次関数の当てはめには、等角フィッテング法やパラボラフィッティング法として知られる公知の技術を用いればよい。
【０１２３】
＜各画素におけるＧの画素値の高画質化処理＞
画質処理部１１０２は、次式で表される評価関数Ｊを最小化して、各画素におけるＲ，Ｇ，Ｂの画素値を計算する。
【数４】
2012127772.tif 000006
ここで、Ｈ1は長時間露出のサンプリング過程、Ｈ2は短時間露出のサンプリング過程、ｆは高画質化すべき高空間解像度かつ高時間解像度のＲＧＢ画像である。撮像部１０１によって撮像されたＲＧＢの画像のうち、長時間露出で撮像したものをｇL、短時間露出で撮像したものをｇSとし、Ｍはべき指数、Ｑは高画質化すべき画像ｆが満たすべき条件、すなわち拘束条件である。また、（数４）において｜・｜はベクトルのノルムを示す。
【０１２４】
（数４）の第１項は、高画質化すべき高空間解像度かつ高時間解像度のＲＧＢ画像ｆを、長時間露出のサンプリング過程Ｈ1によってサンプリングして得られた画像と、実際に長時間露出によって得られたｇLとの差の演算を意味する。長時間露出のサンプリング過程Ｈ1を予め定めておき、この差分を最小化するｆを求めると、このｆは、長時間露出によって得られたｇLと最もよく整合するといえる。第２項についても同様に、差分を最小化するｆは、短時間露出によって得られたｇSと最もよく整合するといえる。
【０１２５】
そして、（数４）を最小化するｆは、長時間露出および短時間露出によって得られたｇLおよびｇSの両方を総合的によく満足するといえる。高画質処理部１１０２は、（数４）を最小化するｆを計算することで、高空間解像度かつ高時間解像度のＲＧＢ画像の画素値を生成する。
【０１２６】
以下、（数４）に関してより詳しく説明する。
【０１２７】
ｆ、ｇLおよびｇSは、動画像の各画素値を要素とする縦ベクトルである。以下では、画像についてベクトル表記は、画素値をラスタースキャン順に並べた縦ベクトルを意味し、関数表記は、画素値の時空間的分布を意味する。画素値としては、輝度値の場合は、１画素につき１個の値を考えればよい。ｆの要素数は、例えば、高画質化すべき動画像を横２０００画素、縦１０００画素、３０フレームとすると、２０００×１０００×３０＝６０００００００となる。
【０１２８】
ｆの縦横の画素数と信号処理に用いるフレーム数は、高画質化処理部１０５によって設定される。長時間露出のサンプリング過程Ｈ1は、行数がｇLの要素数と等しく、列数がｆの要素数と等しい行列である。また、短時間露出サンプリング過程Ｈ2は、行数がｇSの要素数と等しく、列数がｆの要素数と等しい行列である。
【０１２９】
現在一般に普及しているコンピュータでは、高画質化する動画像が、例えば上記のような横２０００画素、縦１０００画素、３０フレームであった場合、計算にかかるコストの点から動画像の全画素（６０００００００画素）の値を一度に求めることは極めて困難である。この場合、時間的、空間的な部分領域についてｆの一部を求める処理を繰り返すことにより、高画質化すべき動画像ｆを計算することができる。
【０１３０】
次に、長時間露出のサンプリング過程Ｈ1の定式化を簡単な例を用いて説明する。いま、図１４に示すような、幅４画素（ｘ＝０，１，２，３）、高さ２画素（ｙ＝０，１）、２フレーム（ｔ＝０，１）の画像をベイヤ配列の撮像素子で撮像し、ｙ＝０のラインにおける紙面左側の２画素（Ｒ画素とＧ画素）及びｙ＝１のラインにおける紙面右側の２画素（Ｇ画素とＢ画素）を２フレーム分時間加算する場合のｇLの撮像過程について考える。
【数５】
2012127772.tif 000007
【数６】
2012127772.tif 000008
これらによれば、長時間露出の画素の撮像過程は以下のように定式化される。
【数７】
2012127772.tif 000009
【０１３１】
次に、短時間露出のサンプリング過程Ｈ2の定式化を簡単な例を用いて説明する。図１４に示す画素配列において、ｙ＝０のラインにおける紙面右側の２画素（Ｒ画素とＧ画素）及びｙ＝１のラインにおける紙面左側の２画素（Ｇ画素とＢ画素）を撮像する場合について考える。
【数８】
2012127772.tif 000010
これらによれば、短時間露出ラインの撮像過程は以下のように定式化される。
【数９】
2012127772.tif 000011
【０１３２】
（数４）のべき指数Ｍの値は、特に限定するものではないが、演算量の観点から、１または２が好ましい。
【０１３３】
（数７）や（数９）は、ｆをベイヤ配列の単板撮像素子によりライン毎に露出時間を変えて撮像しｇL、ｇSを得る過程を示す。逆に、ｇL、ｇSからｆを復元する問題は、一般に逆問題といわれる。拘束条件Ｑのない場合、下記（数１０）を最小化するｆは無数に存在する。
【数１０】
2012127772.tif 000012
【０１３４】
このことは、サンプリングされない画素値に任意の値を入れても（数１０）が成り立つことから、容易に説明できる。そのため、ｆを一意に解くためには（数１０）では不十分である。
【０１３５】
そこで、ｆについての一意な解を得るために、拘束条件Ｑを導入する。Ｑとして、画素値ｆの分布に関する滑らかさの拘束や、ｆから得られる画像の動きの分布に関する滑らかさの拘束を与える。
【０１３６】
画素値ｆの分布に関する滑らかさの拘束としては、（数１１）もしくは（数１２）の拘束式を用いる。
【数１１】
2012127772.tif 000013
【数１２】
2012127772.tif 000014
【０１３７】
（数１１）及び（数１２）におけるべき指数ｍの値は、（数４）、（数１０）におけるべき指数Ｍと同様に、１または２が望ましい。ここで、Ｃｉは以下の式でｆの要素のＲ，Ｇ，Ｂ値を変換したものである。
【数１３】
2012127772.tif 000015
【０１３８】
（数１３）において、Ｃ1、Ｃ2、Ｃ3を一般的な画像におけるＲＧＢの画素値の分布の第１主成分から第３主成分にすることにより、滑らかさ拘束についての正則化パラメータの調整をＲＧＢ空間で行う場合よりも容易にすることができる。すなわち、Ｃ1成分は輝度にほぼ等しく、Ｃ2、Ｃ3成分は２つの色差成分とみなせ、個別にλｉを調整することによって、高画質化処理される画像に対する滑らかさ拘束の各項の影響を制御できる。λC1からλC3の値は、３板撮影等で全画素読み出しした画素値が事前に用意できる場合には、高画質化処理後の画像のＰＳＮＲが最良となるように決めればよい。
【０１３９】
一方、そうでない場合には、上記の値をもとにマニュアル操作で高画質化処理後の画質をみながら決めればよい。
【０１４０】
なお、上記の偏微分値∂Ｃｉ／∂ｘ、∂Ｃｉ／∂ｙ、∂2Ｃｉ／∂ｘ2、∂2Ｃｉ／∂ｙ2は、着目画素近傍の画素値による差分展開により、例えば（数１４）により近似計算することができる。
【数１４】
2012127772.tif 000016
差分展開は上記（数１４）に限らず、例えば（数１５）の様に、近傍の他の画素を参照するようにしてもよい。
【数１５】
2012127772.tif 000017
（数１５）は（数１４）による計算値に対して、近傍で平均化することになる。これにより、空間解像度は低下するが、ノイズの影響を受けにくくできる。さらに、両者の中間的なものとして、０≦α≦１の範囲のαで重み付けをして、以下の式を採用してもよい。
【数１６】
2012127772.tif 000018
【０１４１】
差分展開の計算方法は、処理結果の画質がより改善されるようにノイズレベルに応じてαを予め決めて行ってもよいし、もしくは、回路規模や演算量を少しでも小さくするために、（数１４）を用いてもよい。
【０１４２】
なお、画像ｆの画素値の分布に関する滑らかさの拘束としては、（数１１）、（数１２）に限らず、例えば、（数１７）に示す２階の方向微分の絶対値のｍ乗を用いても良い。
【数１７】
2012127772.tif 000019
ここで、ベクトルｎminの角度θは１階の方向微分の２乗が最小になる方向であり、下記（数１８）によって与えられる。
【数１８】
2012127772.tif 000020
【０１４３】
さらに、画像ｆの画素値の分布に関する滑らかさの拘束としては、下記（数１９)から（数２１)のいずれかのＱを用いて、ｆの画素値のこう配に応じて拘束条件を適応的に変化させてもよい。
【数１９】
2012127772.tif 000021
【数２０】
2012127772.tif 000022
【数２１】
2012127772.tif 000023
【０１４４】
（数１９）から（数２１）において、ｗ（ｘ，ｙ）は画素値のこう配の関数であり、拘束条件に対する重み関数である。例えば、下記（数２２）に示す画素値のこう配成分の、べき乗和が、大きい場合にはｗ（ｘ，ｙ）の値が小さく、逆の場合にはｗ（ｘ，ｙ）の値が大きくなるようにすると、ｆのこう配に応じて拘束条件を適応的に変化させることができる。
【数２２】
2012127772.tif 000024
【０１４５】
このような重み関数を導入することにより、高画質化処理される画像ｆが必要以上に平滑化されることを防ぐことができる。
【０１４６】
また、（数２２）に示す輝度こう配の成分の２乗和の代わりに、（数２３）に示す方向微分の、べき乗の大小によって、重み関数ｗ（ｘ，ｙ）を定義してもよい。
【数２３】
2012127772.tif 000025
ここで、ベクトルｎmaxおよび角度θは方向微分が最大になる方向であり、下記（数２４）によって与えられる。
【数２４】
2012127772.tif 000026
【０１４７】
（数１１）、（数１２）、（数１７）〜（数２１）に示したような、動画像ｆの画素値の分布に関する滑らかさの拘束を導入して（数４）を解く問題は、公知の解法（有限要素法等の変分問題の解法）によって計算することができる。
【０１４８】
ｆに含まれる画像の動きの分布に関する滑らかさの拘束として、下記（数２５）または（数２６）を用いる。
【数２５】
2012127772.tif 000027
【数２６】
2012127772.tif 000028
ここで、ｕは動画像ｆから得られる各画素についての動きベクトルのｘ方向の成分を要素とする縦ベクトル、ｖは動画像ｆから得られる各画素についての動きベクトルのｙ方向の成分を要素とする縦ベクトルである。
【０１４９】
ｆから得られる画像の動きの分布に関する滑らかさの拘束としては、（数２１）、（数２２）に限らず、例えば（数２７）、（数２８）に示す１階または２階の方向微分としてもよい。
【数２７】
2012127772.tif 000029
【数２８】
2012127772.tif 000030
【０１５０】
さらに、（数２９）〜（数３２）に示すように、（数２１）〜（数２４）の拘束条件を、ｆの画素値のこう配に応じて適応的に変化させてもよい。
【数２９】
2012127772.tif 000031
【数３０】
2012127772.tif 000032
【数３１】
2012127772.tif 000033
【数３２】
2012127772.tif 000034
ここで、ｗ（ｘ，ｙ）は、ｆの画素値のこう配に関する重み関数と同一のものであり、（数２２）に示す画素値のこう配の成分の、べき乗和、または、（数２３）に示す方向微分の、べき乗によって定義されるものである。
【０１５１】
このような重み関数を導入することにより、ｆの動き情報が必要以上に平滑化されることを防ぐことができ、その結果、高画質化処理される画像ｆが必要以上に平滑化されることを防ぐことができる。
【０１５２】
（数２５）〜（数３２）に示したような、画像ｆから得られる動きの分布に関する滑らかさの拘束を導入して（数４）を解く問題は、ｆについての滑らかさの拘束を用いる場合と比較して複雑な計算が必要となる。高画質化すべき画像ｆと動き情報（ｕ，ｖ）が相互に依存するためである。
【０１５３】
この問題に対しては、公知の解法（ＥＭアルゴリズム等を用いた変分問題の解法）によって計算することができる。その際、繰り返し計算に、高画質化すべき画像ｆと動き情報（ｕ，ｖ）の初期値が必要になる。
【０１５４】
ｆの初期値としては、入力画像の補間拡大画像を用いればよい。一方、動き情報（ｕ，ｖ）としては、動き検出部１１０１において（数１）ないし（数２）を計算して求めた動き情報を用いる。その結果、高画質化処理部１０５が、上述のごとく、（数２５）〜（数３２）に示したような、画像ｆから得られる動きの分布に関する滑らかさの拘束を導入して（数４）を解くことにより、超解像処理結果の画質を向上させることができる。
【０１５５】
高画質化処理部１０５における処理は、（数１１）、（数１２）、（数１７）〜（数２１）に示した画素値の分布に関する滑らかさの拘束のいずれかと、（数２５）〜（数３２）に示した動きの分布に関する滑らかさの拘束のいずれかの両方を組み合わせて、（数３３）のように同時に用いてもよい。
【数３３】
2012127772.tif 000035
ここで、Ｑfはｆの画素値のこう配に関する滑らかさの拘束、Ｑuvはｆから得られる画像の動きの分布に関する滑らかさの拘束、λ1，λ2 はＱf とＱuvの拘束に関する重みである。
【０１５６】
画素値の分布に関する滑らかさの拘束と、画像の動きの分布に関する滑らかさの拘束の両方を導入して（数４）を解く問題も、公知の解法（たとえばＥＭアルゴリズム等を用いた変分問題の解法）によって計算することができる。
【０１５７】
また、動きに関する拘束は、（数２５）〜（数３２）に示した動きベクトルの分布の滑らかさに関するものに限らず、対応点間の残差（動きベクトルの始点と終点間における画素値の差）を評価値として、これを小さくするようにしてもよい。対応点間の残差は、ｆを関数ｆ（ｘ，ｙ，ｔ）として表すと、（数３４）のように表せる。
【数３４】
2012127772.tif 000036
【０１５８】
ｆをベクトルとして、画像全体について考えると、各画素における残差は下記（数３５）に示すようにベクトル表現することができる。
【数３５】
2012127772.tif 000037
【０１５９】
残差の平方和は下記（数３６）に示すように表すことができる。
【数３６】
2012127772.tif 000038
【０１６０】
（数３５）、（数３６）において、Ｈmはベクトルｆの要素数（時空間の総画素数）×ｆの要素数の行列である。Ｈmでは、各行において、動きベクトルの視点と終点に相当する要素だけが０でない値を持ち、それ以外の要素は０の値を持つ。動きベクトルが整数精度の場合、視点と終点に相当する要素が、それぞれ、−１と１の値を持ち、他の要素は０である。
【０１６１】
動きベクトルがサブピクセル精度の場合には、動きベクトルのサブピクセル成分の値に応じて、終点近傍の複数の画素に相当する複数の要素が値を持つことになる。
【０１６２】
（数３６）をＱmとおき、拘束条件を（数３７）のようにしてもよい。
【数３７】
2012127772.tif 000039
ここで、λ3は拘束条件Ｑmに関する重みである。
【０１６３】
以上に述べた方法により、動き検出部１１０１でＧSとＲとＢの低解像度動画像から抽出した動き情報を用いることにより、ベイヤ配列の撮像素子によって撮像されたＲＧＢの動画像を高画質化部１０５で高時空間解像度化することができる。
【０１６４】
なお、上述した高画質化部１０５におけるＲ，Ｇ，Ｂの画素値の計算方法は一例であり、他の計算方法を採用してもよい。例えば高画質化処理部１０５において、目的とするカラー画像ｆにおける各色の画像の空間的変化パターンが近い程度を表す評価関数Ｊを設定し、評価関数Ｊを最小化する目的画像ｆを求める。空間的変化パターンが近いことは、青画像、赤画像、および緑画像の空間的変化が相互に相似していることを意味する。
【０１６５】
評価関数Ｊの一例を（数３８）に示す。
【数３８】
2012127772.tif 000040
【０１６６】
評価関数Ｊは、生成したい高解像度カラー画像（目的画像）ｆを構成する赤、緑、および青の各色の画像の関数として定義される。ここで、（数３８）右辺の第１項、第２項は、（数４）におけるべき指数Ｍを２としたものと同一である。
【０１６７】
低解像度化画像および入力画像の対応画素位置における画素値の差の２乗和を、評価関数の評価条件として設定する（（数３８）の右辺第１項および第２項）。つまり、これらの評価条件は、低解像度化画像に含まれる各画素値を要素とするベクトルと、入力画像に含まれる各画素値を要素とするベクトルとの差分ベクトルの大きさを表す。
【０１６８】
（数３８）の右辺第３項、第４項、第５項のＱsは、画素値の空間的な滑らかさを評価する評価条件である。ＱSの例であるＱS1およびＱS2を（数３９）および（数４０）に示す。
【数３９】
2012127772.tif 000041
【０１６９】
（数３９）において、θH（ｘ，ｙ）、ψH（ｘ，ｙ）、ｒH（ｘ，ｙ）は、目的画像の画素位置（ｘ，ｙ）における赤、緑、青のそれぞれの画素値で表される３次元直交色空間（いわゆるＲＧＢ色空間）内の位置を、ＲＧＢ色空間に対応する球面座標系（θ、ψ、ｒ）で表現した場合の座標値である。ここで、θH（ｘ，ｙ）とψH（ｘ，ｙ）は２種類の偏角を表し、ｒH（ｘ，ｙ）は動径を表す。
【０１７０】
図１５は、ＲＧＢ色空間と球面座標系（θ、ψ、ｒ）との対応例を示す。
【０１７１】
図１５では、一例として、θ＝０°かつψ＝０°の方向をＲＧＢ色空間のＲ軸の正方向とし、θ＝９０°かつψ＝０°の方向をＲＧＢ色空間のＧ軸の正方向としている。ここで、偏角の基準方向は、図１５に示す方向に限定されることなく、他の方向であってもよい。このような対応に従って、画素ごとに、ＲＧＢ色空間の座標値である赤、緑、青のそれぞれの画素値を、球面座標系（θ、ψ、ｒ）の座標値に変換する。
【０１７２】
目的画像の各画素の画素値をＲＧＢ色空間内の３次元ベクトルとして考えた場合に、３次元ベクトルをＲＧＢ色空間に対応付けられる球面座標系（θ、ψ、ｒ）で表現すると、画素の明るさ（信号強度、輝度も同義である）は、ベクトルの大きさを表すｒ軸の座標値に相当する。また、画素の色彩（色相、色差、彩度などを含む色情報）を表すベクトルの向きは、θ軸およびψ軸の座標値によって規定される。このため、球面座標系（θ、ψ、ｒ）を用いることにより、画素の明るさおよび色彩を規定するｒ、θ、ψの３つのパラメータを個別に取り扱うことができる。
【０１７３】
（数３９）は、目的画像の球面座標系で表現された画素値の、ｘｙ空間方向の２階差分値の２乗和を定義している。（数３９）は、目的画像内で空間的に隣り合う画素における球面座標系で表現された画素値の変化が一様であるほど、値が小さくなる条件ＱS1を定義している。画素値の変化が一様であることは、画素の色が連続していることに対応する。条件ＱS1の値が小さくあるべきということは、目的画像内の空間的に隣り合う画素の色が連続すべきということを表している。
【０１７４】
画像中において画素の明るさの変化および画素の色彩の変化は、物理的に異なる事象から生じ得る。このため、（数３９）に示すように、画素の明るさの連続性（ｒ軸の座標値の変化の一様性）に関する条件（（数３９）の大括弧内の第３項）と、画素の色彩の連続性（θ軸およびψ軸の座標値の変化の一様性）に関する条件（（数３９）の大括弧内の第１項および第２項）とを個別に設定することにより、望ましい画質を得やすくなる。
【０１７５】
λθ（ｘ，ｙ）、λψ（ｘ，ｙ）、およびλr（ｘ，ｙ）は、それぞれ、θ軸、ψ軸、およびｒ軸の座標値を用いて設定される条件に対して、目的画像の画素位置（ｘ，ｙ）において適用される重みである。これらの値は、予め定めておく。簡単には、λθ（ｘ，ｙ）＝λψ（ｘ，ｙ）＝１．０、λr（ｘ，ｙ）＝０．０１のように、画素位置やフレームに依らずに設定してもよい。また、好ましくは、画像中の画素値の不連続性などが予測できる位置において、この重みを小さく設定してもよい。画素値が不連続であることは、入力画像のフレーム画像内の隣り合う画素における画素値の差分値や２階差分値の絶対値が一定値以上であることにより判断してもよい。
【０１７６】
画素の色彩の連続性に関する条件に適用する重みを、画素の明るさの連続性に関する条件に適用する重みよりも大きくしておくことが望ましい。これは、被写体表面の凹凸や動きによる被写体表面の向き（法線の向き）の変化によって、画像中の画素の明るさが色彩に比べて変化しやすい（一様性に乏しい）ことによる。
【０１７７】
なお、（数３９）では、目的画像の球面座標系で表現された画素値の、ｘｙ空間方向の２階差分値の２乗和を条件ＱS1として設定したが、２階差分値の絶対値和、または１階差分値の２乗和もしくは絶対値和を条件として設定してもよい。
【０１７８】
上記説明ではＲＧＢ色空間に対応付けられる球面座標系（θ、ψ、ｒ）を用いて色空間条件を設定したが、用いる座標系は球面座標系に限るものではなく、画素の明るさと色彩とを分離しやすい座標軸を有する新たな直交座標系において条件を設定することで、前述と同様の効果が得られる。
【０１７９】
新たな直交座標系の座標軸は、例えば、入力動画像または基準となる他の動画像に含まれる画素値のＲＧＢ色空間内での頻度分布を主成分分析することで固有ベクトルの方向を求め、求めた固有ベクトルの方向に設ける（固有ベクトル軸とする）ことができる。
【数４０】
2012127772.tif 000042
【０１８０】
（数４０）において、Ｃ1（ｘ，ｙ）、Ｃ2（ｘ，ｙ）、Ｃ3（ｘ，ｙ）は、目的画像の画素位置（ｘ，ｙ）における赤、緑、青のそれぞれの画素値であるＲＧＢ色空間の座標値を、新たな直交座標系の座標軸Ｃ1、Ｃ2、Ｃ3の座標値に変換する回転変換である。
【０１８１】
（数４０）は、目的画像の新たな直交座標系で表現された画素値の、ｘｙ空間方向の２階差分値の２乗和を定義している。（数４０）は、目的画像の各フレーム画像内で空間的に隣り合う画素における新たな直交座標系で表現された画素値の変化が一様である（つまり画素値が連続している）ほど、値が小さくなる条件ＱS2を定義している。
【０１８２】
条件ＱS2の値が小さくあるべきことは、目的画像内の空間的に隣り合う画素の色が連続すべきことを表している。
【０１８３】
λC1（ｘ，ｙ）、λC2（ｘ，ｙ）、λC3（ｘ，ｙ）はそれぞれ、Ｃ1軸、Ｃ2軸、Ｃ3軸の座標値を用いて設定される条件に対して、目的画像の画素位置（ｘ，ｙ）において適用される重みであり、予め定めておく。
【０１８４】
Ｃ1軸、Ｃ2軸、Ｃ3軸が固有ベクトル軸である場合、各固有ベクトル軸に沿ってλC1（ｘ，ｙ）、λC2（ｘ，ｙ）、λC3（ｘ，ｙ）の値を個別に設定することで、固有ベクトル軸によって異なる分散の値に応じて好適なλの値を設定できるという利点がある。すなわち、非主成分の方向には分散が小さく、２階差分の２乗和が小さくなることが期待できるため、λの値を大きくする。逆に、主成分の方向にはλの値を相対的に小さくする。
【０１８５】
以上、２種類の条件ＱS1、ＱS2の例を説明した。条件ＱSとしては、ＱS1、ＱS2いずれを用いることもできる。
【０１８６】
例えば、（数３９）に示される条件ＱS1を用いた場合、球面座標系（θ、ψ、ｒ）を導入することにより、色情報を表すθ軸およびψ軸の座標値、ならびに信号強度を表すｒ軸の座標値のそれぞれの座標値を個別に用いて条件を設定し、かつ条件の設定に際して色情報と信号強度とにそれぞれ好適な重みパラメータλを付与できるので、高画質の画像の生成が容易になるという利点がある。
【０１８７】
（数４０）に示される条件ＱS2を用いた場合、ＲＧＢ色空間の座標値から線型（回転）変換によって得られる新たな直交座標系の座標値で条件を設定するため、演算が簡素化できる利点がある。
【０１８８】
また、固有ベクトル軸を新たな直交座標系の座標軸Ｃ1、Ｃ2、Ｃ3とすることにより、より多くの画素が影響を受ける色の変化を反映した固有ベクトル軸の座標値を用いて条件設定できる。このため、単純に赤、緑、青の各色成分（コンポーネント）の画素値を用いて条件を設定する場合と比べて、得られる目的画像の画質の向上が期待できる。
【０１８９】
なお、評価関数Ｊは、上記に限定するものではなく、（数３８）の項を類似式からなる項と置換し、また異なる条件を表す新たな項を追加してもよい。
【０１９０】
次に、（数３８）の評価関数Ｊの値をできるだけ小さく（望ましくは最小に）する目的画像の各画素値を求めることによって、目的画像の各色画像ＲH、ＧH、ＢHを生成する。
【０１９１】
評価関数Ｊを最小にする目的画像ｇは、例えば、Ｊを目的画像ｆの各色画像ＲH、ＧH、ＢHの各画素値成分で微分した式を全て０とおいた（数４１）の方程式を解いて求めることができる。
【数４１】
2012127772.tif 000043
【０１９２】
各辺の微分式が０になるのは、（数３８）の第１項〜第３項の各項が表している各２次式の傾きが０となるときである。このときのＲH、ＧH、ＢHが、各２次式の最小値を与える望ましい目的画像であるといえる。
【０１９３】
他の方法として、たとえば最急勾配法などの反復演算型の最適化手法を用いて望ましい目的画像を求めてもよい。
【０１９４】
なお、本実施形態では、出力するカラー画像をＲＧＢとして説明したが、例えばＹＰｂＰｒ等、ＲＧＢ以外のカラー画像を出力することももちろんできる。すなわち、上記（数４１）と、下記（数４２）とから、（数４３）に示す変数変換を行うことができる。
【数４２】
2012127772.tif 000044
【数４３】
2012127772.tif 000045
【０１９５】
さらに、ＹＰｂＰｒ４：２：２フォーマットの場合、Ｐｂ、ＰｒはＹと比べて水平画素数が半分であることを考慮して、下記（数４４）の関係を利用することにより、ＹH、ＰｂL、ＰｒLについての連立方程式を立てることができる。
【数４４】
2012127772.tif 000046
この場合、連立方程式で解くべき変数の総数をＲＧＢの場合と比べて３分の２に低減させることができ、演算量を低減できる。
【０１９６】
図３６に、上記の高画質化処理を実現する画像処理部１１０２の構成の一例を示す。いま、（数４）のＭを２とし、Ｑとして（数３７）を用い、これらの式におけるｍを２とし、１階微分、２階微分の差分展開として（数１４）（数１５）（数１６）のいずれかを用いた場合、評価式Ｊはｆの２次式となり、評価式を最小化するｆの計算は、
【数４５】
2012127772.tif 000047
により与えられる。（数４５）はｆについての連立一次方程式の計算に帰着するため、解くべき連立方程式を
【数４６】
2012127772.tif 000048
という形で表現できる。（数４６）において、Ａは方程式の係数行列を、ｂは右辺ベクトルをそれぞれ表す。図３６に示す画像処理部１１０２は、長時間露出画像ならびに短時間露出画像から（数４６）における係数行列Ａおよび右辺ｂをそれぞれ計算する、係数行列Ａ計算部３６０１と定数ベクトルｂ計算部３６０２を含み、それに加えて（数４６）の方程式を解く連立方程式求解部３６０３を有する。
【０１９７】
また、本実施形態に係る撮像素子において、長時間画素と短時間画素でそれぞれ露出時間が異なることから、それぞれの画素から得られる出力信号のレベルが異なることが考えられる。例えば、図１１のように長時間画素の露出時間を短時間画素の４倍とした場合には、長時間画素の画素出力信号は短時間画素の２〜４倍程度になりうる。そこで、本発明に係る高画質化処理部１０５は、図３４に示すように、短時間画素の出力信号レベルを長時間画素とそろえるためのゲイン調整部３４０１を備えていてもよい。ゲイン調整部３４０１で短時間画素の出力信号に掛け合わせるゲインの値は、例えば２倍としてあらかじめ決められていてもよいし、各フレームの画素信号を測定しながら動的に決められてもよい。各フレームの画素信号を測定しながらゲイン値を決める場合は、例えば図３４における破線の矢印に示すように、長時間露出画像のデータをゲイン調整部３４０１に伝達する経路を設けたうえで、ゲイン調整部３４０１内で長時間露出および短時間露出画像の各画素値の比を求め、各画素における比の平均を最適なゲインとする形で実現することができる。
【０１９８】
続いて、本発明による効果について説明する。まず、本実施形態における長時間画素ならびに短時間画素の配置、及び前記の高画質化処理方法の有効性について、実際の処理結果画像を交えて説明する。
【０１９９】
いま、図２６中の被写体が高速に反時計回りに回転しており、長時間画素において短時間画素の４フレーム分に相当する時間の露出を行うことで、例えば図２７のような動きぶれを含んだ画像が撮像されたとする。図２８は、図２７に示す画像をＧ成分の入力とし、また低解像度であるが短時間露出のために動きぶれを含まない画像（非図示）をＲ及びＢ成分の入力として、特許文献１及び２に記載の従来技術によって高画質化処理を行った結果である。加えて同図には、高画質化処理の性能の客観的指標として広く用いられているＰＳＮＲの値を記している。これは、正解画像（図２６）との誤差に対応する値であり、下記（数４７）で定義される値である。
【数４７】
2012127772.tif 000049
【０２００】
（数４７）において、Ｉ（ｘ，ｙ）は高画質化処理の出力画像の位置（ｘ，ｙ）における画素値、Ｉtrue（ｘ，ｙ）は正解画像の（ｘ，ｙ）における画素値、Ｎは画像の総画素数、Ｉmaxは画像における画素値の最大値（各画素値が８ビットで記述される場合は２５５）を表す。ＰＳＮＲの値が大きいほど、Ｉ（ｘ，ｙ）は正解画像Ｉtrueによく類似していることを意味する。
【０２０１】
同図中の白楕円で囲んだところに、色ずれに起因する偽の輪郭が発生しており、カラー画像において、これは緑色の色にじみとして検知される。これは、被写体の動きが非常に大きく、動き検出範囲を越えるなどの理由で図１２中の動き検出部１１０１において正しく動きが検出できなかったために、長時間露出で撮像を行ったＧ成分画像の動きぶれがうまく除去されなかったために発生したものである。
【０２０２】
図２９に、本発明の撮像方式ならびに高画質化処理法によって高画質化を行った画像を示す。同図に示すように、本発明の撮像方式に基づいた高画質化処理結果は、図２８の画像で顕著に見られた色ずれが発生しておらず、正解画像により近いものとなっている。図中に示したＰＳＮＲも、図２８に比べ大きな値となっている。
【０２０３】
また、本発明に係る撮像素子では、長時間画素並びに短時間画素が対称的な配置であること、すなわち撮像面上で水平及び垂直方向に交互に繰り返して配置されていることが好ましい。図４１に、対称的な配置と、そうでない配置の例を示す。いま、図４１中のブロック１およびブロック２を、図４１（ｃ）に示すように、Ｒ、Ｇｒ、Ｇｂ、Ｂ画素各色成分画素の長時間画素および短時間画素からなる画素の集合とする。つまり、それぞれのブロックは、全８種類の画素（ＲL、ＧｒL、ＧｂL、ＢL、ＲS、ＧｒS、ＧｂS、ＢS）の一部あるいは全部が、ある順序で配置された画素群である。これらのブロックの一例を同図（ｃ）に示しており、例えばブロック１はＲL画素、ＧｒL画素、ＧｂS画素およびＢS画素が同図に示されるように配置された画素群であり、ブロック２はＲS画素、ＧｒS画素、ＧｂL画素およびＢL画素が同図に示されるように配置された画素群である。対称的な画素配置とは、図４１（ａ）に示されるような、ブロック１とブロック２が水平・垂直方向ともに交互に配列されている状態を示す。一方で、対称でない配置とは、例えば図４１（ｂ）に示されるような、撮像面上の左側にはブロック１が、右側にはブロック２が集中して配置されている状態を示す。
【０２０４】
本発明の有効性を示すものとして、これらの画素の配置が対称的でない構成の場合の高画質化処理後の画像を示し、本発明による出力画像と比較する。ここでは、その比較対象として、長時間画素及び短時間画素を図３０及び図３１に示す配列とした場合の高画質化処理後の画像を用いる。図３０は、撮像面上の水平画素ライン単位で露出時間を長時間あるいは短時間に設定した場合の構成であり、長時間画素および短時間画素の配置の対称性が崩れている。また、図３１は、ベイヤ配列におけるＲ画素及びＢ画素を短時間露出に設定し、さらにＧｒ画素とＧｂ画素の両方をいずれか一方（ここではＧｒ画素）を長時間露出、他方を短時間露出と設定した場合の構成である。
【０２０５】
この場合は、長時間画素および短時間画素の配置の対称性は大きく崩れていないものの、長時間画素の数が少ない。これらの構成の撮像素子からの出力に対して高画質化処理を行う場合、本実施形態における高画質化方法と処理内容において異なる点は、前記（数６）及び（数８）に示す行列Ｈ1及びＨ2の形のみであり、その他の計算は本実施形態に記載の方法とまったく同様に行うことができる。図１４に示すような、幅４画素（ｘ＝０，１，２，３）、高さ２画素（ｙ＝０，１）、２フレーム（ｔ＝０，１）の画像について、（数６）と同様の表現をした場合、図３０の構成に対する行列Ｈ1及びＨ2は例えば（数４８）に示される形として、図３１の構成に対するＨ1及びＨ2は例えば（数４９）に示される形としてそれぞれ与えられる。
【数４８】
2012127772.tif 000050
【０２０６】
なお、（数４８）は図１４における図中上側（ｙ＝０）の画素を長時間画素、下側（ｙ＝１）の画素を短時間画素として記述している。
【数４９】
2012127772.tif 000051
【０２０７】
なお、図３１に示す長時間画素ならびに短時間画素の配列では、長時間画素の数が他の構成に比べて少ないため、長時間画素の露出時間を他の構成と同一にすると、撮像素子全体で取得できる光量は他の構成に比べて少ないこととなる。そこで、他の構成と同等量の入射光を得るために、この構成においては長時間画素の露出時間を他の構成の２倍、すなわち短時間画素の８倍としている。
【０２０８】
図３２は、長時間画素ならびに短時間画素を図３０に示す配列とした場合の、高画質化処理出力画像である。図中の白枠内に示すように、回転する被写体内のエッジ部分において、画面水平方向に櫛状のアーティファクトが発生している。それに加え、同図中に示したＰＳＮＲの値も、図２９のものより小さな値となっている。これは、長時間露出のラインで撮像された画像のぶれが除去しきれていないことが原因である。図３０に示す画素配列においては、各々の水平ラインはすべて長時間あるいは短時間画素で構成されるために、各長時間画素は動き情報を上下方向に近接する短時間画素からのみ得られ、水平方向からは得られない。このように、長時間画素および短時間画素の配置の対称性が崩れると顕著なアーティファクトが発生し、前記画素配置の対称性は高画質化処理部１０５の性能に大きく影響する。これに対し、図２９に示す本発明に係る撮像素子の構成では、水平方向の画素配列の対称性により、このようなアーティファクトの発生を抑制している。
【０２０９】
図３３は、長時間画素ならびに短時間画素を図３１に示す配列とした場合の、高画質化処理出力画像である。この場合の出力画像は、図２８の従来技術による出力画像のような顕著なアーティファクトは含まれておらず、画質の低下はそれほど大きくない。しかしながら、図３３内の白楕円内の箇所で色ずれに起因するにせ輪郭が発生しており、またこれはカラー画像の場合より顕著に目立つ。ＰＳＮＲについても、図２９の本発明の構成による出力画像よりも低い値となっている。
【０２１０】
この差は、図３１の構成において撮像面上の長時間画素の数が本発明に係る撮像素子よりも少なく、特に同図中における上から２行目及び４行目の水平画素ラインが、短時間画素のみによって構成されていることに起因する。これらの水平画素ラインは、同じ水平ラインに長時間画素が存在しないために、高Ｓ／Ｎの長時間画素信号を高画質化処理の過程でうまく引き込めず、その結果高画質化処理後の画像全体のＳ／Ｎを低下させる。長時間画素の露出時間をより長くすることで全体の光量を増加できるが、上記理由により処理後の画像のＳ／Ｎ改善効果は乏しく、また長時間画素の露出時間が長くなるほど後段の高画質化処理において性能を出しづらくなるために、全体として処理後の画像の画質は劣化する。これに対し、本実施形態に係る撮像素子では、長時間画素をすべての水平画素ラインに設けているため、長時間画素の露出時間を極端に長くせずとも光量の確保が可能であり、高画質化処理が行いやすい。
【０２１１】
図１６Ａおよび図１６Ｂを参照しながら、本実施形態によって得られる他の効果を説明する。
【０２１２】
本実施形態における撮像素子は、図４に示すように、長時間あるいは短時間画素の配置の対称性に加え、読み出し信号線及び出力信号線の本数を、非特許文献１に記載の従来の構成よりも減らしている。図１６Ａは従来の構成を示す図であり、図１６Ｂが本実施形態の構成を示す図である。同図中の太破線で示しているのが画素の開口部である。従来の構成に比べ、本実施形態の構成によれば、開口部の面積を大きくすることができる。例えば、従来技術における開口部のサイズが２．５μｍ×２．５μｍ、読み出し信号線幅が０．２３μｍ、出力信号線幅が０．２６μｍである場合、図１６Ｂの構成を採用することにより、画素の開口面積を約２１％向上させることができる。
【０２１３】
また、ここで注意すべきは、本実施形態にかかる撮像素子は、広大な画素開口面積と高画質の出力画像を同時に実現できることである。図４に示すように、本実施形態にかかる撮像素子は、読み出し信号背４０１と４０２、および出力信号線４０３から４０６を隣接画素同士で共有することで、各画素上の読み出し信号線および出力信号線数を１本ずつに減らしている。上記で本実施形態における撮像素子との比較に用いた、図３０および３１に示す画素配列に対しては、図３０の配列については上記と同様の配線が可能であるが、図３１の配列については不可能である（図３９および図４０を参照）。
【０２１４】
図３１の配列では、短時間画素同士が縦方向に連続して配置されるため、それらの画素で出力信号線を共有すると、出力信号線上でそれらの画素の出力が混合するため、出力信号線あるいは読み出し信号線を少なくとも２本設置する必要がある（図４０では、出力信号線を２本としている）。よって、図３１に示す画素構成は、出力画質の点では本実施形態にかかる撮像素子とほぼ同等であるが、画素の開口面積の点で劣っており、また逆に言うと、本実施形態にかかる撮像素子は、広大な画素開口面積とアーティファクトの少ない出力画像を同時に実現できる点で、図３１を含めた他の構成よりも優れている。
【０２１５】
図１７Ａは、本実施形態における他の画素配列（補色系）を示す図である。この画素配列では、シアン（Ｃ）、マゼンタ（Ｍ）、イエロー（Ｙ）、およびＧの色成分について、撮像を行うことができる。この場合は、例えば、図４におけるＲ画素の位置にＭ画素、Ｂ画素の位置にＣ画素、Ｇｒ画素の位置にＧ画素、Ｇｂ画素の位置にＹ画素が配置され得る。また図１７Ａにおける各記号の添え字Ｓ及びＬは、図４で用いたものと同じ意味を持つ。このような配置例を採用することにより、Ｃ画素、Ｍ画素、Ｙ画素及びＧ画素のそれぞれについて、長時間露出及び短時間露出による撮像信号を取得することが可能となり、またそれらの画素の配置も対称的にすることができる。図１７Ｂは、本実施形態における他の画素配列（補色系）を示す図である。
【０２１６】
なお、本実施形態において、画素アレイ３０１における画素配列を、水平方向にＲ画素とＧ画素、およびＢ画素とＧ画素を交互に配置する構成としているが、本発明に係る撮像素子においてはこの配置に限定されるものではない。
【０２１７】
本実施形態に係る構成を採用することにより、一つの撮像素子から２種類のフレームレートが混在する状態で画素出力を読み出し、かつ複数の行あるいは列にまたがる複数の画素の出力信号を並列に出力する撮像方式のカラー単板撮像素子を有する撮像装置において、色成分画素の配置及び長時間露出・短時間露出で撮像を行う画素の配置を対称的にすることによって高画質化処理後の画像の画質を向上することができる。さらに、画素が微細化した場合でも、画素の開口面積を確保し撮影感度を向上させることができる。
【０２１８】
（実施の形態２）
次に、図１８を参照しながら、本発明による撮像素子の第２の実施形態を説明する。本実施形態では、画素アレイ３０１から出力される画素出力信号の振り分け方が、第１実施形態と異なる。
【０２１９】
図１８は、本発明の第２の実施形態に係る撮像素子１０２の構成を示す図である。撮像素子１０２は、画素アレイ３０１、短時間ＡＤ変換部１７０２、短時間ＨＳＲ１７０４、長時間ＡＤ変換部１７０５、長時間ＨＳＲ１７０７、ならびにラッチ部１７０３及び１７０６を備える。短時間ＡＤ変換部１７０２及び長時間ＡＤ変換部１７０５は、それぞれ、前記短時間画素及び長時間画素の画素出力信号のアナログ−デジタル変換を行う。短時間ＨＳＲ１７０４及び長時間ＨＳＲ１７０７は、それぞれ、前記ＡＤ変換部の出力を、撮像素子１０２外に出力する。すなわち、本実施形態では、画素アレイ３０１から画素の露出時間に応じて出力方法をそれぞれ変えている。
【０２２０】
本実施形態において、画素アレイ３０１からの画素出力信号の出力系統を短時間画素・長時間画素で振り分けている。実際は、それぞれの露出時間で撮像を行う画素に対して４種類（Ｒ、Ｂ、Ｇｒ、Ｇｂ）の画素が存在する。図１８において、短時間ＡＤ変換部１７０２、短時間ＨＳＲ１７０４、長時間ＡＤ変換部１７０５、長時間ＨＳＲ１７０７は単一のブロックとして記載しているが、実際は、各々のＡＤ変換部ならびにＨＳＲはＲ画素用、Ｂ画素用、Ｇｒ画素用、Ｇｂ画素用の４つの内部機構を持つ。ここで用いている短時間ＡＤ変換部１７０２、短時間ＨＳＲ１７０４、長時間ＡＤ変換部１７０５、長時間ＨＳＲ１７０７という呼称は、それらの４種類の画素に対するＡＤ変換ならびに水平転送機構を総称したものである。
【０２２１】
本実施形態において、画素出力信号を出力する手順について以下に述べる。第１実施形態と同様に、本実施形態においても、短時間画素の読み出し信号をＴＲＡＮＳ、長時間画素の読み出し信号をＴＲＡＮＬと呼ぶこととする。
【０２２２】
本実施形態における、読み出し信号ＴＲＡＮＳおよびＴＲＡＮＬがともにＨレベルとなるフレームにおける画素アレイ３０１の動作について、図１９および図２０を参照しながら説明する。以下の説明では、図１８に示す構成を備える固体撮像素子を例にとる。
【０２２３】
図１９は、ＴＲＡＮＳがＨレベルとなったときの、撮像制御部１０３および画素アレイ３０１を示す。ＴＲＡＮＳがＨレベルとなると、同図中実線で示した第２読み出し信号線４０２を伝達する信号がＨレベルとなる。このとき、出力信号線４０３にはＧｂS画素の画素出力信号が伝達され、出力信号線４０４にはＢS画素の画素出力信号が伝達され、出力信号線４０５にはＲS画素の画素出力信号が伝達され、出力信号線４０６にはＧｒS画素の画素出力信号が伝達される。このとき、前記第１実施形態との差異として、４本の出力信号線４０３〜４０６を一括して短時間ＡＤ変換部１７０２へと通すスイッチ１８０５を、撮像制御部１０３によってＯＮの状態にする。その結果、ＧｂS画素、ＢS画素、ＲS画素、及びＧｂS画素の画素出力信号が、それぞれ短時間ＡＤ変換部１７０２内のＧｂ画素ＡＤ変換部１８０１、Ｂ画素ＡＤ変換部１８０２、Ｒ画素ＡＤ変換部１８０３、及びＧｒ画素ＡＤ変換部１８０４に伝達される。
【０２２４】
その後、例えば直前のＴＲＡＮＳによる読み出しが対象となるすべての短時間Ｂ画素で完了した後に（図８の例では６μｓ後）、ＴＲＡＮＬがＨレベルとなり、読み出し信号線４０１を伝達する信号がＨレベルとなる。このときの画素アレイ３０１を図２０に示す。
【０２２５】
このとき、出力信号線４０３にはＲL画素の画素出力信号が、出力信号線４０４にはＧｒL画素の画素出力信号が、出力信号線４０５にはＧｂL画素の画素出力信号が、出力信号線４０６にはＢL画素の画素出力信号が、それぞれ伝達される。さらに、このとき４本の出力信号線４０３〜４０６を一括して長時間ＡＤ変換部１７０５へと通すスイッチ１８１０を、撮像制御部１０３によってＯＮの状態にする。その結果、ＲL画素、ＧｒL画素、ＧｂL画素、及びＢL画素の画素出力信号が、それぞれ長時間ＡＤ変換部１７０５内のＲ画素ＡＤ変換部１８０６、Ｇｒ画素ＡＤ変換部１８０７、Ｇｂ画素ＡＤ変換部１８０８、及びＢ画素ＡＤ変換部１８０９に伝達される。
【０２２６】
なお、図１９及び図２０において、短時間ＡＤ変換部１７０２及び長時間ＡＤ変換部１７０５の内部構成を、Ｒ画素ＡＤ変換部１８０３あるいは１８０６、Ｇｒ画素ＡＤ変換部１８０４あるいは１８０７、Ｇｂ画素ＡＤ変換部１８０１あるいは１８０８、及びＢ画素ＡＤ変換部１８０２あるいは１８０９が紙面横方向に配列した構成となっているが、実際の撮像素子上でのこれらのＡＤ変換部の配置は任意であり、例えば垂直方向に４種類の画素のＡＤ変換部が配置されている構成でもよい。
【０２２７】
また、図１９及び図２０に記載のスイッチ１８０５及び１８１０は、同図中では４本の出力信号線４０３から４０６の導通及び切断を一括して制御しているが、各出力信号線に一つずつスイッチを設け、それぞれのスイッチにＯＮ・ＯＦＦの制御信号を供給できる構成でもかまわない。
【０２２８】
また、本実施形態に係る撮像素子１０２においては、図１８におけるラッチ部１７０３及び１７０６は必ずしも必須ではなく、図２１に示すような前記ラッチ部を除いた構成でもかまわない。これは、本実施形態に係る撮像素子が短時間画素用の出力端と長時間画素用の出力端を個別に有しているためで、該撮像素子の後段に位置する信号処理部（例えば図２Ｃにおける高画質化処理部１０５）において、短時間画素の出力と長時間画素の出力を別々に受け取り、該信号処理部においてそれらの画素信号を一つの画像として再構築させることも可能である。
【０２２９】
本実施形態に記載の構成とすることにより、各画素の画素出力信号の読み出し速度を前記第１実施形態の構成に比べ速くすることができる。本実施形態では、短時間画素用のＡＤ変換部１７０２と長時間画素用のＡＤ変換部１７０５を別々に配置しているため、図１９あるいは図２０における読み出し信号ＴＲＡＮＳ及びＴＲＡＮＬのそれぞれＨレベルとなる時刻の時間差に、ＡＤ変換に要する時間を含める必要がない。よって、前記時間差を前記第１実施形態の構成に比べ短くすることが可能で、読み出しの高速化を図ることができる。
【０２３０】
（実施の形態３）
第３実施形態では、本発明に係る撮像素子における長時間画素及び短時間画素の配列方法について、前記第１及び第２実施形態に記載の配列以外の他の方法の例を示す。
【０２３１】
図２２は、長時間画素及び短時間画素を、水平方向に連続して配置された３画素ごとに設定した場合の例である。同図に示すように、本実施形態に係る撮像素子の画素アレイ上では、水平方向にＲL画素、ＧｒL画素、ＲL画素、ＧｒS画素、ＲS画素、ＧｒS画素・・・の順で配列した水平ラインと、ＧｂS画素、ＢS画素、ＧｂS画素、ＢL画素、ＧｂL画素、ＢL画素・・・の順で配列した水平ラインが、垂直方向に交互に繰り返される。図２２に示す構成では、第１実施形態について説明したように、従来技術よりも配線数を少なく抑えることが可能な配線方法を用いることができる。
【０２３２】
図２２に記載の構成は、水平方向に連続して配置される長時間あるいは短時間画素の数を、３画素に限らず４画素、５画素・・・と容易に拡張できる。しかし、長時間あるいは短時間画素が連続して配置される画素数が増加すると、連続する長時間画素の水平画素群の中央部に位置する画素は、特に水平方向の被写体の動きに対して、周囲の短時間画素から高フレームレートの情報を得るのが困難になる。よって、実用上は、前記水平方向に連続して配置される長時間あるいは短時間画素の数は、４画素程度以下に設定することが好ましい。
【０２３３】
図２３Ａに、本発明に係る撮像素子の画素アレイにおいて、垂直方向に２画素ごとに長時間画素及び短時間画素を配置した場合の一例を示す。同図の配置によっても、前記の色成分画素の配置及び長時間・短時間画素の配置の対称性は維持される。
【０２３４】
しかし、同図に示すように、この構成では前記第１実施形態の構成ほどに配線数を減らせず、各画素位置に読み出し信号線あるいは出力信号線のいずれかが２本配置されることとなる。図２３Ａは出力信号線を２本配置した例を示し、同図Ｂは読み出し信号線を２本配置した例を示す。図２３Ａの構成では、短時間画素用の読み出し信号及び長時間画素用の読み出し信号の２系統ですべての画素出力を読み出すことができる。一方で、同図Ｂの構成では、同じ長時間画素であっても、ＲL画素の読み出し信号と、ＧｂL画素の読み出し信号は別系統にし、またそれらを同時にＨレベルにせず、時間差を持たせる必要がある。これは、ＧｒL画素とＢL画素も同様で、また短時間画素のＲS画素とＧｂS画素、ＧｒS画素とＢS画素についても同様である。各々の読み出し信号がＨレベルになるタイミングに持たせる時間差は、例えば第１実施形態における図８と同様、６μｓとすればよい。
【０２３５】
図２４及び図２５は、本発明に係る撮像素子の画素アレイにおいて、垂直及び水平方向に２画素ごとに長時間画素及び短時間画素を配置した場合の例を示す。同図は各画素について読み出し信号線を１本、出力信号線を２本配置する構成となっているが、図２４あるいは図２５の構成についても、図２３Ｂに示す構成と同様にして、読み出し信号線を２本、出力信号線を１本とする配置も可能である。同図の配置によっても、前記の色成分画素の配置及び長時間・短時間画素の配置の対称性は維持される。
【０２３６】
なお、図２３Ａから図２５に示す構成では、同図に示すように、各画素について読み出し信号線と出力信号線のいずれかが２本配置されることになる。よって、第１実施形態に記載の構成に比べると、画素の開口面積が減少し、画素の感度が低下しうる。しかし、非特許文献１に記載の従来技術の構成では読み出し信号線と出力信号線の双方が画素ごとに２本ずつ配置されていたのに対し、本実施形態の構成ではそのいずれか一方のみ２本配置することで動作させられるため、従来技術の構成に比べると配線数を減らすことができており、開口面積の点で有利である。
【０２３７】
本実施形態において述べたように、本発明に係る撮像素子は、長時間画素及び短時間画素の配置を前記第１実施形態に記載の構成に限らず、他の構成によっても実現することが可能である。
【０２３８】
（実施の形態４）
実施の形態１では、高画質化処理部１０５における処理に、（数１０）に示す劣化拘束、例えば（数３４）に示す動き拘束、ならびに例えば（数１１）に示す滑らかさ拘束の全てを用いる場合を主に述べたが、ここでは、これらのうち動き拘束を用いない場合について説明する。図３７は、高画質化処理部１０５における処理に動き拘束を用いない場合の、本発明に係る撮像装置の構成図である。図３７の構成要素のうち、図２Ａと同じ動作をする物については、図２Ａと同一の符号を付し、説明を省略する。この構成では、前記第１実施形態の図１２における動き検出部１１０１が含まれていない。この構成により、演算量を低減することができる。従来の技術では、動き拘束を用いない場合、処理結果に明らかな画質の低下が生じるが、本発明では顕著な画質低下を生じさせずに動き拘束を省くことができる。その理由は、ＲＧＢそれぞれの色チャンネルにおいて、短時間露出によって撮影された画素と長時間露出によって撮影された画素が混在するため、動き拘束を用いずに高画質化処理を行った際に、短時間露出によって撮影された画素値が色にじみの発生を抑える効果があるためである。
【０２３９】
以下に、高画質処理部３７０１における高画質化処理について説明する。
【０２４０】
（数４）のＭを２とし、Ｑとして（数１１）ないし（数１２）を用い、これらの式におけるｍを２とし、１階微分、２階微分の差分展開として（数１４）（数１５）（数１６）のいずれかを用いる場合、もしくは、（数３８）のＰを２とする場合、評価式Ｊはｆの２次式となる。すると、前記第１実施形態における（数４５）あるいは（数４６）と同様に、ｆを連立一次方程式の解として得ることができる。この連立方程式を（数４６）と同様に
【数５０】
2012127772.tif 000052
とおく。（数５０）の連立方程式を解く高画質化処理部３７０１の内部構成の一例を、図３８に示す。本実施形態ではｆの方程式に短時間露出画像の動きを用いないため、係数行列Ａはコンテンツに依存しない。よって、同図に示すように、係数行列Ａテーブル３８０１にあらかじめその値を格納しておくことが可能である。また、係数行列Ａテーブル３８０１には、Ａの逆行列を格納しておいてもよい。
【０２４１】
連立方程式求解部３８０３では、ｆを求めるために右辺ｂにＡの逆行列を直接掛け合わせる操作を行ってもよいし、またＡの形が巡回行列であるならば、高速フーリエ変換を行うことによって対角化でき、Ａの逆行列とｂの乗算にかかる乗算回数をさらに減らすことも可能であるため、連立方程式求解部３８０３が係数行列Ａあるいは右辺ベクトルｂの高速フーリエ変換を行う機能を有していてもよい。連立方程式求解部３８０３が前記フーリエ変換を行う機能を有する場合、フーリエ変換行列をＷとおいたときに係数行列Ａが
【数５１】
2012127772.tif 000053
という形で対角化され、最終的に求めるべきｆは
【数５２】
2012127772.tif 000054
として得られる。
【０２４２】
本実施形態に記載の構成とすることにより、係数行列Ａを入力に応じて計算する必要がなくなり、また対角化できる場合はさらに乗算回数を低減できるため、演算量の低減ならびに計算に要する時間の短縮が可能となる。
【０２４３】
（実施の形態５）
第１から第４実施形態では、撮像面上で連続して配置される長時間画素の群（第１画素群と称する）を構成する画素の数と短時間画素の群（第２画素群と称する）を構成する画素の数とが互いに等しい。しかし、本発明にかかる撮像装置は、これに限定されない。例えば、第１画素群を構成する長時間画素の数は、第２画素群を構成する短時間画素の数よりも多くてもかまわない。さらに、本発明にかかる撮像素子において、第１画素群と第２画素群の構成は撮像面全体で一定である必要はなく、例えば撮像面上で場所によって第１及び第２画素群を構成する画素の数を変えてもよい。本実施形態では、第１画素群と第２画素群の構成が一定でない。
【０２４４】
なお、第１画素群を構成する画素数と第２画素群を構成する画素数が異なる場合でも、第１画素群と第２画素群は水平あるいは垂直方向に交互に配列している必要がある。
【０２４５】
図４２に、本実施形態にかかる撮像素子の例を示す。本実施形態にかかる撮像素子は、図４２に示すように、撮像面の中央部（領域Ａ）と周辺部（領域Ｂ）で、前記第１画素群と第２画素群を構成する画素の配列が異なる。
【０２４６】
領域Ａでは、図４３Ａに示すように、長時間画素及び短時間画素が２画素単位で水平方向に交互に並んでいる。すなわち、第１画素群及び第２画素群は水平方向に隣接する２画素から構成される。領域Ｂでは、図４３Ｂに示すように、３画素単位で連続する長時間画素と、２画素の単位で連続する短時間画素とが水平方向に交互に配列されている。すなわち、第１画素群は水平方向に連続する３画素で、第２画素群は水平方向に連続する２画素で構成される。
【０２４７】
領域Ａは、例えば、水平方向は撮像面上の有効画素領域の両側１／１６を除いた領域、垂直方向は有効画素領域の上下１／９を除いた領域として決定できる。なお、このような配列であっても、図４と同様に、水平及び垂直方向の画素列に対し１本ずつの読み出し信号線及び出力信号線で配線可能である。
【０２４８】
このような構成とすると、例えばレンズの特性によって撮像面の周辺部で撮像素子への入射光量が減少する場合でも、周辺部に長時間画素が多く配置されていることによって、画像の周辺部においても十分に光量を確保することができ、撮像画像ならびに後段の高画質化処理において、周辺減光の影響を減らすことができる。
【０２４９】
本実施形態について説明したように、本発明に係る撮像素子は、前記第１画素群と第２画素群を構成する画素数が等しくない構成、あるいは撮像面上の位置によって第１画素群と第２画素群の内部構成を変化させるような構成を有することも可能である。このような構成を採用すれば、レンズの周辺減光や画素シェーディングのような、撮像面上での入射光量あるいは出力信号の不均一性の、後段の高画質化処理に対する影響を減少することができる。
【０２５０】
本発明の画像処理方法は、本発明の固体撮像素子から、第１の露出時間で撮像された第１の動画像及び第２の露出時間で撮像された第２の動画像を受け取るステップと、第１及び第２の動画像から、第１の動画像のフレームレートよりも高いフレームレートのカラー動画像を生成する高画質化処理ステップとを含む。出力カラー動画像を第２の露出時間に対応するフレームレートになるよう時間サンプリングしたときにおける、各フレームの画素値と、第２露出時間によって撮像を行う画素の各フレームの画素値との誤差が減少するよう、出力カラー動画像の各フレームの画素値を決定することが好ましい。
【０２５１】
高画質化処理ステップは、生成される出力カラー動画像の画素値が、時空間的に隣り合う画素の画素値の連続性から満たすべき拘束条件を指定し、この指定された拘束条件が維持されるように出力カラー動画像を生成することができる。好ましい実施形態では、第２の露出時間で撮像された動画像から対象物の動きを検出する動き検出ステップをさらに備える。この高画質化処理ステップは、生成される新たな動画像の画素値が、前記動き検出結果に基づいて満たすべき拘束条件が維持されるように出力カラー動画像を生成する。
【０２５２】
本発明のコンピュータプログラムは、複数の動画像から新たな動画像を生成するようにコンピュータに上記の画像生成方法を実行させる。このコンピュータプログラムは、好適には有形の（ｔａｎｇｉｂｌｅ）記録媒体に記録されて使用され得る。このような記録媒体は、例えば、半導体集積回路チップ、ハードディスクドライブ、光ディスクであり得る。
【産業上の利用可能性】
【０２５３】
本発明は、カラー動画像を撮像する撮像装置、そのような装置が組み込まれた映像機器やシステム、映像合成装置、映像編集装置、画像復元装置等として利用できる。また、前記撮像装置における撮像制御動作を記述するコンピュータプログラムとしても実現することが可能である。
【符号の説明】
【０２５４】
１０・・・撮像部
１０１・・・撮影レンズ
１０２・・・単板撮像素子
１０３・・・撮像制御部
１０５・・・高画質化処理部
３０１・・・画素アレイ
３０２・・・Ｒ／Ｂ画素ＡＤ変換部
３０３・・・ラッチ部
３０５・・・Ｇｒ／Ｇｂ画素ＡＤ変換部
３０６・・・ラッチ部
４０１・・・長時間画素の読み出し信号線
４０２・・・短時間画素の読み出し信号線
４０３・・・ＲL、ＧｂS画素の出力信号線
４０４・・・ＧｒL、ＢS画素の出力信号線
４０５・・・ＲS、ＧｂL画素の出力信号線
４０６・・・ＧｒS、ＢL画素の出力信号線
９０３、９０５・・・Ｒ画素ＡＤ変換部へと通じるスイッチ
９０４、９０６・・・Ｂ画素ＡＤ変換部へと通じるスイッチ
９１０、９１２・・・Ｇｒ画素ＡＤ変換部へと通じるスイッチ
９０９、９１１・・・Ｇｂ画素ＡＤ変換部へと通じるスイッチ
１１０１・・・動き検出部
１１０２・・・画像処理部
１７０２・・・短時間画素ＡＤ変換部
１７０５・・・長時間画素ＡＤ変換部
３４０１・・・ゲイン調整部
【図１Ａ】
2012127772.tif 000055
【図１Ｂ】
2012127772.tif 000056
【図２Ａ】
2012127772.tif 000057
【図２Ｂ】
2012127772.tif 000058
【図２Ｃ】
2012127772.tif 000059
【図２Ｄ】
2012127772.tif 000060
【図３】
2012127772.tif 000061
【図４】
2012127772.tif 000062
【図５】
2012127772.tif 000063
【図６Ａ】
2012127772.tif 000064
【図６Ｂ】
2012127772.tif 000065
【図７】
2012127772.tif 000066
【図８】
2012127772.tif 000067
【図９】
2012127772.tif 000068
【図１０】
2012127772.tif 000069
【図１１】
2012127772.tif 000070
【図１２】
2012127772.tif 000071
【図１３】
2012127772.tif 000072
【図１４】
2012127772.tif 000073
【図１５】
2012127772.tif 000074
【図１６Ａ】
2012127772.tif 000075
【図１６Ｂ】
2012127772.tif 000076
【図１７Ａ】
2012127772.tif 000077
【図１７Ｂ】
2012127772.tif 000078
【図１８】
2012127772.tif 000079
【図１９】
2012127772.tif 000080
【図２０】
2012127772.tif 000081
【図２１】
2012127772.tif 000082
【図２２】
2012127772.tif 000083
【図２３Ａ】
2012127772.tif 000084
【図２３Ｂ】
2012127772.tif 000085
【図２４】
2012127772.tif 000086
【図２５】
2012127772.tif 000087
【図２６】
2012127772.tif 000088
【図２７】
2012127772.tif 000089
【図２８】
2012127772.tif 000090
【図２９】
2012127772.tif 000091
【図３０】
2012127772.tif 000092
【図３１】
2012127772.tif 000093
【図３２】
2012127772.tif 000094
【図３３】
2012127772.tif 000095
【図３４】
2012127772.tif 000096
【図３５】
2012127772.tif 000097
【図３６】
2012127772.tif 000098
【図３７】
2012127772.tif 000099
【図３８】
2012127772.tif 000100
【図３９】
2012127772.tif 000101
【図４０】
2012127772.tif 000102
【図４１】
2012127772.tif 000103
【図４２】
2012127772.tif 000104
【図４３Ａ】
2012127772.tif 000105
【図４３Ｂ】
2012127772.tif 000106
【国際調査報告】
2012127772.tif 000107
2012127772.tif 000108
2012127772.tif 000109
2012127772.tif 000110