(57)【要約】【課題】読み出しの画素数を減数しても、動画用画像および静止画用画像を高解像度で同時に出力することができる画像撮像装置を提供する。【解決手段】画像撮像装置において、固体撮像素子は、行列状に配置された複数の画素を備え、所定数の画素を含む第１領域１６０毎に画素信号を混合した第１画素混合信号と、第１領域１６０内の第２領域毎に画素信号を混合した第２画素混合信号と、第１領域１６０内の第３領域毎に画素信号を混合した第３画素混合信号とを生成し、第１領域１６０毎に第１画素混合信号と、少なくとも１つの第２画素混合信号と、少なくとも１つの第３画素混合信号とを出力する。【選択図】図３
2011109627.tif 000002
【特許請求の範囲】
【請求項１】
行列状に配置された複数の画素を備え、所定数の前記画素を含む第１領域毎に画素信号を混合した第１画素混合信号と、前記第１領域内の第２領域毎に画素信号を混合した第２画素混合信号と、前記第１領域内の第３領域毎に画素信号を混合した第３画素混合信号とを生成し、前記第１領域毎に前記第１画素混合信号と、少なくとも１つの前記第２画素混合信号と、少なくとも１つの前記第３画素混合信号とを出力する固体撮像素子と、
前記第１画素混合信号から第１画像を生成する第１画像処理部と、
前記第２画素混合信号から第２画像を生成する第２画像処理部と、
前記第３画素混合信号から第３画像を生成する第３画像処理部と、
前記第１画像、前記第２画像、前記第３画像のうちの少なくとも２つの画像から高解像度画像である第４画像を生成する第４画像処理部とを備え、
前記第２領域は、前記第１領域内の列方向に複数個配置され、前記第２領域のそれぞれは、前記第１領域の行方向の画素数と同数の画素を行方向に有し、
前記第３領域は、前記第１領域内の行方向に複数個配置され、前記第３領域のそれぞれは、前記第１領域の列方向の画素数と同数の画素を列方向に有する
画像撮像装置。
【請求項２】
前記固体撮像素子は、
少なくとも２つの前記第２画素混合信号が混合された第４画素混合信号を少なくとも１つ生成し、
前記第１の画素混合信号、少なくとも１つの前記第２画素混合信号、少なくとも１つの前記第３画素混合信号、少なくとも１つの前記第４画素混合信号を同時に出力する
請求項１に記載の画像撮像装置。
【請求項３】
前記固体撮像素子は、
少なくとも２つの前記第３画素混合信号が混合された第５画素混合信号を少なくとも１つ生成し、
前記第１の画素混合信号、少なくとも１つの前記第２画素混合信号、少なくとも１つの前記第３画素混合信号、少なくとも１つの前記第５画素混合信号を同時に出力する
請求項１に記載の画像撮像装置。
【請求項４】
前記固体撮像素子は、
少なくとも２つの前記第２画素混合信号が混合された第４画素混合信号を少なくとも１つ生成し、
少なくとも２つの前記第３画素混合信号が混合された第５画素混合信号を少なくとも１つ生成し、
前記第１の画素混合信号、少なくとも１つの前記第２画素混合信号、少なくとも１つの前記第３画素混合信号、少なくとも１つの前記第４画素混合信号、少なくとも１つの前記第５画素混合信号を同時に出力する
請求項１に記載の画像撮像装置。
【請求項５】
前記画像撮像装置は、
出力された前記第１画素混合信号、前記第２画素混合信号、前記第３画素混合信号から、出力されなかった前記第２画素混合信号、前記第３画素混合信号を生成する画素再構成部を備える
請求項１に記載の画像撮像装置。
【請求項６】
前記画像撮像装置は、
出力された前記第１画素混合信号、前記第２画素混合信号、前記第３画素混合信号、前記第４画素混合信号から、出力されなかった前記第２画素混合信号、前記第３画素混合信号を生成する画素再構成部を備える
請求項２に記載の画像撮像装置。
【請求項７】
前記画像撮像装置は、
出力された前記第１画素混合信号、前記第２画素混合信号、前記第３画素混合信号、前記第５画素混合信号から、出力されなかった前記第２画素混合信号、前記第３画素混合信号を生成する画素再構成部を備える
請求項３に記載の画像撮像装置。
【請求項８】
前記画像撮像装置は、
出力された前記第１画素混合信号、前記第２画素混合信号、前記第３画素混合信号、前記第４画素混合信号、前記第５画素混合信号から、出力されなかった前記第２画素混合信号、前記第３画素混合信号を生成する画素再構成部を備える
請求項４に記載の画像撮像装置。
【請求項９】
前記第４画像処理部は、
前記第２画像処理部から入力された前記第２画像を拡大して第１拡大画像を生成する第１拡大部と、
前記第３画像処理部から入力された前記第３画像を拡大して第２拡大画像を生成する第２拡大部と、
前記第１拡大画像の各画素について、当該画素の画素信号とその周辺の画素の画像信号から第１コントラストを算出する第１コントラスト算出部と、
前記第２拡大画像の各画素について、当該画素の画像信号とその周辺の画素の画像信号から第２コントラストを算出する第２コントラスト算出部とを備え、
前記第１拡大画像および前記第２拡大画像は、同一の大きさであり、
前記第１拡大画像の所定位置の画素の前記第１コントラストおよび前記第２拡大画像の前記所定位置に対応する位置の画素の前記第２コントラストのうち、コントラスト値が大きいほうの前記第１拡大画像または前記第２拡大画像の画像信号を選択し、新たな高解像度画像を生成する
請求項１〜８のいずれかに記載の画像撮像装置。
【請求項１０】
前記第４画像処理部は、
前記第２画像処理部から入力された前記第２画像を拡大して第１拡大画像を生成する第１拡大部と、
前記第３画像処理部から入力された前記第３画像を拡大して第２拡大画像を生成する第２拡大部と、
前記第１拡大画像の各画素について、当該画素の画像信号とその周辺の画素の画像信号から第１コントラストを算出する第１コントラスト算出部と、
前記第２拡大画像の各画素について、当該画素の画像信号とその周辺の画素の画像信号から第２コントラストを算出する第２コントラスト算出部とを備え、
前記第１拡大画像および前記第２拡大画像は、同一の大きさであり、
前記第１拡大画像の所定位置の画素の前記第１コントラストおよび前記第２拡大画像の前記所定位置に対応する位置の画素の前記第２コントラストの比率に応じて、前記第１拡大画像の画像信号と前記第２拡大画像の画像信号を混合し、新たな高解像度画像を生成する
請求項１〜８のいずれかに記載の画像撮像装置。
【請求項１１】
前記第４画像処理部は、
前記第１コントラストのコントラスト値Ｃａおよび前記第２コントラストのコントラスト値Ｃｂ、前記第１拡大画像の画像信号Ｐａおよび前記第２拡大画像の画像信号Ｐｂから、前記高解像度画像用の画像信号Ｐｎｅｗ
Ｐｎｅｗ＝Ｔ１［Ｃａ，Ｃｂ］・Ｐａ＋Ｔ２［Ｃａ，Ｃｂ］・Ｐｂ
ここで、Ｔ１［Ｃａ，Ｃｂ］＋Ｔ２［Ｃａ，Ｃｂ］＝１、
Ｔ１およびＴ２は、ＣａおよびＣｂによって決まる定数
を生成する
請求項１０に記載の画像撮像装置。
【請求項１２】
前記固体撮像素子において、
Ｍはｎ×αで現わされる正の整数、ｎは１以上の整数、αは２以上の整数とするとき、
前記第１領域はＭ×Ｍ画素、前記第２領域はｎ×Ｍ画素、前記第３領域はＭ×ｎ画素で構成されている
請求項１〜１１のいずれかに記載の画像撮像装置。
【請求項１３】
時間的に連続するフレーム毎に複数の画像を撮影する場合において、各画像における前記第１領域の位置が、前記フレーム毎に順次変更される
請求項１〜１２のいずれかに記載の画像撮像装置。
【請求項１４】
前記第１画素混合信号、前記第２画素混合信号、前記第３画素混合信号は、色毎に生成される
請求項１〜１３のいずれかに記載の画像撮像装置。
【請求項１５】
行列状に配置された複数の画素を備え、所定数の前記画素を含む第１領域毎に画素信号を混合した第１画素混合信号と、前記第１領域内の第２領域毎に画素信号を混合した第２画素混合信号と、前記第１領域内の第３領域毎に画素信号を混合した第３画素混合信号とを生成し、前記第１領域毎に前記第１画素混合信号と、少なくとも１つの前記第２画素混合信号と、少なくとも１つの前記第３画素混合信号とを出力する固体撮像素子と、
前記第１画素混合信号から第１画像を生成する第１画像処理部と、
前記第２画素混合信号から第２画像を生成する第２画像処理部と、
前記第３画素混合信号から第３画像を生成する第３画像処理部と、
前記第１画像を圧縮する第１画像圧縮部と、
前記第２画像を圧縮する第２画像圧縮部と、
前記第３画像を圧縮する第３画像圧縮部とを備え、
前記第２領域は、前記第１領域内の列方向に複数個配置され、前記第２領域のそれぞれは、前記第１領域の行方向の画素数と同数の画素を行方向に有し、
前記第３領域は、前記第１領域内の行方向に複数個配置され、前記第３領域のそれぞれは、前記第１領域の列方向の画素数と同数の画素を列方向に有する
画像撮像装置。
【請求項１６】
行列状に配置された複数の画素を備え、所定数の前記画素を含む第１領域毎に画素信号を混合した第１画素混合信号と、前記第１領域内の第２領域毎に画素信号を混合した第２画素混合信号と、前記第１領域内の第３領域毎に画素信号を混合した第３画素混合信号とを生成し、前記第１領域毎に前記第１画素混合信号と、少なくとも１つの前記第２画素混合信号と、少なくとも１つの前記第３画素混合信号とを出力する固体撮像素子と、
前記第１画素混合信号から第１画像を生成する第１画像処理部と、
前記第２画素混合信号から第２画像を生成する第２画像処理部と、
前記第３画素混合信号から第３画像を生成する第３画像処理部と、
前記第１画像と前記第２画像の差分である第１差分信号を圧縮する第１圧縮部と、
前記第１画像と前記第３画像の差分である第２差分信号を圧縮する第２圧縮部とを備え、
前記第２領域は、前記第１領域内の列方向に複数個配置され、前記第２領域のそれぞれは、前記第１領域の行方向の画素数と同数の画素を行方向に有し、
前記第３領域は、前記第１領域内の行方向に複数個配置され、前記第３領域のそれぞれは、前記第１領域の列方向の画素数と同数の画素を列方向に有する
画像撮像装置。
【請求項１７】
行列状に配置された複数の画素を備える固体撮像素子と、
前記固体撮像素子から出力された画素信号から、前記固体撮像素子における所定数の前記画素を含む第１領域毎に画素信号を混合した第１画素混合信号と、前記第１領域内の第２領域毎に画素信号を混合した第２画素混合信号と、前記第１領域内の第３領域毎に画素信号を混合した第３画素混合信号とを生成する画素混合部と、
前記第１画素混合信号から第１画像を生成する第１画像処理部と、
前記第２画素混合信号から第２画像を生成する第２画像処理部と、
前記第３画素混合信号から第３画像を生成する第３画像処理部と、
前記第１画像、前記第２画像、前記第３画像のうち少なくとも２つの画像から高解像度画像である第４画像を生成する第４画像処理部とを備え、
前記第２領域は、前記第１領域内の列方向に複数個配置され、前記第２領域のそれぞれは、前記第１領域の行方向の画素数と同数の画素を行方向に有し、
前記第３領域は、前記第１領域内の行方向に複数個配置され、前記第３領域のそれぞれは、前記第１領域の列方向の画素数と同数の画素を列方向に有する
画像撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、静止画および動画を撮影する画像撮像装置に関する。
【背景技術】
【０００２】
固体撮像装置の光電変換素子アレイについては、近年の半導体技術の発展により、画素数の飛躍的な増加が実現されている。画素数が十分に多いことを高画素と称する。静止画撮影においては、光電変換素子アレイの全画素の画素データを利用する形態で撮影を行う。これが全画素読み出しモードであり、光電変換素子アレイから読み出した画素データを１画素分ずつ順次に全画素分出力する。これにより、高精細な静止画撮影が可能となっている。
【０００３】
一方、静止画撮影と動画記録との両モードを切り替え可能に構成した画像撮像装置もある。現状ではＤＳＰなどのデジタル信号処理回路の動作速度に一定の限界があり、また消費電力の面からも、動画記録においては、静止画撮影と同様の全画素読み出しモードでの撮影は難しい。動画記録時には複数の画素信号を混合して画素間引きを行い、単位時間当たりのフレーム枚数を増やして画素データ処理を行うのが一般的である。これが垂直水平画素混合読み出しモードである（例えば、特許文献１、２）。
【０００４】
このモードでは、光電変換素子アレイから読み出した画素データにつき、アレイの垂直方向と水平方向とで複数画素分を混合した上で、その混合画素データを１単位の画素データとして出力する。これにより、単位時間当たりのフレーム枚数が増え、高画素の光電変換素子アレイを搭載した画像撮像装置においても、滑らかで高速な動画像撮影が可能となっている。
【０００５】
上記のような画素混合読み出しモードの動作は、特にＭＯＳ（Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサが得意とするものである。ＭＯＳイメージセンサは、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）イメージセンサのようなポテンシャル井戸の移動による電荷の転送を必要とせず、信号ライン（ワイヤ）を利用して任意ラインの画素データ読み出しが自在であるからである。
【０００６】
また、液晶表示装置などの撮影モニタを備えた画像撮像装置においては、光学系のオートフォーカスを行う。一般的には、電源投入時の初期状態で、被写体像が動画モードで撮影モニタに映し出される。これがモニタモードである。モニタモードでは、動画対応となっており、画素間引きの垂直水平画素混合読み出しモードが適用されている。このモニタモードにおいて、静止画撮影のためにシャッターボタンを押し込むと、その半押し状態で光学系のオートフォーカスが起動し、合焦（ジャスピン）状態になるとシャッターが落ちて（全押し状態）、全画素読み出しモードに切り替わり、静止画撮影が行われる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００５−１０７２５２号公報
【特許文献２】特許第４２８９２４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従来の画像撮像装置では、当然ながら、動画撮影と静止画撮影の両者において、露光タイミングが異なっているため、動画と静止画で同時に同一の被写体像を捉えることができない。
【０００９】
一方、ユーザーからは、被写体の動きを動画で記録すると同時に高精細な静止画の記録を同時に行いたいという要望が高まっている。このため、従来の画像撮像装置では、動画用の画素混合モードと、静止画用の画素非混合モードを、例えば１フレーム毎に切り替えながら処理をする必要があった。これは、静止画撮影中の一時的な動画の停止や、画像処理回路の更なる駆動周波数の増大を引き起こしていた。
【００１０】
このような課題に対応するため、上記したように固体撮像素子の複数画素における画素信号を混合して出力することで、読み出し画素数を減数し、画像撮像装置の駆動周波数を低くしていた。
【００１１】
詳細には、図２６は、撮影レンズ１００１とカメラ本体１００２からなる画像撮像装置１０００の概略構成図である。カメラ本体１００２は、固体撮像素子１００３および処理部１０１０を備えている。撮影レンズ１００１によって結像された被写体像は、固体撮像素子１００３によって画素信号に変換され、処理部１０１０へ送られる。処理部１０１０に設けられた画像処理部１０１２は、画素信号を画像信号へと変換し、画像圧縮部１０１３へ送る。画像圧縮部１０１３は、画素信号を、静止画であればＪＰＥＧ、動画であればＭＰＥＧ２やＭＰＥＧ４に圧縮変換し、記録部１０１６へ記録する。なお、画像処理部１０１２は、その動作に伴い、一時記録部１０１５を作業用メモリ領域として使用する。
【００１２】
固体撮像素子１００３の構成を図２７に示す。固体撮像素子１００３には、複数の光電変換素子からなる画素１０２０が水平、垂直のアレイ状に配列された画素部１０２１が設けられており、画素１０２０の垂直列毎にＡＤ変換回路１０２５、Ｖ加算器１０２６およびラインメモリ１０２７が設けられている。これらＡＤ変換回路１０２５、Ｖ加算器１０２６、ラインメモリ１０２７は、カウンタ方式のＡＤ変換器とラインメモリであってもよい。
【００１３】
画素１０２０によって発生した画素信号は、垂直駆動回路１０２２により行単位で出力されて順次ＡＤ変換の実行が行われ、Ｖ加算器１０２６を介してラインメモリ１０２７に保持され、水平駆動回路１０２３により、順次Ｈ加算器１０２８を通じて固体撮像素子１００３から出力される。
【００１４】
静止画撮影時には、Ｈ加算器１０２８、および、Ｖ加算器１０２６の動作は停止しており、画素１０２０毎の画素信号が、固体撮像素子１００３から出力される。動画撮影時には、Ｈ加算器１０２８、および、Ｖ加算器１０２６が動作し、水平方向×垂直方向の任意の画素領域の画素信号が加算された画素混合信号が出力される。
【００１５】
図２８に、９画素混合方式における動画撮影時の固体撮像素子１００３の画素信号の読み出し例を示す。ここでは、Ｒ、Ｇ、Ｂの３色のカラーフィルタをベイヤ配列にもつ固体撮像素子（ｇは、Ｒ列のＧを表す）を示している。また、この動作タイミングを示すタイミングチャートを図２９に示す。
【００１６】
９画素混合方式では、例えば、図２８の（Ａ５）に示すＢの読み出しでは、Ｂのカラーフィルタに対応する画素を９画素囲んだ読み出し領域１１００において、図２９の画素混合モードのタイミングチャートに従って、垂直方向の同色３画素分の画素信号が出力されて列毎にＶ加算器１０２６により混合される。この画素信号を垂直画素混合信号という。垂直画素混合信号は、ラインメモリ１０２７へ転送され、ラインメモリへ転送された列毎の垂直画素混合信号は、Ｈ加算器１０２８により加算され、合計９画素の画素混合信号が生成されて、固体撮像素子１００３から出力される。また、同図における（Ｂ５）、（Ｃ５）、（Ｄ５）に示すように、その他のカラーフィルタに対応する画素についても同様に、９画素の画素混合信号が生成されて、固体撮像素子１００３から出力される。
【００１７】
また、図２６に示す画像撮像装置１０００では、固体撮像素子１００３から出力された画素混合信号は、動画撮影時には、制御部１０１１が、固体撮像素子１００３、画像処理部１０１２および画像圧縮部１０１３に動画用制御信号を送り、９画素混合信号による画像処理と圧縮記録を行い、静止画撮影時には、同様に静止画用制御信号を送り、画素混合を停止させて画像処理と圧縮記録を行う。
【００１８】
上記したように、従来の画像撮像装置では、固体撮像素子の複数画素における画素信号を混合して出力することで、読み出し画素数を減数し、画像撮像装置の駆動周波数を低くしていたが、画素数を減数することにより、結果的に解像度が劣化するので、画像撮像装置の高画素化に対応することができなかった。
【００１９】
かかる課題を鑑み、本発明は、読み出しの画素数を減数しても、動画用画像および静止画用画像を高解像度で出力することができる画像撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００２０】
上記課題を解決するために本発明の一形態における画像撮像装置は、行列状に配置された複数の画素を備え、所定数の前記画素を含む第１領域毎に画素信号を混合した第１画素混合信号と、前記第１領域内の第２領域毎に画素信号を混合した第２画素混合信号と、前記第１領域内の第３領域毎に画素信号を混合した第３画素混合信号とを生成し、前記第１領域毎に前記第１画素混合信号と、少なくとも１つの前記第２画素混合信号と、少なくとも１つの前記第３画素混合信号とを出力する固体撮像素子と、前記第１画素混合信号から第１画像を生成する第１画像処理部と、前記第２画素混合信号から第２画像を生成する第２画像処理部と、前記第３画素混合信号から第３画像を生成する第３画像処理部と、前記第１画像、前記第２画像、前記第３画像のうちの少なくとも２つの画像から高解像度画像である第４画像を生成する第４画像処理部とを備え、前記第２領域は、前記第１領域内の列方向に複数個配置され、前記第２領域のそれぞれは、前記第１領域の行方向の画素数と同数の画素を行方向に有し、前記第３領域は、前記第１領域内の行方向に複数個配置され、前記第３領域のそれぞれは、前記第１領域の列方向の画素数と同数の画素を列方向に有する。
【００２１】
この構成によれば、固体撮像素子において、動画用の低解像度画素混合信号（第１画素混合信号）と、静止画用の高解像度画素混合信号のうちの垂直の解像度が高い水平画素混合信号（第２画素混合信号）と、水平の解像度が高い垂直画素混合信号（第３画素混合信号）とを同時に得ることができる。これにより、固体撮像素子から出力する画素信号を減数しても、これらの信号から動画用の低解像度画素混合信号だけでなく静止画用の高解像度画素混合信号を取得することができる。したがって、読み出しの画素数を減数しても、画像撮像装置の駆動周波数を増大することなく、動画用画像および静止画用画像を高解像度で同時に出力することができる。また、低解像度画素混合信号から動画用画像を、高解像度画素混合信号から静止画を同時に得ることができるため、動画撮影中のすべてのタイミングで静止画像を得ることが可能になる。
【００２２】
また、固体撮像素子から低解像度画素混合信号、および、高解像度画素混合信号の一部の信号が共用して出力されることにより、固体撮像素子からの出力信号を低減させることができる。これにより、画像処理用の一時記録部の容量が削減できるため、撮像装置の小型化にも貢献しつつ、画像処理回路の駆動周波数を落とすことが可能となり、低消費電力、回路規模の縮小が可能となる。
【００２３】
ここで、前記固体撮像素子は、少なくとも２つの前記第２画素混合信号が混合された第４画素混合信号を少なくとも１つ生成し、前記第１の画素混合信号、少なくとも１つの前記第２画素混合信号、少なくとも１つの前記第３画素混合信号、少なくとも１つの前記第４画素混合信号を同時に出力するようにしてもよい。
【００２４】
また、前記固体撮像素子は、少なくとも２つの前記第３画素混合信号が混合された第５画素混合信号を少なくとも１つ生成し、前記第１の画素混合信号、少なくとも１つの前記第２画素混合信号、少なくとも１つの前記第３画素混合信号、少なくとも１つの前記第５画素混合信号を同時に出力するようにしてもよい。
【００２５】
また、前記固体撮像素子は、少なくとも２つの前記第２画素混合信号が混合された第４画素混合信号を少なくとも１つ生成し、少なくとも２つの前記第３画素混合信号が混合された第５画素混合信号を少なくとも１つ生成し、前記第１の画素混合信号、少なくとも１つの前記第２画素混合信号、少なくとも１つの前記第３画素混合信号、少なくとも１つの前記第４画素混合信号、少なくとも１つの前記第５画素混合信号を同時に出力するようにしてもよい。
【００２６】
この構成によれば、固体撮像素子から出力される低解像度画素混合信号をさらに減少することができるので、さらに低解像度の画素混合信号から高解像度画像を取得することができる。
【００２７】
ここで、前記画像撮像装置は、出力された前記第１画素混合信号、前記第２画素混合信号、前記第３画素混合信号から、出力されなかった前記第２画素混合信号、前記第３画素混合信号を生成する画素再構成部を備えるようにしてもよい。
【００２８】
また、前記画像撮像装置は、出力された前記第１画素混合信号、前記第２画素混合信号、前記第３画素混合信号、前記第４画素混合信号から、出力されなかった前記第２画素混合信号、前記第３画素混合信号を生成する画素再構成部を備えるようにしてもよい。
【００２９】
また、前記画像撮像装置は、出力された前記第１画素混合信号、前記第２画素混合信号、前記第３画素混合信号、前記第５画素混合信号から、出力されなかった前記第２画素混合信号、前記第３画素混合信号を生成する画素再構成部を備えるようにしてもよい。
【００３０】
また、前記画像撮像装置は、出力された前記第１画素混合信号、前記第２画素混合信号、前記第３画素混合信号、前記第４画素混合信号、前記第５画素混合信号から、出力されなかった前記第２画素混合信号、前記第３画素混合信号を生成する画素再構成部を備えるようにしてもよい。
【００３１】
この構成によれば、固体撮像素子から出力された画素混合信号から、出力されなかった画素混合信号を生成するので、固体撮像素子から出力する画素混合信号を減少することができる。
【００３２】
ここで、前記第４画像処理部は、前記第２画像処理部から入力された前記第２画像を拡大して第１拡大画像を生成する第１拡大部と、前記第３画像処理部から入力された前記第３画像を拡大して第２拡大画像を生成する第２拡大部と、前記第１拡大画像の各画素について、当該画素の画像信号とその周辺の画素の画像信号から第１コントラストを算出する第１コントラスト算出部と、前記第２拡大画像の各画素について、当該画素の画像信号とその周辺の画素の画像信号から第２コントラストを算出する第２コントラスト算出部とを備え、前記第１拡大画像および前記第２拡大画像は、同一の大きさであり、前記第１拡大画像の所定位置の画素の前記第１コントラストおよび前記第２拡大画像の前記所定位置に対応する位置の画素の前記第２コントラストのうち、コントラスト値が大きいほうの前記第１拡大画像または前記第２拡大画像の画像信号を選択し、新たな高解像度画像を生成するようにしてもよい。
【００３３】
また、前記第４画像処理部は、前記第２画像処理部から入力された前記第２画像を拡大して第１拡大画像を生成する第１拡大部と、前記第３画像処理部から入力された前記第３画像を拡大して第２拡大画像を生成する第２拡大部と、前記第１拡大画像の各画素について、当該画素の画像信号とその周辺の画素の画像信号から第１コントラストを算出する第１コントラスト算出部と、前記第２拡大画像の各画素について、当該画素の画像信号とその周辺の画素の画像信号から第２コントラストを算出する第２コントラスト算出部とを備え、前記第１拡大画像および前記第２拡大画像は、同一の大きさであり、前記第１拡大画像の所定位置の画素の前記第１コントラストおよび前記第２拡大画像の前記所定位置に対応する位置の画素の前記第２コントラストの比率に応じて、前記第１拡大画像の画像信号と前記第２拡大画像の画像信号を混合し、新たな高解像度画像を生成するようにしてもよい。
【００３４】
また、前記第４画像処理部は、前記第１コントラストのコントラスト値Ｃａおよび前記第２コントラストのコントラスト値Ｃｂ、前記第１拡大画像の画像信号Ｐａおよび前記第２拡大画像の画像信号Ｐｂから、前記高解像度画像用の画像信号Ｐｎｅｗ
Ｐｎｅｗ＝Ｔ１［Ｃａ，Ｃｂ］・Ｐａ＋Ｔ２［Ｃａ，Ｃｂ］・Ｐｂ
ここで、Ｔ１［Ｃａ，Ｃｂ］＋Ｔ２［Ｃａ，Ｃｂ］＝１、
Ｔ１およびＴ２は、ＣａおよびＣｂによって決まる定数
を生成するようにしてもよい。
【００３５】
この構成によれば、拡大された第２拡大画像および第３拡大画像から得られた第１コントラストおよび第２コントラストから高解像度画像を生成することができる。したがって、精度のよい高解像度画像を得ることができる。
【００３６】
ここで、前記固体撮像素子において、Ｍはｎ×αで現わされる正の整数、ｎは１以上の整数、αは２以上の整数とするとき、前記第１領域はＭ×Ｍ画素、前記第２領域はｎ×Ｍ画素、前記第３領域はＭ×ｎ画素で構成されているようにしてもよい。
【００３７】
この構成によれば、画素部の行方向および列方向に同じ比率で間引きされた画素混合信号を得ることができる。
【００３８】
ここで、時間的に連続するフレーム毎に複数の画像を撮影する場合において、各画像における前記第１領域の位置が、前記フレーム毎に順次変更されるようにしてもよい。
【００３９】
この構成によれば、第１領域の位置をフレーム毎に順次ずらすことで、超高解像度画像を生成することが可能である。
【００４０】
ここで、前記第１画素混合信号、前記第２画素混合信号、前記第３画素混合信号は、色毎に生成されるようにしてもよい。
【００４１】
この構成によれば、各画素にカラーフィルタを備えた画像撮像装置において、固体撮像素子から出力する画素信号を減数しても、動画用の低解像度画素混合信号だけでなく静止画用の高解像度画素混合信号を取得することができる。
【００４２】
また、上記課題を解決するために本発明の一形態における画像撮像装置は、行列状に配置された複数の画素を備え、所定数の前記画素を含む第１領域毎に画素信号を混合した第１画素混合信号と、前記第１領域内の第２領域毎に画素信号を混合した第２画素混合信号と、前記第１領域内の第３領域毎に画素信号を混合した第３画素混合信号とを生成し、前記第１領域毎に前記第１画素混合信号と、少なくとも１つの前記第２画素混合信号と、少なくとも１つの前記第３画素混合信号とを出力する固体撮像素子と、前記第１画素混合信号から第１画像を生成する第１画像処理部と、前記第２画素混合信号から第２画像を生成する第２画像処理部と、前記第３画素混合信号から第３画像を生成する第３画像処理部と、前記第１画像を圧縮する第１画像圧縮部と、前記第２画像を圧縮する第２画像圧縮部と、前記第３画像を圧縮する第３画像圧縮部とを備え、前記第２領域は、前記第１領域内の列方向に複数個配置され、前記第２領域のそれぞれは、前記第１領域の行方向の画素数と同数の画素を行方向に有し、前記第３領域は、前記第１領域内の行方向に複数個配置され、前記第３領域のそれぞれは、前記第１領域の列方向の画素数と同数の画素を列方向に有する。
【００４３】
この構成によれば、固体撮像素子から出力する画素信号を減数しても、動画用の低解像度画素混合信号だけでなく静止画用の高解像度画素混合信号を取得することができる。また、第１画像処理部、第２画像処理部、第３画像処理部がそれぞれ生成した第１画像、第２画像、第３画像をそれぞれ個別に、第１画像圧縮部、第２画像圧縮部および第３画像圧縮部により圧縮符号化処理するので、第４画像が生成されない。また、第２画像と第３画像の総合の画像サイズは、第４画像よりも小さいため、より記録密度を削減して画像を記録できる。
【００４４】
また、上記課題を解決するために本発明の一形態における画像撮像装置は、行列状に配置された複数の画素を備え、所定数の前記画素を含む第１領域毎に画素信号を混合した第１画素混合信号と、前記第１領域内の第２領域毎に画素信号を混合した第２画素混合信号と、前記第１領域内の第３領域毎に画素信号を混合した第３画素混合信号とを生成し、前記第１領域毎に前記第１画素混合信号と、少なくとも１つの前記第２画素混合信号と、少なくとも１つの前記第３画素混合信号とを出力する固体撮像素子と、前記第１画素混合信号から第１画像を生成する第１画像処理部と、前記第２画素混合信号から第２画像を生成する第２画像処理部と、前記第３画素混合信号から第３画像を生成する第３画像処理部と、前記第１画像と前記第２画像の差分である第１差分信号を圧縮する第１圧縮部と、前記第１画像と前記第３画像の差分である第２差分信号を圧縮する第２圧縮部とを備え、前記第２領域は、前記第１領域内の列方向に複数個配置され、前記第２領域のそれぞれは、前記第１領域の行方向の画素数と同数の画素を行方向に有し、前記第３領域は、前記第１領域内の行方向に複数個配置され、前記第３領域のそれぞれは、前記第１領域の列方向の画素数と同数の画素を列方向に有する。
【００４５】
この構成によれば、固体撮像素子から出力する画素信号を減数しても、動画用の低解像度画素混合信号だけでなく静止画用の高解像度画素混合信号を取得することができる。また、第１画像と第２画像の差分である第１差分信号、第１画像と第３画像の差分である第２差分信号をそれぞれ圧縮することにより、第１画像、第２画像、第３画像に共通に含まれる情報（ＤＣ成分）の冗長性を排除することができる。したがって、圧縮効率を上げて、低解像度画素混合信号から動画用画像を、高解像度画素混合信号から静止画を同時により精度よく得ることができる。
【００４６】
また、上記課題を解決するために本発明の一形態における画像撮像装置は、行列状に配置された複数の画素を備える固体撮像素子と、前記固体撮像素子から出力された画素信号から、前記固体撮像素子における所定数の前記画素を含む第１領域毎に画素信号を混合した第１画素混合信号と、前記第１領域内の第２領域毎に画素信号を混合した第２画素混合信号と、前記第１領域内の第３領域毎に画素信号を混合した第３画素混合信号とを生成する画素混合部と、前記第１画素混合信号から第１画像を生成する第１画像処理部と、前記第２画素混合信号から第２画像を生成する第２画像処理部と、前記第３画素混合信号から第３画像を生成する第３画像処理部と、前記第１画像、前記第２画像、前記第３画像のうち少なくとも２つの画像から高解像度画像である第４画像を生成する第４画像処理部とを備え、前記第２領域は、前記第１領域内の列方向に複数個配置され、前記第２領域のそれぞれは、前記第１領域の行方向の画素数と同数の画素を行方向に有し、前記第３領域は、前記第１領域内の行方向に複数個配置され、前記第３領域のそれぞれは、前記第１領域の列方向の画素数と同数の画素を列方向に有する。
【００４７】
この構成によれば、固体撮像素子から出力する画素信号を減数しても、動画用の低解像度画素混合信号だけでなく静止画用の高解像度画素混合信号を取得することができる。また、固体撮像素子において画素混合を実施する必要がなく、画素混合の機能のない固体撮像素子を利用した画像撮像装置においても、固体撮像素子について処理量の削減ができ、低消費電力化、小型化が可能となる。
【発明の効果】
【００４８】
本発明によれば、読み出しの画素数を減数しても、動画用画像および静止画用画像を高解像度で出力することができる。
【図面の簡単な説明】
【００４９】
【図１】本発明の実施の形態１における画像撮像装置の構成図
【図２】図１における固体撮像素子の構成図
【図３】固体撮像素子が出力する画素混合信号の混合画素の配列を示す図
【図４】固体撮像素子から得られる画素混合信号の混合画素の配列を示す図
【図５Ａ】第２画像を生成するための画素混合信号の組み合わせを示す図
【図５Ｂ】第３画像を生成するための画素混合信号の組み合わせを示す図
【図６】画像処理部の動作を示す図
【図７】第４画像処理部の構成図
【図８Ａ】画素混合信号の出力動作の一例を示すタイミングチャート
【図８Ｂ】画素混合信号の出力動作の他の例を示すタイミングチャート
【図９】本発明の実施の形態２における画素混合信号の組み合わせを示す図
【図１０】固体撮像素子が出力する画素混合信号の混合画素の配列を示す図
【図１１】固体撮像素子から得られる画素混合信号の混合画素の配列を示す図
【図１２】本発明の実施の形態３における画素混合信号の組み合わせを示す図
【図１３】固体撮像素子が出力する画素混合信号の混合画素の配列を示す図
【図１４】固体撮像素子から得られる画素混合信号の混合画素の配列を示す図
【図１５】第２画像および第３画像を生成するための画素混合信号の組み合わせを示す図
【図１６】本発明の実施の形態４における画像撮像装置の構成図
【図１７】本発明の実施の形態５における画像撮像装置の構成図
【図１８Ａ】超高解像度画像を生成する動作を示す図
【図１８Ｂ】固体撮像素子が出力する画素混合信号の混合画素の配列を示す図
【図１８Ｃ】固体撮像素子が出力する画素混合信号の混合画素の配列を示す図
【図１８Ｄ】固体撮像素子が出力する画素混合信号の混合画素の配列を示す図
【図１９】本発明の実施の形態６における画像撮像装置の構成図
【図２０】第５画像圧縮部の構成図
【図２１】第５画像圧縮部の動作を示す図
【図２２】本発明の実施の形態７における画像撮像装置の構成図
【図２３】本発明の実施の形態８における画素混合信号の組み合わせを示す図
【図２４】固体撮像素子が出力する画素混合信号の混合画素の配列を示す図
【図２５】固体撮像素子から得られる画素混合信号の混合画素の配列を示す図
【図２６】従来の画像撮像装置の構成図
【図２７】従来の固体撮像素子の構成図
【図２８】従来の画素混合信号の組み合わせを示す図
【図２９】従来の画素混合信号の出力動作を示すタイミングチャート
【発明を実施するための形態】
【００５０】
以下、本発明にかかる画像撮像装置の実施の形態について、デジタルスチルカメラを例にとり、図面を参照しながら説明する。なお、本発明について、以下の実施の形態および添付の図面を用いて説明を行うが、これは例示を目的としており、本発明がこれらに限定されることを意図しない。
【００５１】
（実施の形態１）
まず、本発明の実施の形態にかかる画像撮像装置の構成について説明する。本実施の形態では、行列状に配置された複数の画素を備え、所定数の画素を含む第１領域毎に画素信号を混合した第１画素混合信号と、第１領域内の第２領域毎に画素信号を混合した第２画素混合信号と、第１領域内の第３領域毎に画素信号を混合した第３画素混合信号とを生成し、第１領域毎に第１画素混合信号と、少なくとも１つの第２画素混合信号と、少なくとも１つの第３画素混合信号とを出力する固体撮像素子と、第１画素混合信号から第１画像を生成する第１画像処理部と、第２画素混合信号から第２画像を生成する第２画像処理部と、第３画素混合信号から第３画像を生成する第３画像処理部と、第１画像、第２画像、第３画像のうちの少なくとも２つの画像から高解像度画像である第４画像を生成する第４画像処理部とを備え、第２領域は、第１領域内の列方向に複数個配置され、第２領域のそれぞれは、第１領域の行方向の画素数と同数の画素を行方向に有し、第３領域は、第１領域内の行方向に複数個配置され、第３領域のそれぞれは、第１領域の列方向の画素数と同数の画素を列方向に有する画像撮像装置について説明する。これにより、固体撮像素子から出力する画素信号を減数しても、動画用画像および静止画用画像を高解像度で同時に出力することができる。
【００５２】
本実施の形態にかかる画像撮像装置１００を図１に、固体撮像素子１０３を図２に示す。
【００５３】
図１に示すように、画像撮像装置１００は、撮影レンズ１０１と、カメラ本体１０２とからなる画像撮像装置である。また、カメラ本体１０２は、固体撮像素子１０３と、処理部１１０と、一時記録部１４０と、記録部１４１とを備えている。撮影レンズ１０１によって結像された被写体像は、固体撮像素子１０３によって電気信号（以下、画素信号）に変換され、処理部１１０へ送られる。
【００５４】
固体撮像素子１０３の構成を図２に示す。同図は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３色のカラーフィルタをベイヤ配列にもつ固体撮像素子（ｇは、Ｒ列のＧを表す）を示している。同図に示すように、固体撮像素子１０３には複数の光電変換素子からなる画素１５０が水平、垂直のアレイ状（行列状）に配列された画素部１５１が設けられており、垂直列毎にＡＤ変換回路１５５、Ｖ加算器１５６およびラインメモリ１５７が構成されている。これらＡＤ変換回路１５５、Ｖ加算器１５６およびラインメモリ１５７には、例えばカウンタ方式のＡＤ変換器とラインメモリが使用されている。画素１５０において発生した画素信号は、垂直駆動回路１５２により行単位で順次出力され、ＡＤ変換回路１５５によってＡＤ変換の実行が行われ、水平駆動回路１５３により、順次、Ｈ加算器１５８を通じて、固体撮像素子１０３から出力される。このとき、Ｈ加算器１５８は、Ｈ加算器制御部１５９により、水平加算されるかどうかが水平転送画素単位、かつ、垂直転送単位で決定される。
【００５５】
ここで、固体撮像素子１０３は、画素部１５１の所定数の画素１５０を含む第１領域毎に画素信号を混合した第１画素混合信号と、第１領域内の第２領域毎に画素信号を混合した第２画素混合信号と、第１領域内の第３領域毎に画素信号を混合した第３画素混合信号とを生成し、第１領域毎に第１画素混合信号、少なくとも１つの第２画素混合信号、少なくとも１つの第３画素混合信号を出力し、画素再構成部１１１に送る。なお、第１領域、第２領域、第３領域については後に詳しく述べる。
【００５６】
処理部１１０は、画素再構成部１１１と、画像処理部１１２と、制御部１１３と、第１画像圧縮部１３１と、第２画像圧縮部１３２とを備えている。
【００５７】
制御部１１３は、固体撮像素子１０３、画像処理部１１２、第１画像圧縮部１３１、第２画像圧縮部１３２の動作を制御する。
【００５８】
また、一時記録部１４０は、作業用メモリであり、処理部１１０で画像が生成されるときに、画像信号などを一時的に記憶する場合に使用される。また、記録部１４１は、処理部１１０で生成された画像を記憶する。
【００５９】
画素再構成部１１１は、固体撮像素子１０３から出力された第１画素混合信号、第２画素混合信号、第３画素混合信号を、解像度が低い第１画像（低解像度画像）用、行方向の解像度が低い第２画像（垂直解像度画像）用、および、列方向の解像度が低い第３画像（水平解像度画像）用に再構成し出力する。
【００６０】
画像処理部１１２は、第１画像処理部１２１、第２画像処理部１２２、第３画像処理部１２３、第４画像処理部１２４とを備えている。第１画像処理部１２１は、画素再構成部１１１から出力され再構成された第１画素混合信号を、第１画像を構成するための第１画像信号へと変換し、第１画像圧縮部１３１へ送る。第１画像圧縮部１３１は、第１画像信号を、静止画であればＪＰＥＧ、動画であればＭＰＥＧ２やＭＰＥＧ４に圧縮変換し、記録部１４１へ記録する。つまり、第１画像処理部１２１は、第１画素混合信号から第１画像を生成する。
【００６１】
第２画像処理部１２２は、画素再構成部１１１から出力された第２画素混合信号を、第２画像を構成するための第２画像信号へと変換し、第４画像処理部１２４へ送る。つまり、第２画像処理部１２２は、第２画素混合信号から第２画像を生成する。
【００６２】
同様に、第３画像処理部１２３は、画素再構成部１１１から出力された第３画素混合信号を、第３画像を構成するための第３画像信号へと変換し、第４画像処理部１２４へ送る。つまり、第３画像処理部１２３は、第３画素混合信号から第３画像を生成する。
【００６３】
また、第４画像処理部１２４は、第１画像、第２画像、第３画像のうちの少なくとも２つの画像から、静止画用の高解像度画像である第４画像を生成する。例えば、第２画像信号および第３画像信号から静止画用の高解像度画像である第４画像を構成するための第４画像信号を生成し、第２画像圧縮部１３２へ送る。第２画像圧縮部１３２は、第４画像信号を、ＪＰＥＧなどに変換し、記録部１４１へ記録する。つまり、第４画像処理部１２４は、第２画像および第３画像から、高解像度画像である第４画像を生成する。
【００６４】
なお、処理部１１０は、その動作に伴い、一時記録部１４０を作業用メモリ領域として使用する。
【００６５】
図３に、本実施の形態に示す固体撮像素子１０３が出力する画素混合信号の混合画素の配列を示す。同図に示すＲ、Ｇ、ＢはそれぞれＲ、Ｇ、Ｂのカラーフィルタを有する画素を示す。また、ｇは、Ｒ列のＧを示している。また、同図は、第１領域がＭ×Ｍ画素、第２領域がｎ×Ｍ画素、第３領域がＭ×ｎ画素で構成される固体撮像素子１０３において、Ｍ＝３、ｎ＝１としたときの画素混合信号を示している。なお、Ｍはｎ×αで現わされる正の整数、ｎは１以上の整数、αは２以上の整数である。また、ここではα＝３としている。すなわち、図の破線で示される領域は、Ｂのカラーフィルタを有する９個の画素を含む第１領域１６０であり、第１領域１６０内の行方向に同色Ｂの画素を３個含む領域が第２領域であり、第１領域１６０内の列方向に同色Ｂの画素を３個含む領域が第３領域である。また、第２領域は、第１領域１６０内の列方向に３つ配置され、第３領域は、第１領域１６０内の行方向に３つ配置されている。なお、図３では、Ｂ画素の画素混合信号のみを示しているが、Ｇ、ｇ、Ｒ画素についても同様である。
【００６６】
図３に示すように、本実施の形態では、固体撮像素子１０３が、破線で示される第１領域１６０内の９個のＢ画素に対して、水平×垂直の画素数が、（ａ１）３×１画素、（ｂ１’）３×２画素、（ｄ１）１×３画素、（ｅ１）１×３画素、（ｇ１）３×３画素の５つの配列において各画素の画素信号を混合した画素混合信号を出力することが特徴である。具体的には、（ａ１）に示した第２領域の３つのＢ画素の画素信号を混合した第２画素混合信号と、（ｂ１’）に示した２つの第２領域の６つのＢ画素の画素信号を混合した第４画素混合信号と、（ｄ１）および（ｅ１）にそれぞれ示した第３領域の３つのＢ画素の画素信号を混合した第３画素混合信号と、（ｅ１）に示した第１領域１６０の９つのＢ画素の画素信号を混合した第１画素混合信号とを出力する。
【００６７】
また、出力されなかった領域の画素混合信号は、上記した５種類の画素混合信号から下記の変換式により再構成される。
【００６８】
（ａ１）＝（ａ１）
（ｂ１）＝（ｂ１'）−（ａ１）
（ｃ１）＝（ｇ１）−（ｂ１'）
（ｄ１）＝（ｄ１）
（ｅ１）＝（ｅ１）
（ｆ１）＝（ｇ１）−（ｄ１）−（ｅ１）
（ｇ１）＝（ｇ１）
【００６９】
これにより、図４に示す（ａ１）から（ｇ１）までの７種類の画素混合信号が得られる。
【００７０】
なお、図４において、（ｇ１）が第１領域、（ａ１）、（ｂ１）、（ｃ１）が第２領域、（ｄ１）、（ｅ１）、（ｆ１）が第３領域の混合画素を示している。また、（ｂ１’）で２つの第２領域の画素信号を混合した第４画素混合信号を出力したように、複数の第３領域の画素信号を混合した第５画素混合信号を出力する構成としてもよい。
【００７１】
図４における（ｇ１）により、従来の動画モードと同じく、低解像度画像（第１画像）を得ることができる。ここで、第１画素混合信号は、第１領域１６０内のすべての画素信号を使って生成された画像信号であるため、低解像度であっても行方向および列方向にゆがみや色変調のない画像が得られることが特徴である。
【００７２】
また、図４における（ａ１）から（ｃ１）では、第２領域内の同一の行に配置された３つの画素の画素信号が混合された第２画素混合信号が生成される。つまり、各第２領域では行方向の画素信号が間引きされた第２画素混合信号が生成される。そして、（ａ１）から（ｃ１）の第２画素混合信号に対して画像処理を実施することで、垂直解像度が上記した画素混合による出力をしない場合と同一の画像（第２画像）が生成される。第２画像は、行方向の画素信号が間引きされているので、行方向が短く列方向が長い画像となる。
【００７３】
同様に、図４における（ｄ１）から（ｆ１）では、第３領域内の同一の列に配置された３つの画素の画素信号が混合された第３画素混合信号が生成される。つまり、各第３領域では列方向の画素信号が間引きされた第３画素混合信号が生成される。そして、（ｄ１）から（ｆ１）により、水平解像度が上記した画素混合による出力をしない場合と同一の画像（第３画像）が生成される。第３画像は、列方向の画素信号が間引きされているので、列方向が短く行方向が長い画像となる。
【００７４】
さらに、上記した第１画像、第２画像、第３画像は、同一タイミングで露光された画素信号から生成されたものである。よって、従来の動画モードと同じく動画用の低解像度画像（第１画像）の生成と同時に、第２画像および第３画像を合成することで、画素混合をしなかった場合と同様の静止画用の高解像度画像（第４画像）が生成できる。
【００７５】
また、Ｂ以外のＲ、Ｇ、ｇの各色についても、同様に、低解像度画像および高解像度画像を生成することができる。
【００７６】
図５Ａおよび図５Ｂは、第２画像および第３画像を生成するための、画素混合信号の組み合わせを示す図である。Ｒ、ｇ、Ｇ、Ｂのそれぞれについて、図５Ａに示すように、領域１７０において（ＨＲ）、（Ｈｇ）、（ＨＧ）、（ＨＢ）の組み合わせからなる第２画素混合信号が生成される。これらを画像処理することで、垂直解像度を維持し、水平解像度を落とした第２画像が生成できる。
【００７７】
また、同様に、Ｒ、ｇ、Ｇ、Ｂのそれぞれについて、図５Ｂに示すように、領域１７１において（ＶＲ）、（Ｖｇ）、（ＶＧ）、（ＶＢ）の組み合わせからなる第３画素混合信号が生成される。これらを画像処理することで、水平解像度を維持し、垂直解像度を落とした第３画像が生成できる。
【００７８】
図６に、第２画像および第３画像から第４画像を生成する動作図を示す。被写体像に対して、固体撮像素子１０３からは、上記したように第１、第２、第３画素混合信号が得られる。第１画素混合信号について第１画像処理部１２１により画像処理を実施すると、垂直および水平に縮小した第１画像が生成される。第２画素混合信号について第２画像処理部１２２により画像処理を実施すると、垂直解像度が維持され水平に縮小した第２画像が生成される。第３画素混合信号について第３画像処理部１２３により画像処理を実施すると、水平解像度が維持され垂直に縮小した第３画像が生成される。
【００７９】
次いで、第４画像処理部１２４の動作を、図７を使って説明する。第４画像処理部１２４は、第１拡大部１８０と、第２拡大部１８１と、第１コントラスト算出部１８２と、第２コントラスト算出部１８３と、加算回路１８４とを備えている。
【００８０】
第１拡大部１８０および第２拡大部１８１は、それぞれ第２画像および第３画像の画像サイズを一致させるよう拡大処理を行う。具体的には、第１拡大部１８０および第２拡大部１８１は、第２画像処理部１２２および第３画像処理部１２３から入力された第２画像および第３画像を拡大して、例えば、高解像度画像の画素数と同じ画素数をもつ第１拡大画像および第２拡大画像をそれぞれ生成する。これにより、第２画像および第３画像は、同一の大きさの第１拡大画像および第２拡大画像にそれぞれ拡大されることとなる。なお、第１拡大画像および第２拡大画像は、同一の大きさに拡大されるのであれば、高解像度画像の画素数と同じ画素数に限らず、その他の画素数の画像に拡大されてもよい。
【００８１】
引き続いて、第１コントラスト算出部１８２により、第１拡大画像の各画素について、当該画素の画像信号とその周辺の画素の画像信号から第１コントラストをそれぞれ算出する。また、同様に、第２コントラスト算出部１８３により、第２拡大画像の各画素について、当該画素の画像信号とその周辺の画素の画像信号から第２コントラストをそれぞれ算出する。ここで、コントラストとは、第２画像の所定の画素とその周辺の画素の信号レベルの差分あるいはその絶対値、および、第３画像の所定の画素とその周辺の画素の信号レベルの差分あるいはその絶対値である。例えば、図３に示すような第１領域１６０に配列されたＢのカラーフィルタを有する画素の場合、この画素のコントラスト値は、１つのＢの画素の周囲に配置された８つのＢの画素のいずれかとの信号レベルの差分あるいはその絶対値である。また、８つのＢの画素それぞれとの信号レベルの差分あるいはその絶対値を平均した値であってもよい。
【００８２】
第４画像処理部は、第１拡大画像および前記第２拡大画像のすべての画素について、上記した第１コントラストおよび第２コントラストに応じて、第１拡大画像の所定位置の画素と第２拡大画像の対応する位置の画素の信号レベルを、第１コントラストと第２コントラストの比率に応じて、混合、つまり、加重平均した信号レベルによって決定することで、第４画像を生成する。
【００８３】
例えば、第１拡大画像の所定位置の画素の信号レベルおよび第１コントラストをＰ２およびＣ２とし、第２拡大画像の対応する位置の画素の信号レベルおよび第２コントラストをＰ３およびＣ３とし、第４画像の信号レベルをＰｎｅｗとすると、Ｐｎｅｗは、
Ｐｎｅｗ＝Ｔ１［Ｃａ，Ｃｂ］・Ｐａ＋Ｔ２［Ｃａ，Ｃｂ］・Ｐｂ  （式１）
によって決定される。ここで、Ｔ１［Ｃａ，Ｃｂ］＋Ｔ２［Ｃａ，Ｃｂ］＝１、Ｔ１およびＴ２は、ＣａおよびＣｂによって決まる定数である。ここで、Ｔ１［Ｃａ，Ｃｂ］＝Ｃ２／（Ｃ２＋Ｃ３）、Ｔ２［Ｃａ，Ｃｂ］＝Ｃ３／（Ｃ２＋Ｃ３）とすると、上記した（式１）は、
Ｐｎｅｗ＝（Ｃ２／（Ｃ２＋Ｃ３））・Ｐ２＋（Ｃ３／（Ｃ２＋Ｃ３））・Ｐ３  （式２）
によって示される。なお、Ｔ１［Ｃａ，Ｃｂ］、Ｔ２［Ｃａ，Ｃｂ］は、Ｃ２、Ｃ３の値に応じて計算する必要はなく、Ｃ２、Ｃ３の値に応じて導出されるテーブルデータでもかまわない。
【００８４】
なお、第４画像の生成は、上記した（式１）、（式２）に代えて、第１拡大画像の第１コントラストおよび第２拡大画像の第２コントラストのうち、コントラスト値が大きいほうの第１拡大画像または第２拡大画像の画像信号を選択して生成してもよい。
【００８５】
本実施の形態における固体撮像素子１０３の動作タイミングの一例を図８Ａに示す。また、図８Ａに示す（Ａ）画素混合信号に示しているＢ１からＢ９の画素信号を混合して固体撮像素子１０３から出力する場合のタイミングチャートを図８Ｂにより説明する。
【００８６】
まず、図８Ａにおける水平期間３’では、垂直転送パルスに同期して、Ｖ０行の画素信号がＡＤ変換回路１５５によりＡＤ変換される（ＡＤ０部）。Ｖ０行の全画素のＡＤ変換が完了すると、ラインメモリ１５７がクリアされた後（ＣＬＲ部）、ＡＤ変換結果はラインメモリ１５７へ転送され、データが保持される（ＭＥＭ部）。
【００８７】
続いて、水平期間１では、垂直転送パルスに同期して、Ｖ２行の画素信号がＡＤ変換される（ＡＤ２部）。このとき、ＣＬＲ動作がなくラインメモリ１５７のクリアはされない。同時にラインメモリ１５７内のＶ０行の画素信号が水平転送され、Ｈ加算器１５８へ入力される。Ｈ加算器１５８は、３画素ごとに加算しながら固体撮像素子１０３から画素信号を出力する。この動作により、図３の（ａ１）に示した画素の画素混合信号、つまり、第２画素混合信号が出力される。Ｖ０行の全画素のＡＤ変換と出力が完了すると、Ｖ２行のＡＤ変換結果はラインメモリ１５７内に保持されたデータに加算されることとなる（ＭＥＭ部）。
【００８８】
続いて、水平期間２では、垂直転送パルスに同期して、Ｖ４行の画素信号がＡＤ変換される（ＡＤ４部）。このとき、ＣＬＲ動作がなくラインメモリ１５７のクリアはされない。同時にラインメモリ１５７内のＶ０行とＶ２行の画素混合信号データが水平転送され、Ｈ加算器１５８へ入力される。Ｈ加算器１５８は、３画素ごとに加算しながら固体撮像素子１０３から画素信号を出力する。この動作により、図３の（ｂ１’）に示した画素の画素混合信号、つまり、第４画素混合信号が出力される。Ｖ４行の全画素のＡＤ変換と出力が完了すると、Ｖ４行のＡＤ変換結果はラインメモリ１５７内に保持されたデータに加算されることとなる（ＭＥＭ部）。
【００８９】
続いて、水平期間３では、垂直転送パルスに同期して、Ｖ３行の画素信号がＡＤ変換される（ＡＤ３部）。このとき、ＣＬＲ動作がなくラインメモリ１５７のクリアはされない。同時にラインメモリ１５７内のＶ０行とＶ２行とＶ４の画素混合信号データが水平転送され、Ｈ加算器１５８へ入力される。ここで、Ｈ加算器１５８は、加算を行わずに２画素分の画素信号を出力し、３画素ごとに３画素の画素信号の合計を出力する。この動作により、図３の（ｄ１）、（ｅ１）、（ｇ１）の画素混合信号、つまり、第３画素混合信号、第１画素混合信号が出力される。Ｖ４行の全画素のＡＤ変換と出力が完了すると、ラインメモリ１５７をクリアし（ＣＬＲ部）、Ｖ６行のＡＤ変換結果がラインメモリ１５７に転送される（ＭＥＭ部）。水平期間３の動作は、前述の水平期間３’と同じ動作であり、水平期間１〜３を繰り返すことで、Ｒ、Ｇ、ｇ、Ｂの全色の画素信号が取得できる。また、上記した動作を繰り返すことで、時間的に連続する複数の画像を撮影する場合に、各画像に対応するフレーム毎に第１領域の位置を順次変更して複数の画像の画像信号を上記した方法で取得することができる。
【００９０】
なお、第１画素混合信号を固体撮像素子１０３から出力する場合には、水平期間３において、図８Ｂに示すような動作タイミングにより第２画素混合信号を出力してもよい。つまり、図８Ａに示す（Ａ）画素混合信号に示しているＢ１からＢ９の画素信号を、水平期間３において、ＡＤ４部の期間の後、ラインメモリ１５７をクリアして（ＣＬＲ部）、Ｂ１からＢ９の画素信号を混合して第１画素混合信号を出力してもよい。
【００９１】
また、水平期間３において、図３の（ｄ１）、（ｅ１）に示した画素の画素信号を加算した画素混合信号、つまり、第５画素混合信号を出力する構成としてもよい。
【００９２】
図３および図４に戻って、本方式による画素混合方式の特徴を述べる。図４に示すとおり、固体撮像素子１０３からは、５つの混合画素信号が出力される。これらを図３に示す７つの混合画素信号に再構成することで、動画用の低解像度画像と静止画用の高解像度画像を同時に取得することができる。同時に、高解像度画像用として９画素分の画素信号をそれぞれ取得していたものを、５画素にまで圧縮して得ることができるため、画像処理に必要な一時記録領域が、５／９倍にまで大幅に削減できる。また、処理部１１０は、図３の（ａ１）から（ｆ１）までの５画素の信号を使って高解像度画像を得ることができるため、静止画用の画像処理量は、５／９倍にまで削減できるようになる。
【００９３】
これにより、読み出しの画素数を減数しても、画像撮像装置の駆動周波数を増大することなく、動画用画像および静止画用画像を高解像度で同時に出力することができる。また、固体撮像素子１０３、処理部１１０の双方の低消費電力化、小型化および高速な静止画取得が可能となる。
【００９４】
なお、ここでは、画素混合方式を、ＡＤ変換回路１５５とＶ加算器１５６およびラインメモリ１５７で構成したが、このような構成に限らず、例えばカウンタ方式のＡＤ変換器であっても同様に構成できる。本方式の特徴は、カラムＡＤ方式を使った固体撮像素子において、垂直方向の画素混合と、水平方向の画素混合を特定の方式で出力することで、垂直方向と水平方向の画素混合が、再構成可能な形式で出力可能であることにあり、ＡＤ変換の方式やラインメモリの構成には依存しないで実現可能なものである。
【００９５】
このように、本発明の特徴は、Ｍ×Ｍ画素の第１領域を、ｎ×Ｍ画素からなる複数の第２領域と、Ｍ×ｎ画素からなる複数の第３領域を互いに重ねあわせるように配列し、さらに、第１画素混合信号、第２画素混合信号、第３画素混合信号の一部を共有するようにし、第１画素混合信号、第２画素混合信号、第３画素混合信号を出力することで、少ない画素信号の読出しによる高解像度画像の生成を可能とするものである。ここで、ＭはＭ＞２の整数、ｎは１を含むＭの約数である。なお、第４画素混合信号、第５画素混合信号をさらに生成して、第１画素混合信号、第２画素混合信号、第３画素混合信号とともに出力する構成であってもよい。
【００９６】
また、本特徴は、ここでは、Ｒ、Ｇ、Ｂの３色をカラーフィルタにもつ、いわゆるベイヤ配列の固体撮像素子を前提に説明したが、カラー固体撮像素子の配列や色は問わない。また、単色の固体撮像素子でもよい。あるいは、異なる色の画素信号を混合した場合であってもかまわない。
【００９７】
（実施の形態２）
実施の形態２が実施の形態１と異なる点は、第１領域がＭ×Ｍ画素、第２領域がｎ×Ｍ画素、第３領域がＭ×ｎ画素で構成される固体撮像素子において、Ｍ＝２（α＝１）、ｎ＝１とした点である。つまり、第１領域内の４画素の画素信号が混合される。
【００９８】
図９は、４画素混合の場合のＲ、Ｇ、ｇ、Ｂの組み合わせを示す図であり、（Ａ２）、（Ｂ２）、（Ｃ２）、（Ｄ２）はそれぞれＢ、Ｇ、ｇ、Ｒについての第１領域１９０、１９１、１９２、１９３を示している。図１０は、固体撮像素子１０３が出力する画素混合信号の混合画素の配列を示した図であり、（ｅ２）は第１画素混合信号、（ａ２）は第２画素混合信号、（ｃ２）は第３画素混合信号を示す。また、図１１は、固体撮像素子１０３から得られる画素混合信号の混合画素の配列を示した図であり、（ｅ２）は第１画素混合信号、（ａ２）、（ｂ２）は第２画素混合信号、（ｃ２）、（ｄ２）は第３画素混合信号を示す。本実施の形態の場合、図１０に示す３種類の混合画素信号からの再構成により、図１１に示す５種類の混合画素信号を同時に取得することが可能である。また、Ｇ、ｇ、Ｒの各色についても同様に色毎に３種類の混合画素信号からの再構成により、５種類の混合画素信号を同時に取得することが可能である。
【００９９】
これにより、全画素を読み出した場合と同等な解像度の高解像度画像を得ることができる上に、全画素を読み出した場合には固体撮像素子１０３から高解像度画像用として４画素分の画素信号を出力していたものを、３画素にまで圧縮して得ることができるため、画像処理に必要な一時記録部１４０の容量、および、静止画用の画像処理量が３／４倍に削減できる。したがって、読み出しの画素数を減数しても、画像撮像装置の駆動周波数を増大することなく、動画用画像および静止画用画像を高解像度で同時に出力することができる。
【０１００】
（実施の形態３）
実施の形態３が実施の形態２と異なる点は、第１領域がＭ×Ｍ画素、第２領域がｎ×Ｍ画素、第３領域がＭ×ｎ画素で構成される固体撮像素子において、Ｍ＝６（α＝３）、ｎ＝２とした点である。つまり、３６画素の画素信号が混合される。
【０１０１】
図１２は、３６画素混合の場合のＲ、Ｇ、ｇ、Ｂの組み合わせを示す図であり、（Ａ３）、（Ｂ３）、（Ｃ３）、（Ｄ３）はそれぞれＢ、Ｇ、ｇ、Ｒについての第１領域２００、２０１、２０２、２０３を示している。図１３は、固体撮像素子１０３が出力する画素混合信号の混合画素の配列を示した図であり、（ｇ３）は第１画素混合信号、（ａ３）は第２画素混合信号、（ｂ３’）は第４画素混合信号、（ｄ３）、（ｅ３）は第３画素混合信号を示す。また、図１４は、固体撮像素子１０３から得られる画素混合信号の混合画素の配列を示した図であり、（ｇ３）は第１画素混合信号、（ａ３）、（ｂ３）、（ｃ３）は第２画素混合信号、（ｄ３）、（ｅ３）、（ｆ３）は第３画素混合信号を示す。
【０１０２】
本実施の形態の場合、図１３に示す５種類の混合画素信号からの再構成により、図１４に示す７種類の混合画素信号を同時に取得することが可能である。また、Ｇ、ｇ、Ｒの各色についても同様に色毎に５種類の混合画素信号からの再構成により、７種類の混合画素信号を同時に取得することが可能である。さらに、１つの第２画素領域において２行分の画素の画素信号を混合し、１つの第３画素領域において、２列分の画素の画素信号を混合している。
【０１０３】
これにより、全画素を読み出した場合と同等な解像度の高解像度画像を得ることができる上に、全画素を読み出した場合には固体撮像素子１０３から高解像度画像用として３６画素分の画素信号を出力していたものを、５画素にまで圧縮して得ることができるため、画像処理に必要な一時記録部１４０の容量、および、静止画用の画像処理量が、５／３６倍に削減できる。したがって、読み出しの画素数を減数しても、画像撮像装置の駆動周波数を増大することなく、動画用画像および静止画用画像を高解像度で同時に出力することができる。
【０１０４】
なお、図１５には、図５Ａおよび図５Ｂと同様に、第２画像および第３画像の生成に利用される各色の混合画素の配列を示しており、Ｂ、Ｇ、ｇ、Ｒについての第２領域２１０、２１１、２１２、２１３と、第３領域２１４、２１５、２１６、２１７を示している。
【０１０５】
さらに、実施の形態３においては、以下のような効果もある。
例えば、一般に動画像のサイズには、ＳＤＴＶ（７２０×４８０画素）とＨＤＴＶ（１９２０×１０８０画素）の２種類が存在する。これは、ＴＶ受像機の画像サイズに合わせたものである。しかしながら、静止画の画質にはこの画像サイズでは不十分なため、デジタルスチルカメラなどでは、例えば、１４０万画素（５０００×２８００画素）といった、より高解像度の固体撮像素子が利用されるようになってきた。従来、デジタルスチルカメラの動画モード時においては、４画素混合、あるいは、９画素混合により、動画用画像サイズを生成していた。しかしながら、１２０万画素を４画素混合すると、２５００×１４００画素の画像が生成される。これでは、ＨＤＴＶサイズよりも大きくなるため、縮小処理が必要になってしまい、２５００×１４００画素に対して実施した画像処理が無駄になっていた。また、９画素混合すると、約１６５０×９３０画素の画像となり、ＨＤＴＶサイズに満たなくなってしまい、拡大処理をすることになるため、画質が劣化してしまった。
【０１０６】
しかしながら、実施の形態３による方式では、得られる画像サイズは２５００×１４００画素でありながら、画像処理量は、その５／３６倍でよい。これにより、必要な画像サイズに対して、最適な画像処理量を割り当てることができ、画像撮像装置の低消費電力化、小型化に貢献することができる。
【０１０７】
（実施の形態４）
実施の形態４が実施の形態１と異なる点は、本実施の形態における画像撮像装置が、第１画像圧縮部、第２画像圧縮部、第３画像圧縮部を備える点である。
【０１０８】
図１６は、本実施の形態における画像撮像装置３００の構成図である。
図１６に示すように、画像撮像装置３００は、実施の形態１と同様、撮影レンズ３０１と、カメラ本体３０２とからなる画像撮像装置である。また、カメラ本体３０２は、固体撮像素子３０３と、処理部３１０と、一時記録部３５０と、記録部３６０とを備えている。撮影レンズ３０１によって結像された被写体像は、固体撮像素子３０３によって画素信号に変換され、処理部３１０へ送られる。
【０１０９】
処理部３１０は、画素再構成部３１１と、画像処理部３１２と、制御部３１３と、画像圧縮部３１４と、第４画像処理部３４１と、第４画像圧縮部３４２と、画像復号部３４３とを備えている。
【０１１０】
制御部３１３は、固体撮像素子３０３、画像処理部３１２、画像圧縮部３１４、第４画像処理部３４１、第４画像圧縮部３４２の動作を制御する。
【０１１１】
また、一時記録部３５０は、作業用メモリであり、処理部３１０で画像が生成されるときに、画像信号などを一時的に記憶する場合に使用される。また、記録部３６０は、処理部３１０で生成された画像を記憶する。
【０１１２】
画像処理部３１２は、第１画像処理部３２１、第２画像処理部３２２、第３画像処理部３２３を備え、画像圧縮部３１４は第１画像圧縮部３３１、第２画像圧縮部３３２、第３画像圧縮部３３３を備えている。実施の形態１と同様に、画素再構成部３１１から出力された第１画素混合信号、第２画素混合信号、第３画素混合信号は、第１画像処理部３２１、第２画像処理部３２２、第３画像処理部３２３で第１画像信号、第２画像信号、第３画像信号へと変換され、それぞれ画像圧縮部３１４の第１画像圧縮部３３１、第２画像圧縮部３３２、第３画像圧縮部３３３でＪＰＥＧ、ＭＰＥＧ、ＭＰＥＧ４などに圧縮変換されて、記録部３６０に記憶される。
【０１１３】
ここで、実施の形態１と異なる点は、第１画像処理部３２１、第２画像処理部３２２、第３画像処理部３２３が生成した第１画像信号、第２画像信号、第３画像信号をそれぞれ個別に、第１画像圧縮部３３１、第２画像圧縮部３３２および第３画像圧縮部３３３により圧縮符号化処理し、第１画像、第２画像、第３画像を記録部３６０に記録する点である。
【０１１４】
これにより、実施の形態１で生成されていた第４画像が生成されない。また、第２画像と第３画像の総合の画像サイズは、実施の形態１で生成されていた第４画像よりも小さいため、記録部３６０に対してより記録密度を削減して画像を記録できるようになる。
【０１１５】
さらに、画像撮像装置３００は、画像復号部３４３および第４画像処理部３４１、第４画像圧縮部３４２を備えていてもよく、記録した第２画像、第３画像を画像復号部３４３により復号して、第４画像処理部３４１および第４画像圧縮部３４２によって、さらに第４画像を任意に生成することが可能な構成としてもよい。
【０１１６】
（実施の形態５）
実施の形態５が実施の形態１と異なる点は、本実施の形態における画像撮像装置が、実施の形態１における画像撮像装置１００の構成に加えて、処理部に画像合成部、第４画像圧縮部、画像復号部を備える点である。図１７は、本実施の形態における画像撮像装置４００の構成図である。
【０１１７】
図１７に示すように、画像撮像装置４００は、実施の形態１と同様、撮影レンズ４０１と、カメラ本体４０２とからなる画素撮像装置である。また、カメラ本体４０２は、固体撮像素子４０３と、処理部４１０と、一時記録部４５０と、記録部４６０とを備えている。撮影レンズ４０１によって結像された被写体像は、固体撮像素子４０３によって画素信号に変換され、処理部４１０へ送られる。
【０１１８】
処理部４１０は、画素再構成部４１１と、画像処理部４１２と、制御部４１３と、第１画像圧縮部４３１と、第２画像圧縮部４３２と、画像合成部４４１と、第４画像圧縮部４４２と、画像復号部４４３とを備えている。
【０１１９】
制御部４１３は、固体撮像素子４０３、画像処理部４１２、第１画像圧縮部４３１、第２画像圧縮部４３２、画像合成部４４１、第４画像圧縮部４４２、画像復号部４４３の動作を制御する。
【０１２０】
また、一時記録部４５０は、作業用メモリであり、処理部４１０で画像が生成されるときに、画像信号などを一時的に記憶する場合に使用される。また、記録部４６０は、処理部４１０で生成された画像を記憶する。
【０１２１】
画像処理部４１２は、第１画像処理部４２１、第２画像処理部４２２、第３画像処理部４２３、第４画像処理部４２４を備えている。実施の形態１と同様に、画素再構成部３１１から出力された第１画素混合信号、第２画素混合信号、第３画素混合信号は、第１画像処理部３２１、第２画像処理部３２２、第３画像処理部３２３で第１画像信号、第２画像信号、第３画像信号へと変換される。第２画像信号および第３画像信号はさらに第４画像処理部４２４により第４画像信号へと変換される。そして、第１画像信号および第４画像信号は、それぞれ第１画像圧縮部４３１、第２画像圧縮部４３２でＪＰＥＧ、ＭＰＥＧ、ＭＰＥＧ４などに圧縮変換されて、記録部４６０に記憶される。
【０１２２】
また、画像合成部４４１は、異なる時間に生成された複数の第４画像から、より高精細な第５画像を生成するものである。つまり、記録部４６０に記憶された複数の第４画像は、画像復号部４４３により復号され、復号された第４画像に対応する第４画像信号から、画像合成部４４１により第５画像信号が生成され、記録部４６０に記憶される。
【０１２３】
図１８Ａに、第５画像信号を生成する動作シーケンスの一例を示す。図１８Ａに示すように、連続的に記録された３つのフレームに対応する高解像度画像（第４画像）４７０は、画像復号部４４３を経由して、画像合成部４４１により出力されると同時に時間軸を合わせて合成処理され、より高精細な１フレームの超高解像度画像（第５画像）４７１が生成される。
【０１２４】
また、図１８Ｂ〜１８Ｄは、３つのフレームに対応する第４画像における第１領域４８０、４８１、４８２を示す図である。このとき、読出した第４画像に対応する混合画素信号を混合する画素の位置を、図１８Ｂ〜図１８Ｄの第１領域４８０、４８１、４８２に示すように、フレーム毎に順次位置をずらすことで、超高解像度画像を生成することが可能である。
【０１２５】
（実施の形態６）
実施の形態６が実施の形態１と異なる点は、本実施の形態における画像撮像装置が、画像圧縮部５１４、画像合成部、第４画像圧縮部を備える点である。
【０１２６】
図１９は、本実施の形態における画像撮像装置５００の構成図である。
図１９に示すように、画像撮像装置５００は、実施の形態１と同様、撮影レンズ５０１と、カメラ本体５０２とからなる画像撮像装置である。また、カメラ本体５０２は、固体撮像素子５０３と、処理部５１０と、一時記録部５５０と、記録部５６０とを備えている。撮影レンズ５０１によって結像された被写体像は、固体撮像素子５０３によって画素信号に変換され、処理部５１０へ送られる。
【０１２７】
処理部５１０は、画素再構成部５１１と、画像処理部５１２と、制御部５１３と、画像圧縮部５１４と、画像合成部５４１と、第４画像圧縮部５４２とを備えている。
【０１２８】
制御部５１３は、固体撮像素子５０３、画像処理部５１２、画像圧縮部５１４、画像合成部５４１、第４画像圧縮部５４２の動作を制御する。
【０１２９】
また、一時記録部５５０は、作業用メモリであり、処理部５１０で画像が生成されるときに、画像信号などを一時的に記憶する場合に使用される。また、記録部５６０は、処理部５１０で生成された画像を記憶する。
【０１３０】
画像処理部５１２は、第１画像処理部５２１、第２画像処理部５２２、第３画像処理部５２３を備え、画像圧縮部５１４は第１画像圧縮部５３１、第５画像圧縮部５３２を備えている。実施の形態１と同様に、画素再構成部５１１から出力された第１画素混合信号、第２画素混合信号、第３画素混合信号は、第１画像処理部５２１、第２画像処理部５２２、第３画像処理部５２３で第１画像信号、第２画像信号、第３画像信号へと変換され、画像圧縮部５１４の第１画像圧縮部５３１には第１画像信号が送られ、第５画像圧縮部５３２には第１画像信号、第２画像信号、第３画像信号が送られて、それぞれＪＰＥＧ、ＭＰＥＧ、ＭＰＥＧ４などに圧縮変換されて、記録部５６０に記憶される。
【０１３１】
ここで、本実施の形態が実施の形態１と異なる点は、第５画像圧縮部５３２が、第１画像信号、第２画像信号、第３画像信号から差分信号を生成し、生成した差分信号を圧縮符号化する点である。詳細には、第５画像圧縮部５３２は、第１画像と第２画像の差分である第１差分信号と、第１画像と第３画像の差分である第２差分信号を生成し、第４画像圧縮部５４２により生成した第１差分信号と第２差分信号を圧縮符号化する。
【０１３２】
第５画像圧縮部５３２の構成を図２０に示す。また、図２１に、第１画像および第２画像の差分である第１差分信号を圧縮した画像を形成する動作図を示す。
【０１３３】
図２０に示すように、第５画像圧縮部５３２は、第１拡大部５７０、第２拡大部５７１、減算器５７２、５７３、第１圧縮部５７４、第２圧縮部５７５を備えている。
【０１３４】
第５画像圧縮部５３２は、図２１に示すように、低解像度画像（第１画像）を第１拡大部５７０により第２画像と同じ画像サイズまで拡大した拡大低解像度画像を生成し、減算器５７２において拡大低解像度画像と第２画像との差分から第１高周波画像を構成する第１差分信号を生成する。次いで、第１差分信号を第１圧縮部５７４により圧縮する。
【０１３５】
同様に、第５画像圧縮部５３２は、第３画像に対しても、低解像度画像（第１画像）を第２拡大部５７１により、第３画像と同じ画像サイズまで拡大した拡大低解像度画像を生成し、減算器５７３において拡大低解像度画像と第３画像との差分から第２高周波画像を構成する第２差分信号を生成する。次いで、第２差分信号を第２圧縮部５７５により圧縮する。
【０１３６】
これにより、第１画像、第２画像、第３画像に共通に含まれる情報（ＤＣ成分）の冗長性を排除することができ、圧縮効率を上げることができる。
【０１３７】
その後、第１差分信号および第２差分信号が圧縮されて生成された高解像度画像は、画像合成部５４１により出力されると同時に時間軸を合わせて合成処理され、さらに第４画像圧縮部５４２により圧縮変換されて、超高解像度画像が生成される。
【０１３８】
（実施の形態７）
実施の形態７が実施の形態１と異なる点は、本実施の形態における画像撮像装置が、画素再構成部に代えて画素混合部を備える点である。
【０１３９】
図２２は、本実施の形態における画像撮像装置６００の構成図である。
図２２に示すように、画像撮像装置６００は、実施の形態１と同様、撮影レンズ６０１と、カメラ本体６０２とからなる画像撮像装置である。また、カメラ本体６０２は、固体撮像素子６０３と、処理部６１０と、一時記録部６５０と、記録部６６０とを備えている。撮影レンズ６０１によって結像された被写体像は、固体撮像素子６０３によって画素信号に変換され、処理部６１０へ送られる。
【０１４０】
処理部６１０は、画素混合部６１１と、画像処理部６１２と、制御部６１３と、第１画像圧縮部６３１と、第２画像圧縮部６３２とを備えている。
【０１４１】
画素混合部６１１は、固体撮像素子６０３から出力された各画素１５０の画素信号を混合して、第１画素混合信号、第２画素混合信号、第３画素混合信号を生成する。ここで、第１画素混合信号、第２画素混合信号、第３画素混合信号は、固体撮像素子６０３における所定数の画素１５０を含む第１領域と、第１領域内の第２領域と、第１領域内の第３領域のそれぞれにおける画素信号が混合された画素混合信号である。
【０１４２】
制御部６１３は、固体撮像素子６０３、画像処理部６１２、第１画像圧縮部６３１、第２画像圧縮部６３２の動作を制御する。
【０１４３】
また、一時記録部６５０は、作業用メモリであり、処理部６１０で画像が生成されるときに、画像信号などを一時的に記憶する場合に使用される。また、記録部６６０は、処理部６１０で生成された画像を記憶する。
【０１４４】
画像処理部６１２は、第１画像処理部６２１、第２画像処理部６２２、第３画像処理部６２３、第４画像処理部６２４を備えている。ここで、画素混合部６１１から出力された第１画素混合信号、第２画素混合信号、第３画素混合信号は、第１画像処理部６２１、第２画像処理部６２２、第３画像処理部６２３で第１画像信号、第２画像信号、第３画像信号へと変換される。第２画像信号および第３画像信号はさらに第４画像処理部６２４により第４画像信号へと変換される。そして、第１画像信号および第４画像信号がそれぞれ第１画像圧縮部６３１、第２画像圧縮部６３２でＪＰＥＧ、ＭＰＥＧ、ＭＰＥＧ４などに圧縮変換されて、記録部６６０に記憶される。
【０１４５】
ここで、本実施の形態では、処理部６１０に、実施の形態１の画素再構成部１１１に代えて画素混合部６１１を搭載している。つまり、本実施の形態では、画素混合を処理部６１０に設けられた画素混合部６１１において実施することが特徴である。これにより、固体撮像素子６０３において画素混合を実施する必要がなく、画素混合の機能のない固体撮像素子を利用した画像撮像装置においても、固体撮像素子６０３の処理量を削減し、低消費電力化、小型化が可能となる。
【０１４６】
（実施の形態８）
実施の形態８が実施の形態１と異なる点は、本実施の形態における画像撮像装置が、Ｒ、Ｇ、Ｂの３色の異なるカラーフィルタ画素の画素信号を混合する点である。
【０１４７】
図２３に、本実施の形態における９画素混合方式（以下、第２の９画素混合方式と呼ぶ）における動画撮影時の固体撮像素子の画素信号の読み出し例を示す。ここでは、実施の形態１における図１に示した画像撮像装置１００において、Ｒ、Ｇ、Ｂの３色の異なるカラーフィルタをもつ画素を混合して読み出している。
【０１４８】
第２の９画素混合方式では、例えば、図２３の（Ａ４）に示す読み出しでは、第１領域７０１内の４個のＢ、２個のＧ、２個のｇ、および、１個のＲ画素が加算されて出力される。また、同図における（Ｂ４）、（Ｃ４）、（Ｄ４）に示すように、その他のカラーフィルタの並びに対応する画素についても、同様に、第１領域７０２、７０３、７０４内の９画素の画素混合信号が生成されて、固体撮像素子１０３から出力される。
【０１４９】
図２４に、本実施の形態に示す固体撮像素子１０３が出力する画素混合信号の混合画素の配列を示す。同図に示すＲ、Ｇ、ＢはそれぞれＲ、Ｇ、Ｂのカラーフィルタを有する画素を示す。また、ｇは、Ｒ列のＧを示している。また、同図は、第１領域がＭ×Ｍ画素、第２領域がｎ×Ｍ画素、第３領域がＭ×ｎ画素で構成される固体撮像素子１０３において、Ｍ＝３、ｎ＝１としたときの画素混合信号を示している。なお、Ｍはｎ×αで現わされる正の整数、ｎは１以上の整数、αは２以上の整数である。また、ここではα＝３としている。すなわち、図の破線で示される領域は、Ｂのカラーフィルタを有する９個の画素を含む第１領域７０１であり、第１領域７０１内の行方向の３画素（Ｂ、Ｇ、Ｂの３画素、もしくは、ｇ、Ｒ、ｇの３画素の組み合わせ）を含む領域が第２領域であり、第１領域７０１内の列方向の３画素（Ｂ、Ｇ、Ｂの３画素、もしくは、ｇ、Ｒ、ｇの３画素の組み合わせ）を含む領域が第３領域である。また、第２領域は、第１領域７０１内の列方向に３つ配置され、第３領域は、第１領域７０１内の行方向に３つ配置されている。なお、図２４では、図２３の（Ａ４）のみ示しているが、（Ｂ４）から（Ｄ４）の組み合わせにおいても同様である。
【０１５０】
図２４に示すように、本実施の形態では、固体撮像素子１０３が、破線で示される第１領域７０１内の９個の画素に対して、水平×垂直の画素数が、（ａ７）３×１画素、（ｂ７’）３×２画素、（ｄ７）１×３画素、（ｅ７）１×３画素、（ｇ７）３×３画素の５つの配列において各画素の画素信号を混合した画素混合信号を出力することが特徴である。具体的には、（ａ７）に示した第２領域の３つの画素の画素信号を混合した第２画素混合信号と、（ｂ７’）に示した２つの第２領域の６つの画素の画素信号を混合した第４画素混合信号と、（ｄ７）および（ｅ７）にそれぞれ示した第３領域の３つの画素の画素信号を混合した第３画素混合信号と、（ｅ７）に示した第１領域７０１の９つの画素の画素信号を混合した第１画素混合信号とを出力する。
【０１５１】
また、出力されなかった領域の画素混合信号は、上記した５種類の画素混合信号から下記の変換式により再構成される。
【０１５２】
（ａ７）＝（ａ７）
（ｂ７）＝（ｂ７'）−（ａ７）
（ｃ７）＝（ｇ７）−（ｂ７'）
（ｄ７）＝（ｄ７）
（ｅ７）＝（ｅ７）
（ｆ７）＝（ｇ７）−（ｄ７）−（ｅ７）
（ｇ７）＝（ｇ７）
【０１５３】
これにより、図２５に示す（ａ７）から（ｇ７）までの７種類の画素混合信号が得られる。
【０１５４】
なお、図２５において、（ｇ７）が第１領域、（ａ７）、（ｂ７）、（ｃ７）が第２領域、（ｄ７）、（ｅ７）、（ｆ７）が第３領域の混合画素を示している。また、（ｂ７’）で２つの第２領域の画素信号を混合した第４画素混合信号を出力したように、複数の第３領域の画素信号を混合した第５画素混合信号を出力する構成としてもよい。
【０１５５】
図２５における（ｇ７）により、従来の動画モードと同じく、低解像度画像（第１画像）を得ることができる。ここで、第１画素混合信号は、第１領域７０１内のすべての画素信号を使って生成された画像信号であるため、低解像度であっても行方向および列方向にゆがみや色変調のない画像が得られることが特徴である。
【０１５６】
また、図２５における（ａ７）から（ｃ７）では、第２領域内の同一の行に配置された３つの画素の画素信号が混合された第２画素混合信号が生成される。つまり、各第２領域では行方向の画素信号が間引きされた第２画素混合信号が生成される。そして、（ａ７）から（ｃ７）の第２画素混合信号に対して画像処理を実施することで、垂直解像度が上記した画素混合による出力をしない場合と同一の画像（第２画像）が生成される。第２画像は、行方向の画素信号が間引きされているので、行方向が短く列方向が長い画像となる。
【０１５７】
同様に、図２５における（ｄ７）から（ｆ７）では、第３領域内の同一の列に配置された３つの画素の画素信号が混合された第３画素混合信号が生成される。つまり、各第３領域では列方向の画素信号が間引きされた第３画素混合信号が生成される。そして、（ｄ７）から（ｆ７）により、水平解像度が上記した画素混合による出力をしない場合と同一の画像（第３画像）が生成される。第３画像は、列方向の画素信号が間引きされているので、列方向が短く行方向が長い画像となる。
【０１５８】
さらに、上記した第１画像、第２画像、第３画像は、同一タイミングで露光された画素信号から生成されたものである。よって、従来の動画モードと同じく動画用の低解像度画像（第１画像）の生成と同時に、第２画像および第３画像を合成することで、画素混合をしなかった場合と同様の静止画用の高解像度画像（第４画像）が生成できる。
【０１５９】
また、Ｂ以外のＲ、Ｇ、ｇの各色についても、同様に、低解像度画像および高解像度画像を生成することができる。
【０１６０】
本実施の形態で示される画素混合方式では、Ｒ、Ｇ、Ｂを分離して読み出すのではなく、異なるカラーフィルタを持つ画素を混合して読み出すものである。しかしながら、図２３に示すように、Ｒ、Ｇ、Ｂの混合の組み合わせ方法が４種類あるため、最終的に、Ｒ、Ｇ、Ｂを分離することが可能であり、実施の形態１と同様の効果を得ることが可能である。
【０１６１】
なお、本発明は、上記した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形を行ってもよい。
【０１６２】
例えば、第１領域、第２領域、第３領域に配置される画素は、上記した個数や配置に限らず、その他の配置であってもよい。
【０１６３】
また、本発明にかかる画像撮像装置の処理部は、上記した実施の形態に限らず、どのような構成であってもよい。例えば、画像処理部、画像圧縮部、画像合成部、画像復号部を追加した構成や、これらの組み合わせを変更した構成であってもよい。
【０１６４】
また、本発明にかかる画像撮像装置には、上記実施の形態における任意の構成要素を組み合わせて実現される別の実施の形態や、実施の形態に対して本発明の主旨を逸脱しない範囲で当業者が思いつく各種変形を施して得られる変形例や、本発明にかかる画像撮像装置を備えた各種デバイスなども本発明に含まれる。例えば、本発明にかかる画像撮像装置を備えたムービーカメラも本発明に含まれる。
【産業上の利用可能性】
【０１６５】
本発明は、一体型ビデオカメラやデジタルスチルカメラ、ムービーカメラなどのモバイルカメラに適用できる画像撮像装置であって、読み出しの画素数を減数しても高解像度の画像を取得することができる画像撮像装置として、特に、監視カメラ、ＷＥＢカメラなどのネットワークカメラや、車載カメラ、ドライブレコーダなどの自動車搭載用カメラに利用可能である。
【符号の説明】
【０１６６】
１００、３００、４００、５００、６００  画像撮像装置
１０３、３０３、４０３、５０３、６０３  固体撮像素子
１１０、３１０、４１０、５１０、６１０  処理部
１１１、３１１、４１１、５１１  画素再構成部
１２１、３２１、４２１、５２１、６２１  第１画像処理部
１２２、３２２、４２２、５２２、６２２  第２画像処理部
１２３、３２３、４２３、５２３、６２３  第３画像処理部
１２４、３４１、４２４、６２４  第４画像処理部
１３１、３３１、４３１、５３１、６３１  第１画像圧縮部
１３２、３３２、４３２、６３２  第２画像圧縮部
１５０、１０２０  画素
１６０、１９０、１９１、１９２、１９３、２００、２０１、２０２、２０３、４８０、４８１、４８２、７０１、７０２、７０３、７０４、１１００  第１領域
１８０、５７０  第１拡大部
１８１、５７１  第２拡大部
１８２  第１コントラスト算出部
１８３  第２コントラスト算出部
２１０、２１１、２１２、２１３  第２領域
２１４、２１５、２１６、２１７  第３領域
３３３  第３画像圧縮部
３４２、４４２、５４２  第４画像圧縮部
４７０  高解像度画像（第４画像）
５３２  第５画像圧縮部
５７４  第１圧縮部
５７５  第２圧縮部
６１１  画素混合部
【図１】
2011109627.tif 000003
【図２】
2011109627.tif 000004
【図３】
2011109627.tif 000005
【図４】
2011109627.tif 000006
【図５Ａ】
2011109627.tif 000007
【図５Ｂ】
2011109627.tif 000008
【図６】
2011109627.tif 000009
【図７】
2011109627.tif 000010
【図８Ａ】
2011109627.tif 000011
【図８Ｂ】
2011109627.tif 000012
【図９】
2011109627.tif 000013
【図１０】
2011109627.tif 000014
【図１１】
2011109627.tif 000015
【図１２】
2011109627.tif 000016
【図１３】
2011109627.tif 000017
【図１４】
2011109627.tif 000018
【図１５】
2011109627.tif 000019
【図１６】
2011109627.tif 000020
【図１７】
2011109627.tif 000021
【図１８Ａ】
2011109627.tif 000022
【図１８Ｂ】
2011109627.tif 000023
【図１８Ｃ】
2011109627.tif 000024
【図１８Ｄ】
2011109627.tif 000025
【図１９】
2011109627.tif 000026
【図２０】
2011109627.tif 000027
【図２１】
2011109627.tif 000028
【図２２】
2011109627.tif 000029
【図２３】
2011109627.tif 000030
【図２４】
2011109627.tif 000031
【図２５】
2011109627.tif 000032
【図２６】
2011109627.tif 000033
【図２７】
2011109627.tif 000034
【図２８】
2011109627.tif 000035
【図２９】
2011109627.tif 000036