(57)【要約】【課題】データ量の増加を抑えつつ、様々な画素数の画素データを出力することができる固体撮像装置およびこの固体撮像装置を搭載した撮像システムを提供する。【解決手段】二次元の行列状に配置された複数の画素を有し、全ての画素のそれぞれが発生した画素信号のそれぞれを全画素信号として出力すると共に、画素信号のそれぞれを予め定めた数の画素数に減縮した減縮画素信号として出力する画素信号処理部と、全画素信号の大きさを表すデジタル値と減縮画素信号の大きさを表すデジタル値との差分を算出したデジタル値を出力する差分算出部と、差分が算出されたデジタル値、または全画素信号の大きさを表すデジタル値のいずれか一方のデジタル値のビット数を削減したデジタル値を、全画素信号に対応するデジタル値として出力するビット数削減部と、を備え、全画素信号に対応するデジタル値と、減縮画素信号の大きさを表すデジタル値とをそれぞれ出力する。【選択図】図２
2015156559.tif 000002
【特許請求の範囲】
【請求項１】
二次元の行列状に配置された複数の画素を有し、該配置された全ての前記画素のそれぞれが発生した画素信号のそれぞれを全画素信号として出力すると共に、前記画素が発生した前記画素信号のそれぞれを予め定めた数の画素数に減縮した減縮画素信号として出力する画素信号処理部と、
前記全画素信号の大きさを表すデジタル値と前記減縮画素信号の大きさを表すデジタル値との差分を算出したデジタル値を出力する差分算出部と、
前記差分算出部によって差分が算出された前記デジタル値、または前記全画素信号の大きさを表す前記デジタル値のいずれか一方のデジタル値のビット数を削減し、該ビット数を削減したデジタル値を、前記全画素信号に対応するデジタル値として出力するビット数削減部と、
を備え、
前記全画素信号に対応するデジタル値と、前記減縮画素信号の大きさを表すデジタル値とをそれぞれ出力する、
ことを特徴とする固体撮像装置。
【請求項２】
前記減縮画素信号は、
対応する複数の前記画素のそれぞれが同じ露光期間で発生したそれぞれの前記画素信号を平均化した画素信号である、
ことを特徴とする請求項１に記載の固体撮像装置。
【請求項３】
前記減縮画素信号は、
対応する複数の前記画素のそれぞれが同じ露光期間で発生したそれぞれの前記画素信号の内、予め定めたいずれか１つの前記画素が発生した画素信号である、
ことを特徴とする請求項１に記載の固体撮像装置。
【請求項４】
前記ビット数削減部は、
前記差分算出部によって差分が算出された前記デジタル値のビット数を削減し、該ビット数を削減した差分が算出されたデジタル値を、前記全画素信号に対応するデジタル値として出力し、
当該固体撮像装置は、
前記全画素信号に対応するデジタル値を、予め定めた数の前記画素に対応するデジタル値毎に分割し、該分割したデジタル値と、該分割したデジタル値に含まれる予め定めた数の前記画素に対応する分の前記減縮画素信号の大きさを表すデジタル値とを組にして順次出力する、
ことを特徴とする請求項２または請求項３に記載の固体撮像装置。
【請求項５】
当該固体撮像装置は、
分割した前記全画素信号に対応するデジタル値と、該分割したデジタル値に対応する分の前記減縮画素信号の大きさを表すデジタル値とのそれぞれの組において、分割したデジタル値に対応する分の前記減縮画素信号の大きさを表すデジタル値を先に出力する、
ことを特徴とする請求項４に記載の固体撮像装置。
【請求項６】
請求項１から請求項５のいずれか１の項に記載の固体撮像装置、
を備え、
該固体撮像装置から出力された前記減縮画素信号の大きさを表すデジタル値に基づいて、前記全画素信号に対応するデジタル値を、前記全画素信号の大きさを表す前記デジタル値に復元する、
ことを特徴とする撮像システム。
【請求項７】
当該撮像システムは、
前記全画素信号に対応するデジタル値に前記減縮画素信号の大きさを表すデジタル値を加算することによって、前記全画素信号の大きさを表す前記デジタル値を復元する、
ことを特徴とする請求項６に記載の撮像システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、固体撮像装置および撮像システムに関する。
【背景技術】
【０００２】
近年、ビデオカメラや電子スチルカメラなどの撮像システムが広く一般に普及している。これらの撮像システムには、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ：電荷結合素子）型の固体撮像装置や、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ：相補型金属酸化膜半導体）型の固体撮像装置が搭載されている。これらの固体撮像装置では、画素が二次元の行列状に複数配置され、光が入射する画素内に設けられたフォトダイオードなどの光電変換部が生成した信号電荷を、画素内に設けられた増幅部で増幅して、画素信号として出力する。このとき、一般的なＣＭＯＳ型固体撮像装置では、従来から、二次元の行列状に配列された各画素からの画素信号を、行毎に順次読み出している。
【０００３】
また、ＣＭＯＳ型固体撮像装置は、ＣＣＤ型固体撮像装置が専用の製造プロセスによって製造されるのに対し、一般的な半導体の製造プロセスを用いて製造することが可能である。このことから、ＣＭＯＳ型固体撮像装置は、例えば、ＳＯＣ（Ｓｙｓｔｅｍ  Ｏｎ  Ｃｈｉｐ）のように、固体撮像装置内に種々の機能回路を組み込むことによって、多機能化を実現することが容易である。このため、撮像システムに搭載するＣＭＯＳ型固体撮像装置（以下、「固体撮像装置」ともいう）では、アナログデジタル変換回路を内蔵し、それぞれの画素から読み出した画素信号をアナログデジタル変換した画素データを出力する構成の固体撮像装置を使用する例が増えている。
【０００４】
また、撮像システムには、様々な動作モードがある。このため、固体撮像装置は、撮像システムの動作モードに応じて、それぞれの画素から読み出した画素信号を加算する画素加算や、それぞれの画素の画素信号を間引いて読み出す間引き読み出しを行い、撮像システムの動作モードに適した画素の数（画素数）の画素データを出力することができる仕組みを備えている（特許文献１参照）。そして、撮像システムに備えた画像処理部は、固体撮像装置から出力された様々な画素数の画素データに基づいて、撮像システムのそれぞれの動作モードに応じた大きさ（サイズ）の画像を生成する。
【０００５】
例えば、水平方向に５７６０画素、垂直方向に４３２０画素がそれぞれ配置された固体撮像装置を搭載した撮像システムにおいて静止画像を撮影する動作モードの場合、固体撮像装置は、全ての画素数（５７６０画素×４３２０画素）の画素データを出力する。そして、画像処理部は、固体撮像装置から出力された全ての画素数の画素データに対して画像処理を行って、５７６０画素×４３２０画素の静止画像を生成して記録する。また、この撮像システムにおいて動画像を撮影する動作モードの場合、固体撮像装置は、例えば、現在の動画像の撮影において主流である１０８０Ｐ形式と同様の画素数（１９２０画素×１０８０画素）に画素加算または間引きした画素データを出力する。そして、画像処理部は、固体撮像装置から出力された画素データに対して画像処理を行って、１９２０画素×１０８０画素の動画像を生成して記録する。また、この撮像システムにおいて被写体を確認するための確認画像（いわゆる、ライブビュー画像（スルー画像））を出力する動作モードの場合、固体撮像装置は、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）などの表示デバイスが表示することができる画素数と同様の画素数（１９２０画素×１４４０画素）に画素加算または間引きした画素データを出力する。そして、画像処理部は、固体撮像装置から出力された画素データに対して画像処理を行って、１９２０画素×１４４０画素のライブビュー画像を生成して出力する。
【０００６】
なお、このように、撮像システムの動作モードに応じて固体撮像装置が出力する画素データの画素数を変更する理由は、最終的に撮像システムが出力する画像の大きさ（サイズ）や更新されるまでの遅れ（リアルタイム性）が動作モードによって異なるためである。すなわち、撮像システムが静止画像を撮影する動作モードの場合には、生成する静止画像の画質を確保するためにリアルタイム性よりも画素数を優先し、画素数の多い画素データを、固体撮像装置から出力するようにしている。これに対して、撮像システムが動画像を撮影する動作モードやスルー画像を出力する動作モードの場合には、生成する動画像やスルー画像に含まれる被写体の動きが滑らかになるように画素数よりもリアルタイム性を優先し、画素加算や間引きによって規格に合った大きさまで画素数を少なくした画素データを、高いリアルタイム性で固体撮像装置から出力するようにしている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−１９９１７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ところで、撮像システムにおいては、例えば、自動露出（Ａｕｔｏ  Ｅｘｐｏｓｕｒｅ：ＡＥ）、自動焦点（Ａｕｔｏ  Ｆｏｃｕｓ：ＡＦ）、オートホワイトバランス（Ａｕｔｏ  Ｗｈｉｔｅ  Ｂａｌａｎｃｅ：ＡＷＢ）などの撮影を行うための制御や、撮影された画像に含まれる被写体の動きや顔を検出する画像認識の処理など、撮影する画像の全体の状況に応じて行う処理もある。これらの処理は、小さいサイズの画像を用いて処理を行った場合でも精度を確保することができる。このため、これらの処理では、必ずしも固体撮像装置から出力される大きなサイズの画素データを必要とせず、むしろリアルタイム性の高さの方が強く求められる。つまり、これらの処理では、動画像を撮影する動作モードやスルー画像を出力する動作モードよりもさらに画素数を少なくしてもよい代わりに、さらに高いリアルタイム性で画素データを固体撮像装置から出力することが求められる。
【０００９】
しかしながら、上述したＡＥ、ＡＦ、ＡＷＢなどの制御や、画像認識の処理は、静止画像や動画像の撮影や、スルー画像の出力と並列して行われる。このため、撮像システムに備えた画像処理部では、静止画像や動画像の生成、またはスルー画像の出力のために固体撮像装置から入力された画素データを、撮像システムにおいて行われるそれぞれの処理に適したサイズに変換している。例えば、画像処理部は、ＡＥ、ＡＦ、ＡＷＢなどの制御や、画像認識の処理に用いるために、固体撮像装置から出力された画素データを、６４０画素×４８０画素の画素数にサイズ変換している。これにより、それぞれの処理部は、サイズ変換された画素データに基づいて、担当するそれぞれの処理を行うことができる。
【００１０】
このように、撮像システムでは、それぞれの処理毎に必要な画素データのサイズが異なるが、画像処理部において、固体撮像装置から出力された画素データを、それぞれの処理に適したサイズにサイズ変換している。しかしながら、このサイズ変換の処理にも時間を要する。このため、撮像システムでは、サイズ変換の処理に要する時間の影響によって、例えば、スルー画像を出力するタイミングが１フレーム分遅くなるなど、画像を生成する処理のリアルタイム性を確保することが困難になる場合がある。
【００１１】
このため、画質を確保するための画素数の多い画素データとリアルタイム性を確保するために画素数を少なくした画素データとを、固体撮像装置から並列に出力するようにすることも考えられる。しかし、この場合には、固体撮像装置が出力する画素データのデータ量の増加してしまう、という問題がある。
【００１２】
本発明は、上記の課題認識に基づいてなされたものであり、データ量の増加を抑えつつ、様々な画素数の画素データを出力することができる固体撮像装置およびこの固体撮像装置を搭載した撮像システムを提供することを目的としている。
【課題を解決するための手段】
【００１３】
上記の課題を解決するため、本発明の固体撮像装置は、二次元の行列状に配置された複数の画素を有し、該配置された全ての前記画素のそれぞれが発生した画素信号のそれぞれを全画素信号として出力すると共に、前記画素が発生した前記画素信号のそれぞれを予め定めた数の画素数に減縮した減縮画素信号として出力する画素信号処理部と、前記全画素信号の大きさを表すデジタル値と前記減縮画素信号の大きさを表すデジタル値との差分を算出したデジタル値を出力する差分算出部と、前記差分算出部によって差分が算出された前記デジタル値、または前記全画素信号の大きさを表す前記デジタル値のいずれか一方のデジタル値のビット数を削減し、該ビット数を削減したデジタル値を、前記全画素信号に対応するデジタル値として出力するビット数削減部と、を備え、前記全画素信号に対応するデジタル値と、前記減縮画素信号の大きさを表すデジタル値とをそれぞれ出力する、ことを特徴とする。
【００１４】
また、本発明の撮像システムは、上記本発明の固体撮像装置、を備え、該固体撮像装置から出力された前記減縮画素信号の大きさを表すデジタル値に基づいて、前記全画素信号に対応するデジタル値を、前記全画素信号の大きさを表す前記デジタル値に復元する、ことを特徴とする。
【発明の効果】
【００１５】
本発明によれば、データ量の増加を抑えつつ、様々な画素数の画素データを出力することができる固体撮像装置およびこの固体撮像装置を搭載した撮像システムを提供することができるという効果が得られる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施形態における固体撮像装置を搭載した撮像システムの概略構成を示したブロック図である。
【図２】本発明の第１の実施形態における固体撮像装置の概略構成を示したブロック図である。
【図３】本第１の実施形態の固体撮像装置における画素データの出力シーケンスを示した図である。
【図４】本第１の実施形態の固体撮像装置がそれぞれの画素データを出力する際の処理と、画素データの復元方法の一例とを簡易的に示した図である。
【図５】本第１の実施形態の固体撮像装置における画素データのビット数削減方法を説明する図である。
【図６】本第１の実施形態の固体撮像装置における画素データの画素数とビット数との関係をまとめた表である。
【図７】本第１の実施形態の固体撮像装置における画素データの画素数とビット数との関係をまとめた表である。
【図８】本第１の実施形態の固体撮像装置における第１の変形例の概略構成を示したブロック図である。
【図９】本第１の実施形態の固体撮像装置における第２の変形例の概略構成を示したブロック図である。
【図１０】本第１の実施形態の第２の変形例の固体撮像装置における画素データの画素数とビット数との関係をまとめた表である。
【図１１】本発明の第２の実施形態の固体撮像装置における画素データの出力シーケンスを示した図である。
【図１２】本第２の実施形態の固体撮像装置が出力した画素データの復元方法の一例を簡易的に示した図である。
【図１３】本第２の実施形態の固体撮像装置における画素データの別の出力シーケンスを示した図である。
【発明を実施するための形態】
【００１７】
以下、本発明の実施形態について、図面を参照して説明する。図１は、本実施形態における固体撮像装置を搭載した撮像システムの概略構成を示したブロック図である。図１において、撮像システム１は、固体撮像装置１０と、画像処理部２０と、表示デバイス３０と、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）４０と、記録媒体５０と、を備えている。また、画像処理部２０は、撮像処理部２１０、評価値生成部２１１、静止画処理部２２１、動画処理部２２２、表示処理部２３０、ＤＲＡＭコントローラ２４０、画像認識部２５０、ＣＰＵ２６０、およびカードインタフェース部２７０を備えている。なお、図１には、撮像システム１内のそれぞれの構成要素が出力する、または処理を行う画像の大きさ（サイズ）を模式的に表した画像の一例も併せて示している。
【００１８】
固体撮像装置１０は、図示しないレンズによって結像された被写体の光学像を光電変換する、本実施形態の固体撮像装置である。固体撮像装置１０は、被写体光に応じた画素信号に基づいた、異なる画素数の複数の画素データのそれぞれを、画像処理部２０内の撮像処理部２１０に出力する。例えば、図１に示したように、固体撮像装置１０は、画素数が最も多い画像Ｐ１に対応する画素データと、画素数が画像Ｐ１よりも少ない画像Ｐ２に対応する画素データと、画素数が画像Ｐ２よりもさらに少ない、つまり、画素数が最も少ない画像Ｐ３に対応する画素データとのそれぞれを、画像処理部２０内の撮像処理部２１０に出力する。つまり、固体撮像装置１０は、大きいサイズの画像Ｐ１の生成に用いる画素データと、中程度のサイズの画像Ｐ２の生成に用いる画素データと、小さいサイズの画像Ｐ３の生成に用いる画素データとの３種類のサイズの画素データのそれぞれを、画像処理部２０内の撮像処理部２１０に出力する。なお、固体撮像装置１０に関する説明は、後述する。
【００１９】
画像処理部２０は、固体撮像装置１０から入力されたそれぞれのサイズの画素データに基づいて、予め定められた種々の画像処理を施した画像を生成し、生成した画像のデータ（以下、「画像データ」という）を、ＤＲＡＭ４０に転送する（書き込む）。また、画像処理部２０は、ＤＲＡＭ４０に格納されている画像データを読み出して、予め定められた種々の画像処理を施す。
【００２０】
撮像システム１内の撮像処理部２１０、評価値生成部２１１、静止画処理部２２１、動画処理部２２２、表示処理部２３０、ＤＲＡＭコントローラ２４０、画像認識部２５０、ＣＰＵ２６０、およびカードインタフェース部２７０は、データバス２９０を介してそれぞれ接続され、例えば、ＤＭＡ（Ｄｉｒｅｃｔ  Ｍｅｍｏｒｙ  Ａｃｃｅｓｓ）によってＤＲＡＭコントローラ２４０に接続されたＤＲＡＭ４０からのデータの読み出し、およびＤＲＡＭ４０へのデータの書き込みを行う。
【００２１】
撮像処理部２１０は、固体撮像装置１０から入力されたそれぞれのサイズの画素データに、シェーディング補正や画素欠陥補正などの前処理を施し、前処理した結果のそれぞれの画像データ（以下、「前処理画像データ」という）を、ＤＲＡＭ４０に転送する（書き込む）。
【００２２】
また、撮像処理部２１０に備えた評価値生成部２１１は、前処理した結果の前処理画像データに基づいて、自動露出（Ａｕｔｏ  Ｅｘｐｏｓｕｒｅ：ＡＥ）、自動焦点（Ａｕｔｏ  Ｆｏｃｕｓ：ＡＦ）、オートホワイトバランス（Ａｕｔｏ  Ｗｈｉｔｅ  Ｂａｌａｎｃｅ：ＡＷＢ）などの制御を行うための評価値を生成し、生成した評価値をＤＲＡＭ４０に転送する（書き込む）。
【００２３】
なお、評価値生成部２１１における評価値の生成の処理は、画素数よりもリアルタイム性が高いことが強く求められる処理である。従って、図１に示したように、評価値生成部２１１が評価値を生成するために用いる前処理画像データは、画素数が最も少ない画像Ｐ３に対応する画素データ（小さいサイズの画素データ）に対して撮像処理部２１０が前処理を施した前処理画像データである。
【００２４】
静止画処理部２２１は、ＤＲＡＭ４０に記録されている前処理画像データを取得し（読み出し）、デモザイク処理（ノイズ除去、ＹＣ変換処理、リサイズ処理）、ＪＰＥＧ圧縮処理など、静止画像を記録するための各種の画像処理を施して、記録用の静止画像データを生成する。また、静止画処理部２２１は、ＤＲＡＭ４０に記録されている記録用の静止画像データを取得し（読み出し）、ＪＰＥＧ伸張処理など、静止画像を再生するための各種の画像処理を施して、表示用の静止画像データを生成する。また、静止画処理部２２１は、生成した記録用の静止画像データおよび表示用の静止画像データを、ＤＲＡＭ４０に転送する（書き込む）。
【００２５】
なお、静止画処理部２２１における静止画像を記録するための画像処理は、静止画像の画質を確保するためにリアルタイム性よりも画素数が多いことが求められる処理である。従って、図１に示したように、静止画処理部２２１が画像処理を行うために用いる前処理画像データは、画素数が最も多い画像Ｐ１に対応する画素データ（大きいサイズの画素データ）に対して撮像処理部２１０が前処理を施した前処理画像データである。
【００２６】
動画処理部２２２は、ＤＲＡＭ４０に記録されている前処理画像データを取得し（読み出し）、デモザイク処理（ノイズ除去、ＹＣ変換処理、リサイズ処理）、ＭＰＥＧ圧縮処理やＨ．２６４圧縮処理等の動画圧縮処理など、動画像を記録するための各種の画像処理を施して、記録用の動画像データを生成する。また、動画処理部２２２は、デモザイク処理を施した画像データに対して動画圧縮処理を行わずに、動画像を再生するための表示用の動画像データを生成することもできる。また、動画処理部２２２は、ＤＲＡＭ４０に記録されている記録用の動画像データを取得し（読み出し）、ＭＰＥＧ伸張処理やＨ．２６４伸張処理等の動画伸張処理など、動画像を再生するための各種の画像処理を施して、表示用の動画像データを生成する。また、動画処理部２２２は、生成した記録用の動画像データおよび表示用の動画像データを、ＤＲＡＭ４０に転送する（書き込む）。
【００２７】
なお、動画処理部２２２における動画像を記録するための画像処理は、動画像のリアルタイム性を確保するために画素数よりもリアルタイム性が高いことが求められる処理である。従って、図１に示したように、動画処理部２２２が画像処理を行うために用いる前処理画像データは、画素数が画像Ｐ１よりも少ない画像Ｐ２に対応する画素データ（中程度のサイズの画素データ）に対して撮像処理部２１０が前処理を施した前処理画像データである。
【００２８】
表示処理部２３０は、ＤＲＡＭ４０に記録されている前処理画像データを取得し（読み出し）、撮影する被写体を確認するための確認画像として、いわゆる、ライブビュー画像（スルー画像）を生成する。そして、表示処理部２３０は、生成したライブビュー画像にＯＳＤ（Ｏｎ−Ｓｃｒｅｅｎ  Ｄｉｓｐｌａｙ）表示用のデータを重畳する処理などの表示処理を施して、表示デバイス３０に出力して表示させる。また、表示処理部２３０は、静止画処理部２２１が生成した表示用の静止画像データや、動画処理部２２２が生成した表示用の動画像データなど、ＤＲＡＭ４０に記録されている表示用の画像データを取得し（読み出し）、取得した表示用の画像データにＯＳＤ表示用のデータを重畳する表示処理などを施して、表示処理後の画像データを、表示デバイス３０に出力して表示させることもできる。
【００２９】
なお、表示処理部２３０におけるライブビュー画像を生成して表示デバイス３０に表示させる表示処理は、表示するライブビュー画像のリアルタイム性を確保するために画素数よりもリアルタイム性が高いことが求められる処理である。従って、図１に示したように、表示処理部２３０がライブビュー画像を生成する処理を行うために用いる前処理画像データは、画素数が画像Ｐ１よりも少ない画像Ｐ２に対応する画素データ（中程度のサイズの画素データ）に対して撮像処理部２１０が前処理を施した前処理画像データである。
【００３０】
表示デバイス３０は、ＴＦＴ（薄膜トランジスター：Ｔｈｉｎ  Ｆｉｌｍ  Ｔｒａｎｓｉｓｔｏｒ）液晶ディスプレイ（ＬＣＤ）や、ＥＶＦ（Ｅｌｅｃｔｒｏｎｉｃ  Ｖｉｅｗ  Ｆｉｎｄｅｒ：電子ビューファインダ）などの表示デバイスであり、表示処理部２３０から出力された表示処理後の画像データに応じた画像を表示する。なお、表示デバイス３０は、有機ＥＬ（Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイや、テレビなどの外部ディスプレイであってもよい。
【００３１】
画像認識部２５０は、ＤＲＡＭ４０に記録されている前処理画像データを取得し（読み出し）、取得した前処理画像データに基づいて、撮影された画像に含まれる被写体の動き量や顔を検出し、検出した被写体の情報を生成して、ＤＲＡＭ４０に転送する（書き込む）。また、画像認識部２５０は、取得した前処理画像データに基づいて、撮影された画像のシーンを認識し、認識したシーンの情報を生成して、ＤＲＡＭ４０に転送する（書き込む）。なお、画像認識部２５０は、生成した被写体の情報やシーンの情報をＤＲＡＭ４０に転送せず、画像認識部２５０内のレジスタに保持する構成であってもよい。
【００３２】
なお、画像認識部２５０における被写体検出やシーン認識などの処理は、画素数よりもリアルタイム性が高いことが強く求められる処理である。従って、図１に示したように、画像認識部２５０が処理を行うために用いる前処理画像データは、画素数が最も少ない画像Ｐ３に対応する画素データ（小さいサイズの画素データ）に対して撮像処理部２１０が前処理を施した前処理画像データである。
【００３３】
カードインタフェース部２７０は、ＤＲＡＭ４０に記録されている記録用の静止画像データや記録用の動画像データを取得し（読み出し）、記録媒体５０に記録させる。また、カードインタフェース部２７０は、記録媒体５０に記録している記録用の静止画像データや記録用の動画像データを読み出し、読み出した画像データを、ＤＲＡＭ４０に転送する（書き込む）。
【００３４】
記録媒体５０は、ＳＤメモリカード（ＳＤ  Ｍｅｍｏｒｙ  Ｃａｒｄ）などの記録媒体であり、カードインタフェース部２７０から出力された記録用の静止画像データや記録用の動画像データを記録する。また、カードインタフェース部２７０によって記録している記録用の静止画像データや記録用の動画像データが読み出される。なお、図１においては、記録媒体５０も撮像システム１の構成要素としているが、記録媒体５０は、撮像システム１に着脱可能な構成である。
【００３５】
ＤＲＡＭコントローラ２４０は、データバス２９０に接続されている撮像システム１内の複数の構成要素からのＤＲＡＭ４０へのアクセス要求、例えば、ＤＭＡアクセス要求に応じて、接続されているＤＲＡＭ４０へのデータの転送（書き込み）、およびＤＲＡＭ４０からのデータの取得（読み出し）を行う。
【００３６】
ＤＲＡＭ４０は、ＤＲＡＭコントローラ２４０によってアクセス制御されるメモリである。ＤＲＡＭ４０は、撮像システム１内のそれぞれの構成要素の処理過程における様々なデータを一時的に格納する。
【００３７】
ＣＰＵ２６０は、撮像システム１の構成要素、すなわち、撮像システム１全体を制御する。例えば、撮像システム１における撮影動作や再生動作に応じて、撮像システム１内の各構成要素の動作を制御する。また、例えば、ＣＰＵ２６０は、撮像システム１が撮影動作を行う際に、図示しないレンズを制御する。
【００３８】
＜第１の実施形態＞
次に、本実施形態の撮像システム１に搭載した固体撮像装置１０について説明する。図２は、本第１の実施形態における固体撮像装置１０の概略構成を示したブロック図である。図２に示した固体撮像装置１０は、画素信号処理部１００と、第１の読み出し部１１０と、第２の読み出し部１２０と、第３の読み出し部１３０と、転送部１４０とから構成される。
【００３９】
画素信号処理部１００は、複数の画素が二次元の行列状に配置されて形成された画素アレイを備え、第１の読み出し部１１０、第２の読み出し部１２０、および第３の読み出し部１３０のそれぞれから入力された読み出し制御信号に応じて、それぞれの画素が入射した光を光電変換した画素信号を、対応する第１の読み出し部１１０、第２の読み出し部１２０、または第３の読み出し部１３０に出力する。画素信号処理部１００は、画素アレイ内に配置された全ての画素の画素信号のそれぞれを全画素信号Ｓ１とし、画素アレイ内に配置された画素の数を減縮した画素の画素信号のそれぞれを減縮画素信号Ｓ２とし、画素アレイ内に配置された画素の数をさらに減縮した画素の画素信号のそれぞれを減縮画素信号Ｓ３として、別々に出力することができる。つまり、画素信号処理部１００は、画素数が最も多い画像Ｐ１に対応する全画素信号Ｓ１と、画素数が画像Ｐ１よりも少ない画像Ｐ２に対応する減縮画素信号Ｓ２と、画素数が最も少ない画像Ｐ３に対応する減縮画素信号Ｓ３とのそれぞれを、別々に出力することができる（図１参照）。
【００４０】
そして、画素信号処理部１００は、第１の読み出し部１１０から入力された読み出し制御信号に応じて、全画素信号Ｓ１のそれぞれを第１の読み出し部１１０に出力し、第２の読み出し部１２０から入力された読み出し制御信号に応じて、減縮画素信号Ｓ２のそれぞれを第２の読み出し部１２０に出力し、第３の読み出し部１３０から入力された読み出し制御信号に応じて、減縮画素信号Ｓ３のそれぞれを第３の読み出し部１３０に出力する。
【００４１】
第１の読み出し部１１０は、画素信号処理部１００から全画素信号Ｓ１のそれぞれを読み出し、読み出した全画素信号Ｓ１のそれぞれをアナログデジタル変換したそれぞれのデジタル値を転送部１４０に出力する。このとき、第１の読み出し部１１０は、アナログデジタル変換した全画素信号Ｓ１のそれぞれのデジタル値と、第２の読み出し部１２０によってアナログデジタル変換された減縮画素信号Ｓ２のデジタル値との差分を算出し、差分を算出したデジタル値のビット数を削減して、転送部１４０に出力する。
【００４２】
第２の読み出し部１２０は、画素信号処理部１００から減縮画素信号Ｓ２のそれぞれを読み出し、読み出した減縮画素信号Ｓ２のそれぞれをアナログデジタル変換したそれぞれのデジタル値を転送部１４０に出力する。このとき、第２の読み出し部１２０は、アナログデジタル変換した減縮画素信号Ｓ２のそれぞれのデジタル値と、第３の読み出し部１３０によってアナログデジタル変換された減縮画素信号Ｓ３のデジタル値との差分を算出し、差分を算出したデジタル値のビット数を削減して、転送部１４０に出力する。また、第２の読み出し部１２０は、読み出した減縮画素信号Ｓ２のそれぞれをアナログデジタル変換したそれぞれのデジタル値を、第１の読み出し部１１０に出力する。
【００４３】
第３の読み出し部１３０は、画素信号処理部１００から減縮画素信号Ｓ３のそれぞれを読み出し、読み出した減縮画素信号Ｓ３のそれぞれをアナログデジタル変換したそれぞれのデジタル値を、そのまま転送部１４０に出力する。
【００４４】
転送部１４０は、第１の読み出し部１１０、第２の読み出し部１２０、および第３の読み出し部１３０のそれぞれから出力されたそれぞれのデジタル値を、それぞれの画素データとして外部に転送する。すなわち、転送部１４０は、異なる画素数の複数のデジタル値を、それぞれの画素データとして画像処理部２０内の撮像処理部２１０に転送（出力）する。
【００４５】
このような構成によって、固体撮像装置１０は、３種類のサイズの画素データのそれぞれを、画像処理部２０内の撮像処理部２１０に出力する。
【００４６】
なお、固体撮像装置１０では、それぞれの画素データを画像処理部２０内の撮像処理部２１０に転送（出力）する際の順番などに関しては、特に規定しない。ただし、第１の読み出し部１１０から出力された全画素信号Ｓ１に基づいた画素データは、画素数が最も多い画像Ｐ１に対応する画素データであり、第２の読み出し部１２０から出力された減縮画素信号Ｓ２に基づいた画素データは、画素数が画像Ｐ１よりも少ない画像Ｐ２に対応する画素データであり、第３の読み出し部１３０から出力された減縮画素信号Ｓ３に基づいた画素データは、画素数が最も少ない画像Ｐ３に対応する画素データである（図１参照）。このため、全画素信号Ｓ１に基づいた画素データよりも減縮画素信号Ｓ２に基づいた画素データの方が、早く出力することができる。また、減縮画素信号Ｓ２に基づいた画素データよりも減縮画素信号Ｓ３に基づいた画素データの方が、さらに早く出力することができる。従って、減縮画素信号Ｓ３に基づいた画素データを先に出力し、減縮画素信号Ｓ２に基づいた画素データを次に出力し、全画素信号Ｓ１に基づいた画素データを最後に出力する方が、画像処理部２０において処理を行う際に有利である。
【００４７】
例えば、評価値生成部２１１による評価値の生成の処理、画像認識部２５０による被写体検出やシーン認識などの処理は、リアルタイム性が高いことが強く求められる処理であるため、この処理に用いる減縮画素信号Ｓ３に基づいた画素データを先に出力する方が有利である。また、例えば、動画処理部２２２における動画像を記録するための画像処理や、表示処理部２３０におけるライブビュー画像を生成して表示デバイス３０に表示させる表示処理は、評価値生成部２１１や画像認識部２５０によるそれぞれの処理ほどではないが、リアルタイム性が高いことが求められる処理であるため、この処理に用いる減縮画素信号Ｓ２に基づいた画素データを、全画素信号Ｓ１に基づいた画素データよりも先に出力する方が有利である。
【００４８】
このような構成によって、固体撮像装置１０は、画素信号処理部１００に備えた全ての画素の画素信号（全画素信号Ｓ１）に基づいたそれぞれの画素データと、画素数を減縮した画素の画素信号（減縮画素信号Ｓ２）に基づいたそれぞれの画素データとのビット数を削減して、画像処理部２０内の撮像処理部２１０に出力すると共に、画素数をさらに減縮した画素の画素信号（減縮画素信号Ｓ３）に基づいたそれぞれの画素データを、画像処理部２０内の撮像処理部２１０に出力する。これにより、本実施形態の撮像システム１に搭載した画像処理部２０では、リアルタイム性が要求される処理に用いる画素データと、画質が要求される処理に用いる画素データとを、それぞれの処理に応じて使い分けることができる。
【００４９】
次に、本第１の実施形態の固体撮像装置１０のそれぞれの構成要素について、さらに詳細に説明する。まず、図２に示した本第１の実施形態の固体撮像装置１０の画素信号処理部１００の構成について、さらに詳細に説明する。なお、固体撮像装置１０においては、上述したように、複数の画素が二次元の行列状に配置された画素アレイを画素信号処理部１００内に備えるが、説明を容易にするため、図２においては、固体撮像装置１０に備えた画素信号処理部１００内に、画素ａ〜画素ｄの４つの画素が配置されている場合の一例を示している。なお、固体撮像装置１０には、本固体撮像装置１０を搭載した撮像システム１に備えた、本固体撮像装置１０の制御を行う制御装置（例えば、画像処理部２０内のＣＰＵ２６０など）による制御に応じて、画素信号処理部１００内に配置されたそれぞれの画素の構成要素を駆動する垂直走査回路や水平走査回路などの構成要素も備えているが、図２においては省略している。
【００５０】
なお、以下の説明においては、それぞれの構成要素が対応する画素、すなわち、画素ａ〜画素ｄを区別するため、それぞれの構成要素の符号の最後に対応する画素を示す「ａ」、「ｂ」、「ｃ」、または「ｄ」の符号を付与して説明する。より具体的には、画素ａに対応する構成要素の符号の最後に「ａ」を付与し、画素ｂに対応する構成要素の符号の最後に「ｂ」を付与し、画素ｃに対応する構成要素の符号の最後に「ｃ」を付与し、画素ｄに対応する構成要素の符号の最後に「ｄ」を付与して説明する。また、画素ａ〜画素ｄに共通して対応する構成要素には、「ａ」〜「ｄ」の符号は付与せずに説明する。また、画素ａ〜画素ｄのいずれかに対応する構成要素ではあるが、説明を行う際に対応する画素を区別しない場合には、「ａ」〜「ｄ」の符号を示さずに、それぞれの構成要素の符号までを示して説明する。
【００５１】
図２に示した本第１の実施形態の固体撮像装置１０の画素信号処理部１００は、４つの光電変換部１０１ａ〜光電変換部１０１ｄと、４つの電荷転送回路１０２ａ〜電荷転送回路１０２ｄと、４つの第１の電荷蓄積回路１０３ａ〜第１の電荷蓄積回路１０３ｄと、２つの第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄと、第３の電荷蓄積回路２０４とから構成される。図２に示した本第１の実施形態の固体撮像装置１０の画素信号処理部１００では、光電変換部１０１ａと、電荷転送回路１０２ａと、第１の電荷蓄積回路１０３ａとの構成要素によって画素ａを構成し、光電変換部１０１ｂと、電荷転送回路１０２ｂと、第１の電荷蓄積回路１０３ｂとの構成要素によって画素ｂを構成する。また、光電変換部１０１ｃと、電荷転送回路１０２ｃと、第１の電荷蓄積回路１０３ｃとの構成要素によって画素ｃを構成し、光電変換部１０１ｄと、電荷転送回路１０２ｄと、第１の電荷蓄積回路１０３ｄとの構成要素によって画素ｄを構成する。また、第２の電荷蓄積回路１０４ａｂは、画素ａと画素ｂとに共通の構成要素であり、第２の電荷蓄積回路１０４ｃｄは、画素ｃと画素ｄとに共通の構成要素である。また、第３の電荷蓄積回路２０４は、第２の電荷蓄積回路１０４ａｂと第２の電荷蓄積回路１０４ｃｄとに共通の構成要素、つまり、画素ａ〜画素ｄに共通の構成要素である。
【００５２】
光電変換部１０１ａ〜光電変換部１０１ｄのそれぞれは、入射した光を光電変換して信号電荷を発生し、発生した信号電荷を蓄積する、フォトダイオードなどの光電変換部である。
【００５３】
電荷転送回路１０２ａ〜電荷転送回路１０２ｄのそれぞれは、対応する光電変換部１０１ａ〜光電変換部１０１ｄのそれぞれが発生して蓄積した信号電荷を、対応する第１の電荷蓄積回路１０３ａ〜第１の電荷蓄積回路１０３ｄのそれぞれと、対応する第２の電荷蓄積回路１０４ａｂまたは第２の電荷蓄積回路１０４ｃｄのそれぞれに転送するための回路である。
【００５４】
第１の電荷蓄積回路１０３ａ〜第１の電荷蓄積回路１０３ｄのそれぞれは、対応する電荷転送回路１０２ａ〜電荷転送回路１０２ｄのそれぞれから転送された、対応する光電変換部１０１ａ〜光電変換部１０１ｄのそれぞれが発生した信号電荷を保持（蓄積）する回路である。また、第１の電荷蓄積回路１０３ａ〜第１の電荷蓄積回路１０３ｄのそれぞれは、対応する第１の読み出し部１１０内の第１の読み出し制御部１１０１から入力された読み出し制御信号に応じて、保持した信号電荷に応じた信号電圧を全画素信号Ｓ１のそれぞれの画素信号として、第１の読み出し部１１０内の第１のＡ／Ｄ変換部１１０２に出力する回路でもある。
【００５５】
第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄのそれぞれは、対応する電荷転送回路１０２ａ〜電荷転送回路１０２ｄのそれぞれから転送された、対応する光電変換部１０１ａ〜光電変換部１０１ｄのそれぞれが発生したそれぞれの信号電荷の電荷量を平均化した電荷量の信号電荷、またはそれぞれの信号電荷の電荷量を平均化するための信号電荷を保持（蓄積）する回路（平均化電荷蓄積回路）である。つまり、第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄのそれぞれは、固体撮像装置１０の画素信号処理部１００に備えたそれぞれの画素の信号電荷を加算平均することによって、画素信号処理部１００に備えた画素の数（画素数）を減縮した状態にするための信号電荷を保持する回路である。また、第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄのそれぞれは、平均化した電荷量の信号電荷または平均化するための信号電荷を第３の電荷蓄積回路２０４に転送するための回路でもある。また、第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄのそれぞれは、対応する第２の読み出し部１２０内の第２の読み出し制御部１２０１から入力された読み出し制御信号に応じて、保持した信号電荷に応じた信号電圧を、画素数を減縮した状態の減縮画素信号Ｓ２のそれぞれの画素信号として、第２の読み出し部１２０内の第２のＡ／Ｄ変換部１２０２に出力する回路でもある。
【００５６】
第３の電荷蓄積回路２０４は、第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄのそれぞれから入力された、それぞれの信号電荷の電荷量を平均化した信号電荷、またはそれぞれの信号電荷の電荷量を平均化するための信号電荷を保持（蓄積）する回路（平均化電荷蓄積回路）である。つまり、第３の電荷蓄積回路２０４も、第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄと同様に、固体撮像装置１０の画素信号処理部１００に備えた画素の数（画素数）を減縮した状態の信号電荷を保持する回路である。ただし、第３の電荷蓄積回路２０４は、第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄのそれぞれが、固体撮像装置１０の画素信号処理部１００に備えた画素の数（画素数）を減縮した後に、さらに画素数を減縮した状態の信号電荷を保持する。また、第３の電荷蓄積回路２０４は、対応する第３の読み出し部１３０内の第３の読み出し制御部１３０１から入力された読み出し制御信号に応じて、保持した信号電荷に応じた信号電圧を、画素数をさらに減縮した状態の減縮画素信号Ｓ３のそれぞれの画素信号として、第３の読み出し部１３０内の第３のＡ／Ｄ変換部１３０２に出力する回路でもある。
【００５７】
なお、図２に示した本第１の実施形態の固体撮像装置１０の画素信号処理部１００においては、第２の電荷蓄積回路１０４ａｂが電荷転送回路１０２ａおよび電荷転送回路１０２ｂ、すなわち、光電変換部１０１ａおよび光電変換部１０１ｂに対応し、第２の電荷蓄積回路１０４ｃｄが電荷転送回路１０２ｃおよび電荷転送回路１０２ｄ、すなわち、光電変換部１０１ｃおよび光電変換部１０１ｄに対応している。また、図２に示した本第１の実施形態の固体撮像装置１０の画素信号処理部１００においては、第３の電荷蓄積回路２０４が第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄ、すなわち、光電変換部１０１ａ〜光電変換部１０１ｄの全てに対応している。
【００５８】
なお、画素数を減縮するために行うそれぞれの画素の信号電荷を加算平均する構成は、例えば、光電変換部１０１ａおよび光電変換部１０１ｂが発生したそれぞれの信号電荷を第２の電荷蓄積回路１０４ａｂに保持する際に加算平均する構成、第２の電荷蓄積回路１０４ａｂが保持したそれぞれの信号電荷に応じた信号電圧を出力する際に加算平均する構成などがある。なお、例えば、第２の電荷蓄積回路１０４ａｂが保持したそれぞれの信号電荷に応じた信号電圧を出力した後に加算平均する構成であってもよい。
【００５９】
このような構成によって、画素信号処理部１００は、それぞれの画素を同じ露光期間で露光し、それぞれの画素内で、光電変換部１０１が発生した信号電荷を第１の電荷蓄積回路１０３にそれぞれに保持すると共に、それぞれの信号電荷を平均化した信号電荷（画素数を減縮した信号電荷）を第２の電荷蓄積回路１０４に保持し、平均化したそれぞれの信号電荷をさらに平均化した信号電荷（画素数をさらに減縮した信号電荷）を第３の電荷蓄積回路２０４に保持する。より具体的には、画素信号処理部１００は、光電変換部１０１ａが発生した信号電荷を第１の電荷蓄積回路１０３ａに、光電変換部１０１ｂが発生した信号電荷を第１の電荷蓄積回路１０３ｂに、光電変換部１０１ｃが発生した信号電荷を第１の電荷蓄積回路１０３ｃに、光電変換部１０１ｄが発生した信号電荷を第１の電荷蓄積回路１０３ｄにそれぞれに保持する。また、画素信号処理部１００は、光電変換部１０１ａが発生した信号電荷と光電変換部１０１ｂが発生した信号電荷とを平均化した信号電荷を第２の電荷蓄積回路１０４ａｂに、光電変換部１０１ｃが発生した信号電荷と光電変換部１０１ｄが発生した信号電荷とを平均化した信号電荷を第２の電荷蓄積回路１０４ｃｄにそれぞれに保持する。また、画素信号処理部１００は、光電変換部１０１ａ〜光電変換部１０１ｄのそれぞれが発生した信号電荷を平均化した信号電荷を第３の電荷蓄積回路２０４に保持する。そして、画素信号処理部１００は、第１の電荷蓄積回路１０３のそれぞれに保持した信号電荷に応じたそれぞれの画素信号と、第２の電荷蓄積回路１０４に保持した信号電荷に応じた画素信号と、第３の電荷蓄積回路２０４に保持した信号電荷に応じた画素信号とのそれぞれを別々に出力する。すなわち、画素信号処理部１００は、同じ１回の露光によって得られた信号電荷に基づいて、画素信号処理部１００に備えた全ての画素の画素信号（全画素信号Ｓ１）のそれぞれと、画素信号処理部１００に備えた画素の数（画素数）を減縮した画素信号（減縮画素信号Ｓ２）のそれぞれと、画素信号処理部１００に備えた画素の数（画素数）をさらに減縮した画素信号（減縮画素信号Ｓ３）のそれぞれとを別々に出力する。
【００６０】
なお、図２に示した本第１の実施形態の固体撮像装置１０では、予め定めた２つの画素を組とし、それぞれの画素に備えた光電変換部１０１が発生したそれぞれの信号電荷の電荷量を平均化した信号電荷を保持する第２の電荷蓄積回路１０４を備えた画素信号処理部１００の構成を示した。また、図２に示した本第１の実施形態の固体撮像装置１０では、予め定めた第２の電荷蓄積回路１０４を組とし、つまり、予め定めた４つの画素を組とし、それぞれの画素に備えた光電変換部１０１が発生したそれぞれの信号電荷の電荷量を平均化した信号電荷を保持する第３の電荷蓄積回路２０４とを備えた画素信号処理部１００の構成を示した。しかし、実際の固体撮像装置では、二次元の行列状に複数の画素が配置された画素アレイに、例えば、ベイヤー配列のカラーフィルタが貼付され、それぞれの画素に備えた光電変換部１０１は、入射した光に含まれる、貼付されたカラーフィルタの対応する色を光電変換して信号電荷を発生する。従って、本第１の実施形態の固体撮像装置１０においては、貼付されたカラーフィルタの色の重心がずれないように、また、異なる色の信号電荷を平均化しないように、画素の組を構成することが望ましい。
【００６１】
また、図２に示した本第１の実施形態の固体撮像装置１０の画素信号処理部１００においては、第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄのそれぞれが、対応する光電変換部１０１ａ〜光電変換部１０１ｄのそれぞれが発生したそれぞれの信号電荷を加算平均することによって画素数を減縮する構成を示した。また、図２に示した本第１の実施形態の固体撮像装置１０の画素信号処理部１００においては、第３の電荷蓄積回路２０４が、第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄのそれぞれが加算平均したそれぞれの信号電荷をさらに加算平均する、つまり、光電変換部１０１ａ〜光電変換部１０１ｄのそれぞれが発生したそれぞれの信号電荷を加算平均することによって画素数をさらに減縮する構成を示した。しかし、画素数を減縮する方法は、図２に示した加算平均のみに限定されるものではなく、例えば、画素を間引くことによって、画素数を減縮する構成であってもよい。この場合、図２に示した本第１の実施形態の固体撮像装置１０の画素信号処理部１００においては、第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄのそれぞれが、対応する光電変換部１０１ａ〜光電変換部１０１ｄのそれぞれが発生したそれぞれの信号電荷のいずれか一方の信号電荷を保持（蓄積）することによって、画素を間引く構成が考えられる。また、第３の電荷蓄積回路２０４が、光電変換部１０１ａ〜光電変換部１０１ｄのそれぞれが発生したそれぞれの信号電荷のいずれか１つの信号電荷を保持（蓄積）することによって、画素を間引く構成が考えられる。
【００６２】
次に、図２に示した本第１の実施形態の固体撮像装置１０の第１の読み出し部１１０の構成について、さらに詳細に説明する。図２に示した本第１の実施形態の固体撮像装置１０の第１の読み出し部１１０は、第１の読み出し制御部１１０１と、第１のＡ／Ｄ変換部１１０２と、第１の差分算出部１１０３と、第１のビット数削減部１１０４とから構成される。
【００６３】
第１の読み出し制御部１１０１は、画素信号処理部１００内の第１の電荷蓄積回路１０３ａ〜第１の電荷蓄積回路１０３ｄのそれぞれから全画素信号Ｓ１のそれぞれを順次読み出すための読み出し制御信号を、第１の電荷蓄積回路１０３ａ〜第１の電荷蓄積回路１０３ｄのそれぞれに順次出力する。
【００６４】
第１のＡ／Ｄ変換部１１０２は、第１の読み出し制御部１１０１によって読み出され、第１の電荷蓄積回路１０３ａ〜第１の電荷蓄積回路１０３ｄのそれぞれから順次入力されたそれぞれの全画素信号Ｓ１（アナログ信号）をアナログデジタル変換し、それぞれの全画素信号Ｓ１（アナログ信号）の大きさを表す値（デジタル値）を、第１の差分算出部１１０３に順次出力するＡ／Ｄ変換回路である。
【００６５】
第１の差分算出部１１０３は、第１のＡ／Ｄ変換部１１０２から順次入力されたそれぞれの全画素信号Ｓ１のデジタル値と、第２の読み出し部１２０から順次入力されたそれぞれの減縮画素信号Ｓ２のデジタル値との差分を算出し、差分を算出したデジタル値のそれぞれを、第１のビット数削減部１１０４に順次出力する。つまり、第１の差分算出部１１０３は、全画素信号Ｓ１と減縮画素信号Ｓ２との差分をとったそれぞれのデジタル値を、第１のビット数削減部１１０４に出力する。
【００６６】
なお、第１の差分算出部１１０３が出力するデジタル値は、全画素信号Ｓ１と減縮画素信号Ｓ２との差分をとったデジタル値であるため、正のデジタル値である場合と負のデジタル値である場合との両方の状態が存在する。このため、第１の差分算出部１１０３は、出力するデジタル値に正のデジタル値または負のデジタル値を表す符号を付与して、第１のビット数削減部１１０４に出力する。
【００６７】
なお、上述したように、減縮画素信号Ｓ２は、全画素信号Ｓ１の画素数を減縮した画素信号である。このため、第１の差分算出部１１０３によって全画素信号Ｓ１のデジタル値と減縮画素信号Ｓ２のデジタル値との差分が算出されたデジタル値は、全画素信号Ｓ１のエッジ成分を抽出したデジタル値に相当する。
【００６８】
第１のビット数削減部１１０４は、第１の差分算出部１１０３から順次入力された差分が算出されたそれぞれの全画素信号Ｓ１のデジタル値のビット数を、予め定めた方法によって削減し、ビット数を削減したそれぞれの全画素信号Ｓ１のデジタル値を転送部１４０に出力する。なお、第１のビット数削減部１１０４が全画素信号Ｓ１のデジタル値のビット数を削減する方法に関する説明は、後述する。
【００６９】
このような構成によって、第１の読み出し部１１０は、画素信号処理部１００内の第１の電荷蓄積回路１０３のそれぞれに保持した全画素信号Ｓ１のそれぞれを読み出して、読み出したそれぞれの全画素信号Ｓ１をアナログデジタル変換したそれぞれのデジタル値を転送部１４０に出力する。このとき、第１の読み出し部１１０は、読み出したそれぞれの全画素信号Ｓ１をアナログデジタル変換したそれぞれのデジタル値と、第２の読み出し部１２０から入力された減縮画素信号Ｓ２のデジタル値との差分をとり、さらに差分をとったデジタル値のビット数を削減して、転送部１４０に出力する。これにより、転送部１４０は、第１の読み出し部１１０から入力された、全画素信号Ｓ１に基づいたデジタル値のそれぞれを、ビット数が削減された全画素信号Ｓ１に基づいた画素データ（以下、「全画素データＤ１」ともいう）として外部に出力する。
【００７０】
次に、図２に示した本第１の実施形態の固体撮像装置１０の第２の読み出し部１２０の構成について、さらに詳細に説明する。図２に示した本第１の実施形態の固体撮像装置１０の第２の読み出し部１２０は、第２の読み出し制御部１２０１と、第２のＡ／Ｄ変換部１２０２と、第２の差分算出部１２０３と、第２のビット数削減部１２０４とから構成される。
【００７１】
第２の読み出し制御部１２０１は、画素信号処理部１００内の第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄのそれぞれから減縮画素信号Ｓ２のそれぞれを順次読み出すための読み出し制御信号を、第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄのそれぞれに順次出力する。
【００７２】
第２のＡ／Ｄ変換部１２０２は、第２の読み出し制御部１２０１によって読み出され、第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄのそれぞれから順次入力されたそれぞれの減縮画素信号Ｓ２（アナログ信号）をアナログデジタル変換し、それぞれの減縮画素信号Ｓ２（アナログ信号）の大きさを表す値（デジタル値）を、第２の差分算出部１２０３に順次出力するＡ／Ｄ変換回路である。また、第２のＡ／Ｄ変換部１２０２は、アナログデジタル変換した減縮画素信号Ｓ２のデジタル値を、第１の読み出し部１１０内の第１の差分算出部１１０３に順次出力する。
【００７３】
なお、画素信号処理部１００内の第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄのそれぞれが、保持したそれぞれの信号電荷に応じた信号電圧を加算平均せずにそのまま出力する構成である場合には、第２のＡ／Ｄ変換部１２０２が、第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄのそれぞれから出力されたそれぞれの信号電圧を加算平均した大きさのデジタル値を、第２の差分算出部１２０３に順次出力構成であってもよい。この場合、第２のＡ／Ｄ変換部１２０２は、第２の読み出し制御部１２０１によって第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄのそれぞれから順次読み出されたそれぞれの信号電圧をアナログ信号の状態で加算平均した後にアナログデジタル変換してもよいし、それぞれの信号電圧をアナログデジタル変換した後にデジタル値の状態で加算平均してもよい。
【００７４】
第２の差分算出部１２０３は、第２のＡ／Ｄ変換部１２０２から順次入力されたそれぞれの減縮画素信号Ｓ２のデジタル値と、第３の読み出し部１３０から順次入力されたそれぞれの減縮画素信号Ｓ３のデジタル値との差分を算出し、差分を算出したデジタル値のそれぞれを、第２のビット数削減部１２０４に順次出力する。つまり、第２の差分算出部１２０３は、減縮画素信号Ｓ２と減縮画素信号Ｓ３との差分をとったそれぞれのデジタル値を、第２のビット数削減部１２０４に出力する。
【００７５】
なお、第２の差分算出部１２０３が出力するデジタル値は、減縮画素信号Ｓ２と減縮画素信号Ｓ３との差分をとったデジタル値であるため、第１の差分算出部１１０３が出力するデジタル値と同様に、正のデジタル値である場合と負のデジタル値である場合との両方の状態が存在する。このため、第２の差分算出部１２０３は、第１の差分算出部１１０３と同様に、出力するデジタル値に正のデジタル値または負のデジタル値を表す符号を付与して、第２のビット数削減部１２０４に出力する。
【００７６】
なお、上述したように、減縮画素信号Ｓ３は、減縮画素信号Ｓ２の画素数を減縮した画素信号である。このため、第２の差分算出部１２０３によって減縮画素信号Ｓ２のデジタル値と減縮画素信号Ｓ３のデジタル値との差分が算出されたデジタル値は、減縮画素信号Ｓ２のエッジ成分を抽出したデジタル値に相当する。
【００７７】
第２のビット数削減部１２０４は、第２の差分算出部１２０３から順次入力された差分が算出されたそれぞれの減縮画素信号Ｓ２のデジタル値のビット数を、予め定めた方法によって削減し、ビット数を削減したそれぞれの減縮画素信号Ｓ２のデジタル値を転送部１４０に出力する。なお、第２のビット数削減部１２０４が減縮画素信号Ｓ２のデジタル値のビット数を削減する方法は、第１のビット数削減部１１０４が全画素信号Ｓ１のデジタル値のビット数を削減する方法と同様に考えることができる。従って、なお、第２のビット数削減部１２０４が減縮画素信号Ｓ２のデジタル値のビット数を削減する方法に関する説明も、後述する。
【００７８】
このような構成によって、第２の読み出し部１２０は、画素信号処理部１００内の第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄのそれぞれに保持した減縮画素信号Ｓ２のそれぞれを読み出して、読み出したそれぞれの減縮画素信号Ｓ２をアナログデジタル変換したそれぞれのデジタル値を転送部１４０に出力する。このとき、第２の読み出し部１２０は、読み出したそれぞれの減縮画素信号Ｓ２をアナログデジタル変換したそれぞれのデジタル値と、第３の読み出し部１３０から入力された減縮画素信号Ｓ３のデジタル値との差分をとり、さらに差分をとったデジタル値のビット数を削減して、転送部１４０に出力する。これにより、転送部１４０は、第２の読み出し部１２０から入力された、減縮画素信号Ｓ２に基づいたデジタル値のそれぞれを、ビット数が削減された減縮画素信号Ｓ２に基づいた画素データ（以下、「減縮画素データＤ２」ともいう）として外部に出力する。
【００７９】
次に、図２に示した本第１の実施形態の固体撮像装置１０の第３の読み出し部１３０の構成について、さらに詳細に説明する。図２に示した本第１の実施形態の固体撮像装置１０の第３の読み出し部１３０は、第３の読み出し制御部１３０１と、第３のＡ／Ｄ変換部１３０２とから構成される。
【００８０】
第３の読み出し制御部１３０１は、画素信号処理部１００内の第３の電荷蓄積回路２０４から減縮画素信号Ｓ３のそれぞれを順次読み出すための読み出し制御信号を、第３の電荷蓄積回路２０４に順次出力する。
【００８１】
第３のＡ／Ｄ変換部１３０２は、第３の読み出し制御部１３０１によって読み出され、第３の電荷蓄積回路２０４から順次入力されたそれぞれの減縮画素信号Ｓ３（アナログ信号）をアナログデジタル変換し、それぞれの減縮画素信号Ｓ３（アナログ信号）の大きさを表す値（デジタル値）を、そのまま、つまり、それぞれの減縮画素信号Ｓ３のデジタル値のビット数を削減せずに、転送部１４０に順次出力するＡ／Ｄ変換回路である。また、第３のＡ／Ｄ変換部１３０２は、アナログデジタル変換した減縮画素信号Ｓ３のデジタル値を、第２の読み出し部１２０内の第２の差分算出部１２０３に順次出力する。
【００８２】
なお、画素信号処理部１００内の第３の電荷蓄積回路２０４が、保持したそれぞれの信号電荷に応じた信号電圧を加算平均せずにそのまま出力する構成である場合には、第３のＡ／Ｄ変換部１３０２が、第３の電荷蓄積回路２０４から出力されたそれぞれの信号電圧を加算平均した大きさのデジタル値を、転送部１４０に順次出力構成であってもよい。この場合、第３のＡ／Ｄ変換部１３０２は、第３の読み出し制御部１３０１によって第３の電荷蓄積回路２０４から順次読み出されたそれぞれの信号電圧をアナログ信号の状態で加算平均した後にアナログデジタル変換してもよいし、それぞれの信号電圧をアナログデジタル変換した後にデジタル値の状態で加算平均してもよい。
【００８３】
このような構成によって、第３の読み出し部１３０は、画素信号処理部１００内の第３の電荷蓄積回路２０４に保持した減縮画素信号Ｓ３のそれぞれを読み出して、読み出したそれぞれの減縮画素信号Ｓ３をアナログデジタル変換したそれぞれのデジタル値を、そのまま転送部１４０に出力する。これにより、転送部１４０は、第３の読み出し部１３０から入力された、減縮画素信号Ｓ３に基づいたデジタル値のそれぞれを、減縮画素信号Ｓ３に基づいた画素データ（以下、「減縮画素データＤ３」ともいう）として外部に出力する。
【００８４】
このような構成のため、本第１の実施形態の固体撮像装置１０では、第３の読み出し部１３０が減縮画素信号Ｓ３のそれぞれを先に読み出して、読み出したそれぞれの減縮画素信号Ｓ３をアナログデジタル変換したそれぞれのデジタル値を第２の読み出し部１２０に出力すると共に転送部１４０に出力することになる。また、本第１の実施形態の固体撮像装置１０では、第２の読み出し部１２０が減縮画素信号Ｓ２のそれぞれを次に読み出して、読み出したそれぞれの減縮画素信号Ｓ２をアナログデジタル変換したそれぞれのデジタル値を第１の読み出し部１１０に出力すると共に、減縮画素信号Ｓ２のデジタル値と減縮画素信号Ｓ３のデジタル値との差分をとったデジタル値のビット数を削減して転送部１４０に出力することになる。また、本第１の実施形態の固体撮像装置１０では、第１の読み出し部１１０が全画素信号Ｓ１のそれぞれを最後に読み出して、読み出したそれぞれの全画素信号Ｓ１をアナログデジタル変換したそれぞれのデジタル値と減縮画素信号Ｓ２のデジタル値との差分をとったデジタル値のビット数を削減して転送部１４０に出力することになる。そして、本第１の実施形態の固体撮像装置１０では、転送部１４０が、減縮画素信号Ｓ３に基づいた減縮画素データＤ３を先に出力し、減縮画素信号Ｓ２に基づいた減縮画素データＤ２を次に出力し、全画素信号Ｓ１に基づいた全画素データＤ１を最後に出力する。
【００８５】
ここで、本第１の実施形態の固体撮像装置１０において、それぞれの画素データを出力するタイミングについて説明する。図３は、本第１の実施形態の固体撮像装置１０における画素データの出力シーケンスを示した図である。本第１の実施形態の固体撮像装置１０では、図３に示した画素データの出力シーケンスのように、減縮画素データＤ３、減縮画素データＤ２、および全画素データＤ１のそれぞれを時分割で転送（出力）する。
【００８６】
より具体的には、固体撮像装置１０がそれぞれの画素データを出力する際には、まず、第３の読み出し部１３０内の第３の読み出し制御部１３０１が、１フレーム分の減縮画素信号Ｓ３のそれぞれを順次読み出すための読み出し制御信号を、画素信号処理部１００内の第３の電荷蓄積回路２０４に順次出力する。これにより、第３の電荷蓄積回路２０４から、１フレーム分の減縮画素信号Ｓ３が順次出力されて、第３のＡ／Ｄ変換部１３０２に順次入力される。そして、第３のＡ／Ｄ変換部１３０２は、順次入力されたそれぞれの減縮画素信号Ｓ３（アナログ信号）をアナログデジタル変換した１フレーム分の減縮画素信号Ｓ３のデジタル値を、そのまま転送部１４０に順次出力する。そして、転送部１４０は、１フレーム分の減縮画素信号Ｓ３に基づいた１フレーム分の減縮画素データＤ３を画素データとして外部に順次転送（出力）する。
【００８７】
また、第３のＡ／Ｄ変換部１３０２は、アナログデジタル変換した１フレーム分の減縮画素信号Ｓ３のデジタル値を、第２の読み出し部１２０内の第２の差分算出部１２０３に順次出力する。このとき、第２の読み出し部１２０内の第２の読み出し制御部１２０１は、第３の読み出し部１３０内の第３のＡ／Ｄ変換部１３０２から出力されたそれぞれの減縮画素信号Ｓ３のデジタル値に対応する減縮画素信号Ｓ２のそれぞれを順次読み出すための読み出し制御信号を、画素信号処理部１００内の第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄのそれぞれに順次出力する。これにより、第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄのそれぞれから、それぞれの減縮画素信号Ｓ３のデジタル値に対応する１フレーム分の減縮画素信号Ｓ２のそれぞれが順次出力されて、第２のＡ／Ｄ変換部１２０２に順次入力される。そして、第２のＡ／Ｄ変換部１２０２は、順次入力されたそれぞれの減縮画素信号Ｓ２（アナログ信号）をアナログデジタル変換した、それぞれの減縮画素信号Ｓ２のデジタル値を、第２の差分算出部１２０３に順次出力する。
【００８８】
そして、第２の差分算出部１２０３は、第２のＡ／Ｄ変換部１２０２から順次入力されたそれぞれの減縮画素信号Ｓ２のデジタル値と、第３の読み出し部１３０内の第３のＡ／Ｄ変換部１３０２から順次入力されたそれぞれの減縮画素信号Ｓ３のデジタル値との差分をとったそれぞれのデジタル値を、第２のビット数削減部１２０４に順次出力する。そして、第２のビット数削減部１２０４は、第２の差分算出部１２０３から順次入力された差分がとられた減縮画素信号Ｓ２のデジタル値のビット数を、予め定めた方法によって削減して転送部１４０に順次出力する。これにより、転送部１４０は、１フレーム分の減縮画素信号Ｓ２に基づいた１フレーム分の減縮画素データＤ２を画素データとして外部に順次転送（出力）する。
【００８９】
また、第２のＡ／Ｄ変換部１２０２は、アナログデジタル変換した１フレーム分の減縮画素信号Ｓ２のデジタル値を、第１の読み出し部１１０内の第１の差分算出部１１０３に順次出力する。このとき、第１の読み出し部１１０内の第１の読み出し制御部１１０１は、第２の読み出し部１２０内の第２のＡ／Ｄ変換部１２０２から出力されたそれぞれの減縮画素信号Ｓ２のデジタル値に対応する全画素信号Ｓ１のそれぞれを順次読み出すための読み出し制御信号を、画素信号処理部１００内の第１の電荷蓄積回路１０３ａ〜第１の電荷蓄積回路１０３ｄのそれぞれに順次出力する。これにより、第１の電荷蓄積回路１０３ａ〜第１の電荷蓄積回路１０３ｄのそれぞれから、それぞれの減縮画素信号Ｓ２のデジタル値に対応する１フレーム分の全画素信号Ｓ１のそれぞれが順次出力されて、第１のＡ／Ｄ変換部１１０２に順次入力される。そして、第１のＡ／Ｄ変換部１１０２は、順次入力されたそれぞれの全画素信号Ｓ１（アナログ信号）をアナログデジタル変換した、それぞれの全画素信号Ｓ１のデジタル値を、第１の差分算出部１１０３に順次出力する。
【００９０】
そして、第１の差分算出部１１０３は、第１のＡ／Ｄ変換部１１０２から順次入力されたそれぞれの全画素信号Ｓ１のデジタル値と、第２の読み出し部１２０内の第２のＡ／Ｄ変換部１２０２から順次入力されたそれぞれの減縮画素信号Ｓ２のデジタル値との差分をとったそれぞれのデジタル値を、第１のビット数削減部１１０４に順次出力する。そして、第１のビット数削減部１１０４は、第１の差分算出部１１０３から順次入力された差分がとられた全画素信号Ｓ１のデジタル値のビット数を、予め定めた方法によって削減して転送部１４０に順次出力する。これにより、転送部１４０は、１フレーム分の全画素信号Ｓ１に基づいた１フレーム分の全画素データＤ１を画素データとして外部に順次転送（出力）する。
【００９１】
なお、減縮画素信号Ｓ２は、画素アレイ内に配置された画素数を減縮した画素信号であり、減縮画素信号Ｓ３は、画素アレイ内に配置された画素数をさらに減縮した画素信号である。このため、例えば、全画素信号Ｓ１、減縮画素信号Ｓ２、および減縮画素信号Ｓ３のそれぞれの読み出しを同時に開始した場合でも、画素数を減縮した減縮画素信号Ｓ２の方が、画素数を減縮していない全画素信号Ｓ１よりも早く読み出しが完了することができる。また、画素数をさらに減縮した減縮画素信号Ｓ３の方が、画素数を減縮した減縮画素信号Ｓ２よりも早く読み出しが完了することができる。このことにより、図２に示した本第１の実施形態の固体撮像装置１０では、第３の読み出し部１３０における減縮画素信号Ｓ３の読み出しおよび減縮画素信号Ｓ３のデジタル値の出力と、第２の読み出し部１２０における減縮画素信号Ｓ２の読み出し、減縮画素信号Ｓ２のデジタル値の差分の算出、およびビット数の削減と、第１の読み出し部１１０における全画素信号Ｓ１の読み出し、全画素信号Ｓ１のデジタル値の差分の算出、およびビット数の削減とを並列に行いながら、転送部１４０からそれぞれの画素データを、画像処理部２０内の撮像処理部２１０に順次転送（出力）することができる。
【００９２】
このように、本第１の実施形態の固体撮像装置１０では、それぞれの画素データを時分割で転送（出力）する。これにより、本第１の実施形態の固体撮像装置１０を搭載した撮像システム１では、画像処理部２０が、固体撮像装置１０から出力されたそれぞれの画素データを、それぞれの処理に応じて使い分けることができる。つまり、本第１の実施形態の固体撮像装置１０を搭載した撮像システム１では、画像処理部２０に備えたそれぞれの構成要素の処理に適した画素数の画素データを用いて処理を行うことができる。
【００９３】
なお、固体撮像装置１０から出力されたそれぞれの画素データにおいて、減縮画素信号Ｓ２に基づいた減縮画素データＤ２と全画素信号Ｓ１に基づいた全画素データＤ１とは、差分をとった後にビット数を削減した画素データである。このため、画像処理部２０におけるそれぞれの処理では、固体撮像装置１０が出力したそれぞれの画素データを復元した後に、それぞれの処理に用いることになる。
【００９４】
ここで、本第１の実施形態の固体撮像装置１０が出力するそれぞれの画素データの関係と、画像処理部２０におけるそれぞれの画素データの復元方法の一例について説明する。図４は、本第１の実施形態の固体撮像装置１０がそれぞれの画素データを出力する際の処理と、画素データの復元方法の一例とを簡易的に示した図である。図４（ａ）には、本第１の実施形態の固体撮像装置１０がそれぞれの画素データを出力する際の処理を簡易的に示し、図４（ｂ）には、画像処理部２０が本第１の実施形態の固体撮像装置１０から出力されたそれぞれの画素データを復元する際の処理の一例を簡易的に示している。なお、図４においては、説明を容易にするため、全画素信号Ｓ１のデジタル値、縮画素信号Ｓ２のデジタル値、および減縮画素信号Ｓ３のデジタル値の信号線を、「Ｓ１」、「Ｓ２」、および「Ｓ３」と示している。
【００９５】
上述したように、固体撮像装置１０の画素信号処理部１００は、画素数が最も多い画像Ｐ１に対応する全画素信号Ｓ１と、画素数が画像Ｐ１よりも少ない画像Ｐ２に対応する減縮画素信号Ｓ２と、画素数が最も少ない画像Ｐ３に対応する減縮画素信号Ｓ３とのそれぞれを、別々に出力する。そして、固体撮像装置１０の第３の読み出し部１３０は、画素信号処理部１００から読み出した減縮画素信号Ｓ３のそれぞれをアナログデジタル変換したそれぞれのデジタル値を、そのまま転送部１４０に出力し、転送部１４０は、減縮画素信号Ｓ３に基づいた減縮画素データＤ３を、画像処理部２０内の撮像処理部２１０に転送（出力）する。
【００９６】
また、固体撮像装置１０の第２の読み出し部１２０は、画素信号処理部１００から読み出した減縮画素信号Ｓ２のそれぞれをアナログデジタル変換したそれぞれのデジタル値と、減縮画素信号Ｓ３のデジタル値との差分をとる。ここで差分がとられたデジタル値に基づいた画像は、図４（ａ）に示した画像Ｐ２ｅのように、画像Ｐ２のエッジ成分が抽出された画像である。そして、第２の読み出し部１２０は、差分をとったデジタル値のビット数を削減して転送部１４０に出力し、転送部１４０は、減縮画素信号Ｓ２に基づいた減縮画素データＤ２を、画像処理部２０内の撮像処理部２１０に転送（出力）する。
【００９７】
また、固体撮像装置１０の第１の読み出し部１１０は、画素信号処理部１００から読み出した全画素信号Ｓ１のそれぞれをアナログデジタル変換したそれぞれのデジタル値と、減縮画素信号Ｓ２のデジタル値との差分をとる。ここで差分がとられたデジタル値に基づいた画像は、図４（ａ）に示した画像Ｐ１ｅのように、画像Ｐ１のエッジ成分が抽出された画像である。そして、第１の読み出し部１１０は、差分をとったデジタル値のビット数を削減して転送部１４０に出力し、転送部１４０は、全画素信号Ｓ１に基づいた全画素データＤ１を、画像処理部２０内の撮像処理部２１０に転送（出力）する。
【００９８】
そして、画像処理部２０が固体撮像装置１０から出力されたそれぞれの画素データを復元する際には、画像処理部２０内の撮像処理部２１０が、固体撮像装置１０がそれぞれの画素データを出力する際の処理と逆の処理を行う。より具体的には、固体撮像装置１０から転送（出力）された減縮画素データＤ３は、そのまま処理を行う。これは、減縮画素データＤ３が減縮画素信号Ｓ３に基づいたデジタル値である、つまり、差分がとられていない画素データであるため、復元の処理は不要であるからである。
【００９９】
また、画像処理部２０内の撮像処理部２１０は、固体撮像装置１０から転送（出力）された減縮画素データＤ２のビット数を復元する。ここで復元されたデジタル値に基づいた画像は、図４（ｂ）に示した画像Ｐ２ｅのように、画像Ｐ２のエッジ成分が抽出された、図４（ａ）に示した画像Ｐ２ｅと同様の画像である。そして、撮像処理部２１０は、ビット数を復元したデジタル値に、減縮画素信号Ｓ３のデジタル値を加算することによって、画像Ｐ２に対応する減縮画素信号Ｓ２のデジタル値を復元し、復元した減縮画素信号Ｓ２のデジタル値を用いた処理を行う。
【０１００】
また、画像処理部２０内の撮像処理部２１０は、固体撮像装置１０から転送（出力）された全画素データＤ１のビット数を復元する。ここで復元されたデジタル値に基づいた画像は、図４（ｂ）に示した画像Ｐ１ｅのように、画像Ｐ１のエッジ成分が抽出された、図４（ａ）に示した画像Ｐ１ｅと同様の画像である。そして、撮像処理部２１０は、ビット数を復元したデジタル値に、復元した減縮画素信号Ｓ２のデジタル値を加算することによって、画像Ｐ１に対応する全画素信号Ｓ１のデジタル値を復元し、復元した全画素信号Ｓ１のデジタル値を用いた処理を行う。
【０１０１】
このように、画像処理部２０内の撮像処理部２１０が、固体撮像装置１０がそれぞれの画素データを出力する際の処理と逆の処理を行うことによって、固体撮像装置１０から出力されたそれぞれの画素データを元の画像を表す画素データに復元することができる。つまり、画像処理部２０内の撮像処理部２１０は、固体撮像装置１０の画素信号処理部１００が別々に出力した、画素数が最も多い画像Ｐ１に対応する全画素信号Ｓ１と、画素数が画像Ｐ１よりも少ない画像Ｐ２に対応する減縮画素信号Ｓ２と、画素数が最も少ない画像Ｐ３に対応する減縮画素信号Ｓ３とのそれぞれを、復元することができる。
【０１０２】
なお、画像処理部２０におけるそれぞれの処理では、固体撮像装置１０が出力したそれぞれの画素データを、そのまま処理に用いることもできる。例えば、画像に含まれるエッジ成分を抽出した後に行う処理では、固体撮像装置１０が出力した画素データをそのまま用いた方が、エッジ成分の抽出に要する処理時間を短縮することができる。このため、画像処理部２０内の撮像処理部２１０では、必ずしも固体撮像装置１０が出力したそれぞれの画素データを復元する必要はない。
【０１０３】
次に、本第１の実施形態の固体撮像装置１０における画素データのデジタル値のビット数の削減方法について説明する。図５は、本第１の実施形態の固体撮像装置１０における画素データのビット数削減方法を説明する図である。なお、以下の説明においては、第１のＡ／Ｄ変換部１１０２が、入力された全画素信号Ｓ１（アナログ信号）を、１０ビットのデジタル値にアナログデジタル変換し、第１の差分算出部１１０３が、差分とって出力するデジタル値に正のデジタル値または負のデジタル値を表す１ビットの符号を付与した全画素信号Ｓ１のデジタル値のビット数を削減するものとして説明する。つまり、以下の説明においては、第１のビット数削減部１１０４が、１ビットの符号と１０ビットの値（整数）とで構成された１１ビットの全画素信号Ｓ１のデジタル値のビット数を削減するものとして説明する。
【０１０４】
図５（ａ）には、全画素信号Ｓ１のデジタル値のビット数を一律に削減する場合の削減例を示し、図５（ｂ）には、全画素信号Ｓ１のデジタル値の大きさに応じて削減するビット数を変更する場合の削減例を示している。
【０１０５】
全画素信号Ｓ１のデジタル値のビット数を一律に削減する場合、第１のビット数削減部１１０４は、図５（ａ）に示したように、第１の差分算出部１１０３から入力された差分がとられたデジタル値における１０ビットの整数部分のデジタル値を、１０ビットから８ビットにビット数を削減する。このとき、第１のビット数削減部１１０４は、例えば、入力された１０ビットの整数部分のデジタル値を４で除算することによって下位２ビットを削減した８ビットのデジタル値に、１ビットの符号が付与された９ビットのデジタル値を、ビット数を削減した全画素信号Ｓ１のデジタル値（全画素データＤ１）として、転送部１４０に出力する。図５（ａ）に示したようなビット数の削減方法は、入力されたデジタル値の整数部分を予め定めた値（図５（ａ）では４）で除算するのみであるため、第１のビット数削減部１１０４の回路構成を簡単にすることができる。
【０１０６】
全画素信号Ｓ１のデジタル値の大きさに応じて削減するビット数を変更する場合、第１のビット数削減部１１０４は、図５（ｂ）に示したように、第１の差分算出部１１０３から入力された差分がとられたデジタル値が０に近い値の場合に削減するビット数を少なくし、入力された差分がとられたデジタル値が０から遠い値の場合に削減するビット数を多くする。つまり、全画素信号Ｓ１のデジタル値と減縮画素信号Ｓ２のデジタル値との差が小さい場合に削減するビット数を少なくし、全画素信号Ｓ１のデジタル値と減縮画素信号Ｓ２のデジタル値との差が大きい場合に削減するビット数を多くする。このとき、第１のビット数削減部１１０４は、例えば、入力された１０ビットの整数部分のデジタル値を、１０ビットの整数部分のデジタル値の値に応じて下位１ビット〜４ビットを削減した８ビットのデジタル値に、１ビットの符号が付与された９ビットのデジタル値を、ビット数を削減した全画素信号Ｓ１のデジタル値（全画素データＤ１）として、転送部１４０に出力する。図５（ｂ）に示したようなビット数の削減方法は、ビット数を削減した全画素データＤ１に基づいて生成する画像において、なめらかな階調（例えば、グラデーションなど）の再現性を低下させないようにする場合に有効である。
【０１０７】
なお、図５（ｂ）に示したように、全画素信号Ｓ１のデジタル値の大きさに応じて削減するビット数を変更する場合には、撮像処理部２１０においてビット数を復元する際に削減したビット数の情報が必要である。この削減したビット数の情報は、例えば、撮像処理部２１０が、本第１の実施形態の固体撮像装置１０から先に出力され、復元した減縮画素信号Ｓ２のデジタル値に基づいて、第１のビット数削減部１１０４が行うビット数の削減処理と同様の処理を行うことによって得ることができる。また、本第１の実施形態の固体撮像装置１０がビット数を削減した全画素データＤ１を出力する際に、削減したビット数の情報を加えてもよい。この場合、例えば、ＬＶＤＳ方式で転送する全画素データＤ１のヘッダやフッタの情報に削減したビット数の情報を含ませて、全画素データＤ１と共に転送してもよい。また、例えば、本第１の実施形態の固体撮像装置１０の動作の設定を行うために、本固体撮像装置１０を搭載した撮像システム１に備えた画像処理部２０内のＣＰＵ２６０によってアクセスされるレジスタや、シリアル通信を利用して、削減したビット数の情報を通知してもよい。
【０１０８】
このように、第１のビット数削減部１１０４は、第１の差分算出部１１０３が差分とった全画素信号Ｓ１のデジタル値、つまり、全画素信号Ｓ１のエッジ成分を抽出したデジタル値（全画素データＤ１）のビット数を削減する。このエッジ成分のデジタル値に対するビット数の削減は、静止画像の圧縮処理であるＪＰＥＧ圧縮処理においても類似の考え方が適用されているように、画質の劣化が少ないことが一般的に知られている。これにより、本第１の実施形態の固体撮像装置１０では、画質劣化を抑制した状態で、全画素データＤ１を出力する際の消費電力を削減することができる。そして、本第１の実施形態の固体撮像装置１０を搭載した撮像システム１では、固体撮像装置１０と画像処理部２０との間で転送する全画素データＤ１のデータ量を削減することができる。
【０１０９】
なお、第１のビット数削減部１１０４における全画素信号Ｓ１のデジタル値（全画素データＤ１）のビット数の削減方法は、図５に示した方法に限定されるものではなく、他の方法によってビット数を削減してもよい。また、全画素信号Ｓ１のデジタル値のビット数や削減するビット数も、図５に示したビット数に限定されるものではなく、他のビット数の全画素信号Ｓ１のデジタル値（全画素データＤ１）であっても、同様に考えることができる。
【０１１０】
なお、第２のビット数削減部１２０４における減縮画素信号Ｓ２のデジタル値（減縮画素データＤ２）のビット数の削減方法は、ビット数を削減する画素データが減縮画素データＤ２に変わるのみで、上述した第１のビット数削減部１１０４における全画素信号Ｓ１のデジタル値（全画素データＤ１）のビット数の削減方法と同様に考えることができる。つまり、第２のビット数削減部１２０４においても同様の削減方法によって減縮画素データＤ２のビット数を削減することによって、本第１の実施形態の固体撮像装置１０を搭載した撮像システム１では、固体撮像装置１０と画像処理部２０との間で転送する減縮画素データＤ２のデータ量を削減することができる。従って、第２のビット数削減部１２０４における減縮画素信号Ｓ２のデジタル値（減縮画素データＤ２）のビット数の削減方法に関する詳細な説明は省略する。
【０１１１】
なお、本第１の実施形態の固体撮像装置１０においては、第１のビット数削減部１１０４における全画素データＤ１のビット数の削減方法と、第２のビット数削減部１２０４における減縮画素データＤ２のビット数の削減方法とを、同じビット数削減方法としてもよいし、それぞれの画素データ毎に異なるビット数削減方法としてもよい。また、本第１の実施形態の固体撮像装置１０においては、減縮画素データＤ２のビット数削減方法を、それぞれの減縮画素信号Ｓ２毎、すなわち、固体撮像装置１０の画素信号処理部１００に備えたそれぞれの画素を減縮する予め定めた画素の組の範囲（領域）毎に、異なるビット数削減方法としてもよい。
【０１１２】
上記に述べたように、本第１の実施形態の固体撮像装置１０では、画素信号処理部１００から、同じ１回の露光によって得られた信号電荷に基づいて、画素信号処理部１００に備えた全ての画素の画素信号である全画素信号Ｓ１と、画素信号処理部１００に備えた画素の数（画素数）を減縮した画素信号である減縮画素信号Ｓ２と、画素信号処理部１００に備えた画素の数（画素数）をさらに減縮した画素信号である減縮画素信号Ｓ３とを別々に出力する。そして、本第１の実施形態の固体撮像装置１０では、減縮画素信号Ｓ３のデジタル値（減縮画素データＤ３）と、減縮画素信号Ｓ２のデジタル値と減縮画素信号Ｓ３のデジタル値との差分をとってビット数を削減した減縮画素信号Ｓ２に基づいた減縮画素データＤ２と、全画素信号Ｓ１のデジタル値と減縮画素信号Ｓ２のデジタル値との差分をとってビット数を削減した全画素信号Ｓ１に基づいた全画素データＤ１とのそれぞれを出力する。これにより、本第１の実施形態の固体撮像装置１０では、データ量の増加を抑えつつ、減縮画素データＤ３と、減縮画素データＤ２と、全画素データＤ１との様々な画素数の画素データを出力することができる。
【０１１３】
また、本第１の実施形態の固体撮像装置１０では、減縮画素信号Ｓ３のデジタル値をそのまま減縮画素データＤ３として出力し、減縮画素信号Ｓ２のデジタル値を、差分をとった後にビット数を削減して減縮画素データＤ２として出力し、全画素信号Ｓ１のデジタル値を、差分をとった後にビット数を削減して全画素データＤ１として出力する。つまり、本第１の実施形態の固体撮像装置１０では、画素数が多い画素データはビット数を削減して出力し、画素数が少ない画素データはビット数を削減せずに出力する。これにより、本第１の実施形態の固体撮像装置１０を搭載した撮像システム１では、固体撮像装置１０と画像処理部２０との間で転送する画素データのデータ量を削減することができる。このことにより、本第１の実施形態の固体撮像装置１０を搭載した本実施形態の撮像システム１では、撮像システム１の動作モードに応じて処理を行う画像処理部２０に備えたそれぞれの構成要素が、処理に適した画素数の画素データを用いて処理を行うことができる。
【０１１４】
ここで、固体撮像装置１０と画像処理部２０との間で転送する画素データのデータ量について説明する。図６は、本第１の実施形態の固体撮像装置１０における画素データの画素数とビット数との関係をまとめた表である。図６には、固体撮像装置１０内の画素信号処理部１００の水平方向に５７６０画素、垂直方向に４３２０画素がそれぞれ配置されている場合における、全画素信号Ｓ１、減縮画素信号Ｓ２、および減縮画素信号Ｓ３のそれぞれの画素数とデジタル値との関係を示している。そして、図６（ａ）には、固体撮像装置１０が出力するそれぞれの画素データの水平方向の数と垂直方向の数の比、いわゆる、アスペクト比が、静止画像において一般的に採用されている４：３に対応している場合の画素数とデジタル値との関係の一例を示している。また、図６（ｂ）には、固体撮像装置１０が出力するそれぞれの画素データのアスペクト比が、動画像において一般的に採用されている１６：９に対応している場合の画素数とデジタル値との関係の一例を示している。なお、以下の説明においては、１画素のデジタル値の１ビット分を１つの画素データとして、データ量の説明を行う。
【０１１５】
図６を見てわかるように、固体撮像装置１０がそれぞれの画素データを出力する際にビット数を削減することによって、ビット数を削減せずにそれぞれの画素データを出力する場合よりも、固体撮像装置１０と画像処理部２０との間で転送する画素データのデータ量を削減することができる。
【０１１６】
図６（ａ）に示したように、全画素信号Ｓ１のデジタル値のビット数を削減せずに１４ビットで全画素データＤ１を出力した場合の総出力ビット数（総画素数×出力ビット数）は、２４．９Ｍｐｉｘｅｌ×１４ｂｉｔ＝３４８．４Ｍｂｉｔとなるが、ビット数を削減して１０ビットで全画素データＤ１を出力した場合の総出力ビット数は、２４．９Ｍｐｉｘｅｌ×１０ｂｉｔ＝２４８．８Ｍｂｉｔとなる。同様に、減縮画素信号Ｓ２のデジタル値のビット数を削減せずに１４ビットで減縮画素データＤ２を出力した場合の総出力ビット数と、ビット数を削減して１２ビットで減縮画素データＤ２を出力した場合の総出力ビット数とは、それぞれ、３８．７Ｍｂｉｔと３３．２Ｍｂｉｔとなる。なお、減縮画素信号Ｓ３のデジタル値は、ビット数を削減せずに１４ビットで減縮画素データＤ３として出力するため、４．３Ｍｂｉｔで変わりはない。このように、図６（ａ）に示した一例では、全画素データＤ１と減縮画素データＤ２とのビット数を削減することによって、固体撮像装置１０がそれぞれの画素データを画像処理部２０に転送（出力）する際のデータ量が、ビット数を削減せずに転送（出力）する際の３９１．４Ｍｂｉｔに対して２８６．３Ｍｂｉｔに削減される。つまり、約７３％のデータ量に削減される。
【０１１７】
また、図６（ｂ）に示したように、全画素信号Ｓ１のデジタル値のビット数を削減せずに１４ビットで全画素データＤ１を出力した場合の総出力ビット数と、ビット数を削減して１２ビットで減縮画素データＤ２を出力した場合の総出力ビット数とは、それぞれ、１８．７Ｍｐｉｘｅｌ×１４ｂｉｔ＝２６１．３Ｍｂｉｔと１８．７Ｍｐｉｘｅｌ×１０ｂｉｔ＝１８６．６Ｍｂｉｔとなる。同様に、減縮画素信号Ｓ２のデジタル値のビット数を削減せずに１４ビットで減縮画素データＤ２を出力した場合の総出力ビット数と、ビット数を削減して１２ビットで減縮画素データＤ２を出力した場合の総出力ビット数とは、それぞれ、２９．０Ｍｂｉｔと２４．９Ｍｂｉｔとなる。なお、図６（ｂ）に示した一例においても、減縮画素信号Ｓ３のデジタル値は、ビット数を削減せずに１４ビットで減縮画素データＤ３として出力するため、３．２Ｍｂｉｔで変わりはない。このように、図６（ｂ）に示した一例では、全画素データＤ１と減縮画素データＤ２とのビット数を削減することによって、固体撮像装置１０がそれぞれの画素データを画像処理部２０に転送（出力）する際のデータ量が、ビット数を削減せずに転送（出力）する際の２９３．５Ｍｂｉｔに対して２１４．７Ｍｂｉｔに削減、つまり、データ量が約７３％に削減される。
【０１１８】
なお、本第１の実施形態の固体撮像装置１０では、図３に示したように、減縮画素データＤ３、減縮画素データＤ２、全画素データＤ１の順番でそれぞれの画素データを、画像処理部２０内の撮像処理部２１０に順次転送（出力）していた。つまり、図３に示した画素データの出力シーケンスでは、減縮画素データＤ３、減縮画素データＤ２、および全画素データＤ１のそれぞれを時分割で転送（出力）していた。しかし、全画素データＤ１、減縮画素データＤ２、または減縮画素データＤ３のいずれか１つまたは複数の画素データを画像処理部２０内の撮像処理部２１０に転送（出力）しないようにすることもできる。この画素データを転送（出力）するか否かは、例えば、本固体撮像装置１０を搭載した撮像システム１の動作モードに応じて変更する。これにより、本第１の実施形態の固体撮像装置１０では、画像処理部２０に備えたいずれかの構成要素が処理を行わない場合に、固体撮像装置１０と画像処理部２０との間で転送する画素データのデータ量をさらに削減することができる。
【０１１９】
ここで、固体撮像装置１０と画像処理部２０との間で転送する画素データを、本固体撮像装置１０を搭載した撮像システム１の動作モードに応じて変更する場合のデータ量について説明する。図７は、本第１の実施形態の固体撮像装置１０における画素データの画素数とビット数との関係をまとめた表である。図７には、固体撮像装置１０内の画素信号処理部１００の水平方向に５７６０画素、垂直方向に４３２０画素がそれぞれ配置されている場合における、全画素信号Ｓ１、減縮画素信号Ｓ２、および減縮画素信号Ｓ３のそれぞれの画素数とデジタル値との関係を示している。そして、図７（ａ）には、固体撮像装置１０を搭載した撮像システム１の動作モードが、静止画像を撮影する動作モードである場合の画素数とデジタル値との関係の一例を示し、図７（ｂ）には、固体撮像装置１０を搭載した撮像システム１の動作モードが、動画像を撮影する動作モードである場合の画素数とデジタル値との関係の一例を示している。また、図７（ｃ）には、固体撮像装置１０を搭載した撮像システム１の動作モードが、ライブビュー画像を出力する動作モードである場合の画素数とデジタル値との関係の一例を示している。また、図７（ｄ）には、固体撮像装置１０を搭載した撮像システム１の動作モードが、ＡＥ、ＡＦ、ＡＷＢなどの制御をする動作モードである場合の画素数とデジタル値との関係の一例を示している。なお、以下の説明においても、１画素のデジタル値の１ビット分を１つの画素データとして、データ量の説明を行う。
【０１２０】
なお、本固体撮像装置１０を搭載した撮像システム１では、固体撮像装置１０から転送（出力）されたそれぞれの画素データを画像処理部２０内の撮像処理部２１０が前処理した前処理画像データに基づいて、画像処理部２０内のそれぞれの構成要素がそれぞれの処理を行う。しかし、以下の説明においては、説明を容易にするため、画像処理部２０内のそれぞれの構成要素が、対応する画素データを用いて処理を行うものとして説明する。より具体的には、画像処理部２０内の静止画処理部２２１が、全画素信号Ｓ１に基づいたアスペクト比＝４：３の全画素データＤ１を用いて静止画像を記録するための画像処理を行い、画像処理部２０内の動画処理部２２２が、減縮画素信号Ｓ２に基づいたアスペクト比＝１６：９の減縮画素データＤ２を用いて動画像を記録するための画像処理を行うものとして説明する。また、画像処理部２０内の表示処理部２３０が、減縮画素信号Ｓ２に基づいたアスペクト比＝４：３の減縮画素データＤ２を用いてライブビュー画像を表示デバイス３０に表示させるための表示処理を行い、画像処理部２０内の評価値生成部２１１が、減縮画素信号Ｓ３に基づいたアスペクト比＝４：３の減縮画素データＤ３を用いてＡＥ、ＡＦ、ＡＷＢなどの制御を行うための評価値を生成する処理を行うものとして説明する。
【０１２１】
図７を見てわかるように、固体撮像装置１０を搭載した撮像システム１の動作モードに応じて、固体撮像装置１０が出力する画素データを変更することによって、固体撮像装置１０と画像処理部２０との間で転送する画素データのデータ量を削減することができる。
【０１２２】
図７（ａ）に示した静止画像を撮影する動作モードでは、固体撮像装置１０は、ビット数を削減した１０ビットの全画素データＤ１（総出力ビット数＝２４８．８Ｍｂｉｔ）と、ビット数を削減した１２ビットの減縮画素データＤ２（総出力ビット数＝３３．２Ｍｂｉｔ）と、ビット数を削減しない１４ビットの減縮画素データＤ３（総出力ビット数＝４．３Ｍｂｉｔ）とをそれぞれ転送（出力）する。このため、静止画像を撮影する動作モードにおいて、固体撮像装置１０がそれぞれの画素データを画像処理部２０に転送（出力）する際のデータ量は、２８６．３Ｍｂｉｔである。
【０１２３】
これに対して、図７（ｂ）に示した動画像を撮影する動作モードでは、画像処理部２０内の静止画処理部２２１が、画素数が最も多い全画素データＤ１を用いた画像処理を行わないため、固体撮像装置１０は、全画素データＤ１を画像処理部２０内の撮像処理部２１０に転送（出力）しない。そして、固体撮像装置１０は、ビット数を削減した１２ビットの減縮画素データＤ２（総出力ビット数＝２４．９Ｍｂｉｔ）と、ビット数を削減しない１４ビットの減縮画素データＤ３（総出力ビット数＝３．２Ｍｂｉｔ）とをそれぞれ転送（出力）する。このため、動画像を撮影する動作モードにおいて、固体撮像装置１０がそれぞれの画素データを画像処理部２０に転送（出力）する際のデータ量は、２８．１Ｍｂｉｔとなり、静止画像を撮影する動作モードよりも、固体撮像装置１０がそれぞれの画素データを画像処理部２０に転送（出力）するデータ量を削減することができる。
【０１２４】
また、図７（ｃ）に示したライブビュー画像を出力する動作モードでも、動画像を撮影する動作モードと同様に、画像処理部２０内の静止画処理部２２１が、全画素データＤ１を用いた画像処理を行わないため、固体撮像装置１０は、全画素データＤ１を画像処理部２０内の撮像処理部２１０に転送（出力）しない。そして、固体撮像装置１０は、ビット数を削減した１０ビットの減縮画素データＤ２（総出力ビット数＝２７．６Ｍｂｉｔ）と、ビット数を削減しない１４ビットの減縮画素データＤ３（総出力ビット数＝４．３Ｍｂｉｔ）とをそれぞれ転送（出力）する。このため、ライブビュー画像を出力する動作モードにおいて、固体撮像装置１０がそれぞれの画素データを画像処理部２０に転送（出力）する際のデータ量は、３１．９Ｍｂｉｔとなり、静止画像を撮影する動作モードよりも、固体撮像装置１０がそれぞれの画素データを画像処理部２０に転送（出力）するデータ量を削減することができる。なお、ライブビュー画像を出力する動作モードにおいて削減する減縮画素データＤ２のビット数が、動画像を撮影する動作モードにおいて削減する減縮画素データＤ２のビット数よりも多いのは、ライブビュー画像を出力する動作モードは、撮像システム１の消費電力を低減させることを、動画像を撮影する動作モードによりも優先する動作モードであるためである。
【０１２５】
また、図７（ｄ）に示したＡＥ、ＡＦ、ＡＷＢなどの制御をする動作モードでは、画像処理部２０内の静止画処理部２２１が、全画素データＤ１を用いた画像処理を行わず、画像処理部２０内の動画処理部２２２および表示処理部２３０も、減縮画素データＤ２を用いた画像処理や表示処理を行わない。このため、固体撮像装置１０は、全画素データＤ１と減縮画素データＤ２とを画像処理部２０内の撮像処理部２１０に転送（出力）しない。そして、固体撮像装置１０は、ビット数を削減しない１４ビットの減縮画素データＤ３（総出力ビット数＝４．３Ｍｂｉｔ）のみを転送（出力）する。このため、ＡＥ、ＡＦ、ＡＷＢなどの制御をする動作モードにおいて、固体撮像装置１０が画素データを画像処理部２０に転送（出力）する際のデータ量は、４．３Ｍｂｉｔとなり、静止画像を撮影する動作モード、動画像を撮影する動作モード、およびライブビュー画像を出力する動作モードよりも、固体撮像装置１０が画素データを画像処理部２０に転送（出力）するデータ量を削減することができる。
【０１２６】
なお、本第１の実施形態の固体撮像装置１０では、それぞれの画素データの画像処理部２０内の撮像処理部２１０への転送（出力）、すなわち、外部への転送（出力）を、１つの転送部１４０が時分割で行っていた。しかし、それぞれの画素データを外部への転送（出力）する構成は、図２に示した構成のみに限定されるものではなく、他の構成であっても同様に、それぞれの画素データを外部への転送（出力）することができる。
【０１２７】
＜第１の実施形態の第１の変形例＞
ここで、それぞれの画素データを外部への転送（出力）する他の構成の固体撮像装置１０について説明する。図８は、本第１の実施形態の固体撮像装置１０における第１の変形例の概略構成を示したブロック図である。なお、以下の説明においては、第１の実施形態の第１の変形例の固体撮像装置１０を、「固体撮像装置１１」という。図８に示した固体撮像装置１１は、画素信号処理部１００と、第１の読み出し部１１０と、第２の読み出し部１２０と、第３の読み出し部１３０と、第１の転送部１４１と、第２の転送部１４２と、第３の転送部１４３とから構成される。なお、本第１の変形例の固体撮像装置１１の構成要素には、固体撮像装置１０の構成要素と同様の構成要素も含まれている。従って、本第１の変形例の固体撮像装置１１の構成要素において、固体撮像装置１０の構成要素と同様の構成要素には、同一の符号を付与し、それぞれの構成要素に関する詳細な説明は省略する。
【０１２８】
第１の読み出し部１１０は、画素信号処理部１００から読み出した全画素信号Ｓ１のそれぞれをアナログデジタル変換し、差分をとった後にビット数を削減した全画素信号Ｓ１のデジタル値のそれぞれを、第１の転送部１４１に出力する。
第２の読み出し部１２０は、画素信号処理部１００から読み出した減縮画素信号Ｓ２のそれぞれをアナログデジタル変換し、差分をとった後にビット数を削減した減縮画素信号Ｓ２のデジタル値のそれぞれを、第２の転送部１４２に出力する。
第３の読み出し部１３０は、画素信号処理部１００から読み出した減縮画素信号Ｓ３のそれぞれをアナログデジタル変換した減縮画素信号Ｓ３のデジタル値のそれぞれを、第３の転送部１４３に出力する。
【０１２９】
第１の転送部１４１は、第１の読み出し部１１０から出力された全画素信号Ｓ１のデジタル値のそれぞれを、全画素データＤ１として外部に転送する。
第２の転送部１４２は、第２の読み出し部１２０から出力された減縮画素信号Ｓ２のデジタル値のそれぞれを、減縮画素データＤ２として外部に転送する。
第３の転送部１４３は、第３の読み出し部１３０から出力された減縮画素信号Ｓ３のデジタル値のそれぞれを、減縮画素データＤ３として外部に転送する。
【０１３０】
このような構成によって、固体撮像装置１１でも、３種類のサイズの画素データのそれぞれを、画像処理部２０内の撮像処理部２１０に出力する。すなわち、本第１の変形例の固体撮像装置１１では、第１の転送部１４１と、第２の転送部１４２と、第３の転送部１４３との構成によって、第１の実施形態の固体撮像装置１０と同様に、異なる画素数の複数のデジタル値を、それぞれの画素データとして画像処理部２０内の撮像処理部２１０に転送（出力）する。これにより、本実施形態の撮像システム１に搭載した画像処理部２０では、リアルタイム性が要求される処理に用いる画素データと、画質が要求される処理に用いる画素データとを、それぞれの処理に応じて使い分けることができる。
【０１３１】
また、本第１の変形例の固体撮像装置１１では、第１の実施形態の固体撮像装置１０と異なり、第１の転送部１４１と、第２の転送部１４２と、第３の転送部１４３との３つの転送部を備えている。このため、本第１の変形例の固体撮像装置１１では、３種類のサイズの画素データの同時出力を、容易に行うことができる。
【０１３２】
なお、第１の転送部１４１と、第２の転送部１４２と、第３の転送部１４３とのそれぞれが全画素データＤ１と、減縮画素データＤ２と、減縮画素データＤ３とのそれぞれを画素データとして画像処理部２０内の撮像処理部２１０に転送（出力）する際の順番などに関しては、特に規定しない。ただし、上述したように、全画素データＤ１よりも減縮画素データＤ２の方が、早く出力することができ、減縮画素データＤ２よりも減縮画素データＤ３の方が、さらに早く出力することができる。このため、減縮画素データＤ３を先に出力し、減縮画素データＤ２を次に出力し、全画素データＤ１を最後に出力する方が、例えば、ライブビュー画像の生成、評価値生成部２１１による評価値の生成、画像認識部２５０による被写体の認識など、画像処理部２０においてリアルタイム性の高さが要求される処理を行う際に有利である。
【０１３３】
なお、第１の実施形態の固体撮像装置１０および本第１の変形例の固体撮像装置１１では、第１の読み出し部１１０は、画素信号処理部１００から読み出した全画素信号Ｓ１のそれぞれをアナログデジタル変換した後に、減縮画素信号Ｓ２のデジタル値との差分をとっていた。また、第２の読み出し部１２０は、画素信号処理部１００から読み出した減縮画素信号Ｓ２のそれぞれをアナログデジタル変換した後に、減縮画素信号Ｓ３のデジタル値との差分をとっていた。つまり、第１の読み出し部１１０および第１の読み出し部１２０のそれぞれでは、画素信号処理部１００から読み出した画素信号のデジタル値と、画素信号処理部１００に備えた画素の数（画素数）を１段減縮した減縮画素信号のデジタル値との差分をとっていた。しかし、第１の読み出し部１１０および第１の読み出し部１２０のそれぞれが読み出した画素信号のデジタル値との差分をとる減縮画素信号のデジタル値は、上述した減縮画素信号のデジタル値に限定されるものではなく、他の減縮画素信号のデジタル値と差分をとる構成であってもよい。例えば、第１の読み出し部１１０が、画素信号処理部１００から読み出した全画素信号Ｓ１のデジタル値と、画素信号処理部１００に備えた画素の数（画素数）を２段減縮した減縮画素信号Ｓ３のデジタル値との差分をとる構成であってもよい。
【０１３４】
また、第１の読み出し部１１０および第１の読み出し部１２０のそれぞれは、必ずしも読み出した画素信号のデジタル値と減縮画素信号のデジタル値との差分をとる構成に限定されるものではなく、読み出した画素信号のデジタル値と減縮画素信号のデジタル値との差分をとるか否かを選択することができる構成であってもよい。
【０１３５】
＜第１の実施形態の第２の変形例＞
ここで、読み出した画素信号のデジタル値と減縮画素信号のデジタル値との差分をとるか否かを選択することができる構成の固体撮像装置１０について説明する。図９は、本第１の実施形態の固体撮像装置１０における第２の変形例の概略構成を示したブロック図である。なお、以下の説明においては、第１の実施形態の第２の変形例の固体撮像装置１０を、「固体撮像装置１２」という。図９に示した固体撮像装置１２は、画素信号処理部１００と、第１の読み出し部１１２と、第２の読み出し部１２２と、第３の読み出し部１３０と、転送部１４０とから構成される。なお、本第２の変形例の固体撮像装置１２の構成要素には、固体撮像装置１０の構成要素と同様の構成要素も含まれている。従って、本第２の変形例の固体撮像装置１２の構成要素において、固体撮像装置１０の構成要素と同様の構成要素には、同一の符号を付与し、それぞれの構成要素に関する詳細な説明は省略する。
【０１３６】
画素信号処理部１００は、第１の読み出し部１１２から入力された読み出し制御信号に応じて、全画素信号Ｓ１のそれぞれを第１の読み出し部１１２に出力し、第２の読み出し部１２２から入力された読み出し制御信号に応じて、減縮画素信号Ｓ２のそれぞれを第２の読み出し部１２２に出力し、第３の読み出し部１３０から入力された読み出し制御信号に応じて、減縮画素信号Ｓ３のそれぞれを第３の読み出し部１３０に出力する。
【０１３７】
第１の読み出し部１１２は、固体撮像装置１０および第１の変形例の固体撮像装置１１に備えた第１の読み出し部１１０と同様に、画素信号処理部１００から読み出した全画素信号Ｓ１のそれぞれをアナログデジタル変換し、アナログデジタル変換した全画素信号Ｓ１のそれぞれのデジタル値と、第２の読み出し部１２２によってアナログデジタル変換された減縮画素信号Ｓ２のデジタル値との差分をとった後にビット数を削減した全画素信号Ｓ１のデジタル値のそれぞれを、転送部１４０に出力する。また、第１の読み出し部１１２は、アナログデジタル変換した全画素信号Ｓ１のそれぞれのデジタル値を、差分をとらずにビット数を削減して転送部１４０に出力することもできる。なお、第１の読み出し部１１２に関する詳細な説明は、後述する。
【０１３８】
第２の読み出し部１２２は、固体撮像装置１０および第１の変形例の固体撮像装置１１に備えた第２の読み出し部１２０と同様に、画素信号処理部１００から読み出した減縮画素信号Ｓ２のそれぞれをアナログデジタル変換し、アナログデジタル変換した減縮画素信号Ｓ２のそれぞれのデジタル値と、第３の読み出し部１３０によってアナログデジタル変換された減縮画素信号Ｓ３のデジタル値との差分をとった後にビット数を削減した減縮画素信号Ｓ２のデジタル値のそれぞれを、転送部１４０に出力する。また、第２の読み出し部１２２は、アナログデジタル変換した減縮画素信号Ｓ２のそれぞれのデジタル値を、差分をとらずにビット数を削減して転送部１４０に出力することもできる。なお、第２の読み出し部１２２に関する詳細な説明は、後述する。
【０１３９】
転送部１４０は、第１の読み出し部１１２、第２の読み出し部１２２、および第３の読み出し部１３０のそれぞれから出力された、異なる画素数の複数のデジタル値のそれぞれを、画素データのそれぞれとして外部（画像処理部２０内の撮像処理部２１０）に転送（出力）する。
【０１４０】
このような構成によって、固体撮像装置１２では、それぞれの画素データのそれぞれを出力する際に、画素信号処理部１００から読み出した画素信号のデジタル値と、画素信号処理部１００に備えた画素の数（画素数）を１段減縮した減縮画素信号のデジタル値との差分の処理を行った画素データ、または差分の処理を行っていない画素データを選択して出力することができる。
【０１４１】
次に、本第２の変形例の固体撮像装置１２に備えた第１の読み出し部１１２の構成について、さらに詳細に説明する。図９に示した本第２の変形例の固体撮像装置１２の第１の読み出し部１１２は、第１の読み出し制御部１１０１と、第１のＡ／Ｄ変換部１１０２と、第１の差分算出部１１０３と、第１のビット数削減部１１０４と、第１の選択部１１２５とから構成される。なお、第１の読み出し部１１２の構成要素には、固体撮像装置１０および第１の変形例の固体撮像装置１１に備えた第１の読み出し部１１０の構成要素と同様の構成要素も含まれている。従って、第１の読み出し部１１２の構成要素において、第１の読み出し部１１０の構成要素と同様の構成要素には、同一の符号を付与し、それぞれの構成要素に関する詳細な説明は省略する。
【０１４２】
第１のＡ／Ｄ変換部１１０２は、第１の読み出し制御部１１０１によって読み出された全画素信号Ｓ１（アナログ信号）をアナログデジタル変換したそれぞれのデジタル値を、第１の差分算出部１１０３と、第１の選択部１１２５とのそれぞれに順次出力する。
第１の差分算出部１１０３は、全画素信号Ｓ１のデジタル値と減縮画素信号Ｓ２のデジタル値との差分をとったそれぞれのデジタル値を、第１の選択部１１２５に順次出力する。
【０１４３】
第１の選択部１１２５は、第１のＡ／Ｄ変換部１１０２から順次入力された全画素信号Ｓ１のデジタル値、または第１の差分算出部１１０３から順次入力された全画素信号Ｓ１と減縮画素信号Ｓ２との差分をとったデジタル値のいずれか一方のデジタル値を選択する。そして、第１の選択部１１２５は、選択したいずれか一方のデジタル値を、第１のビット数削減部１１０４に順次出力する。
【０１４４】
なお、第１の選択部１１２５におけるデジタル値の選択方法に関しては、特に規定しない。例えば、第１の選択部１１２５は、本固体撮像装置１２を搭載した撮像システム１に備えた画像処理部２０内のＣＰＵ２６０によって設定された本撮像システム１の動作モードに応じてデジタル値を選択する構成であってもよい。
【０１４５】
第１のビット数削減部１１０４は、第１の選択部１１２５から順次入力された選択されたデジタル値のビット数を、予め定めた方法によって削減し、ビット数を削減したデジタル値を、ビット数を削減した全画素信号Ｓ１のそれぞれのデジタル値として転送部１４０に出力する。
【０１４６】
このような構成によって、第１の読み出し部１１２は、画素信号処理部１００から読み出したそれぞれの全画素信号Ｓ１をアナログデジタル変換したそれぞれのデジタル値、または画素信号処理部１００から読み出した全画素信号Ｓ１をアナログデジタル変換したデジタル値と第２の読み出し部１２２から入力された減縮画素信号Ｓ２のデジタル値との差分をとったそれぞれのデジタル値のいずれか一方のデジタル値のビット数を削減して、転送部１４０に出力する。これにより、転送部１４０は、第１の読み出し部１１２から入力された、全画素信号Ｓ１に基づいたビット数が削減されたデジタル値のそれぞれを、ビット数が削減された全画素信号Ｓ１に基づいた全画素データＤ１として外部に出力する。
【０１４７】
次に、本第２の変形例の固体撮像装置１２に備えた第２の読み出し部１２２の構成について、さらに詳細に説明する。図９に示した本第２の変形例の固体撮像装置１２の第２の読み出し部１２２は、第２の読み出し制御部１２０１と、第２のＡ／Ｄ変換部１２０２と、第２の差分算出部１２０３と、第２のビット数削減部１２０４と、第２の選択部１２２５とから構成される。なお、第２の読み出し部１２２の構成要素には、固体撮像装置１０および第１の変形例の固体撮像装置１１に備えた第２の読み出し部１２０の構成要素と同様の構成要素も含まれている。従って、第２の読み出し部１２２の構成要素において、第２の読み出し部１２０の構成要素と同様の構成要素には、同一の符号を付与し、それぞれの構成要素に関する詳細な説明は省略する。
【０１４８】
第２のＡ／Ｄ変換部１２０２は、第２の読み出し制御部１２０１によって読み出された減縮画素信号Ｓ２（アナログ信号）をアナログデジタル変換したそれぞれのデジタル値を、第２の差分算出部１２０３と、第２の選択部１２２５とのそれぞれに順次出力する。
第２の差分算出部１２０３は、減縮画素信号Ｓ２のデジタル値と減縮画素信号Ｓ３のデジタル値との差分をとったそれぞれのデジタル値を、第２の選択部１２２５に順次出力する。
【０１４９】
第２の選択部１２２５は、第２のＡ／Ｄ変換部１２０２から順次入力された減縮画素信号Ｓ２のデジタル値、または第２の差分算出部１２０３から順次入力された減縮画素信号Ｓ２と減縮画素信号Ｓ３との差分をとったデジタル値のいずれか一方のデジタル値を選択する。そして、第２の選択部１２２５は、選択したいずれか一方のデジタル値を、第２のビット数削減部１２０４に順次出力する。
【０１５０】
なお、第２の選択部１２２５におけるデジタル値の選択方法に関しては、特に規定しない。例えば、第２の選択部１２２５は、第１の読み出し部１１２に備えた第１の選択部１１２５と同様に、本固体撮像装置１２を搭載した撮像システム１の動作モードに応じてデジタル値を選択する構成であってもよい。
【０１５１】
第２のビット数削減部１２０４は、第２の選択部１２２５から順次入力された選択されたデジタル値のビット数を、予め定めた方法によって削減し、ビット数を削減したデジタル値を、ビット数を削減した減縮画素信号Ｓ２のそれぞれのデジタル値として転送部１４０に出力する。
【０１５２】
このような構成によって、第２の読み出し部１２２は、画素信号処理部１００から読み出したそれぞれの減縮画素信号Ｓ２をアナログデジタル変換したそれぞれのデジタル値、または画素信号処理部１００から読み出した減縮画素信号Ｓ２をアナログデジタル変換したデジタル値と第２の読み出し部１２２から入力された減縮画素信号Ｓ３のデジタル値との差分をとったそれぞれのデジタル値のいずれか一方のデジタル値のビット数を削減して、転送部１４０に出力する。これにより、転送部１４０は、第２の読み出し部１２２から入力された、減縮画素信号Ｓ２に基づいたビット数が削減されたデジタル値のそれぞれを、ビット数が削減された減縮画素信号Ｓ２に基づいた減縮画素データＤ２として外部に出力する。
【０１５３】
このような構成によって、固体撮像装置１２でも、３種類のサイズの画素データのそれぞれを、画像処理部２０内の撮像処理部２１０に出力する。このとき、固体撮像装置１２では、固体撮像装置１０および第１の変形例の固体撮像装置１１と異なり、画素信号処理部１００から読み出した画素信号のデジタル値と、画素信号処理部１００に備えた画素の数（画素数）を１段減縮した減縮画素信号のデジタル値との差分の処理を行うか否かを選択し、選択された処理が施された画素データを出力することができる。この出力する画素データに対して差分の処理を行うか否かの選択は、例えば、本固体撮像装置１２を搭載した撮像システム１の動作モードに応じて変更する。これにより、本実施形態の撮像システム１に搭載した画像処理部２０では、動作モードに応じて、固体撮像装置１２から転送（出力）されたそれぞれの画素データを復元するための処理の実行を省略することができる。
【０１５４】
ここで、固体撮像装置１２と画像処理部２０との間で転送する画素データを、本固体撮像装置１２を搭載した撮像システム１の動作モードに応じて変更する場合のデータ量について説明する。図１０は、本第１の実施形態の第２の変形例の固体撮像装置１２における画素データの画素数とビット数との関係をまとめた表である。図１０には、固体撮像装置１２内の画素信号処理部１００の水平方向に５７６０画素、垂直方向に４３２０画素がそれぞれ配置され、全画素信号Ｓ１、減縮画素信号Ｓ２、および減縮画素信号Ｓ３のそれぞれのデジタル値を画素データとして転送（出力）する場合において、減縮画素信号Ｓ２のデジタル値と減縮画素信号Ｓ３のデジタル値との差分をとらずに転送（出力）する場合の画素数とデジタル値との関係を示している。そして、図１０（ａ）には、固体撮像装置１２を搭載した撮像システム１の動作モードが、静止画像を撮影する動作モードである場合の画素数とデジタル値との関係の一例を示している。また、図１０（ｂ）には、固体撮像装置１２を搭載した撮像システム１の動作モードが、動画像を撮影する動作モードである場合の画素数とデジタル値との関係の一例を示している。また、図１０（ｃ）には、固体撮像装置１２を搭載した撮像システム１の動作モードが、ライブビュー画像を出力する動作モードである場合の画素数とデジタル値との関係の一例を示している。なお、以下の説明においても、１画素のデジタル値の１ビット分を１つの画素データとして、データ量の説明を行う。
【０１５５】
なお、本固体撮像装置１２を搭載した撮像システム１でも、固体撮像装置１２から転送（出力）されたそれぞれの画素データを画像処理部２０内の撮像処理部２１０が前処理した前処理画像データに基づいて、画像処理部２０内のそれぞれの構成要素がそれぞれの処理を行う。しかし、以下の説明においては、説明を容易にするため、画像処理部２０内の静止画処理部２２１が、全画素信号Ｓ１に基づいたアスペクト比＝４：３の全画素データＤ１を用いて静止画像を記録するための画像処理を行うものとして説明する。また、画像処理部２０内の動画処理部２２２が、減縮画素信号Ｓ２に基づいたアスペクト比＝１６：９の減縮画素データＤ２を用いて動画像を記録するための画像処理を行うものとして説明する。また、画像処理部２０内の表示処理部２３０が、減縮画素信号Ｓ２に基づいたアスペクト比＝４：３の減縮画素データＤ２を用いてライブビュー画像を表示デバイス３０に表示させるための表示処理を行うものとして説明する。
【０１５６】
図１０を見てわかるように、固体撮像装置１２を搭載した撮像システム１の動作モードに応じて、固体撮像装置１２が出力する画素データを変更することによって、差分をとっていない減縮画素データＤ２を出力する場合でも、固体撮像装置１２と画像処理部２０との間で転送する画素データのデータ量を削減することができる。
【０１５７】
図１０（ａ）に示した静止画像を撮影する動作モードでは、固体撮像装置１２は、差分をとってビット数を削減した１０ビットの全画素データＤ１（総出力ビット数＝２４８．８Ｍｂｉｔ）と、差分をとらずにビット数を削減した１３ビットの減縮画素データＤ２（総出力ビット数＝３５．９Ｍｂｉｔ）と、ビット数を削減しない１４ビットの減縮画素データＤ３（総出力ビット数＝４．３Ｍｂｉｔ）とをそれぞれ転送（出力）する。このため、静止画像を撮影する動作モードにおいて、固体撮像装置１２がそれぞれの画素データを画像処理部２０に転送（出力）する際のデータ量は、２８９．１Ｍｂｉｔである。
【０１５８】
これに対して、図１０（ｂ）に示した動画像を撮影する動作モードでは、画像処理部２０内の静止画処理部２２１が、画素数が最も多い全画素データＤ１を用いた画像処理を行わない。このため、固体撮像装置１２は、差分をとらずにビット数を削減した１２ビットの減縮画素データＤ２（総出力ビット数＝２４．９Ｍｂｉｔ）と、ビット数を削減しない１４ビットの減縮画素データＤ３（総出力ビット数＝３．２Ｍｂｉｔ）とのそれぞれを、画像処理部２０内の撮像処理部２１０に転送（出力）する。これにより、動画像を撮影する動作モードにおいて、固体撮像装置１２がそれぞれの画素データを画像処理部２０に転送（出力）する際のデータ量が、２８．１Ｍｂｉｔとなり、静止画像を撮影する動作モードよりも、固体撮像装置１２がそれぞれの画素データを画像処理部２０に転送（出力）するデータ量を削減することができる。また、図１０（ｂ）に示した動画像を撮影する動作モードでは、１２ビットの減縮画素データＤ２を、差分をとらずに転送（出力）する。このため、撮像システム１では、減縮画素データＤ２に対する復元の処理が不要となり、画像処理部２０内の動画処理部２２２によってそれぞれのフレームの動画像データを生成する際の遅延時間を短縮することができる。
【０１５９】
また、図１０（ｃ）に示したライブビュー画像を出力する動作モードでも、動画像を撮影する動作モードと同様に、画像処理部２０内の静止画処理部２２１が、全画素データＤ１を用いた画像処理を行わない。このため、固体撮像装置１２は、差分をとらずにビット数を削減した１０ビットの減縮画素データＤ２（総出力ビット数＝２７．６Ｍｂｉｔ）と、ビット数を削減しない１４ビットの減縮画素データＤ３（総出力ビット数＝４．３Ｍｂｉｔ）とのそれぞれを、画像処理部２０内の撮像処理部２１０に転送（出力）する。これにより、ライブビュー画像を出力する動作モードにおいて、固体撮像装置１２がそれぞれの画素データを画像処理部２０に転送（出力）する際のデータ量が、３１．９Ｍｂｉｔとなり、静止画像を撮影する動作モードよりも、固体撮像装置１２がそれぞれの画素データを画像処理部２０に転送（出力）するデータ量を削減することができる。また、図１０（ｃ）に示したライブビュー画像を出力する動作モードでは、１０ビットの減縮画素データＤ２を、差分をとらずに転送（出力）する。このため、撮像システム１では、減縮画素データＤ２に対する復元の処理が不要となり、画像処理部２０内の表示処理部２３０によってそれぞれのフレームのライブビュー画像を生成する際の遅延時間を短縮することができる。なお、ライブビュー画像を出力する動作モードにおいて転送（出力）する減縮画素データＤ２のビット数が、動画像を撮影する動作モードにおいて転送（出力）する減縮画素データＤ２のビット数よりも少ないのは、図７に示した画素数とビット数との関係において説明した理由と同様である。
【０１６０】
図１０に示したように、本固体撮像装置１２を搭載した撮像システム１の動作モードに応じて、画素データを転送（出力）するか否か、およびデジタル値の差分をとるか否かを変更することによって、撮像システム１では、画像処理部２０に備えたそれぞれの構成要素の処理に適した画素数の画素データを用いて処理を行うことができる。
【０１６１】
なお、本固体撮像装置１２では、第１の読み出し部１１２に備えた第１の選択部１１２５および第２の読み出し部１２２に備えた第２の選択部１２２５によって、対応するデジタル値の差分をとるか否かを選択する構成について説明した。しかし、例えば、第２の読み出し部１２２において、減縮画素信号Ｓ２のデジタル値と減縮画素信号Ｓ３のデジタル値との差分をとる処理が不要であることが予めわかっている場合には、第２の読み出し部１２２に第２の差分算出部１２０３を備えない構成にしておくこともできる。
【０１６２】
本第１の実施形態によれば、二次元の行列状に配置された複数の画素を有し、ここに配置された全ての画素のそれぞれが発生した画素信号のそれぞれを全画素信号（全画素信号Ｓ１）として出力すると共に、画素が発生した画素信号のそれぞれを予め定めた数の画素数に減縮した減縮画素信号（減縮画素信号Ｓ２）として出力する画素信号処理部（画素信号処理部１００）と、全画素信号Ｓ１の大きさを表すデジタル値と減縮画素信号Ｓ２の大きさを表すデジタル値との差分を算出したデジタル値を出力する差分算出部（第１の差分算出部１１０３）と、第１の差分算出部１１０３によって差分が算出されたデジタル値、または全画素信号Ｓ１の大きさを表すデジタル値のいずれか一方のデジタル値のビット数を削減し、ここでビット数を削減したデジタル値を、全画素信号Ｓ１に対応するデジタル値（全画素データＤ１）として出力するビット数削減部（第１のビット数削減部１１０４）と、を備え、全画素信号Ｓ１に対応するデジタル値（全画素データＤ１）と、減縮画素信号Ｓ２の大きさを表すデジタル値（減縮画素データＤ２）とをそれぞれ出力する固体撮像装置（固体撮像装置１０）が構成される。
【０１６３】
また、本第１の実施形態によれば、減縮画素信号Ｓ２は、対応する複数の画素のそれぞれが同じ露光期間で発生したそれぞれの画素信号を平均化した画素信号である固体撮像装置１０が構成される。
【０１６４】
また、本第１の実施形態によれば、減縮画素信号Ｓ２は、対応する複数の画素のそれぞれが同じ露光期間で発生したそれぞれの画素信号の内、予め定めたいずれか１つの画素が発生した画素信号である固体撮像装置１０が構成される。
【０１６５】
また、本第１の実施形態によれば、固体撮像装置（固体撮像装置１０）を備え、固体撮像装置１０から出力された減縮画素信号Ｓ２の大きさを表すデジタル値（減縮画素データＤ２）に基づいて、全画素信号Ｓ１に対応するデジタル値（全画素データＤ１）を、全画素信号Ｓ１の大きさを表すデジタル値に復元する、撮像システム（撮像システム１）が構成される。
【０１６６】
また、本第１の実施形態によれば、全画素信号Ｓ１に対応するデジタル値（全画素データＤ１）に減縮画素信号Ｓ２の大きさを表すデジタル値（減縮画素データＤ２）を加算することによって、全画素信号Ｓ１の大きさを表すデジタル値を復元する撮像システム１が構成される。
【０１６７】
上記に述べたように、本第１の実施形態の固体撮像装置１０（第１の変形例の固体撮像装置１１および第２の変形例の固体撮像装置１２を含む）では、画素数が多い画素データのビット数を削減することによって、データ量の増加を抑えつつ、様々な画素数の画素データを出力することができる。これにより、本第１の実施形態の固体撮像装置１０を搭載した本実施形態の撮像システム１では、画像処理部２０に備えたそれぞれの構成要素におけるそれぞれの処理に適した画素数の画素データを用いて処理を行うことができる。
【０１６８】
なお、本第１の実施形態の固体撮像装置１０では、それぞれの画素データを、フレーム毎の時分割で、外部（画像処理部２０内の撮像処理部２１０）に順次転送（出力）していた。また、本第１の実施形態の固体撮像装置１０では、本固体撮像装置１０を搭載した撮像システム１の動作モードに応じて、画像処理部２０内の撮像処理部２１０の構成要素が処理を行わない画素データを転送（出力）しないようにしていた。しかし、上述したように、固体撮像装置１０では、それぞれの画素データを画像処理部２０内の撮像処理部２１０に転送（出力）する際の順番などに関しては、特に規定しない。従って、本固体撮像装置１０では、それぞれの画素データを転送（出力）する順番を変えることもできる。
【０１６９】
＜第２の実施形態＞
次に、本実施形態の撮像システム１に搭載する第２の実施形態の固体撮像装置について説明する。なお、本第２の実施形態の固体撮像装置は、第１の実施形態の固体撮像装置１０（第１の変形例の固体撮像装置１１および第２の変形例の固体撮像装置１２を含む）と同様の構成であり、それぞれの画素データの出力シーケンスのみが異なる。以下の説明においては、本第２の実施形態の固体撮像装置が、第１の実施形態の第２の変形例の固体撮像装置１２と同様の構成であるもとして、本第２の実施形態の固体撮像装置の構成に関する詳細な説明は省略し、第１の実施形態の第２の変形例の固体撮像装置１２（固体撮像装置１０および第１の変形例の固体撮像装置１１を含む）と異なる画素データの出力シーケンスについて説明を行う。
【０１７０】
図１１は、本第２の実施形態の固体撮像装置１２における画素データの出力シーケンスを示した図である。本第２の実施形態の固体撮像装置１２では、第１の実施形態の固体撮像装置１２と同様に、減縮画素データＤ３、減縮画素データＤ２、および全画素データＤ１のそれぞれを時分割で転送（出力）する。ただし、本第２の実施形態の固体撮像装置１２では、図１１に示した画素データの出力シーケンスのように、１フレーム分の減縮画素データＤ２を転送（出力）した後、１フレーム分の全画素データＤ１を転送（出力）する際に、全画素データＤ１を分割し、その間に減縮画素データＤ２を分割して再度転送（出力）する。
【０１７１】
なお、最初の減縮画素データＤ２の転送（出力）は、本第２の実施形態の固体撮像装置１２を搭載した撮像システム１において、画像処理部２０内の表示処理部２３０がライブビュー画像を生成するための転送（出力）であり、その後の分割した減縮画素データＤ２の転送（出力）は、画像処理部２０内の静止画処理部２２１が静止画像を生成する際に用いる全画素データＤ１を復元するための転送（出力）である。従って、本第２の実施形態の固体撮像装置１２が再度転送（出力）する減縮画素データＤ２は、差分がとられていない減縮画素データＤ２であることが望ましい。このため、以下の説明においては、本第２の実施形態の固体撮像装置１２内の第２の読み出し部１２２に備えた第２の選択部１２２５は、差分がとられていない減縮画素信号Ｓ２のデジタル値、すなわち、第２のＡ／Ｄ変換部１２０２から入力された減縮画素信号Ｓ２のデジタル値を選択しているものとして説明する。
【０１７２】
より具体的には、本第２の実施形態の固体撮像装置１２がそれぞれの画素データを出力する際には、まず、第１の実施形態の固体撮像装置１２と同様に、第３の読み出し部１３０が、１フレーム分の減縮画素信号Ｓ３のそれぞれを順次読み出してアナログデジタル変換した、１フレーム分の減縮画素信号Ｓ３のデジタル値を、そのまま転送部１４０に順次出力する。そして、転送部１４０が、１フレーム分の減縮画素データＤ３を外部に順次転送（出力）する。
【０１７３】
その後、第１の実施形態の固体撮像装置１２と同様に、第２の読み出し部１２０が、第３の読み出し部１３０から出力されたそれぞれの減縮画素信号Ｓ３のデジタル値に対応する減縮画素信号Ｓ２のそれぞれを順次読み出してアナログデジタル変換し、差分をとった後にビット数を削減したそれぞれの減縮画素信号Ｓ２のデジタル値を、転送部１４０に順次出力する。そして、転送部１４０が、１フレーム分の減縮画素データＤ２を外部に順次転送（出力）する。ここで、転送（出力）された１フレーム分の減縮画素データＤ２を用いて、画像処理部２０内の表示処理部２３０がライブビュー画像を生成する。
【０１７４】
その後、本第２の実施形態の固体撮像装置１２では、第１の読み出し部１１０内の第１の読み出し制御部１１０１が、全画素信号Ｓ１のそれぞれを順次読み出すための読み出し制御信号を、画素信号処理部１００内の第１の電荷蓄積回路１０３ａ〜第１の電荷蓄積回路１０３ｄのそれぞれに順次出力する。これにより、第１の電荷蓄積回路１０３ａ〜第１の電荷蓄積回路１０３ｄのそれぞれから、全画素信号Ｓ１のそれぞれが順次出力されて、第１のＡ／Ｄ変換部１１０２に順次入力される。そして、第１のＡ／Ｄ変換部１１０２は、順次入力されたそれぞれの全画素信号Ｓ１をアナログデジタル変換した、それぞれの全画素信号Ｓ１のデジタル値を、第１の差分算出部１１０３に順次出力する。
【０１７５】
このとき、第２の読み出し部１２０内の第２の読み出し制御部１２０１は、第１の読み出し部１１０が読み出す全画素信号Ｓ１のそれぞれに対応する分の減縮画素信号Ｓ２のそれぞれを順次読み出すための読み出し制御信号を、画素信号処理部１００内の第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄのそれぞれに順次出力する。ここで、第２の読み出し制御部１２０１が画素信号処理部１００内の第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄのそれぞれから読み出す減縮画素信号Ｓ２は、第１の読み出し部１１０が読み出した全画素信号Ｓ１のそれぞれを復元するために用いる分の減縮画素信号Ｓ２である。例えば、第１の読み出し部１１０が画素信号処理部１００内に配置された５行分の全画素信号Ｓ１を読み出した場合には、第２の読み出し制御部１２０１は、この５行分の全画素信号Ｓ１を復元するために用いる行数分の減縮画素信号Ｓ２のそれぞれを読み出す。これにより、第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄのそれぞれから、第１の読み出し部１１０が読み出す全画素信号Ｓ１のそれぞれに対応する分の減縮画素信号Ｓ２のそれぞれが順次出力されて、第２のＡ／Ｄ変換部１２０２に順次入力される。そして、第２のＡ／Ｄ変換部１２０２は、順次入力されたそれぞれの減縮画素信号Ｓ２をアナログデジタル変換した、それぞれの減縮画素信号Ｓ２のデジタル値を、第２の選択部１２２５および第１の読み出し部１１０内の第１の差分算出部１１０３に順次出力する。
【０１７６】
これにより、第１の差分算出部１１０３は、第１のＡ／Ｄ変換部１１０２から順次入力されたそれぞれの全画素信号Ｓ１のデジタル値と、第２の読み出し部１２０内の第２のＡ／Ｄ変換部１２０２から順次入力されたそれぞれの減縮画素信号Ｓ２のデジタル値との差分をとったそれぞれのデジタル値を、第１の選択部１１２５を介して第１のビット数削減部１１０４に順次出力する。そして、第１のビット数削減部１１０４は、第１の差分算出部１１０３から第１の選択部１１２５を介して順次入力された差分がとられた全画素信号Ｓ１のデジタル値のビット数を、予め定めた方法によって削減して転送部１４０に順次出力する。
【０１７７】
また、第２の選択部１２２５は、第２のＡ／Ｄ変換部１２０２から順次入力されたそれぞれの減縮画素信号Ｓ２のデジタル値を、第２のビット数削減部１２０４に順次出力する。そして、第２のビット数削減部１２０４は、第２の選択部１２２５から順次入力された差分がとられていない減縮画素信号Ｓ２のデジタル値のビット数を、予め定めた方法によって削減して転送部１４０に順次出力する。
【０１７８】
そして、転送部１４０は、第２の読み出し部１２０から入力された減縮画素信号Ｓ２に基づいた減縮画素データＤ２と、第１の読み出し部１１０から入力された全画素信号Ｓ１に基づいた全画素データＤ１とを組にして、外部に順次転送（出力）する。例えば、第１の読み出し部１１０が画素信号処理部１００内に配置された５行分の全画素信号Ｓ１を読み出した場合、転送部１４０は、第２の読み出し部１２０から入力された、５行分の全画素信号Ｓ１を復元するために用いる行数分の減縮画素信号Ｓ２に基づいた減縮画素データＤ２と、５行分の全画素信号Ｓ１に基づいた全画素データＤ１とを組にして、外部に順次転送（出力）する。
【０１７９】
以降、第１の読み出し部１１０および第２の読み出し部１２０は、全画素データＤ１と減縮画素データＤ２とを組にした転送（出力）を、１フレーム分の全画素データＤ１の転送（出力）が完了するまで順次繰り返す。なお、全画素データＤ１と減縮画素データＤ２とのそれぞれの組内では、減縮画素データＤ２が先に転送（出力）される。
【０１８０】
このように、本第２の実施形態の固体撮像装置１２では、それぞれの画素データを時分割で転送（出力）する。また、本第２の実施形態の固体撮像装置１２では、復元を行う差分がとられた画素データを転送（出力）する際に、復元を行う画素データを分割し、この分割した画素データに対応する分の、差分がとられていない画素数を減縮した画素データを組にして、交互に転送（出力）する。つまり、復元を行う画素データと、この画素データの復元に用いる分の画素データとを混ぜて転送（出力）する。
【０１８１】
これにより、本第２の実施形態の固体撮像装置１２を搭載した撮像システム１では、画像処理部２０が、固体撮像装置１２から出力された画素データを復元するための処理を容易にすることができる。これは、復元する画素データが転送（出力）されてきたタイミングに同期して、画素データの復元の処理を行えるようになり、画素データを復元する際に、この画素データの復元に用いる多くの画素データを一旦撮像システム１内の記憶部に記憶しておく必要がなくなるからである。
【０１８２】
より具体的には、復元する全画素データＤ１を転送（出力）する前に、全画素データＤ１の復元に用いる減縮画素データＤ２の転送（出力）が全て完了してしまう動作の撮像システム１では、例えば、ＤＲＡＭ４０などに全ての減縮画素データＤ２を一旦格納しておき、復元する全画素データＤ１が転送（出力）されてきたときに、対応する減縮画素データＤ２をＤＲＡＭ４０から読み出して、全画素データＤ１を復元するための処理に用いる必要がある。この全ての減縮画素データＤ２のＤＲＡＭ４０への格納および対応する減縮画素データＤ２のＤＲＡＭ４０からの読み出し、つまり、多くの減縮画素データＤ２に対するアクセスを撮像システム１内のデータバス２９０を介して行うということは、データバス２９０のバス帯域を圧迫してしまう要因となり得る。これに対して、全画素データＤ１と、この全画素データＤ１の復元に用いる分の減縮画素データＤ２が組として転送（出力）されてくる場合には、全画素データＤ１の復元に用いる分の少ない減縮画素データＤ２のみを一旦記憶しておくことで、全画素データＤ１を復元する処理を順次行うことができる。例えば、撮像処理部２１０内に、復元に用いる分の少ない減縮画素データＤ２を一旦記憶するラインバッファを備えるのみで、全画素データＤ１を復元する処理を順次行える構成を実現することができる。これにより、撮像システム１内のデータバス２９０のバス帯域の圧迫を回避することができる。
【０１８３】
ここで、本第２の実施形態の固体撮像装置１２が出力した画素データを画像処理部２０において復元する復元方法の一例について説明する。図１２は、本第２の実施形態の固体撮像装置１２が出力した画素データの復元方法の一例を簡易的に示した図である。図１２には、本第２の実施形態の固体撮像装置１２から出力された画素データを復元する画像処理部２０に備えた撮像処理部２１０の概略構成と、画素データを復元する際の画素データの経路の一例を簡易的に示している。図１２に示した撮像処理部２１０は、合成処理部２１０１と、ラインバッファ２１０２とを備えている。なお、撮像処理部２１０には、入力された画素データに対して前処理を施す前処理部などの構成要素も備えているが、図１２においては省略している。以下の説明においては、全画素データＤ１を、対応する減縮画素データＤ２を用いて復元するものとして説明する。
【０１８４】
合成処理部２１０１は、入力されたデジタル値を合成することによって、デジタル値を復元する処理を行う処理部である。より具体的には、入力端子ＩＮ１に入力された全画素データＤ１のビット数を復元し、ビット数を復元したデジタル値に、入力端子ＩＮ２に入力された減縮画素データＤ２を加算することによって、入力端子ＩＮ１に入力された全画素データＤ１に対応する全画素信号Ｓ１を復元する。そして、合成処理部２１０１は、復元した全画素信号Ｓ１のデジタル値を出力端子ＯＵＴから出力する。なお、合成処理部２１０１における合成処理は、図４（ｂ）に示した、全画素データＤ１を復元して全画素信号Ｓ１のデジタル値を復元する処理と同様の処理である。
【０１８５】
ラインバッファ２１０２は、復元する画素データに対応する、差分がとられていない画素数を減縮した画素データを、画素データの復元に用いる行数分だけ記憶する一時記憶部である。ラインバッファ２１０２は、例えば、ＳＲＡＭ（Ｓｔａｔｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などのメモリで構成される。
【０１８６】
このような構成によって、撮像処理部２１０は、固体撮像装置１２から組として転送（出力）された減縮画素データＤ２を用いて、全画素データＤ１を復元する処理を順次行うことができる。
【０１８７】
ここで、図１２に示した撮像処理部２１０の構成において、図１１に示した出力シーケンスで画素データが転送（出力）された場合の動作を説明する。まず、固体撮像装置１２から１フレーム分の減縮画素データＤ３が転送（出力）されると、撮像処理部２１０は、転送された１フレーム分の減縮画素データＤ３を、経路Ｃ１でデータバス２９０に出力し、例えば、ＤＲＡＭ４０に転送する（書き込む）。
【０１８８】
その後、固体撮像装置１２から１フレーム分の減縮画素データＤ２が転送（出力）されると、撮像処理部２１０は、転送された１フレーム分の減縮画素データＤ２を、再度経路Ｃ１でデータバス２９０に出力し、例えば、ＤＲＡＭ４０に転送する（書き込む）。これにより、画像処理部２０内の表示処理部２３０は、ＤＲＡＭ４０に記録されている減縮画素データＤ２に基づいてライブビュー画像を生成し、表示デバイス３０に出力して表示させることができる。
【０１８９】
その後、固体撮像装置１２から最初の組の全画素データＤ１と減縮画素データＤ２とが転送（出力）されると、撮像処理部２１０は、転送された減縮画素データＤ２を、経路Ｃ２でラインバッファ２１０２に出力して記憶させる。これにより、ラインバッファ２１０２は、記憶した減縮画素データＤ２を順次、合成処理部２１０１の入力端子ＩＮ２に出力する。また、撮像処理部２１０は、転送された全画素データＤ１を、経路Ｃ３で合成処理部２１０１に出力する。これにより、合成処理部２１０１は、入力端子ＩＮ１に入力された全画素データＤ１と入力端子ＩＮ２に入力された減縮画素データＤ２とに基づいて、全画素データＤ１に対応する全画素信号Ｓ１を復元する。そして、合成処理部２１０１は、復元した全画素信号Ｓ１のデジタル値を出力端子ＯＵＴから出力して、経路Ｃ４でデータバス２９０に出力し、例えば、ＤＲＡＭ４０に転送する（書き込む）。
【０１９０】
以降、撮像処理部２１０は、固体撮像装置１２から順次転送（出力）された全画素データＤ１と減縮画素データＤ２とのそれぞれの組の画素データを、ラインバッファ２１０２および合成処理部２１０１への出力し、１フレーム分の全画素データＤ１に対応する全画素信号Ｓ１の復元を行う。
【０１９１】
このような動作によって、撮像処理部２１０は、固体撮像装置１２によって複数に分割され、混ぜて転送（出力）された減縮画素データＤ２を用いて、全画素データＤ１を復元する処理を順次行うことができる。
【０１９２】
なお、図１１に示した本第２の実施形態の固体撮像装置１２における出力シーケンスでは、１フレーム分の減縮画素データＤ２を転送（出力）した後、再度、１フレーム分の減縮画素データＤ２を分割して転送（出力）していた。これは、上述したように、最初の１フレーム分の減縮画素データＤ２を画像処理部２０内の表示処理部２３０によるライブビュー画像の生成に用い、その後に分割して再度出力した減縮画素データＤ２を、画像処理部２０内の静止画処理部２２１による静止画像を生成に用いるためである。つまり、最初に１フレーム分の減縮画素データＤ２を転送（出力）することによって、ライブビュー画像をリアルタイムに生成し、再度転送（出力）した減縮画素データＤ２を用いて、全画素データＤ１を順次復元するためである。しかし、例えば、ライブビュー画像の生成をリアルタイムに行わない場合など、減縮画素データＤ２を用いた処理を行う際に、リアルタイム性の高さが求められない場合には、最初の１フレーム分の減縮画素データＤ２の転送（出力）を行わない動作にすることもできる。これにより、固体撮像装置１２と画像処理部２０との間で転送する画素データのデータ量を削減することができる。
【０１９３】
この場合の固体撮像装置１２による画素データの出力シーケンスについて説明する。図１３は、本第２の実施形態の固体撮像装置１２における画素データの別の出力シーケンスを示した図である。図１３に示した画素データの出力シーケンスでは、固体撮像装置１２は、１フレーム分の減縮画素データＤ３を転送（出力）した後、１フレーム分の減縮画素データＤ２と全画素データＤ１とをそれぞれ分割し、分割した縮画素データＤ２と全画素データＤ１とのそれぞれを混ぜて転送（出力）する。
【０１９４】
なお、最初に１フレーム分の減縮画素データＤ３を転送（出力）するのは、本第２の実施形態の固体撮像装置１２を搭載した撮像システム１において、画像処理部２０内の評価値生成部２１１による評価値の生成の処理や、画像認識部２５０による被写体の認識などの処理を、リアルタイムで行うためである。なお、図１３に示した画素データの出力シーケンスによる固体撮像装置１２内のそれぞれの構成要素の動作は、１フレーム分の減縮画素データＤ２を外部に順次転送（出力）しない以外は、図１１に示した画素データの出力シーケンスによる固体撮像装置１２内のそれぞれの構成要素の動作と同様であるため、詳細な説明は省略する。
【０１９５】
このように、本第２の実施形態の固体撮像装置１２では、復元を行う差分がとられた画素データを転送（出力）する際に、復元を行う画素データと、この分割した画素データに対応する分の、差分がとられていない画素データとを組にして、交互に（混ぜて）転送（出力）することによって、固体撮像装置１２と画像処理部２０との間で転送する画素データのデータ量を削減することができる。
【０１９６】
なお、図１１および図１３に示した固体撮像装置１２における画素データの出力シーケンスでは、第１の読み出し部１１０が読み出した、分割して転送（出力）する全画素信号Ｓ１に基づいた全画素データＤ１に対応する分の減縮画素信号Ｓ２を、第２の読み出し部１２０が読み出して、減縮画素信号Ｓ２に基づいた減縮画素データＤ２を外部に順次転送（出力）する場合について説明した。つまり、全画素データＤ１を基準として、対応する分の減縮画素信号Ｓ２を、第２の読み出し部１２０が読み出していた。しかし、減縮画素信号Ｓ２は、全画素信号Ｓ１の画素数を減縮した画素信号である。つまり、減縮画素信号Ｓ２は、全画素信号Ｓ１に含まれる予め定めた画素数分の画素信号に対応している。このため、固体撮像装置１２において全画素データＤ１と減縮画素データＤ２とを組にして転送（出力）する際に、減縮画素データＤ２に対応する減縮画素信号Ｓ２に含まれる画素数分の全画素信号Ｓ１を、第１の読み出し部１１０が読み出すようにすることもできる。つまり、減縮画素データＤ２を基準として、対応する全画素信号Ｓ１を、第１の読み出し部１１０が読み出し、読み出した全画素信号Ｓ１に基づいた全画素データＤ１を、基準にした減縮画素データＤ２との組として転送（出力）してもよい。言い換えれば、減縮画素データＤ２を基準として、第１の読み出し部１１０が全画素信号Ｓ１を読み出す行数や画素数を決定してもよい。
【０１９７】
また、図１１および図１３に示した固体撮像装置１２における画素データの出力シーケンスでは、全画素データＤ１と減縮画素データＤ２とを組にして転送（出力）する出力シーケンスを示した。これは、減縮画素データＤ２が、差分がとられていない減縮画素信号Ｓ２に基づいた画素データであるからである。しかし、減縮画素データＤ２が、差分がとられた減縮画素信号Ｓ２に基づいた画素データである場合には、差分がとられた全画素データＤ１を減縮画素データＤ２と組にして転送（出力）する際に、差分がとられていない減縮画素信号Ｓ３に基づいた減縮画素データＤ３も組にして転送（出力）する出力シーケンスにする。これにより、同様の処理で、全画素データＤ１に対応する全画素信号Ｓ１と、減縮画素データＤ２に対応する減縮画素信号Ｓ２との復元を行うことができる。この出力シーケンスであれば、差分がとられていない減縮画素信号Ｓ２に基づいた画素データを減縮画素データＤ２として出力する構成となっていない、図２に示した固体撮像装置１０や図８に示した固体撮像装置１１においても、この構成のままで容易に行うことができる。
【０１９８】
なお、固体撮像装置１２が、差分がとられた全画素データＤ１および減縮画素データＤ２と差分がとられていない減縮画素データＤ３とを組にして転送（出力）する場合、撮像処理部２１０は、図１２に示した合成処理部２１０１およびラインバッファ２１０２と同様の構成要素を、差分がとられた減縮画素データＤ２に対応する減縮画素信号Ｓ２を復元するためにさらに設ける構成が考えられる。そして、この撮像処理部２１０の構成において、減縮画素信号Ｓ２を復元するために新たに設けられたラインバッファに、差分がとられていない減縮画素データＤ３を一時記憶させた後、新たに設けられた合成処理部が、復元した減縮画素信号Ｓ２をラインバッファ２１０２に出力して記憶させる動作が考えられる。これにより、合成処理部２１０１は、ラインバッファ２１０２に記憶された減縮画素信号Ｓ２を用いて、上述したように、全画素データＤ１に対応する全画素信号Ｓ１を復元することができる。
【０１９９】
本第２の実施形態によれば、第１のビット数削減部１１０４は、第１の差分算出部１１０３によって差分が算出されたデジタル値のビット数を削減し、ここでビット数を削減した差分が算出されたデジタル値を、全画素信号Ｓ１に対応するデジタル値（全画素データＤ１）として出力し、全画素信号Ｓ１に対応するデジタル値（全画素データＤ１）を、予め定めた数の画素に対応するデジタル値毎に分割し、ここで分割したデジタル値と、この分割したデジタル値に含まれる予め定めた数の画素に対応する分の減縮画素信号Ｓ２の大きさを表すデジタル値（減縮画素データＤ２）とを組にして順次出力する固体撮像装置（固体撮像装置１２）が構成される。
【０２００】
また、本第２の実施形態によれば、分割した全画素信号Ｓ１に対応するデジタル値（全画素データＤ１）と、この分割したデジタル値に対応する分の減縮画素信号Ｓ２の大きさを表すデジタル値（減縮画素データＤ２）とのそれぞれの組において、分割したデジタル値に対応する分の減縮画素信号Ｓ２の大きさを表すデジタル値（減縮画素データＤ２）を先に出力する固体撮像装置１２が構成される。
【０２０１】
上記に述べたように、本第２の実施形態の固体撮像装置１２（固体撮像装置１０および第１の変形例の固体撮像装置１１を含む）でも、第１の実施形態の固体撮像装置１０（第１の変形例の固体撮像装置１１および第２の変形例の固体撮像装置１２を含む）と同様に、画素数が多い画素データのビット数を削減することによって、データ量の増加を抑えつつ、様々な画素数の画素データを出力することができる。これにより、本第２の実施形態の固体撮像装置１２を搭載した本実施形態の撮像システム１でも、画像処理部２０に備えたそれぞれの構成要素におけるそれぞれの処理に適した画素数の画素データを用いて処理を行うことができる。
【０２０２】
また、本第２の実施形態の固体撮像装置１２では、復元を行う画素データと、この画素データの復元に用いる分の画素データとを混ぜて転送（出力）する。これにより、本第２の実施形態の固体撮像装置１２を搭載した本実施形態の撮像システム１において、固体撮像装置１２と画像処理部２０との間で転送する画素データのデータ量を削減することができる。また、画像処理部２０によって行う画素データを復元する処理を、少ない回路規模で、固体撮像装置１２から画素データが転送（出力）されてきたタイミングに同期して行えるようになり、撮像システム１内のデータバス２９０のバス帯域の圧迫を抑えることができる。
【０２０３】
上記に述べたとおり、本発明を実施するための形態によれば、固体撮像装置の画素信号処理部から、同じ露光によって得られた、画素信号処理部に備えた全ての画素の信号電荷に応じた画素信号と、画素信号処理部に備えた画素の数（画素数）を減縮した画素信号とのそれぞれを、別々に独立して出力する。そして、本発明を実施するための形態によれば、それぞれの画素信号に基づいたそれぞれの画素データを出力する際に、画素数が多い画素データのビット数を削減する。これにより、本発明を実施するための形態では、出力するデータ量の増加を抑えつつ、様々な画素数（サイズ）の画素データを出力することができる。このことにより、本発明を実施するための形態の固体撮像装置を搭載した撮像システムでは、従来の固体撮像装置を搭載した撮像システムにおいて行っていた、固体撮像装置から出力された画素データのサイズ変換を行わなくても、それぞれの処理に適したサイズの画素データで処理を行うことができる。これにより、本発明を実施するための形態の固体撮像装置を搭載した撮像システムでは、サイズ変換の処理が不要なった分、全体の処理時間を短縮させる、つまり、撮像システムの処理速度を向上させることができる。
【０２０４】
また、本発明を実施するための形態によれば、様々な画素数の画素データを同時期に出力することができる。これにより、本発明を実施するための形態の固体撮像装置を搭載した撮像システムにおける様々な動作モードに応じてそれぞれの処理を行う構成要素が、それぞれの動作モードにおいて行われるそれぞれの処理に適した画素数の画素データを用いて処理を行うことができる。
【０２０５】
なお、本実施形態においては、それぞれの実施形態およびそれぞれの変形例の固体撮像装置に備えた画素信号処理部１００において、それぞれの画素に備えた対応する光電変換部１０１が発生したそれぞれの信号電荷の電荷量を平均化した信号電荷を保持する第２の電荷蓄積回路１０４と、第２の電荷蓄積回路１０４が保持したそれぞれの信号電荷の電荷量をさらに平均化した信号電荷を保持する第３の電荷蓄積回路２０４と、を備える構成を示した。しかし、本発明の固体撮像装置に備える画素信号処理部の構成は、それぞれの実施形態およびそれぞれの変形例の固体撮像装置に備えた画素信号処理部１００においてに示した構成に限定されるものではない。例えば、第３の電荷蓄積回路２０４が保持した平均化した信号電荷を、さらに平均化する構成にすることもできる。
【０２０６】
また、本実施形態においては、それぞれの実施形態およびそれぞれの変形例の固体撮像装置に備えた画素信号処理部１００において、予め定めた２つの画素を組とした構成の一例を示したが、本発明の固体撮像装置に備えた画素信号処理部における画素の組は、本発明を実施するための形態の構成に限定されるものではない。すなわち、本発明を実施するための形態に示した構成よりもさらに多くの画素で１つの組を構成することもできる。
【０２０７】
また、画素信号処理部１００に備える画素の数（画素数）や画素数を減縮する数は、本発明を実施するための形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲において画素信号処理部１００に備える画素の数（画素数）や画素数を減縮する数を変更することができる。
【０２０８】
また、本実施形態においては、それぞれの実施形態およびそれぞれの変形例の固体撮像装置や、それぞれの固体撮像装置に備えたそれぞれの構成要素を配置するための構造に関しては、限定しない。例えば、それぞれの固体撮像装置に備えたそれぞれの構成要素を、複数の基板に分けて配置した多層基板の構造であっても、１枚の基板に配置した、いわゆる、モノリシックの構造であってもよい。
【０２０９】
以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。
【符号の説明】
【０２１０】
１・・・撮像システム
１０，１１，１２・・・固体撮像装置
１００・・・画素信号処理部（固体撮像装置）
１０１ａ，１０１ｂ，１０１ｃ，１０１ｄ・・・光電変換部（画素，画素信号処理部，固体撮像装置）
１０２ａ，１０２ｂ，１０２ｃ，１０２ｄ・・・電荷転送回路（画素，画素信号処理部，固体撮像装置）
１０３ａ，１０３ｂ，１０３ｃ，１０３ｄ・・・第１の電荷蓄積回路（画素，画素信号処理部，固体撮像装置）
１０４ａｂ，１０４ｃｄ・・・第２の電荷蓄積回路（画素，画素信号処理部，固体撮像装置）
２０４・・・第３の電荷蓄積回路（画素，画素信号処理部，固体撮像装置）
１１０，１１２・・・第１の読み出し部（固体撮像装置）
１１０１・・・第１の読み出し制御部（差分算出部，ビット数削減部，固体撮像装置）
１１０２・・・第１のＡ／Ｄ変換部（差分算出部，ビット数削減部，固体撮像装置）
１１０３・・・第１の差分算出部（差分算出部，固体撮像装置）
１１０４・・・第１のビット数削減部（ビット数削減部，固体撮像装置）
１１２５・・・選択部（差分算出部，ビット数削減部，固体撮像装置）
１２０，１２２・・・第２の読み出し部（固体撮像装置）
１２０１・・・第２の読み出し制御部（差分算出部，ビット数削減部，固体撮像装置）
１２０２・・・第２のＡ／Ｄ変換部（差分算出部，ビット数削減部，固体撮像装置）
１２０３・・・第２の差分算出部（差分算出部，固体撮像装置）
１２０４・・・第２のビット数削減部（ビット数削減部，固体撮像装置）
１２２５・・・選択部（差分算出部，ビット数削減部，固体撮像装置）
１３０・・・第３の読み出し部（固体撮像装置）
１３０１・・・第３の読み出し制御部（固体撮像装置）
１３０２・・・第３のＡ／Ｄ変換部（固体撮像装置）
１４０・・・転送部（固体撮像装置）
１４１・・・第１の転送部（固体撮像装置）
１４２・・・第２の転送部（固体撮像装置）
１４３・・・第３の転送部（固体撮像装置）
２０・・・画像処理部
２１０・・・撮像処理部
２１０１・・・合成処理部
２１０２・・・ラインバッファ
２１１・・・評価値生成部
２２１・・・静止画処理部
２２２・・・動画処理部
２３０・・・表示処理部
２４０・・・ＤＲＡＭコントローラ
２５０・・・画像認識部
２６０・・・ＣＰＵ
２７０・・・カードインタフェース部
２９０・・・データバス
３０・・・表示デバイス
４０・・・ＤＲＡＭ
５０・・・記録媒体
【図１】
2015156559.tif 000003
【図２】
2015156559.tif 000004
【図３】
2015156559.tif 000005
【図５】
2015156559.tif 000006
【図６】
2015156559.tif 000007
【図７】
2015156559.tif 000008
【図８】
2015156559.tif 000009
【図９】
2015156559.tif 000010
【図１０】
2015156559.tif 000011
【図１１】
2015156559.tif 000012
【図１２】
2015156559.tif 000013
【図１３】
2015156559.tif 000014
【図４】
2015156559.tif 000015