(57)【特許請求の範囲】
【請求項１】
互いに積層されるとともに電気的に直接接続された第１の半導体基板および第２の半導体基板を備えた撮像素子であって、
前記第１の半導体基板に設けられ、入射光を受光して光電変換する撮像手段と、
前記撮像手段から出力されるアナログ画像信号をデジタル画像データに変換するＡＤ変換手段と、
前記第２の半導体基板に設けられ、前記ＡＤ変換手段により変換される１フレームのデジタル画像データを記憶する記憶手段と、
前記第２の半導体基板に設けられ、前記記憶手段に記憶された前記デジタル画像データから所定領域の画像データを切り出して縮小変倍処理を施す処理手段と、
を有し、
前記処理手段により縮小変倍処理される画像データのサイズが縮小変倍処理の倍率にかかわらず常に一定サイズとなるように設定されることを特徴とする撮像素子。
【請求項２】
互いに積層されるとともに電気的に直接接続された第１の半導体基板および第２の半導体基板を備えた撮像素子であって、
前記第１の半導体基板に設けられ、入射光を受光して光電変換する撮像手段と、
前記撮像手段から出力されるアナログ画像信号をデジタル画像データに変換するＡＤ変換手段と、
前記第２の半導体基板に設けられ、前記ＡＤ変換手段により変換される１フレームのデジタル画像データを記憶する記憶手段と、
前記第２の半導体基板に設けられ、前記記憶手段に記憶された前記デジタル画像データから所定領域の画像データを切り出して縮小変倍処理を施す処理手段と、
を有し、
前記処理手段により縮小変倍処理される画像データのサイズは、記録動画サイズであることを特徴とする撮像素子。
【請求項３】
前記処理手段は、前記記憶手段に記憶された前記画像データから所定領域の画像データを切り出す際に、電子的なパン、チルト処理を行なう請求項１または２に記載の撮像素子。
【請求項４】
互いに積層されるとともに電気的に直接接続された第１の半導体基板および第２の半導体基板を備えた撮像素子であって、
前記第１の半導体基板に設けられ、入射光を受光して光電変換する撮像手段と、
前記撮像手段から出力されるアナログ画像信号をデジタル画像データに変換するＡＤ変換手段と、
前記第２の半導体基板に設けられ、前記ＡＤ変換手段により変換される１フレームのデジタル画像データを記憶する記憶手段と、
前記第２の半導体基板に設けられ、前記記憶手段に記憶された前記デジタル画像データに対して縮小変倍処理を施す処理手段と、
を有し、
前記処理手段により縮小変倍処理された画像データのサイズは、前記撮像素子の出力転送容量以下となるように設定されることを特徴とする撮像素子。
【請求項５】
前記処理手段は、前記記憶手段に記憶する前の１フレームのデジタル画像データから所定領域の画像データを切り出し、切り出した画像データを前記記憶手段に記憶することを特徴とする請求項４に記載の撮像素子。
【請求項６】
互いに積層されるとともに電気的に直接接続された第１の半導体基板および第２の半導体基板を備え、前記第１の半導体基板に設けられ、入射光を受光して光電変換する撮像手段と、前記撮像手段から出力されるアナログ画像信号をデジタル画像データに変換するＡＤ変換手段と、前記第２の半導体基板に設けられ、前記ＡＤ変換手段により変換される１フレームのデジタル画像データを記憶する記憶手段と、前記第２の半導体基板に設けられ、前記記憶手段に記憶された前記デジタル画像データから所定領域の画像データを切り出して縮小変倍処理を施す処理手段と、を有する撮像素子と、
前記撮像素子から出力される画像データに所定の信号処理を施す信号処理部と、
前記画像を表示する表示部と、
前記撮像素子、前記信号処理部、前記表示部の各々を制御する制御部と、
を有し、
前記処理手段により縮小変倍処理される画像データのサイズが縮小変倍処理の倍率にかかわらず常に一定サイズとなるように設定されることを特徴とする撮像装置。
【請求項７】
互いに積層されるとともに電気的に直接接続された第１の半導体基板および第２の半導体基板を備え、前記第１の半導体基板に設けられ、入射光を受光して光電変換する撮像手段と、前記撮像手段から出力されるアナログ画像信号をデジタル画像データに変換するＡＤ変換手段と、前記第２の半導体基板に設けられ、前記ＡＤ変換手段により変換される１フレームのデジタル画像データを記憶する記憶手段と、前記第２の半導体基板に設けられ、前記記憶手段に記憶された前記デジタル画像データから所定領域の画像データを切り出して縮小変倍処理を施す処理手段と、を有する撮像素子と、
前記撮像素子から出力される画像データに所定の信号処理を施す信号処理部と、
前記画像を表示する表示部と、
前記撮像素子、前記信号処理部、前記表示部の各々を制御する制御部と、
を有し、
前記処理手段により縮小変倍処理される画像データのサイズは、記録動画サイズであることを特徴とする撮像装置。
【請求項８】
前記処理手段は、前記記憶手段に記憶された前記画像データから所定領域の画像データを切り出す際に、電子的なパン、チルト処理を行なうことを特徴とする請求項６または７に記載の撮像装置。
【請求項９】
互いに積層されるとともに電気的に直接接続された第１の半導体基板および第２の半導体基板を備え、前記第１の半導体基板に設けられ、入射光を受光して光電変換する撮像手段と、前記撮像手段から出力されるアナログ画像信号をデジタル画像データに変換するＡＤ変換手段と、前記第２の半導体基板に設けられ、前記ＡＤ変換手段により変換される１フレームのデジタル画像データを記憶する記憶手段と、前記第２の半導体基板に設けられ、前記記憶手段に記憶された前記デジタル画像データに対して縮小変倍処理を施す処理手段と、を有する撮像素子と、
前記撮像素子から出力される画像データに所定の信号処理を施す信号処理部と、
前記画像を表示する表示部と、
前記撮像素子、前記信号処理部、前記表示部の各々を制御する制御部と、
を有し、
前記処理手段により縮小変倍処理された画像データのサイズは、前記撮像素子の出力転送容量以下となるように設定されることを特徴とする撮像装置。
【請求項１０】
前記処理手段は、前記記憶手段に記憶する前の１フレームのデジタル画像データから所定領域の画像データを切り出し、切り出した画像データを前記記憶手段に記憶することを特徴とする請求項９の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子および撮像装置に関する。
【背景技術】
【０００２】
近年、デジタルカメラなどの撮像装置に用いられるＣＭＯＳなどの撮像素子は、画素を微細化することにより多画素化し、解像度の高い画像を撮影することが可能となっている。コンシューマ向けの撮像装置においても１０００万画素以上の画素数を備えるものが一般的になってきている（特許文献１参照）。
【０００３】
図１８は、一般的な撮像装置の構成ブロック図である。図１８において、撮像素子１５００は、画素部１５０１、ＡＤ変換部１５０２、Ｐ／Ｓ変換部１５０３を備える。画素部１５０１は、被写体像を電気信号に変換してＡＤ変換部１５０２に出力する。
【０００４】
ＡＤ変換部１５０２は、画素部１５０１から読み出される画像信号をデジタル信号に変換する。Ｐ／Ｓ変換部１５０３は、ＡＤ変換部１５０２により変換されたデジタル信号に対し、パラレル・シリアル変換を行う。画像信号処理回路１６００は、撮像素子１５００からの画像信号に対し各種信号処理を施す。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−２６６７５号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記した撮像装置では、撮像素子１５００から画像信号処理回路１５０１に画像データを転送する転送路の転送容量が一定であることから、撮像素子の画素数が増加することで相対的に画像データの転送時間が長くなるという課題がある。
【０００７】
また、各撮影モードに対応した画像サイズが異なる場合にも、全画素の画像データを撮像素子１５００から画像信号処理回路１５０１に転送するために時間がかかる。すなわち、撮像素子１５００から画像信号処理回路１５０１へのデータ転送容量が画像データ読み出し速度のボトルネックとなる。さらに、高速転送を実現しようとすると、転送回路や処理回路などの消費電力や発熱の増大、データ転送精度などが問題となる。
【０００８】
そこで、フレームレートの高い動画撮影などにおいては、データ容量が転送路の転送容量を超えないように画素数の少ない撮像素子を採択する必要があり、画素数の多い高品位な動画撮影を行うことができない。或いは、画素数の多い撮像素子を用いる場合には、画素部から読み出す画素数を間引き処理等によって削減した後に撮像素子から転送する必要がある。
【０００９】
また、動画撮影中に撮影画像領域の中から所望の範囲の画像を拡大して電子的にズームを行うようにした電子ズーム機能が搭載されているものがある。従来は、このような電子ズーム機能は、画素数を削減した撮影画像データを撮像素子から画像信号処理回路に転送した後に、画像信号処理回路において行われていた。そのため、ズーム倍率が大きくなると画像の拡大率も大きくなり、それに伴いジャギーが目立ったり、解像感が劣化するという課題があった。
【００１０】
本発明は、適切な転送容量で高画質な画像データを出力することのできる撮像素子およびそれを用いた撮像装置を提供することを目的としてなされたものである。
【課題を解決するための手段】
【００１１】
上記した課題を解決するために、本発明の撮像素子は、互いに積層されるとともに電気的に直接接続された第１の半導体基板および第２の半導体基板を備えた撮像素子であって、前記第１の半導体基板に設けられ、入射光を受光して光電変換する撮像手段と、前記撮像手段から出力されるアナログ画像信号をデジタル画像データに変換するＡＤ変換手段と、前記第２の半導体基板に設けられ、前記ＡＤ変換手段により変換される１フレームのデジタル画像データを記憶する記憶手段と、前記第２の半導体基板に設けられ、前記記憶手段に記憶された前記デジタル画像データから所定領域の画像データを切り出して縮小変倍処理を施す処理手段と、を有し、前記処理手段により縮小変倍処理される画像データのサイズが縮小変倍処理の倍率にかかわらず常に一定サイズとなるように設定されることを特徴とする。
また、互いに積層されるとともに電気的に直接接続された第１の半導体基板および第２の半導体基板を備えた撮像素子であって、前記第１の半導体基板に設けられ、入射光を受光して光電変換する撮像手段と、前記撮像手段から出力されるアナログ画像信号をデジタル画像データに変換するＡＤ変換手段と、前記第２の半導体基板に設けられ、前記ＡＤ変換手段により変換される１フレームのデジタル画像データを記憶する記憶手段と、前記第２の半導体基板に設けられ、前記記憶手段に記憶された前記デジタル画像データから所定領域の画像データを切り出して縮小変倍処理を施す処理手段と、を有し、前記処理手段により縮小変倍処理される画像データのサイズは、記録動画サイズであることを特徴とする。
さらに、互いに積層されるとともに電気的に直接接続された第１の半導体基板および第２の半導体基板を備えた撮像素子であって、前記第１の半導体基板に設けられ、入射光を受光して光電変換する撮像手段と、前記撮像手段から出力されるアナログ画像信号をデジタル画像データに変換するＡＤ変換手段と、前記第２の半導体基板に設けられ、前記ＡＤ変換手段により変換される１フレームのデジタル画像データを記憶する記憶手段と、前記第２の半導体基板に設けられ、前記記憶手段に記憶された前記デジタル画像データに対して縮小変倍処理を施す処理手段と、を有し、前記処理手段により縮小変倍処理された画像データのサイズは、前記撮像素子の出力転送容量以下となるように設定されることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、適切な転送容量で高画質な画像データを撮像素子から出力することができる。
【図面の簡単な説明】
【００１３】
【図１】実施例１における撮像素子の概略構造を示す図である。
【図２】実施例１におけるデータバス構成の一例を説明する図である。
【図３】実施例１における画素、カラムＡＤＣブロックの構成を示す図である。
【図４】実施例１における撮像素子の積層構成を示す図である。
【図５】実施例１における撮像素子の断面図である。
【図６】実施例１における撮像装置のシステム概要図である。
【図７】実施例１における撮影シーケンスのフローチャートである。
【図８】実施例１における画像信号のサイズと転送レートの関係を説明する図である。
【図９】実施例１におけるズーム倍率と変倍処理の関係を説明する図である。
【図１０】実施例１における動画の各フレームの画像処理のタイミングを示す模式図である。
【図１１】実施例２におけるパン、チルト処理を説明する図である。
【図１２】実施例３の動作を説明するためのフローチャートである。
【図１３】実施例３の画素サイズ変換の方法を示す詳細図である。
【図１４】実施例４の動作を説明するためのフローチャートである。
【図１５】実施例４の画素サイズ切り出しの方法を示す詳細図である。
【図１６】実施例５の動作を説明するためのフローチャートである。
【図１７】実施例５の画像拡大方法を示す詳細図である。
【図１８】一般的な撮像装置の構成を示す図である。
【発明を実施するための形態】
【００１４】
（実施例１）
以下に、本発明の好ましい実施の形態を、添付の図面を用いて詳細に説明する。
【００１５】
図１は、本発明の実施例１における撮像素子の概略をブロック図として示したものである。
【００１６】
撮像素子５０６は、第１のチップ（第１の半導体基板）１０および第２のチップ（第２の半導体基板）１１を有しており、第２のチップ１１と第１のチップ１０がお互いに積層されている。第１のチップ１０は、マトリックス状に配列された複数の画素１０１からなる画素部を有し、第２のチップ１１に対して光入射側（光学像の受光側）に配置されている。
【００１７】
第１のチップ１０の画素部において、マトリックス状に配列された複数の画素１０１は行毎に転送信号線１０３、リセット信号線１０４、および行選択信号線１０５にそれぞれ接続され、列毎に複数の列出力線１０２に接続されている。なお、各列に配置された複数の列出力線１０２の各々には、同列の異なる読み出し行に配置された画素が接続される。
【００１８】
第２のチップ１１は、列毎に設けられた複数のＡＤ変換器（以下、ＡＤＣと表記）１１１、行走査回路１１２、列走査回路１１３、タイミング制御回路１１４を有する。さらに、第２のチップ１１は、切り替えスイッチ１１６、フレームメモリ１１７、素子内演算部１１８、パラレル・シリアル変換部（以下、Ｐ／Ｓ変換部と表記する）１１９等を有する。タイミング制御回路１１４は、全体制御演算部５０９により駆動制御される。
【００１９】
このように、第１のチップ１０に画素部を形成し、第２のチップ１１に画素部の駆動回路やメモリ、演算部等を形成することで、撮像素子５０６の撮像層と回路層とで製造プロセスを分けることができる。そして、回路層における配線の細線化、高密度化による高速化、小型化、および高機能化を図ることができる。
【００２０】
切り替えスイッチ１１６は、チャンネル毎に設けられた水平信号線１１５−ａ、水平信号線１１５−ｂから出力される各チャンネルのデジタル画像データを素子内演算部１１８に選択的に入力する。素子内演算部１１８は、各チャンネルの画像データを並び替えて１フレームの画像データを生成し、順次フレームメモリ１１７に出力する。フレームメモリ１１７は、出力された少なくとも１フレーム分のデジタル画像データを一時的に記憶する。
【００２１】
素子内演算部１１８は、フレームメモリ１１７に記憶された１フレームのデジタル画像データに対し、必要な画角へのリサイズ処理、切り出し処理、間引き処理等の演算処理を行う。詳細は後述する。素子内演算部１１８でリサイズ処理等の演算処理を施された１フレームのデジタル画像データは、Ｐ／Ｓ変換部１１９においてパラレル・シリアル変換を行い、撮像素子５０６の外部にある撮像信号処理回路５０７へと出力される。
【００２２】
ここで、水平信号線１１５−ａ、水平信号線１１５−ｂ、切り替えスイッチ１１６、素子内演算部１１８、フレームメモリ１１７の間のデータ転送経路は、同一チップ内に形成されるデジタル信号ラインである。そのため、水平読み出し期間内に全ての水平データの転送が完結するように、必要なデータバス幅を確保して高速化を図ることができる。
【００２３】
図２は、第２のチップ１１におけるＡＤＣ１１１からＰ／Ｓ変換部１１９までのデータバス構成の一例を説明する図である。図２に示すように、第２のチップ１１において、ＡＤＣ１１１と素子内演算部１１８の間には、ＡＤＣ１１１のデジタル変換出力を一時的に保持する列メモリ１１１ａが設けられている。なお、図２では切り替えスイッチ１１６は省略されている。
【００２４】
列走査回路１１３からの制御信号に応じて各列に設けられた列メモリ１１１ａに保持されている画像データは、水平転送回路１１５内に１６チャンネル設けられた水平信号線１１５−ａ，１１５−ｂに振り分けられて並列に出力される。水平信号線１１５−ａ，１１５−ｂに出力された画像データは、素子内演算部１１８内のメモリＩ／Ｆ回路を経由してフレームメモリ１１７に入力される。
【００２５】
例えば、８Ｋ４Ｋ（水平８０００画素、垂直４０００画素）の３２Ｍピクセルの画像データがＡＤＣ１１１から出力される場合について説明する。３２Ｍピクセルの画像データをフレームレート６０ｆｐｓで読み出した場合に必要なデータバス帯域は、１９２０Ｍピクセル／ｓｅｃである。
【００２６】
ここで、水平転送回路１１５に設けられた１６チャンネルの水平信号線１１５−ａ，１１５−ｂの各々の転送容量が１２ｂｉｔである場合、転送可能な周波数１２０ＭＨｚまで転送容量を落とす必要がある。列走査回路１１３からの制御信号により順次、列メモリの選択が行われ、水平転送回路１１５の１チャンネルあたり１２０Ｍピクセル／ｓｅｃの画像データが１６チャンネルで並列に読み出される。
【００２７】
水平転送回路１１５から素子内演算部１１８を経由してフレームメモリ１１７へ入力された画像データは、フレームメモリから所定エリアのデータが部分的に読み出されて、再び、素子内演算部１１８に入力される。例えば、フレームメモリ１１７から出力された画像データは、素子内演算部１１８内の縮小変倍回路により１／１６倍の画像サイズに縮小される。その場合に必要となるデータバス帯域は、１２０Ｍピクセル／ｓｅｃまで低減される。これは、フルＨＤサイズ（２Ｍピクセル）の画像データを６０ｆｐｓで読み出す場合に相当するデータ転送容量である。
【００２８】
データバス帯域が低減されて素子内演算部１１８から出力された画像データは、Ｐ／Ｓ変換部１１９で、最大シリアル転送容量１Ｇｂｐｓを超えないように、７２０Ｍｂｐｓの２チャンネル構成でシリアル信号に変換されて出力される。
【００２９】
このように、第２のチップ１１内にＡＤＣ１１１、素子内演算部１１８、フレームメモリ１１７を設けることにより、第２のチップ１１内で画像データの処理に必要な広いデータバス帯域を確保し、ＡＤＣ１１１からフレームメモリ１１７までの転送速度の高速化を実現しつつ、撮像素子外に転送可能なシリアル転送容量で高画質な動画を出力することができる。
【００３０】
図３は、本実施例における撮像素子５０６の画素部の各画素１０１及びＡＤＣ１１１の詳細な構成を示した図である。図１及び図３を用いて、実施例１における撮像素子の動作の概略を説明する。
【００３１】
フォトダイオード（以下、ＰＤと表記する）２０１は、受光した入射光をその光量に応じた電荷量の光電荷（ここでは、電子）に光電変換する。ＰＤ２０１のカソードは、転送トランジスタ２０２を介して増幅トランジスタ２０４のゲートと電気的に接続されている。この増幅トランジスタ２０４のゲートと電気的に接続されたノードは、フローティングディフュージョン（以下、ＦＤと表記する）部２０６を構成する。
【００３２】
転送トランジスタ２０２は、ＰＤ２０１のカソードとＦＤ部２０６との間に設けられ、ゲートに図１の転送信号線１０３を介して転送パルスφＴＲＧが供給されることによってオン状態となる。そして、ＰＤ２０１で光電変換された光電荷をＦＤ部２０６に転送する。
【００３３】
リセットトランジスタ２０３は、ドレインが画素電源Ｖｄｄに、ソースがＦＤ部２０６にそれぞれ接続され、ゲートに図１のリセット信号線１０４を介してリセットパルスφＲＳＴが供給されることによってオン状態となる。そして、ＰＤ２０１からＦＤ部２０６への信号電荷の転送に先立って、ＦＤ部２０６の電荷を画素電源Ｖｄｄに捨てることによって当該ＦＤ部２０６をリセットする。
【００３４】
増幅トランジスタ２０４は、ゲートがＦＤ部２０６に、ドレインが画素電源Ｖｄｄにそれぞれ接続され、リセットトランジスタ２０３によってリセットした後のＦＤ部２０６の電位をリセットレベルとして出力する。さらに、増幅トランジスタ２０４は、転送トランジスタ２０２によってＰＤ２０１の信号電荷を転送した後のＦＤ部２０６の電位を信号レベルとして出力する。
【００３５】
選択トランジスタ２０５は、例えば、ドレインが増幅トランジスタ２０４のソースに、ソースが列出力線１０２にそれぞれ接続される。そして、ゲートに図１の行選択信号線１０５を介して選択パルスφＳＥＬが与えられることによってオン状態となり、画素１０１を選択状態として増幅トランジスタ２０４により増幅される信号を列出力線１０２に出力する。
【００３６】
なお、この選択トランジスタ２０５については、画素電源Ｖｄｄと増幅トランジスタ２０４のドレインとの間に接続した回路構成を採ることも可能である。トランジスタ２０２〜２０５として、例えばＮチャネルのＭＯＳトランジスタを用いることができる。また、画素１０１としては、上記した４つのトランジスタを備えた構成に限られるものではなく、増幅トランジスタ２０４と選択トランジスタ２０５を１つのトランジスタで兼用した３つのトランジスタを備えた構成等であっても良い。
【００３７】
また、画素１０１から列出力線１０２を介して出力されるアナログ画像信号は、ＡＤＣ１１１に伝送される。ＡＤＣ１１１は、比較器２１１、アップダウンカウンタ２１２、メモリ２１３、ＤＡコンバータ（以下、ＤＡＣと表記する）２１４を有する。
【００３８】
比較器２１１は、一対の入力端子を備え、その一方に列出力線１０２が接続され、他方にＤＡＣ２１４が接続される。比較器２１１の出力端子は、アップダウンカウンタ２１２に接続される。図１のタイミング制御回路１１４は、全体制御演算部５０９からの指令に基づきＤＡＣ２１４へ基準信号を出力する。
【００３９】
ＤＡＣ２１４は、図１のタイミング制御回路１１４から入力される基準信号に基づいて、時間の経過とともにレベルが変化するランプ信号を出力する。そして、比較器２１１は、ＤＡＣ２１４から入力されるランプ信号のレベルと、列出力線１０２から入力される画像信号のレベルとを比較する。
【００４０】
例えば、比較器２１１は、画像信号のレベルがランプ信号のレベルより低い場合にはハイレベルの比較信号を出力し、画像信号のレベルがランプ信号のレベルより高い場合にはローレベルの比較信号を出力する。アップダウンカウンタ２１２は、比較信号がハイレベルとなる期間、またはローレベルとなる期間をカウントする。このカウント処理により、各画素１０１の出力信号はデジタル値へ変換される。
【００４１】
なお、比較器２１１とアップダウンカウンタ２１２との間にアンド回路を設け、このアンド回路にパルス信号を入力し、このパルス信号の個数をアップダウンカウンタ２１２によりカウントさせてもよい。
【００４２】
また、ＡＤＣ１１１は、画素１０１のリセット解除時のリセット信号に基づいてリセットレベルに対応したカウント値をカウントし、さらに所定の撮像時間経過後の光信号に基づいてカウント値をカウントしてもよい。そして、これらの光信号のカウント値とリセット信号のカウント値の差分値をメモリ２１３に記憶させてもよい。
【００４３】
メモリ２１３は、アップダウンカウンタ２１２と接続され、アップダウンカウンタ２１２によりカウントされたカウント値を記憶する。メモリ２１３に記憶されたカウント値がデジタル画像データとして、図１の列走査回路１１３の駆動制御により水平信号線１１５−ａ、水平信号線１１５−ｂに伝送される。
【００４４】
図４は、図１を用いて説明した実施例１に係る撮像素子５０６の外形構成を示す。図４（ａ）は、撮像素子５０６を光の入射する側から見た斜視図、図４（ｂ）は、撮像素子５０６の断面図を示している。
【００４５】
撮像素子５０６は、第１のチップ（撮像層）１０と第２のチップ（回路層）１１により構成される。第１のチップ１０と第２のチップ１１は、それぞれのチップに設けられている複数のマイクロパッド３０２を、複数のマイクロバンプ３０１を介して電気的に接続して一体化させる。すなわち、第１のチップ１０と第２のチップ１１は、複数のマクロバンプ１０１および複数のマイクロパッド３０２を介して電気的に直接接続されている。なお、マクロパッドおよびマイクロパッド以外を用いた方法により、第１のチップ１０と第２のチップ１１が電気的に直接接続されるように構成してもかまわない。
【００４６】
図５に、図１、図３、図４で示した実施例１に係る撮像素子５０６の断面構造の詳細を示す。図４において、撮像層４０１が第１のチップ１０に対応し、回路層４０２が第２のチップ１１に対応する。
【００４７】
撮像層４０１においては、シリコン（以下、Ｓｉと表記する）基板４０３上に配線層４０４が形成されている。Ｓｉ基板４０３には、ＰＤ２０１となるｎ型拡散領域４０７が形成され、ＰＤ２０１の表面部（配線層４０４との境界部）にはｐ＋拡散領域４０８が形成されている。
【００４８】
Ｓｉ基板４０３には、その表面部にＦＤ部２０６となるｎ＋拡散領域４０９、スイッチ用トランジスタのｎ＋拡散領域４１０が複数形成されている。配線層４０４には、ＳｉＯ２等からなる絶縁層内に、各トランジスタのゲート配線４１１、信号伝搬用配線４１２が形成され、さらにその表面部にはＣｕ等からなるマイクロパッド３０２ａが形成されている。
【００４９】
上記したｎ＋拡散領域４０９、ｎ＋拡散領域４１０とトランジスタのゲート配線４１１により転送トランジスタ２０２、リセットトランジスタ２０３、増幅トランジスタ２０４、選択トランジスタ２０５がそれぞれ構成される。配線層４０４には、ｎ＋拡散領域４１０をマイクロパッド３０２ａと接続するためのビア４１４が形成されている。
【００５０】
回路層４０２においては、Ｓｉ基板４０５上に配線層４０６が形成されている。Ｓｉ基板４０５には、表面部にトランジスタ拡散領域４１６が複数形成されている。配線層４０６には、ＳｉＯ２等からなる絶縁層内に、各トランジスタのゲート配線４１７、信号伝搬用配線４１８が複数形成され、さらにその表面部にはＣｕ等からなるマイクロパッド３０２ｂが形成されている。
【００５１】
回路層４０２に形成されたトランジスタ拡散領域４１６やトランジスタのゲート配線４１７、信号伝搬用配線４１８などにより各種回路が構成される。回路断面の詳細については、説明を省略する。配線層４０６には、拡散領域４１６等をマイクロパッド３０２ｂと接続するためのビア４２０が形成されている。
【００５２】
撮像層４０１の配線層４０４に形成されたマイクロパッド３０２ａと、回路層４０２の配線層４０６に形成されたマイクロパッド３０２ｂは、マイクロバンプ３０１によりお互いに電気的に接続されている。なお、図４では撮像層４０１、回路層４０２を接続端子としてマイクロバンプ３０１を用いて接続する構成例を示したが、マイクロバンプを用いずに直接接続することも可能である。
【００５３】
図６は、図１〜５で説明した撮像素子を用いた撮像装置のシステム概要図である。レンズ部５０１を通った被写体像は絞り５０４により適切な光量に調整され、図１〜図４に示した構成を有する撮像素子５０６上の撮像面に結像される。
【００５４】
撮像素子５０６上の撮像面に結像された被写体像は、撮像素子５０６のＰＤ２０１により光電変換され、さらに画素内アンプや画素１０１とＡＤＣ１１１の間に設けた列アンプによるゲイン調整が行われる。そして、ＡＤＣ１１１を用いてアナログ信号からデジタル信号にＡ／Ｄ変換が行われ、Ｒ、Ｇ、Ｂの各色のデジタル画像信号として撮像信号処理回路５０７に取り込まれる。
【００５５】
撮像信号処理回路５０７では、ノイズを軽減するローパスフィルタ処理やシェーディング補正などの各種補正処理、ホワイトバランス調整処理などの画像信号処理、さらに画像データの圧縮処理等を行う。なお、これらの処理を行う撮像信号処理回路５０７を積層構造の撮像素子５０６に内蔵するように構成してもかまわない。
【００５６】
レンズ部５０１は、レンズ駆動部５０２によって駆動されることにより、ズーム、フォーカス等が制御される。メカニカルシャッタ（メカシャッタ）５０３、絞り５０４は、シャッタ・絞り駆動部５０５によって駆動制御される。
【００５７】
全体制御演算部５０９は、撮像装置全体の制御と各種演算処理を行う。第１のメモリ部５０８は、画像データを一時的に記憶する。半導体メモリ等の着脱可能な記録媒体５１２は、画像データを記録する。記録媒体制御インターフェース部５１０は、記録媒体５１２に画像データを記録し、または記録媒体５１２に記録された画像データを読み出す。なお、全体制御演算部５０９を積層構造の撮像素子５０６に内蔵するように構成してもかまわない。
【００５８】
表示部５１１は、画像データの表示を行う。外部インターフェース部５１３は、外部コンピュータ等と通信を行うためのインターフェースである。第２のメモリ部５１４は、全体制御演算部５０９での演算結果やパラメータ等を一時的に記憶する。操作部５１５によりユーザーが設定した撮像装置の駆動条件に関する情報は、全体制御演算部５０９に送られ、これらの情報に基づいて撮像装置全体の制御が行われる。
【００５９】
次に図１、図３、図７を用いて、実施例１における撮像システムの動作手順について説明する。
【００６０】
図７は、実施例１における撮像システムにおける動画の撮影シーケンスおよび信号処理をフローチャートとして記載したものである。
【００６１】
ステップＳ６０１では、全体制御演算部５０９において、操作部５１５からユーザーが入力した設定に基づき各種パラメータを初期化する。そして、初期化したパラメータを第２のメモリ部５１４に記録する。
【００６２】
ステップＳ６０２では、撮影した被写体像の映像をリアルタイムで表示部５１１へ表示させるモニターモードで撮像システムを駆動する。具体的には、複数の画素を混合または一部の画素を間引いて画像信号を読み出す混合／間引きモードで撮像素子５０６を駆動して画像信号を読み出す。そして、読み出した画像信号に対して撮像信号処理回路５０７において各種信号処理を施してから表示部５１１に表示する。
【００６３】
また、モニターモード駆動時には、適宜、撮像素子５０６から読み出した画像信号に基づいて自動露出調節（ＡＥ）制御のための測光動作や自動焦点調節（ＡＦ）制御のための測距動作を行う。そして、撮像信号処理回路５０７は、測光結果に基づいて被写体の明るさを測定し、撮影した画像が適切な明るさになるような絞り値Ａｖ、シャッタ速度Ｔｖを算出する。また、測距結果に基づいて被写体像の焦点距離を算出する。
【００６４】
ここで、撮像素子５０６から読み出される画像信号から得られるコントラスト情報に基づくＡＦ制御を行っているが、撮像素子５０６に撮像用画素とは別に焦点検出用画素を設けてもよい。そして、焦点検出用画素から得られる位相差情報（デフォーカス量）を用いた撮像面位相差検出によるＡＦ制御を行ってもよい。さらに、コントラストＡＦ制御と撮像面位相差ＡＦ制御を撮影条件や被写体等に応じて適宜組み合わせて併用したり、各ＡＦ方式を切り替えるように制御してもかまわない。
【００６５】
そして、全体制御演算部５０９は、算出した絞り値Ａｖ、シャッタ速度Ｔｖになるようにシャッタ・絞り駆動部５０５に指令を出す。また、全体制御演算部５０９は、算出したレンズ位置Ｌになるように、レンズ駆動部５０２に指令を出す。シャッタ・絞り駆動部５０５は、受け取った指令に基づいてメカシャッタ５０３、絞り５０４を駆動する。また、レンズ駆動部５０２は、受け取った指令に基づいてレンズ５０１を駆動する。なお、算出された絞り値Ａｖ、シャッタ速度Ｔｖ、レンズ位置Ｌをそれぞれ第２のメモリ部５１４へ記録する。
【００６６】
なお、ＡＥ制御を行なう場合に、撮像素子５０６の行毎や画素毎に蓄積時間（露光時間）を異ならせたり、画像信号を増幅するゲインを異ならせることで１フレーム内の行毎や画素毎に異なる露出の画像を取得するように制御してもかまわない。このように制御することで、ダイナミックレンジの広いＨＤＲ画像を生成することができる。
【００６７】
ステップＳ６０３では、全体制御演算部５０９により操作部５１５にある動画撮影トリガースイッチＳＷ＿１のＯＮ／ＯＦＦを判定し、スイッチＳＷ＿１がＯＮであればステップＳ６０４へ、ＯＦＦであれば再びステップＳ６０２へ戻る。
【００６８】
ステップＳ６０４では、撮影パラメータｉを０にリセットする。撮影パラメータｉは、動画のフレームインデックスを表すパラメータである。
【００６９】
ステップＳ６０５では、第２のメモリ部５１４から絞り値Ａｖ、シャッタ速度Ｔｖ、レンズ位置Ｌを読み出す。そして、撮像素子５０６から読み出された画像データと第２のメモリ部５１４から読み出した絞り値Ａｖ、シャッタ速度Ｔｖに基づいて適切な明るさになる絞り値Ａｖ、シャッタ速度Ｔｖを算出する。
【００７０】
また、撮像素子５０６から読み出された画像データと第２のメモリ部５１４から読み出したレンズ位置Ｌから、適切な焦点距離になるレンズ位置Ｌを算出する。そして、算出した絞り値Ａｖ、シャッタ速度Ｔｖ、レンズ位置Ｌを第２のメモリ部５１４へ記録する。
【００７１】
撮影パラメータｉ＝０である場合には、第２のメモリ部５１４から読み出した絞り値Ａｖ、シャッタ速度Ｔｖを元に、ステップＳ６０６の駆動モードとステップＳ６０２での駆動モードの感度差を考慮して、絞り値Ａｖ、シャッタ速度Ｔｖを再算出する。レンズ位置Ｌは、第２のメモリ部５１４から読み出した値を使用する。
【００７２】
撮影パラメータｉ≠０である場合には、第２のメモリ部５１４から読み出した絞り値Ａｖ、シャッタ速度Ｔｖ、レンズ位置Ｌをそのまま使用する。そして、絞り値Ａｖｉ、シャッタ速度Ｔｖｉ、レンズ位置Ｌｉになるように、全体制御演算部５０９からレンズ駆動部５０２、シャッタ・絞り駆動部５０５に指令を出し、レンズ５０１、メカシャッタ５０３、絞り５０４を駆動させる。
【００７３】
ステップＳ６０６では、ステップＳ６０２とは異なり、撮像素子５０６上の全ての画素から画像信号を読み出す全画素読み出しモードで撮像素子５０６を駆動して撮影動作を行う。撮影動作により得られた１フレームの画像データは、素子内演算部１１８に送られる。
【００７４】
ステップＳ６０７では、素子内演算部１１８によりステップＳ６０６で撮影した画像の所定の領域（例えば、８Ｋ４Ｋサイズの領域）に対応する画像データを切り出して、フレームメモリ１１７へ一時記憶する。
【００７５】
ステップＳ６０８では、全体制御演算部５０９が操作部５１５にある電子ズーム操作釦にてユーザーにより設定・指示されたズーム倍率Ｘを読み込む。ここで設定可能なズーム倍率Ｘの範囲としては、例えば１倍から４倍の範囲である。
【００７６】
ステップＳ６０９では、素子内演算部１１８において、設定されたズーム倍率Ｘの値に基づいて、フレームメモリ１１７から画像中心に合わせて１／Ｘの領域の画像データを読み出す。さらに、素子内演算部１１８において、読み出した１／Ｘ領域の画像データを記録動画サイズであるフルＨＤ（以下、ＦＨＤと表記する）サイズに縮小変倍する処理を行う。
【００７７】
ステップＳ６１０では、ステップＳ６０９においてＦＨＤサイズに縮小変倍された画像データに対し、Ｐ／Ｓ変換部１１９においてパラレル／シリアル変換を行い、撮像信号処理回路５０７に転送する。
【００７８】
Ｐ／Ｓ変換部１１９から出力される画像データは、撮像素子５０６の出力転送容量以下となるように、画像データのデータサイズがＦＨＤサイズ（２Ｍ）、フレームレートは６０ｆｐｓが設定されている。
【００７９】
ステップＳ６１１では、全体制御演算部５０９からの指令によりステップＳ６０９において素子内演算部１１８により縮小変倍処理され、ステップＳ６１０において転送された画像データに対し、撮像信号処理回路５０７により各種処理を施される。そして、記録媒体５１２に動画として記録される。
【００８０】
撮像信号処理回路５０７で施される各種処理としては、ノイズを低減するローパスフィルタ処理やキズ補正処理、シェーディング補正処理、ホワイトバランス処理などの各種画像信号処理、現像処理、画像信号の圧縮等がある。
【００８１】
ステップＳ６１２では、パラメータｉに１を加えて、フレームインデックスをインクリメントする。
【００８２】
ステップＳ６１３では、全体制御演算部５０９においてスイッチＳＷ＿１のＯＮ／ＯＦＦを判定し、スイッチＳＷ＿１がＯＦＦであればステップＳ６０５へ、ＯＮであれば一連の動画撮影シーケンスを終了する。
【００８３】
ここで、図８を用いて、本実施例において撮像素子５０６から撮像信号処理回路５０７に転送される画像データの出力転送容量と、動画の画像サイズおよびフレームレートの関係について説明する。
【００８４】
撮像素子５０６から撮像信号処理回路５０７へのシリアル転送Ｉ／Ｆの１ポートあたりの転送容量能力の上限は１Ｇｂｐｓ程度であり、撮像素子５０６の出力部には、このシリアル転送Ｉ／Ｆを２ポート搭載している。
【００８５】
動画の画像サイズがＦＨＤサイズ（２Ｍ）で、画像データのビット長が１２ビット、フレームレートが６０ｆｐｓの場合の総転送容量は、１４４０Ｍｂｐｓ（＝２Ｍ＊１２＊６０）である。このままでは転送容量能力の上限である１Ｇｂｐｓを越えてしまうので、シリアル転送Ｉ／Ｆの２ポートに半分ずつ割り振ることで１ポートあたりの容量を７２０Ｍｂｐｓとして、転送容量の上限を超えないようにする。
【００８６】
なお、画像サイズで見ると、ＦＨＤ（２Ｍ）に対して、４Ｋ２Ｋ（８Ｍ）はおおよそ４倍、８Ｋ４Ｋ（３２Ｍ）はおおよそ１６倍となるため、ＦＨＤと同じ転送容量に抑えるためにはフレームレートを落とさざるを得ない。すなわち、４Ｋ２Ｋサイズの動画の場合には、ＦＨＤの６０ｆｐｓに対して、１／４倍の１５ｆｐｓ、８Ｋ４Ｋサイズの動画の場合には、ＦＨＤの１／１６倍の３．７５ｆｐｓへのレートダウンが必要となる。
【００８７】
また、図９において、本実施例におけるズーム倍率とフレームメモリの切り出し領域および縮小変倍処理との関係について説明する。本実施例では、ズーム倍率は１倍から４倍の範囲で可変としている。
【００８８】
図９（ａ）のようにズーム倍率が最小の１倍に設定されている場合には、切り出し領域はフレームメモリ１１７に記録された画像データの全領域である８Ｋ４Ｋサイズ（３２Ｍ）の読み出しを行う。そして、このサイズから画像中心に合わせてＦＨＤサイズ（２Ｍ）となるように、素子内演算部１１８において縦横でそれぞれ１／４倍に縮小変倍処理される。
【００８９】
図９（ｂ）のようにズーム倍率が２倍に設定されている場合には、切り出し領域はフレームメモリ１１７に記録された画像データの全領域から画像中心に合わせて縦横１／２の領域である４Ｋ２Ｋサイズ（８Ｍ）を切り出して読み出す。そして、このサイズから画像中心に合わせてＦＨＤサイズ（２Ｍ）となるように、素子内演算部１１８において縦横でそれぞれ１／２倍に縮小変倍処理される。
【００９０】
図９（ｃ）のようにズーム倍率がＸ倍に設定されている場合には、切り出し領域はフレームメモリ１１７に記録された画像データの全領域から画像中心に合わせて縦横１／Ｘの領域（３２Ｍ／Ｘ＾２）を切り出して読出しを行う。そして、このサイズから画像中心に合わせてＦＨＤサイズ（２Ｍ）となるように、縦横でそれぞれＸ／４倍に縮小変倍処理される。
【００９１】
図９（ｄ）のようにズーム倍率が最大の４倍に設定されている場合には、切り出し領域はフレームメモリ１１７に記録された画像データの全領域から画像中心に合わせて縦横１／４の領域であるＦＨＤサイズ（２Ｍ）を切り出して読み出しを行う。そして、このＦＨＤサイズ（２Ｍ）のまま等倍で処理される。
【００９２】
このように縮小変倍される画像データのサイズが縮小変倍処理の倍率にかかわらず常に記録動画サイズである一定サイズとなるように制御される。
【００９３】
なお、縮小変倍処理回路で採用するアルゴリズムは、Ｌａｎｃｚｏｓ法、平均画素法、バイキュービック法など各種方式が一般に存在するが、撮像素子に要求される処理回路の規模や速度や画質との兼ね合いで決定される。
【００９４】
また、図１０は一例として、動画の各フレームの各部の画像処理およびそのタイミングを模式的に示した説明図である。図１０において、横軸は時刻ｔを示し、時間の経過とともに動画の各フレームが１コマずつ更新されて出力されていく様子が示されている。
【００９５】
動画の撮影シーケンスが開始されると、まず、最初のフレーム（ｉ＝０）で、撮像素子５０６の全ての画素から読み出された画像データのうち、動画像に関与する８Ｋ４Ｋサイズの領域の画像データがフレームメモリ１１７に一時記憶される。このとき、ズーム倍率は１倍に設定されている。このズーム倍率に基づいてフレームメモリ１１７に記憶された全領域の８Ｋ４Ｋサイズ（３２Ｍ）の画像データが読み出される。そして、このサイズから記録動画サイズであるＦＨＤサイズ（２Ｍ）となるように、素子内演算部１１８において縦横でそれぞれ１／４倍に縮小変倍処理された後に、撮像素子５０６から出力される。
【００９６】
時刻が進み、次のフレーム（ｉ＝１）で、新たに撮像素子５０６の全ての画素から読み出された画像データのうち、同じく動画像に関与する８Ｋ４Ｋサイズの領域の画像データがフレームメモリに一時記憶される（更新される）。このとき、ズーム倍率は１倍よりもやや大きい新たな値に設定が更新されている。このズーム倍率に基づいてフレームメモリ１１７から全領域よりもやや小さい領域の画像データが読み出される。そして、このサイズからＦＨＤサイズ（２Ｍ）となるように、素子内演算部１１８において縮小変倍処理された後に、撮像素子５０６から出力される。
【００９７】
以降、時刻が進み、ズーム倍率が大きくなるように設定を変えながら、動画のフレームが更新されていく様子が示されている。
【００９８】
なお、本実施例では、シリアル転送ポートの転送容量が１Ｇｂｐｓを超えないことを前提に、動画の画像サイズをＦＨＤサイズ、フレームレートを３０ｆｐｓ、電子ズームの倍率の使用範囲を１倍から４倍とした。そして、これらを実現すべく、フレームメモリの読み込みサイズを８Ｋ４Ｋサイズとして設計した。
【００９９】
しかしながら、シリアル転送ポートの転送容量は、年々、高速化に向かって性能向上が進んでおり、撮像装置に要求される動画の画像サイズやフレームレートも高まってきているため、これらに合わせた仕様で柔軟に適用できることは言うまでもない。
【０１００】
以上説明したように、本実施例１によれば、画素層と回路層を積層した撮像素子の回路層にフレームメモリを有することで、画像の拡大処理を行うことなく、撮像素子内の縮小変倍処理だけで電子ズームが可能となる。
【０１０１】
（実施例２）
実施例２では、電子的に撮影画像のパン、チルト処理を行うことが可能な撮影モードを有する撮像装置について説明する。すなわち、実施例１と同様にしてフレームメモリ１１７に一時記憶された画像データの画像中心から、上下、左右方向に切り出し領域の中心をずらしながら切り出して読み出すことにより実現する。
【０１０２】
本実施例の撮像素子の構成については、実施例１の図１〜図５で示したものと同様であるため説明を省略する。また、撮像システムの概要についても実施例１の図６で示したものと同様であるため説明を省略する。さらに、画像データの縮小変倍処理についても実施例１の図９で説明したものと同様に実現可能であるため、説明を省略する。
【０１０３】
図１１は、ズーム倍率が４倍に設定されている場合のフレームメモリ１１７に記録された全領域の画像データからの切り出し領域を示す図である。
【０１０４】
図１１（ａ）は、実施例１の図９（ｄ）と同様にフレームメモリ１１７に記録された画像の全領域（８Ｋ４Ｋ）から画像中心に合わせて縦横１／４の領域であるＦＨＤサイズ（２Ｍ）で切り出して読み出す様子を示す。
【０１０５】
これに対し図１１（ｂ）は、実施例２における切り出し領域を示している。すなわち、フレームメモリ１１７に記録された画像の全領域（８Ｋ４Ｋ）の画像中心から、切り出し領域の中心を縦横にずらしながらＦＨＤサイズ（２Ｍ）の画像データを様々な位置から切り出して読出す様子を示している。
【０１０６】
なお、切り出し領域の中心を縦横にずらす操作は、操作部５１５に設けたパン・チルト操作釦により、電子ズーム操作と同様に設定・指示することにより全体制御演算部５０９にて読み込む。そして、全体制御演算部５０９から素子内演算部１１８、フレームメモリ１１７を制御することにより実現される。
【０１０７】
このようにして、切り出し領域の中心を縦横にずらすことにより、電子ズームだけではなく、電子的に撮影画像のパン、チルト処理にも適用することが可能である。そして、画像の拡大処理を行うことなく電子的なパン、チルト機能が可能となる。
【０１０８】
（実施例３）
実施例３では、動画撮影中に静止画を撮影することが可能な撮影モードを有する撮像システムについて説明する。なお、本実施例では、撮像素子は常に全画素読み出しモードにて撮影動作を行い、動画、静止画ともにこの全画素読み出しモードにて駆動して出力された画像信号から作成する方法を例に示す。
【０１０９】
本実施例の撮像素子の構成については、実施例１の図１〜図５で示したものと同様であるため説明を省略する。また、撮像システムの概要についても実施例１の図６で示したものと同様であるため説明を省略する。
【０１１０】
次に、図１２のフローチャートを用いて、本実施例における撮像システムの動作手順について説明する。特に、動画などの駆動モードが選択された際に、全画素の画素データをリサイズして動画用の画素データを伝送する場合の動作について、詳細に説明する。ここでは動画モードとして、４Ｋ２Ｋ動画や、Ｆｕｌｌ＿ＨＤ動画、ＨＤ動画を例にとって説明する。また、撮像素子の画素数は、３：２画角の２４００万（水平６０００×垂直４０００）画素であるものとする。
【０１１１】
ステップＳ６０１において、ユーザーにより操作部５１５に含まれる電源釦がＯＮされると、ステップＳ６０２において各種初期設定が行われる。
【０１１２】
ステップＳ６０３において、ユーザーにより撮影モードとして動画モードが選択され、操作部５１５に含まれる動画記録釦がＯＮされると動画記録が開始される。ここでは、４Ｋ２Ｋ動画、Ｆｕｌｌ＿ＨＤ動画、ＨＤ動画のいずれかが選択されるものとする。
【０１１３】
ステップＳ６０４において、全体制御部によって決められた露出設定（蓄積時間／絞り設定／感度設定）に応じて撮像素子５０６の露光を開始する。
【０１１４】
ステップＳ６０５において、ステップＳ６０４によって露光された撮像素子５０６の全画素から信号を読み出し、ステップＳ６０６では、ステップＳ６０５で読みだされた全画素の信号をフレームメモリ１１７に画像データとして保存する。
【０１１５】
ステップＳ６０７、ステップＳ６０８では、ステップＳ６０３のユーザーによるモード設定時において選択された動画モードを判定する。ステップＳ６０３において４Ｋ２Ｋ動画が選択されている場合はステップＳ６０９へ、ＦＵＬＬ＿ＨＤ動画が選択されている場合はステップＳ６１０へ、ＨＤ動画が選択されている場合はステップＳ６１１へそれぞれ進む。
【０１１６】
ステップＳ６０９、ステップＳ６１０、ステップＳ６１１では、フレームメモリ１１７に保存された全画素の画像データを基にして、ユーザーが選択したそれぞれの動画モードに応じた画像サイズの画像データにリサイズ変換処理される。詳細は後述する。
【０１１７】
ステップＳ６１２において、ステップＳ６０９、ステップＳ６１０、ステップＳ６１１において、それぞれの動画モードに応じた画像サイズにリサイズ変換された画像データがＰ／Ｓ変換部１２０においてＰ／Ｓ変換され、最適な伝送速度やポート数が選択される。そして、Ｐ／Ｓ変換された画像データは撮像信号処理回路５０７へ伝送される。
【０１１８】
ステップＳ６１３では、撮像信号処理回路５０７がＰ／Ｓ変換部１２０から出力された画像データに対して、動画の現像処理を行う。具体的には、ノイズを低減するローパスフィルタ処理やシェーディング補正処理、ホワイトバランス処理など各種の画像データ処理や補正処理を行う。
【０１１９】
ステップＳ６１４では、ステップＳ６１３で処理された画像データを動画データとして、記録媒体５１２へ動画記録、または、表示部５１１へのライブビュー表示などを行う。
【０１２０】
ステップＳ６１５では、撮影が継続される場合にはステップＳ６０４へ戻り、続けて動画記録がなされる。ステップＳ６１５において動画記録が終了された場合は、ステップＳ６１６へ進み電源がＯＦＦされる。
【０１２１】
次に、本実施例における画像サイズ変換処理について図１３を用いて説明する。図１３（ａ）は、撮像素子から読み出される３：２画角の２４００万（６０００×４０００）画素の画像データを示している。
【０１２２】
ユーザーが４Ｋ２Ｋ動画を動画モードとして選択している場合、全体制御演算部５０９の制御に応じて素子内演算部１１８は、４Ｋ２Ｋ動画に必要な画素数に合うようにリサイズ変換処理を行う。すなわち、フレームメモリ１１７に保存された全画素の画像データから４Ｋ２Ｋ動画用の画像サイズを演算し、演算された結果を基にリサイズ変換処理を行う。
【０１２３】
４Ｋ２Ｋ動画に必要な水平・垂直のサイズは、４０９６×２１６０（１６：９画角、約８００万画素）である。したがって、図１３（ｂ）に示すように全画素から４Ｋ２Ｋ動画用にリサイズされた画像データに対して、１６：９の画角に合う領域７０１のみの画像データを出力する。
【０１２４】
同様にユーザーがＦＵＬＬ＿ＨＤ動画を動画モードとして選択している場合、全体制御部５０９の制御に応じて素子内演算部１１８は、ＦＵＬＬ＿ＨＤ動画の画素数に合うようにリサイズ変換処理を行う。すなわち、フレームメモリ１１７に保存された全画素の画像データからＦＵＬＬ＿ＨＤ動画用の画像サイズを演算し、演算された結果を基にリサイズ変換処理を行う。
【０１２５】
ＦＵＬＬ＿ＨＤ動画に必要な水平・垂直のサイズは、１９２０×１０８０（１６：９画角、約２００万画素）である。したがって、図１３（Ｃ）に示すように全画素のデータからＦＵＬＬ＿ＨＤ動画用にリサイズされた画像データに対して、１６：９の画角に合う領域７０２のみの画像データを出力する。
【０１２６】
また、ユーザーがＨＤ動画を動画モードとして選択している場合、全体制御部５０９の制御に応じて素子内演算部１１８は、ＨＤ動画の画素数に合うようにリサイズ変換処理を行う。すなわち、フレームメモリ１１７に保存された全画素の画像データからＨＤ動画用の画像サイズを演算し、演算された結果を基にリサイズ変換処理を行う。
【０１２７】
ＨＤ動画に必要な水平・垂直のサイズは、１２８０×７２０（１６：９画角、約１００万画素）である。したがって、図１３（ｄ）に示すように全画素のデータからＨＤ動画用にリサイズされた画像データに対して、１６：９の画角に合う領域７０３のみの画像データを出力する。
【０１２８】
上記したように、フレームメモリに保存した全画素のデータをユーザーが選択した動画の画像サイズにリサイズ変換することで、Ｐ／Ｓ変換部１２０から信号処理部５０７へ伝送するデータ量を大幅に削減することが可能となる。
【０１２９】
例えば、２４００万画素の全画素の画像データをフレームレート１２０ｆｐｓでＰ／Ｓ変換部１２０から画素信号処理回路５０７の間を８ポートで伝送するものとする。４Ｋ２Ｋ動画をフレームレート１２０ｆｐｓで伝送する際の画像データのデータ量は、全画素伝送時の１／４以下になるため、８ポートで伝送していた全画素に対して、２ポートで伝送可能となる。
【０１３０】
または、８ポートで伝送する場合は、伝送速度を１／４以下に落とすことが可能となる。ＨＤ動画や、ＶＧＡ動画の場合は、さらに伝送する画像データが小さくなるため、さらに、ポートの削減や、画像データの伝送速度を落とすことができ消費電力の削減が可能となる。
【０１３１】
また、フレームレートに関しても、１２０ｆｐｓとして説明を行ったが、動画時のフレームレートを６０ｆｐｓや３０ｆｐｓと可変することも可能である。その場合は全画素の画像データを読み出すフレームレートを動画のフレームレートに合わせたレートで転送すればよい。
【０１３２】
また、本実施例における撮像素子の画素数が２４００万画素を例に説明したが、これに限らず様々な画素数の撮像素子において対応可能であることはいうまでもない。
【０１３３】
以上説明したように、本実施例１によれば、画素層と回路層を積層した撮像素子の回路層にフレームメモリを有することで、ユーザーが選択した動画モードの画像サイズに全画素のから変換処理することで画像データを伝送するデータ量を削減可能になる。さらに、消費電力の削減が可能となる。
【０１３４】
（実施例４）
前述した実施例３では、動画モード時における画像サイズの変換を行う際に、リサイズ処理を行い、各モードにおいて最適な画像サイズにすることで、画像データ伝送するデータ量を減らすことで消費電力の削減を行った。これに対し実施例４では、全画面から画像を切り出す際の動作に関しての詳細を説明する。
【０１３５】
実施例４における切り出し動作を行う例として、全画素のデータから画角を切り出した４Ｋ２Ｋ（４０９６×２１６０）動画を例として説明する。なお、本実施例における装置構成に関しては、上述した実施例と同様であるため説明を省略する。
【０１３６】
ユーザーにより４Ｋ２Ｋ動画が動画モードとして選択され、全画素から４Ｋ２Ｋ動画に必要な画角領域のみを切り出して読み出す動作を、図１４のフローチャートを用いて説明する。なお、実施例３の図１２において説明した動作と同じフローに関しては、説明を省略する。
【０１３７】
ステップＳ６０３において、ユーザーによって４Ｋ２Ｋ動画が動画モードとして選択され、操作部５１５に含まれる動画記録釦が押されると動画記録が開始され、ステップＳ６０６において全画素の画像データがフレームメモリ１１７に保存される。
【０１３８】
ステップＳ８０１では、全体制御部５０９の制御により素子内演算部１１８は、４Ｋ２Ｋ動画の画素数に合うようにフレームメモリ１１７に保存された全画素の画像データから画角切り出し処理を行う。切り出された４Ｋ２Ｋ動画用の画像データはＰ／Ｓ変換部１２０へ送られる。ステップＳ６１２以降の動作は、実施例１の図１２と同様である。
【０１３９】
次に、画像切り出しについて図１５を用いて説明する。図１５（ａ）は、撮像素子から読み出される３：２画角の２４００万（６０００×４０００）画素の画像データを示している。
【０１４０】
ユーザーが４Ｋ２Ｋ動画を動画モードとして選択している場合、全体制御演算部５０９の制御に応じて素子内演算部１１８は、４Ｋ２Ｋ動画に必要な画角に合うように、フレームメモリ１１７に保存された全画素の画像データから画角切り出し処理を行う。
【０１４１】
４Ｋ２Ｋ動画に必要な水平・垂直のサイズは４０９６×２１６０であることから、撮像信号処理回路５０７で行う各種補正を考慮し、例えば、図１５（ｂ）に示すような４１３６×２２００の画像データに画角切り出し処理を行う。
【０１４２】
以上説明したように、本実施例によれば、画素層と回路層を積層した撮像素子の回路層にフレームメモリを有することで、ユーザーが選択した動画モードの画像サイズに全画素のから切り出して出力することで画像データを伝送するデータ量を削減可能になる。さらに、消費電力の削減が可能となる。
【０１４３】
（実施例５）
ユーザーが撮影時に手動でフォーカスを合わせるために、表示部のライブビュー動画の画面領域を拡大してフォーカスを合わせる操作を行う場合がある。しかしながら、画像が間引かれて表示されているライブビューの表示状態から、そのままの状態で画像を拡大した場合、解像度が落ちて画質が粗くなるためフォーカスを合わせるのが難しい場合がある。
【０１４４】
そこで、実施例５では、ユーザーがライブビュー画面を見ながら、所定の領域を拡大した際に、解像度が落ちることなくかつシームレスに、画像データを出力可能な動作について説明する。なお、本実施例における装置構成に関しては、上述した実施例と同様であるため説明を省略する。
【０１４５】
また、ライブビューの際に表示される画像データは、３：２画角の２４００万（６０００×４０００）画素を、ライブビュー表示に合う画像サイズ（７５０×５００）にリサイズ処理するものとする。
【０１４６】
本実施例における、ライブビュー動画の表示動作からの表示領域拡大動作について、図１６のフローチャートを用いて説明する。
【０１４７】
ステップＳ１００１において、ユーザーにより操作部５１５に含まれる電源釦がＯＮされると、各種初期設定が行われた後、ライブビュー動画の撮影および表示が開始される。
【０１４８】
ステップＳ１００２において、全体制御部によって決められた露出設定（蓄積時間／絞り設定／感度設定）に応じて撮像素子５０６の露光を開始する。
【０１４９】
ステップＳ１００３において、ステップＳ１００２によって露光された撮像素子５０６の全画素から信号を読み出し、ステップＳ１００４では、ステップＳ１００３で読み出された全画素の信号をフレームメモリ１１７に画像データとして保存する。
【０１５０】
ステップＳ１００５において、ユーザーによりライブビュー拡大が選択されたかどうかを判定する。ステップＳ１００５でライブビュー拡大が選択されていないと判定した場合、ステップＳ１００６へ進む。
【０１５１】
ステップＳ１００６では、フレームメモリ１１７に保存された全画像データを基にライブビュー動画サイズの画素サイズ（７５０×５００）になるように画像データをリサイズ処理する。
【０１５２】
また、ステップＳ１００５でライブビューの拡大が選択されたと判定した場合、ステップＳ１００７へ進む。ライブビュー拡大の選択とは、例えば、ユーザーが拡大枠を選択し、操作部５１５に含まれる拡大釦を押した場合である。
【０１５３】
ステップＳ１００７では、ユーザーによって指定された拡大領域の情報が、全体制御部５０９から素子内演算部１１８に送られる。そして、素子演算部１１８は、拡大領域の情報を基に、フレームメモリ１１７に保存されている全画素の画像データに対して拡大領域に当たる画像データをライブビュー表示の画角に合わせたリサイズ率を算出する。
【０１５４】
ステップＳ１００８では、ステップＳ１００７において算出されたリサイズ率を基に、フレームメモリ１１７に保存されている全画素の画像データを拡大領域に合わせてリサイズ処理する。
【０１５５】
ステップＳ１００９では、ステップＳ１００８においてリサイズにより画像サイズを変更された画像から、拡大領域のみを切り出した画像データのみをＰ／Ｓ変換部１２０へ送る。
【０１５６】
ステップＳ１０１０では、ステップＳ１００６またはステップＳ１００９において送信された画像データがＰ／Ｓ変換部１２０において、データ量を基にＰ／Ｓ変換され、最適な伝送速度やポート数が選択される。そして、Ｐ／Ｓ変換された画像データは撮像信号処理回路５０７へ伝送される。
【０１５７】
ステップＳ１０２０では、撮像信号処理回路５０７がＰ／Ｓ変換部１２０から出力された画像データに対して、ライブビュー表示用の現像処理を行う。具体的には、ノイズを低減するローパスフィルタ処理やシェーディング処理、ホワイトバランス処理など各種の画像データ処理や補正処理、画像データの圧縮等を行う。
【０１５８】
ステップＳ１０１１では、ステップＳ１０２０で処理された画像データを動画データとして、表示部５１１へ表示する。
【０１５９】
ステップＳ１０１２では、撮影を継続する場合には、ステップＳ１００２へ戻り、続けてライブビュー動作がなされる。また、ステップＳ１０１２において撮影を終了する場合には、ステップＳ１０１３へ進み、ライビュー動作を終了する。
【０１６０】
次に、本実施例におけるライブビュー表示時の拡大変換処理について図１７を用いて説明する。図１７（ａ）は、表示部５１１に表示されたライブビュー動画の例であり、ユーザーが拡大領域１１００の拡大を指定したものとする。
【０１６１】
図１７（ｂ）は、図１７（ａ）に示した拡大領域１１００を表示部５１１に拡大表示させた様子を示している。フレームメモリ１１７には、図１７（ｃ）に示すように、常に撮像素子から読み出された全画素の画像データ１１０１が保存されている。
【０１６２】
通常のライブビュー表示の際には、図１３（ｄ）に示すように、フレームメモリ１１７に保存された全画素の画像データに対するリサイズ変換処理を行い、画像データのサイズをライブビュー動画サイズの画素サイズ（７５０×５００）に変換している。
【０１６３】
これに対し、ライブビュー拡大時の拡大領域１１００は、図１７（ｃ）に示す全画素の画像データから領域１１０２を切り出し、切り出した領域１１０２の画像データを表示するように制御される。
【０１６４】
ここで切り出される領域１１０２の画素数は、例えば２２５０画素×１５５０画素であるものとする。そして、切り出された領域１１０２の画像データに対して、図１７（ｅ）に示すようにリサイズ処理を行うことで、ライブビュー表示と同じ画像サイズ７５０×５００に変換する。
【０１６５】
以上説明したように、本実施例によれば、画素層と回路層を積層した撮像素子の回路層にフレームメモリを有することで、ライブビュー表示の時にユーザーが選択した拡大領域に対して、全画素の画像データから切り出しを行う。また、最適なリサイズ処理を行うことにより、通常のライブビュー表示と同じサイズの画像データを伝送することが可能となる。そして、解像度を落とすことなく、かつ、シームレスに拡大画像を出力することが可能となる。
【０１６６】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【０１６７】
１０１  画素
１０  第１のチップ
１１  第２のチップ
１１７  フレームメモリ
１１８  素子内演算部
【図１】
0006272387.tif 000002
【図２】
0006272387.tif 000003
【図３】
0006272387.tif 000004
【図４】
0006272387.tif 000005
【図５】
0006272387.tif 000006
【図６】
0006272387.tif 000007
【図７】
0006272387.tif 000008
【図８】
0006272387.tif 000009
【図９】
0006272387.tif 000010
【図１０】
0006272387.tif 000011
【図１１】
0006272387.tif 000012
【図１２】
0006272387.tif 000013
【図１３】
0006272387.tif 000014
【図１４】
0006272387.tif 000015
【図１５】
0006272387.tif 000016
【図１６】
0006272387.tif 000017
【図１７】
0006272387.tif 000018
【図１８】
0006272387.tif 000019