(57)【要約】      （修正有）【課題】サイズ、解像度、フレームレート等が異なる画像を撮影する場合に、それぞれの画像を撮像素子から適切な順序で出力することのできる撮像素子およびそれを備えた撮像装置を提供する。【解決手段】撮像素子５０６内に少なくとも１フレームのデジタル画像データを記憶可能なメモリ部１１７と演算処理部１１８を持つことで、解像度、サイズ、フレームレートの異なる画像を生成し、一方をメモリ部に保存し、他方を優先して撮像素子の外部に出力する。【選択図】図１
2018038073.tif 000002
【特許請求の範囲】
【請求項１】
入射光を受光して光電変換する撮像手段と、
前記撮像手段から出力されるアナログ画像信号をデジタル画像データに変換する複数のＡＤ変換手段と、
前記複数のＡＤ変換手段により変換される少なくとも１フレームのデジタル画像データを記憶可能な記憶手段と、
前記複数のＡＤ変換手段により変換された前記デジタル画像データのサイズを変更する演算手段と、
前記デジタル画像データを外部に出力する出力手段と、を有し、
前記複数のＡＤ変換手段から前記記憶手段までの間で前記デジタル画像データがパラレルに伝送されるように構成されているとともに、
前記処理手段により第１のデジタル画像データから前記第１のデジタル画像データとサイズの小さい第２の画像データを生成し、前記出力手段により前記第１の画像データおよび前記第２の画像データを外部に出力する場合に、前記第１の画像データを前記記憶手段に記憶するとともに、前記出力手段により前記第２のデジタル画像データを前記第１のデジタル画像データよりも優先して外部に出力することが可能なように構成したことを特徴とする撮像素子。
【請求項２】
入射光を受光して光電変換する撮像手段と、
前記撮像手段から出力されるアナログ画像信号をデジタル画像データに変換する複数のＡＤ変換手段と、
前記複数のＡＤ変換手段により変換される少なくとも１フレームのデジタル画像データを記憶可能な記憶手段と、
前記複数のＡＤ変換手段により変換された前記デジタル画像データの解像度を変更する処理手段と、
前記デジタル画像データを外部に出力する出力手段と、を有し、
前記複数のＡＤ変換手段から前記記憶手段までの間で前記デジタル画像データがパラレルに伝送されるように構成されているとともに、
前記処理手段により第１のデジタル画像データから前記第１の画像データよりも解像度の低い第２のデジタル画像データを生成し、前記出力手段により前記第１のデジタル画像データおよび前記第２のデジタル画像データを外部に出力する場合に、前記第１のデジタル画像データを前記記憶手段に記憶するとともに、前記出力手段により前記第２のデジタル画像データを前記第１のデジタル画像データよりも優先して外部に出力することが可能なように構成したことを特徴とする撮像素子。
【請求項３】
前記出力手段の転送容量以下となるように前記デジタル画像データのサイズが設定されることを特徴とする請求項１に記載の撮像素子。
【請求項４】
前記第２のデジタル画像データを前記記憶手段に記憶しないで前記出力手段により出力可能に構成したことを特徴とする請求項１乃至３のいずれか１項に記載の撮像素子。
【請求項５】
前記出力手段により前記第２のデジタル画像データを外部に出力した後で前記第１のデジタル画像データを外部に出力可能に構成したことを特徴とする請求項１乃至４のいずれか１項に記載の撮像素子。
【請求項６】
前記第１のデジタル画像データは静止画用の画像データであり、前記第２のデジタル画像データは動画用の画像データであることを特徴とする請求項１乃至５のいずれか１項に記載の撮像素子。
【請求項７】
入射光を受光して光電変換する撮像手段と、
前記撮像手段から出力されるアナログ画像信号をデジタル画像データに変換する複数のＡＤ変換手段と、
前記複数のＡＤ変換手段により変換される少なくとも１フレームのデジタル画像データを記憶可能な記憶手段と、
前記複数のＡＤ変換手段により変換された前記デジタル画像データを外部に出力する出力手段と、を有し、
前記複数のＡＤ変換手段から前記記憶手段までの間で前記画像データがパラレルに伝送されるように構成されているとともに、
前記撮像手段により第１の動画と前記第１の動画よりもフレームレートの高い第２の動画を撮影し、前記出力手段により前記第１の動画に対応する第１のデジタル画像データおよび前記第２の動画に対応する第２のデジタル画像データを外部に出力する場合に、前記第２のデジタル画像データを前記記憶手段に記憶するとともに、前記出力手段により前記第１のデジタル画像データを前記第２のデジタル画像データよりも優先して外部に出力することが可能なように構成したことを特徴とする撮像素子。
【請求項８】
前記第１のデジタル画像データを前記記憶手段に記憶しないで前記出力手段により出力可能なように構成したことを特徴とする請求項７に記載の撮像素子。
【請求項９】
前記出力手段により前記第１のデジタル画像データを外部に出力した後で前記第２のデジタル画像データを外部に出力可能に構成したことを特徴とする請求項１または２に記載の撮像素子。
【請求項１０】
前記出力手段の転送容量以下となるように前記デジタル画像データのフレームレートが設定されることを特徴とする請求項１乃至９のいずれか１項に記載の撮像素子。
【請求項１１】
前記出力手段は、前記画像データをシリアル信号に変換して外部に出力することを特徴とする請求項１乃至１０のいずれか１項に記載の撮像素子。
【請求項１２】
互いに積層されている複数の半導体基板を備え、
前記記憶手段および前記処理手段の少なくとも一方が前記撮像手段とは異なる半導体基板に設けられることを特徴とする請求項１乃至１１のいずれか１項に記載の撮像素子。
【請求項１３】
前記記憶手段および前記処理手段がそれぞれ前記撮像手段とは異なる前記半導体基板に設けられることを特徴とする請求項１２に記載の撮像素子。
【請求項１４】
入射光を受光して光電変換する撮像手段と、
前記撮像手段から出力されるアナログ画像信号をデジタル画像データに変換する複数のＡＤ変換手段と、
前記複数のＡＤ変換手段により変換される少なくとも１フレームのデジタル画像データを記憶可能な記憶手段と、
前記複数のＡＤ変換手段により変換された前記デジタル画像データのサイズを変更する演算手段と、
前記デジタル画像データを外部に出力する出力手段と、を有する撮像素子と、
前記撮像素子から出力される画像データに所定の信号処理を施す信号処理部と、
前記画像を表示する表示部と、
前記撮像素子、前記信号処理部、前記表示部の各々を制御する制御部と、
を有し、
前記撮像素子は、前記複数のＡＤ変換手段から前記記憶手段までの間で前記デジタル画像データがパラレルに伝送されるように構成されているとともに、
前記処理手段により第１のデジタル画像データから前記第１のデジタル画像データとサイズの小さい第２の画像データを生成し、前記出力手段により前記第１の画像データおよび前記第２の画像データを前記撮像素子の外部に出力する場合に、前記第１の画像データを前記記憶手段に記憶するとともに、前記出力手段により前記第２のデジタル画像データを前記第１のデジタル画像データよりも優先して前記撮像素子の外部に出力することが可能なように構成したことを特徴とする撮像装置。
【請求項１５】
入射光を受光して光電変換する撮像手段と、
前記撮像手段から出力されるアナログ画像信号をデジタル画像データに変換する複数のＡＤ変換手段と、
前記複数のＡＤ変換手段により変換される少なくとも１フレームのデジタル画像データを記憶可能な記憶手段と、
前記複数のＡＤ変換手段により変換された前記デジタル画像データの解像度を変更する処理手段と、
前記デジタル画像データを外部に出力する出力手段と、を有する撮像素子と、
前記撮像素子から出力される画像データに所定の信号処理を施す信号処理部と、
前記画像を表示する表示部と、
前記撮像素子、前記信号処理部、前記表示部の各々を制御する制御部と、
を有し、
前記撮像素子は、前記複数のＡＤ変換手段から前記記憶手段までの間で前記デジタル画像データがパラレルに伝送されるように構成されているとともに、
前記処理手段により第１のデジタル画像データから前記第１の画像データよりも解像度の低い第２のデジタル画像データを生成し、前記出力手段により前記第１のデジタル画像データおよび前記第２のデジタル画像データを前記撮像素子の外部に出力する場合に、前記第１のデジタル画像データを前記記憶手段に記憶するとともに、前記出力手段により前記第２のデジタル画像データを前記第１のデジタル画像データよりも優先して前記撮像素子の外部に出力することが可能なように構成したことを特徴とする撮像装置。
【請求項１６】
前記出力手段の転送容量以下となるように前記デジタル画像データのサイズが設定されることを特徴とする請求項１４に記載の撮像装置。
【請求項１７】
前記第２のデジタル画像データを前記記憶手段に記憶しないで前記出力手段により出力可能に構成したことを特徴とする請求項１４乃至１６のいずれか１項に記載の撮像装置。
【請求項１８】
前記出力手段により前記第２のデジタル画像データを外部に出力した後で前記第１のデジタル画像データを前記撮像素子の外部に出力可能に構成したことを特徴とする請求項１４乃至１７のいずれか１項に記載の撮像装置。
【請求項１９】
前記第１のデジタル画像データは静止画用の画像データであり、前記第２のデジタル画像データは動画用の画像データであることを特徴とする請求項１４乃至１８のいずれか１項に記載の撮像装置。
【請求項２０】
入射光を受光して光電変換する撮像手段と、
前記撮像手段から出力されるアナログ画像信号をデジタル画像データに変換する複数のＡＤ変換手段と、
前記複数のＡＤ変換手段により変換される少なくとも１フレームのデジタル画像データを記憶可能な記憶手段と、
前記複数のＡＤ変換手段により変換された前記デジタル画像データを外部に出力する出力手段と、を有する撮像素子と、
前記撮像素子から出力される画像データに所定の信号処理を施す信号処理部と、
前記画像を表示する表示部と、
前記撮像素子、前記信号処理部、前記表示部の各々を制御する制御部と、
を有し、
前記撮像素子は、前記複数のＡＤ変換手段から前記記憶手段までの間で前記画像データがパラレルに伝送されるように構成されているとともに、
前記撮像手段により第１の動画と前記第１の動画よりもフレームレートの高い第２の動画を撮影し、前記出力手段により前記第１の動画に対応する第１のデジタル画像データおよび前記第２の動画に対応する第２のデジタル画像データを前記撮像素子の外部に出力する場合に、前記第２のデジタル画像データを前記記憶手段に記憶するとともに、前記出力手段により前記第１のデジタル画像データを前記第２のデジタル画像データよりも優先して前記撮像素子の外部に出力することが可能なように構成したことを特徴とする撮像装置。
【請求項２１】
前記第１のデジタル画像データを前記記憶手段に記憶しないで前記出力手段により出力可能なように構成したことを特徴とする請求項２０に記載の撮像装置。
【請求項２２】
前記出力手段により前記第１のデジタル画像データを外部に出力した後で前記第２のデジタル画像データを外部に出力可能に構成したことを特徴とする請求項１４または１５に記載の撮像装置。
【請求項２３】
前記出力手段の転送容量以下となるように前記デジタル画像データのフレームレートが設定されることを特徴とする請求項１４乃至２２のいずれか１項に記載の撮像装置。
【請求項２４】
前記出力手段は、前記画像データをシリアル信号に変換して前記撮像素子の外部に出力することを特徴とする請求項１４乃至２３のいずれか１項に記載の撮像装置。
【請求項２５】
前記撮像素子は、互いに積層されている複数の半導体基板を備え、
前記記憶手段および前記処理手段の少なくとも一方が前記撮像手段とは異なる半導体基板に設けられることを特徴とする請求項１４乃至２４のいずれか１項に記載の撮像装置。
【請求項２６】
前記記憶手段および前記処理手段がそれぞれ前記撮像手段とは異なる前記半導体基板に設けられることを特徴とする請求項２５に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子および撮像装置に関するものである。
【背景技術】
【０００２】
近年、デジタルカメラなどの撮像装置に用いられるＣＭＯＳなどの撮像素子は、画素を微細化することにより多画素化し、解像度の高い画像を撮影することが可能となっている。コンシューマ向けの撮像装置においても１０００万画素以上の画素数を備えるものが一般的になってきている（特許文献１参照）。
【０００３】
図１４は、一般的な撮像装置の構成ブロック図である。図１４において、撮像素子１５００は、画素部１５０１、ＡＤ変換部１５０２、Ｐ／Ｓ変換部１５０３を備える。画素部１５０１は、被写体像を電気信号に変換してＡＤ変換部１５０２に出力する。
【０００４】
ＡＤ変換部１５０２は、画素部１５０１から読み出される画像信号をデジタル信号に変換する。Ｐ／Ｓ変換部１５０３は、ＡＤ変換部１５０２により変換されたデジタル信号に対し、パラレル・シリアル変換を行う。画像信号処理回路１６００は、撮像素子１５００からの画像信号に対し各種信号処理を施す。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−２６６７５号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記した撮像装置では、撮像素子１５００から画像信号処理回路１５０１に画像信号を転送する転送路の転送容量が一定であることから、撮像素子の画素数が増加することで相対的に被写体の全画像信号の転送時間が長くなるという課題がある。
【０００７】
すなわち、撮像素子１５００から画像信号処理回路１５０１への信号読み出し速度が画像信号の読み出し速度のボトルネックとなる。さらに、高速転送を実現しようとすると、転送回路や処理回路などの消費電力や発熱の増大、データ転送精度などが問題となる。
【０００８】
本発明は、サイズ、解像度、フレームレート等が異なる画像を撮影する場合に、それぞれの画像を撮像素子から適切な順序で出力することのできる撮像素子およびそれを備えた撮像装置を提供することを目的としてなされたものである。
【課題を解決するための手段】
【０００９】
上記した課題を解決するために、本発明の撮像素子は、入射光を受光して光電変換する撮像手段と、前記撮像手段から出力されるアナログ画像信号をデジタル画像データに変換する複数のＡＤ変換手段と、前記複数のＡＤ変換手段により変換される少なくとも１フレームのデジタル画像データを記憶可能な記憶手段と、前記複数のＡＤ変換手段により変換された前記デジタル画像データのサイズを変更する演算手段と、前記デジタル画像データを外部に出力する出力手段と、を有し、前記複数のＡＤ変換手段から前記記憶手段までの間で前記デジタル画像データがパラレルに伝送されるように構成されているとともに、前記処理手段により第１のデジタル画像データから前記第１のデジタル画像データとサイズの小さい第２の画像データを生成し、前記出力手段により前記第１の画像データおよび前記第２の画像データを外部に出力する場合に、前記第１の画像データを前記記憶手段に記憶するとともに、前記出力手段により前記第２のデジタル画像データを前記第１のデジタル画像データよりも優先して外部に出力することが可能なように構成したことを特徴とするものである。
【００１０】
また、入射光を受光して光電変換する撮像手段と、前記撮像手段から出力されるアナログ画像信号をデジタル画像データに変換する複数のＡＤ変換手段と、前記複数のＡＤ変換手段により変換される少なくとも１フレームのデジタル画像データを記憶可能な記憶手段と、前記複数のＡＤ変換手段により変換された前記デジタル画像データの解像度を変更する処理手段と、前記デジタル画像データを外部に出力する出力手段と、を有し、前記複数のＡＤ変換手段から前記記憶手段までの間で前記デジタル画像データがパラレルに伝送されるように構成されているとともに、前記処理手段により第１のデジタル画像データから前記第１の画像データよりも解像度の低い第２のデジタル画像データを生成し、前記出力手段により前記第１のデジタル画像データおよび前記第２のデジタル画像データを外部に出力する場合に、前記第１のデジタル画像データを前記記憶手段に記憶するとともに、前記出力手段により前記第２のデジタル画像データを前記第１のデジタル画像データよりも優先して外部に出力することが可能なように構成したことを特徴とするものである。
【００１１】
また、入射光を受光して光電変換する撮像手段と、前記撮像手段から出力されるアナログ画像信号をデジタル画像データに変換する複数のＡＤ変換手段と、前記複数のＡＤ変換手段により変換される少なくとも１フレームのデジタル画像データを記憶可能な記憶手段と、前記複数のＡＤ変換手段により変換された前記デジタル画像データを外部に出力する出力手段と、を有し、前記複数のＡＤ変換手段から前記記憶手段までの間で前記画像データがパラレルに伝送されるように構成されているとともに、前記撮像手段により第１の動画と前記第１の動画よりもフレームレートの高い第２の動画を撮影し、前記出力手段により前記第１の動画に対応する第１のデジタル画像データおよび前記第２の動画に対応する第２のデジタル画像データを外部に出力する場合に、前記第２のデジタル画像データを前記記憶手段に記憶するとともに、前記出力手段により前記第１のデジタル画像データを前記第２のデジタル画像データよりも優先して外部に出力することが可能なように構成したことを特徴とするものである。
【００１２】
さらに、本発明の撮像装置は、入射光を受光して光電変換する撮像手段と、前記撮像手段から出力されるアナログ画像信号をデジタル画像データに変換する複数のＡＤ変換手段と、前記複数のＡＤ変換手段により変換される少なくとも１フレームのデジタル画像データを記憶可能な記憶手段と、前記複数のＡＤ変換手段により変換された前記デジタル画像データのサイズを変更する演算手段と、前記デジタル画像データを外部に出力する出力手段と、を有する撮像素子と、前記撮像素子から出力される画像データに所定の信号処理を施す信号処理部と、前記画像を表示する表示部と、前記撮像素子、前記信号処理部、前記表示部の各々を制御する制御部と、
を有し、前記撮像素子は、前記複数のＡＤ変換手段から前記記憶手段までの間で前記デジタル画像データがパラレルに伝送されるように構成されているとともに、前記処理手段により第１のデジタル画像データから前記第１のデジタル画像データとサイズの小さい第２の画像データを生成し、前記出力手段により前記第１の画像データおよび前記第２の画像データを前記撮像素子の外部に出力する場合に、前記第１の画像データを前記記憶手段に記憶するとともに、前記出力手段により前記第２のデジタル画像データを前記第１のデジタル画像データよりも優先して前記撮像素子の外部に出力することが可能なように構成したことを特徴とするものである。
【００１３】
また、入射光を受光して光電変換する撮像手段と、前記撮像手段から出力されるアナログ画像信号をデジタル画像データに変換する複数のＡＤ変換手段と、前記複数のＡＤ変換手段により変換される少なくとも１フレームのデジタル画像データを記憶可能な記憶手段と、前記複数のＡＤ変換手段により変換された前記デジタル画像データの解像度を変更する処理手段と、前記デジタル画像データを外部に出力する出力手段と、を有する撮像素子と、前記撮像素子から出力される画像データに所定の信号処理を施す信号処理部と、前記画像を表示する表示部と、前記撮像素子、前記信号処理部、前記表示部の各々を制御する制御部と、を有し、前記撮像素子は、前記複数のＡＤ変換手段から前記記憶手段までの間で前記デジタル画像データがパラレルに伝送されるように構成されているとともに、前記処理手段により第１のデジタル画像データから前記第１の画像データよりも解像度の低い第２のデジタル画像データを生成し、前記出力手段により前記第１のデジタル画像データおよび前記第２のデジタル画像データを前記撮像素子の外部に出力する場合に、前記第１のデジタル画像データを前記記憶手段に記憶するとともに、前記出力手段により前記第２のデジタル画像データを前記第１のデジタル画像データよりも優先して前記撮像素子の外部に出力することが可能なように構成したことを特徴とするものである。
【００１４】
また、入射光を受光して光電変換する撮像手段と、前記撮像手段から出力されるアナログ画像信号をデジタル画像データに変換する複数のＡＤ変換手段と、前記複数のＡＤ変換手段により変換される少なくとも１フレームのデジタル画像データを記憶可能な記憶手段と、前記複数のＡＤ変換手段により変換された前記デジタル画像データを外部に出力する出力手段と、を有する撮像素子と、前記撮像素子から出力される画像データに所定の信号処理を施す信号処理部と、前記画像を表示する表示部と、前記撮像素子、前記信号処理部、前記表示部の各々を制御する制御部と、を有し、前記撮像素子は、前記複数のＡＤ変換手段から前記記憶手段までの間で前記画像データがパラレルに伝送されるように構成されているとともに、前記撮像手段により第１の動画と前記第１の動画よりもフレームレートの高い第２の動画を撮影し、前記出力手段により前記第１の動画に対応する第１のデジタル画像データおよび前記第２の動画に対応する第２のデジタル画像データを前記撮像素子の外部に出力する場合に、前記第２のデジタル画像データを前記記憶手段に記憶するとともに、前記出力手段により前記第１のデジタル画像データを前記第２のデジタル画像データよりも優先して前記撮像素子の外部に出力することが可能なように構成したことを特徴とするものである。
【発明の効果】
【００１５】
本発明によれば、サイズ、解像度、フレームレート等が異なる画像を撮影する場合に、それぞれの画像を撮像素子から適切な順序で出力することができる。
【図面の簡単な説明】
【００１６】
【図１】実施例１における撮像素子の概略構造を示す図である。
【図２】実施例１におけるデータバス構成の一例を説明する図である。
【図３】実施例１における画素、カラムＡＤＣブロックの構成を示す図である。
【図４】実施例１における撮像素子の積層構成を示す図である。
【図５】実施例１における撮像素子の断面図である。
【図６】実施例１における撮像システムのシステム概要図である。
【図７】実施例１おける撮影シーケンスのフローチャートである。
【図８】実施例における画像のリサイズ処理を示す図である。
【図９】実施例１における画像データサイズ変更処理の概要を説明する図である。
【図１０】実施例１における画像データサイズ変更処理の概要を説明する図である。
【図１１】実施例２、３における撮影シーケンスのフローチャートである。
【図１２】実施例２における画像データサイズ変更処理の概要を説明する図である。
【図１３】実施例３における画像データサイズ変更処理の概要を説明する図である。
【図１４】一般的な撮像装置の構成を示す図である。
【発明を実施するための形態】
【００１７】
（実施例１）
以下に、本発明の好ましい実施の形態を、添付の図面を用いて詳細に説明する。実施例１では、動画撮影中に静止画を撮影することが可能な撮影モードを有する撮像システムについて説明する。なお、本実施例では、撮像素子は常に全画素読み出しモードにて撮影動作を行い、動画、静止画ともにこの全画素読み出しモードにて駆動して出力された画像信号から作成する方法を例に示す。
【００１８】
図１は、本発明の実施例１における撮像素子の概略をブロック図として示したものである。
【００１９】
撮像素子５０６は、第１のチップ（第１の半導体基板）１０および第２のチップ（第２の半導体基板）１１を有しており、第２のチップ１１と第１のチップ１０がお互いに積層されている。第１のチップ１０は、マトリックス状に配列された複数の画素１０１からなる画素部を有し、第２のチップ１１に対して光入射側（光学像の受光側）に配置されている。
【００２０】
第１のチップ１０の画素部において、マトリックス状に配列された複数の画素１０１は行毎に転送信号線１０３、リセット信号線１０４、および行選択信号線１０５にそれぞれ接続され、列毎に複数の列出力線１０２に接続されている。なお、各列に配置された複数の列出力線１０２の各々には、同列の異なる読み出し行に配置された画素が接続される。
【００２１】
第２のチップ１１は、列毎に設けられた複数のＡＤ変換器（以下、ＡＤＣと表記）１１１、行走査回路１１２、列走査回路１１３、タイミング制御回路１１４を有する。さらに、第２のチップ１１は、切り替えスイッチ１１６、フレームメモリ１１７、素子内演算部１１８、パラレル・シリアル変換部（以下、Ｐ／Ｓ変換部と表記する）１１９等を有する。タイミング制御回路１１４は、全体制御演算部５０９により駆動制御される。
【００２２】
このように、第１のチップ１０に画素部を形成し、第２のチップ１１に画素部の駆動回路やメモリ、演算部等を形成することで、撮像素子５０６の撮像層と回路層とで製造プロセスを分けることができる。そして、回路層における配線の細線化、高密度化による高速化、小型化、および高機能化を図ることができる。
【００２３】
切り替えスイッチ１１６は、チャンネル毎に設けられた水平信号線１１５−ａ、水平信号線１１５−ｂから出力される各チャンネルのデジタル画像データを素子内演算部１１８に選択的に入力する。素子内演算部１１８は、各チャンネルの画像データを並び替えて１フレームの画像データを生成し、順次フレームメモリ１１７に出力する。フレームメモリ１１７は、出力された少なくとも１フレーム分のデジタル画像データを一時的に記憶する。
【００２４】
素子内演算部１１８は、フレームメモリ１１７に記憶された１フレームのデジタル画像データに対し、切り出し、間引き等の演算処理を行う。詳細は後述する。素子内演算部１１８で処理された１フレームのデジタル画像データは、Ｐ／Ｓ変換部１１９においてパラレル・シリアル変換を行い、撮像素子５０６の外部にある撮像信号処理回路５０７へと出力される。
【００２５】
ここで、水平信号線１１５−ａ、水平信号線１１５−ｂ、切り替えスイッチ１１６、素子内演算部１１８、フレームメモリ１１７の間の信号転送経路は、同一チップ内に形成されるデジタル信号ラインである。そのため、水平読み出し期間内に全ての水平データの転送が完結するように、必要なデータバス幅を確保して高速化を図ることができる。
【００２６】
図２は、第２のチップ１１におけるＡＤＣ１１１からＰ／Ｓ変換部１１９までのデータバス構成の一例を説明する図である。図２に示すように、第２のチップ１１において、ＡＤＣ１１１と素子内演算部１１８の間には、ＡＤＣ１１１のデジタル変換出力を一時的に保持する列メモリ１１１ａが設けられている。なお、図２では切り替えスイッチ１１６は省略されている。
【００２７】
列走査回路１１３からの制御信号に応じて各列に設けられた列メモリ１１１ａに保持されている画像データは、水平転送回路１１５内に１６チャンネル設けられた水平信号線１１５−ａ，１１５−ｂに振り分けられて並列に出力される。水平信号線１１５−ａ，１１５−ｂに出力された画像データは、素子内演算部１１８内のメモリＩ／Ｆ回路を経由してフレームメモリ１１７に入力される。
【００２８】
例えば、８Ｋ４Ｋ（水平８０００画素、垂直４０００画素）の３２Ｍピクセルの画像データがＡＤＣ１１１から出力される場合について説明する。３２Ｍピクセルの画像データをフレームレート６０ｆｐｓで読み出した場合に必要なデータバス帯域は、１９２０Ｍピクセル／ｓｅｃである。
【００２９】
ここで、水平転送回路１１５に設けられた１６チャンネルの水平信号線１１５−ａ，１１５−ｂの各々の転送容量が１２ｂｉｔである場合、転送可能な周波数１２０ＭＨｚまで転送容量を落とす必要がある。列走査回路１１３からの制御信号により順次、列メモリの選択が行われ、水平転送回路１１５の１チャンネルあたり１２０Ｍピクセル／ｓｅｃの画像データが１６チャンネルで並列に読み出される。
【００３０】
水平転送回路１１５から素子内演算部１１８を経由してフレームメモリ１１７へ入力された画像データは、フレームメモリから所定エリアのデータが部分的に読み出されて、再び、素子内演算部１１８に入力される。例えば、フレームメモリ１１７から出力された画像データは、素子内演算部１１８内の縮小変倍回路により１／１６倍の画像サイズに縮小される。その場合に必要となるデータバス帯域は、１２０Ｍピクセル／ｓｅｃまで低減される。これは、フルＨＤサイズ（２Ｍピクセル）の画像データを６０ｆｐｓで読み出す場合に相当するデータ転送容量である。
【００３１】
データバス帯域が低減されて素子内演算部１１８から出力された画像データは、Ｐ／Ｓ変換部１１９で、最大シリアル転送容量１Ｇｂｐｓを超えないように、７２０Ｍｂｐｓの２チャンネル構成でシリアル信号に変換されて出力される。
【００３２】
このように、第２のチップ１１内にＡＤＣ１１１、素子内演算部１１８、フレームメモリ１１７を設けることにより、第２のチップ１１内で画像データの処理に必要な広いデータバス帯域を確保し、ＡＤＣ１１１からフレームメモリ１１７までの転送速度の高速化を実現しつつ、撮像素子外に転送可能なシリアル転送容量で高画質な動画を出力することができる。
【００３３】
図３は、本実施例における撮像素子５０６の画素部の各画素１０１及びＡＤＣ１１１の詳細な構成を示した図である。図１及び図３を用いて、実施例１における撮像素子の動作の概略を説明する。
【００３４】
フォトダイオード（以下、ＰＤと表記する）２０１は、受光した入射光をその光量に応じた電荷量の光電荷（ここでは、電子）に光電変換する。ＰＤ２０１のカソードは、転送トランジスタ２０２を介して増幅トランジスタ２０４のゲートと電気的に接続されている。この増幅トランジスタ２０４のゲートと電気的に接続されたノードは、フローティングディフュージョン（以下、ＦＤと表記する）部２０６を構成する。
【００３５】
転送トランジスタ２０２は、ＰＤ２０１のカソードとＦＤ部２０６との間に設けられ、ゲートに図１の転送信号線１０３を介して転送パルスφＴＲＧが供給されることによってオン状態となる。そして、ＰＤ２０１で光電変換された光電荷をＦＤ部２０６に転送する。
【００３６】
リセットトランジスタ２０３は、ドレインが画素電源Ｖｄｄに、ソースがＦＤ部２０６にそれぞれ接続され、ゲートに図１のリセット信号線１０４を介してリセットパルスφＲＳＴが供給されることによってオン状態となる。そして、ＰＤ２０１からＦＤ部２０６への信号電荷の転送に先立って、ＦＤ部２０６の電荷を画素電源Ｖｄｄに捨てることによって当該ＦＤ部２０６をリセットする。
【００３７】
増幅トランジスタ２０４は、ゲートがＦＤ部２０６に、ドレインが画素電源Ｖｄｄにそれぞれ接続され、リセットトランジスタ２０３によってリセットした後のＦＤ部２０６の電位をリセットレベルとして出力する。さらに、増幅トランジスタ２０４は、転送トランジスタ２０２によってＰＤ２０１の信号電荷を転送した後のＦＤ部２０６の電位を信号レベルとして出力する。
【００３８】
選択トランジスタ２０５は、例えば、ドレインが増幅トランジスタ２０４のソースに、ソースが列出力線１０２にそれぞれ接続される。そして、ゲートに図１の行選択信号線１０５を介して選択パルスφＳＥＬが与えられることによってオン状態となり、画素１０１を選択状態として増幅トランジスタ２０４により増幅される信号を列出力線１０２に出力する。
【００３９】
なお、この選択トランジスタ２０５については、画素電源Ｖｄｄと増幅トランジスタ２０４のドレインとの間に接続した回路構成を採ることも可能である。トランジスタ２０２〜２０５として、例えばＮチャネルのＭＯＳトランジスタを用いることができる。また、画素１０１としては、上記した４つのトランジスタを備えた構成に限られるものではなく、増幅トランジスタ２０４と選択トランジスタ２０５を１つのトランジスタで兼用した３つのトランジスタを備えた構成等であっても良い。
【００４０】
また、画素１０１から列出力線１０２を介して出力されるアナログ画像信号は、ＡＤＣ１１１に伝送される。ＡＤＣ１１１は、比較器２１１、アップダウンカウンタ２１２、メモリ２１３、ＤＡコンバータ（以下、ＤＡＣと表記する）２１４を有する。
【００４１】
比較器２１１は、一対の入力端子を備え、その一方に列出力線１０２が接続され、他方にＤＡＣ２１４が接続される。比較器２１１の出力端子は、アップダウンカウンタ２１２に接続される。図１のタイミング制御回路１１４は、全体制御演算部５０９からの指令に基づきＤＡＣ２１４へ基準信号を出力する。
【００４２】
ＤＡＣ２１４は、図１のタイミング制御回路１１４から入力される基準信号に基づいて、時間の経過とともにレベルが変化するランプ信号を出力する。そして、比較器２１１は、ＤＡＣ２１４から入力されるランプ信号のレベルと、列出力線１０２から入力される画像信号のレベルとを比較する。
【００４３】
例えば、比較器２１１は、画像信号のレベルがランプ信号のレベルより低い場合にはハイレベルの比較信号を出力し、画像信号のレベルがランプ信号のレベルより高い場合にはローレベルの比較信号を出力する。アップダウンカウンタ２１２は、比較信号がハイレベルとなる期間、またはローレベルとなる期間をカウントする。このカウント処理により、各画素１０１の出力信号はデジタル値へ変換される。
【００４４】
なお、比較器２１１とアップダウンカウンタ２１２との間にアンド回路を設け、このアンド回路にパルス信号を入力し、このパルス信号の個数をアップダウンカウンタ２１２によりカウントさせてもよい。
【００４５】
また、ＡＤＣ１１１は、画素１０１のリセット解除時のリセット信号に基づいてリセットレベルに対応したカウント値をカウントし、さらに所定の撮像時間経過後の光信号に基づいてカウント値をカウントしてもよい。そして、これらの光信号のカウント値とリセット信号のカウント値の差分値をメモリ２１３に記憶させてもよい。
【００４６】
メモリ２１３は、アップダウンカウンタ２１２と接続され、アップダウンカウンタ２１２によりカウントされたカウント値を記憶する。メモリ２１３に記憶されたカウント値がデジタル画像データとして、図１の列走査回路１１３の駆動制御により図１の水平信号線１１５−ａ、水平信号線１１５−ｂに伝送される。
【００４７】
図４は、図１を用いて説明した実施例１に係る撮像素子５０６の外形構成を示す。図４（ａ）は、撮像素子５０６を光の入射する側から見た斜視図、図４（ｂ）は、撮像素子５０６の断面図を示している。
【００４８】
撮像素子５０６は、第１のチップ（撮像層）１０と第２のチップ（回路層）１１により構成される。第１のチップ１０と第２のチップ１１は、それぞれのチップに設けられている複数のマイクロパッド３０２を、複数のマイクロバンプ３０１を介して電気的に接続して一体化させる。すなわち、第１のチップ１０と第２のチップ１１は、複数のマクロバンプ１０１および複数のマイクロパッド３０２を介して電気的に直接接続されている。なお、マクロパッドおよびマイクロパッド以外を用いた方法により、第１のチップ１０と第２のチップ１１が電気的に直接接続されるように構成してもかまわない。
【００４９】
図５に、図１〜図４で示した実施例１に係る撮像素子５０６の断面構造の詳細を示す。図５において、撮像層４０１が第１のチップ１０に対応し、回路層４０２が第２のチップ１１に対応する。
【００５０】
撮像層４０１においては、シリコン（以下、Ｓｉと表記する）基板４０３上に配線層４０４が形成されている。Ｓｉ基板４０３には、ＰＤ２０１となるｎ型拡散領域４０７が形成され、ＰＤ２０１の表面部（配線層４０４との境界部）にはｐ＋拡散領域４０８が形成されている。
【００５１】
Ｓｉ基板４０３には、その表面部にＦＤ部２０６となるｎ＋拡散領域４０９、スイッチ用トランジスタのｎ＋拡散領域４１０が複数形成されている。配線層４０４には、ＳｉＯ２等からなる絶縁層内に、各トランジスタのゲート配線４１１、信号伝搬用配線４１２が形成され、さらにその表面部にはＣｕ等からなるマイクロパッド３０２ａが形成されている。
【００５２】
上記したｎ＋拡散領域４０９、ｎ＋拡散領域４１０とトランジスタのゲート配線４１１により転送トランジスタ２０２、リセットトランジスタ２０３、増幅トランジスタ２０４、選択トランジスタ２０５がそれぞれ構成される。配線層４０４には、ｎ＋拡散領域４１０をマイクロパッド３０２ａと接続するためのビア４１４が形成されている。
【００５３】
回路層４０２においては、Ｓｉ基板４０５上に配線層４０６が形成されている。Ｓｉ基板４０５には、表面部にトランジスタ拡散領域４１６が複数形成されている。配線層４０６には、ＳｉＯ２等からなる絶縁層内に、各トランジスタのゲート配線４１７、信号伝搬用配線４１８が複数形成され、さらにその表面部にはＣｕ等からなるマイクロパッド３０２ｂが形成されている。
【００５４】
回路層４０２に形成されたトランジスタ拡散領域４１６やトランジスタのゲート配線４１７、信号伝搬用配線４１８などにより各種回路が構成される。回路断面の詳細については、説明を省略する。配線層４０６には、拡散領域４１６等をマイクロパッド３０２ｂと接続するためのビア４２０が形成されている。
【００５５】
撮像層４０１の配線層４０４に形成されたマイクロパッド３０２ａと、回路層４０２の配線層４０６に形成されたマイクロパッド３０２ｂは、マイクロバンプ３０１により互いに電気的に接続されている。なお、図５では撮像層４０１、回路層４０２を接続端子としてマイクロバンプ３０１を用いて接続する構成例を示したが、マイクロバンプを用いずに直接接続することも可能である。
【００５６】
図６は、図１〜５で説明した撮像素子を用いた撮像装置のシステム概要図である。レンズ部５０１を通った被写体像は絞り５０４により適切な光量に調整され、図１〜図５に示した構成を有する撮像素子５０６上の撮像面に結像される。
【００５７】
撮像素子５０６上の撮像面に結像された被写体像は、撮像素子５０６のＰＤ２０１により光電変換され、さらに画素内アンプや画素１０１とＡＤＣ１１１の間に設けた列アンプによるゲイン調整が行われる。そして、ＡＤＣ１１１を用いてアナログ信号からデジタル信号にＡ／Ｄ変換処理が行われ、Ｒ、Ｇ、Ｂの各色のデジタル画像信号として撮像信号処理回路５０７に取り込まれる。
【００５８】
撮像信号処理回路５０７では、ノイズを軽減するローパスフィルタ処理やシェーディング補正などの各種補正処理、ホワイトバランス調整処理などの画像信号処理、さらに画像データの圧縮処理等を行う。なお、これらの処理を行う撮像信号処理回路５０７を積層構造の撮像素子５０６に内蔵するように構成してもかまわない。
【００５９】
レンズ部５０１は、レンズ駆動部５０２によって駆動されることにより、ズーム、フォーカス等が制御される。メカニカルシャッタ（メカシャッタ）５０３、絞り５０４は、シャッタ・絞り駆動部５０５によって駆動制御される。
【００６０】
全体制御演算部５０９は、撮像装置全体の制御と各種演算処理を行う。第１のメモリ部５０８は、画像データを一時的に記憶する。半導体メモリ等の着脱可能な記録媒体５１２は、画像データを記録する。記録媒体制御インターフェース部５１０は、記録媒体５１２に画像データを記録し、または記録媒体５１２に記録された画像データを読み出す。なお、全体制御演算部５０９を積層構造の撮像素子５０６に内蔵するように構成してもかまわない。
【００６１】
表示部５１１は、画像データ等の表示を行う。外部インターフェース部５１３は、外部コンピュータ等と通信を行うためのインターフェース部である。第２のメモリ部５１４は、全体制御演算部５０９での演算結果やパラメータ等を一時的に記憶する。操作部５１５によりユーザーが設定した撮像装置の駆動条件に関する情報は、全体制御演算部５０９に送られ、これらの情報に基づいて撮像装置全体の制御が行われる。
【００６２】
次に、図１、図３、図７を用いて、本実施例における撮像システムの動作手順について説明する。
【００６３】
図７は、実施例１の撮像システムにおける動画撮影中に静止画を撮影して記録することが可能な撮影モードの撮影シーケンスを示すフローチャートである。また、図９は、本実施例において、複数フレームの動画撮影中に１フレームの静止画撮影を行なう場合に、撮像素子５０６を全画素読み出しモードで駆動することで得られる画像データから動画および静止画を生成する方法について説明する図である。
【００６４】
ステップＳ６０１では、全体制御演算部５０９において、操作部５１５からユーザーが入力した設定に基づき各種パラメータを初期化する。そして、初期化したパラメータを第２のメモリ部５１４に記録する。
【００６５】
ステップＳ６０２では、撮影した被写体像の画像をリアルタイムで表示部５１１へ表示させるモニターモードで撮像システムを駆動する。具体的には、複数の画素を混合または一部の画素を間引いて画像信号を読み出す混合／間引きモードで撮像素子５０６を駆動して画像信号を読み出す。そして、読み出した画像信号に対して撮像信号処理回路５０７において各種信号処理を施してから表示部５１１に表示する。
【００６６】
また、モニターモード駆動時には、適宜、撮像素子５０６から読み出した画像信号に基づいて自動露出調節（ＡＥ）制御のための測光動作や自動焦点調節（ＡＦ）制御のための測距動作を行う。そして、撮像信号処理回路５０７は、測光結果に基づいて被写体の明るさを測定し、撮影した画像が適切な明るさになるような絞り値Ａｖ、シャッタ速度Ｔｖを算出する。また、測距結果に基づいて被写体像の焦点距離を算出する。
【００６７】
ここで、撮像素子５０６から読み出される画像信号から得られるコントラスト情報に基づくＡＦ制御を行っているが、撮像素子５０６に撮像用画素とは別に焦点検出用画素を設けてもよい。そして、焦点検出用画素から得られる位相差情報（デフォーカス量）を用いた撮像面位相差検出によるＡＦ制御を行ってもよい。さらに、コントラストＡＦ制御と撮像面位相差ＡＦ制御を撮影条件や被写体等に応じて適宜組み合わせて併用したり、各ＡＦ方式を切り替えるように制御してもかまわない。
【００６８】
そして、全体制御演算部５０９は、算出した絞り値Ａｖ、シャッタ速度Ｔｖになるようにシャッタ・絞り駆動部５０５に指令を出す。また、全体制御演算部５０９は、算出したレンズ位置Ｌになるようにレンズ駆動部５０２に指令を出す。シャッタ・絞り駆動部５０５は、受け取った指令に基づいてメカシャッタ５０３、絞り５０４を駆動する。また、レンズ駆動部５０２は、受け取った指令に基づいてレンズ５０１を駆動する。なお、算出された絞り値Ａｖ、シャッタ速度Ｔｖ、レンズ位置Ｌをそれぞれ第２のメモリ部５１４へ記録する。
【００６９】
なお、ＡＥ制御を行なう場合に、撮像素子５０６の行毎や画素毎に蓄積時間（露光時間）を異ならせたり、画像信号を増幅するゲインを異ならせることで１フレーム内の行毎や画素毎に異なる露出の画像を取得するように制御してもかまわない。このように制御することで、ダイナミックレンジの広いＨＤＲ画像を生成することができる。
【００７０】
ステップＳ６０３では、全体制御演算部５０９により操作部５１５にある動画撮影トリガースイッチＳＷ＿１のＯＮ／ＯＦＦを判定し、スイッチＳＷ＿１がＯＮであればステップＳ６０４へ、ＯＦＦであれば再びステップＳ６０２へ戻る。
【００７１】
ステップＳ６０４では、撮影パラメータｉを０にリセットする。
【００７２】
ステップＳ６０５では、第２のメモリ部５１４から絞り値Ａｖ、シャッタ速度Ｔｖ、レンズ位置Ｌを読み出す。そして、撮像素子５０６から読み出された画像データと第２のメモリ部５１４から読み出した絞り値Ａｖ、シャッタ速度Ｔｖに基づいて適切な明るさになる絞り値Ａｖ、シャッタ速度Ｔｖを算出する。
【００７３】
また、撮像素子５０６から読み出された画像データと第２のメモリ部５１４から読み出したレンズ位置Ｌから、適切な焦点距離になるレンズ位置Ｌを算出する。そして、算出した絞り値Ａｖ、シャッタ速度Ｔｖ、レンズ位置Ｌを第２のメモリ部５１４へ記録する。
【００７４】
撮影パラメータｉ＝０である場合には、第２のメモリ部５１４から読み出した絞り値Ａｖ、シャッタ速度Ｔｖを元に、ステップＳ６０６の駆動モードとステップＳ６０２での駆動モードの感度差を考慮して、絞り値Ａｖ、シャッタ速度Ｔｖを再算出する。レンズ位置Ｌは、第２のメモリ部５１４から読み出した値を使用する。
【００７５】
撮影パラメータｉ≠０である場合には、第２のメモリ部５１４から読み出した絞り値Ａｖ、シャッタ速度Ｔｖ、レンズ位置Ｌをそのまま使用する。そして、絞り値Ａｖｉ、シャッタ速度Ｔｖｉ、レンズ位置Ｌｉになるように、全体制御演算部５０９からレンズ駆動部５０２、シャッタ・絞り駆動部５０５に指令を出し、レンズ５０１、メカシャッタ５０３、絞り５０４を駆動させる。
【００７６】
ステップＳ６０６では、ステップＳ６０２とは異なり、撮像素子５０６上の全ての画素から画像信号を読み出す全画素読み出しモードで撮像素子５０６を駆動して撮影動作を行う。撮影動作により得られた第１のデータサイズの１フレームの画像データは、素子内演算部１１８に送られる。
【００７７】
ステップＳ６０７では、全体制御演算部５０９において操作部５１５にある静止画撮影トリガースイッチＳＷ＿２のＯＮ／ＯＦＦを判定し、スイッチＳＷ＿２がＯＮであればステップＳ６０８へ、ＯＦＦであればステップＳ６０９へ進む。
【００７８】
ステップＳ６０８では、素子内演算部１１８においてステップＳ６０６で撮影した第１のデータサイズの１フレームの画像データを複製して、静止画用の画像データとしてフレームメモリ１１７へ保存する。
【００７９】
ステップＳ６０９では、素子内演算部１１８においてオリジナルの第１のデータサイズの１フレームの画像データをリサイズし、第１のデータサイズよりもデータサイズの小さい第２のデータサイズの１フレームの動画用画像データに変換する処理を行う。
【００８０】
リサイズ処理では、画像データを水平方向（行方向）または垂直方向（列方向）に数行または数列おきに混合または間引く混合／間引きを行ったり、画像データの一部の領域のみを使用する領域切り出したりすることによる画像サイズの縮小処理を行う。もしくは、画像データの各画素のビットデータ量をより小さいサイズへ変更する処理等を行う（例えば１６ｂｉｔから１０ｂｉｔへ変更する）。
【００８１】
図８に混合／間引き処理と領域切り出し処理の一例を示す。図８（ａ１）〜（ａ３）は、混合／間引き処理の一例として水平３画素混合、垂直１／３画素間引きを行う処理を示し、図８（ｂ１）〜（ｂ２）は、領域切り出し処理の一例を示している。
【００８２】
混合／間引き処理は、図８（ａ１）の第１のデータサイズの画像データに対し、図８（ａ２）に示す画素データのみを用いて下記式（１）〜（４）の計算を行う。そして、混合／間引き処理後のデータＲ‘、Ｇｒ‘、Ｇｂ‘、Ｂ‘をそれぞれ算出することにより、第２のデータサイズの画像データを生成する。
Ｒ‘＝（Ｒ＋Ｒ＋Ｒ）／３                ・・・（式１）
Ｇｒ‘＝（Ｇｒ＋Ｇｒ＋Ｇｒ）／３        ・・・（式２）
Ｇｂ‘＝（Ｇｂ＋Ｇｂ＋Ｇｂ）／３        ・・・（式３）
Ｂ‘＝（Ｂ＋Ｂ＋Ｂ）／３                ・・・（式４）
【００８３】
領域切り出し処理は、図８（ｂ１）の第１のデータサイズの画像データに対し、図８（ｂ２）の点線で囲まれた垂直、水平の上下左右を数〜数百画素省いた領域の画素データのみを用いることにより、第２のデータサイズの画像データを生成する。
【００８４】
ステップＳ６１０では、ステップＳ６０９において第２のデータサイズにリサイズした画像データに対し、Ｐ／Ｓ変換部１１９においてパラレル／シリアル変換処理を行い、撮像信号処理回路５０７へ転送する。ここで、Ｐ／Ｓ変換部１１９から出力される画像データは、撮像素子５０６の出力転送容量以下となるように、データサイズやフレームレート等が設定されている。
【００８５】
ここで、第１のデータサイズの画像データの画素数が２４００万画素、各画素のデータ量が１２ｂｉｔであるものとする。また、撮像素子５０６のＰ／Ｓ変換部１１９から撮像信号処理回路５０７までの間を８ポートで伝送するものとし、撮像素子５０６から撮像信号処理回路５０７までの間の出力転送容量は１Ｇｂｐｓとする。
【００８６】
さらに、第２のデータサイズの画像データは、リサイズとして図８に示す水平３画素加算、垂直１／３画素間引きを実施することで得られ、その画素数が２００万画素、各画素のデータ量が１２ｂｉｔであるものとする。ここで、動画のフレームレートが１２０ｆｐｓで、撮像素子５０６のＰ／Ｓ変換部１１９から撮像信号処理回路５０７までの間を８ポートで伝送する場合、３６０Мｂｐｓ必要となる。撮像素子５０６から撮像信号処理回路５０７までの間の出力転送容量は１Ｇｂｐｓであることから、十分余裕を持って動画用画像データを転送することが可能である。
【００８７】
ステップＳ６１１では、全体制御演算部５０９からの指令によりステップＳ６０９においてリサイズされ、ステップＳ６１０において転送された画像データに対する各種処理が撮像信号処理回路５０７により施される。撮像信号処理回路５０７で施される各種処理としては、ノイズを低減するローパスフィルタ処理や欠陥画素補正処理、シェーディング補正処理、ホワイトバランス処理などの各種の画像信号処理、現像処理、画像データの圧縮処理等がある。そして、各種処理を施された画像データが記録媒体５１２に動画として記録される。
【００８８】
ステップＳ６１２では、撮影パラメータｉに１を加える。ステップＳ６１３では、全体制御演算部５０９によりスイッチＳＷ＿１のＯＮ／ＯＦＦを判定する。スイッチＳＷ＿１がＯＮであれば静止画撮影指示がなされたものと判断してステップＳ６１４へ進み、ＯＦＦであればステップＳ６０５に戻る。
【００８９】
ステップＳ６１４では、ステップＳ６０８においてフレームメモリ１１７に保存された第１のデータサイズの静止画用画像データに対し、Ｐ／Ｓ変換部１１９においてパラレル／シリアル変換処理を行い、撮像信号処理回路５０７に転送する。
【００９０】
なお、Ｐ／Ｓ変換部１１９から出力される静止画用画像データは、撮像素子５０６の出力転送容量以下となるように、データサイズやフレームレート等が設定されている。
【００９１】
ここで、第１のデータサイズの画像データの画素数は２４００万画素、各画素のデータ量は１２ｂｉｔである。フレームレートを２４ｆｐｓに設定すると、Ｐ／Ｓ変換部１１９から撮像信号処理回路５０７までの間を８ポートで伝送する場合、８６４Мｂｐｓ必要となる。撮像素子５０６から撮像信号処理回路５０７までの間の出力転送容量は１Ｇｂｐｓであることから、余裕を持って静止画用画像データを転送することが可能である。
【００９２】
ステップＳ６１５では、全体制御演算部５０９からの指令によりステップＳ６１４において転送された第１のデータサイズの画像データに対する各種処理が撮像信号処理回路５０７により施される。
【００９３】
撮像信号処理回路５０７により施される各種処理としては、ノイズを低減するローパスフィルタ処理や欠陥画素補正処理、シェーディング補正処理、ホワイトバランス処理などの各種の画像信号処理、現像処理、画像データの圧縮処理等がある。そして、各種処理を施された画像データが記録媒体５１２に静止画として記録される。また、ステップＳ６１１において記憶媒体５１２に記録された動画に対し、後処理を行い所定の動画フォーマット形式で保存する。
【００９４】
以上説明したように、動画用画像データは撮像素子内で第１のデータサイズから第２のデータサイズへとデータサイズを縮小して撮像素子の後段に転送する。そして、データサイズの大きな第１のデータサイズの静止画用画像データは撮像素子内のフレームメモリに一時退避しておき、動画用画像データを転送した後に撮像素子の後段に転送する。
【００９５】
このようにすることで、画素数が大きな撮像素子を搭載した撮像システムにおいて、動画撮影中に静止画撮影を行う場合でも、高フレームレートでシームレスな動画を得ることが可能となる。また、その際に撮影する静止画も高速なシャッタ速度で撮影することが可能なため、ＣＭＯＳイメージセンサ特有のローリング歪の目立たない高画質な画像を得ることが出来る。
【００９６】
なお、本実施例では、図７で示したように撮像素子５０６を常に全画素読み出しモードで駆動することで得られる画像信号から動画および静止画を作成する方法について示した。しかしながら、図１０で示すように通常は撮像素子５０６を水平３画素混合、垂直１／３画素間引きモードで駆動することで動画を撮影し、静止画撮影指示があった場合のみ撮像素子５０６を全画素読み出しモードで駆動するように制御しても良い。その場合、全画素読み出しモードで得られた第１のデータサイズの画像データをリサイズして第２のデータサイズの動画用画像データを生成するとともに、第１のデータサイズの画像データを静止画用画像データとして使用すれば良い。
【００９７】
（実施例２）
以下、図１１と図１２を参照して、本発明の実施例２について説明する。実施例２では、通常の動画撮影中に高解像度な動画を撮影することが可能な撮影モードを有する撮像システムを例に示す。
【００９８】
なお、撮像素子の構成については、実施例１の図１〜図５で示したものと同様であるため説明を省略する。また、撮像システムの概要についても、実施例１の図６で示したものと同様であるため説明を省略する。さらに、画像データのリサイズ処理についても、実施例１の図８で示したものと同様であるため、説明を省略する。
【００９９】
図１１は、実施例２の撮像システムにおける撮影シーケンスを示すフローチャートである。また、図１２は、本実施例において、通常の動画撮影中に高解像度動画撮影指示があった場合に、撮像素子５０６を全画素読み出しモードで駆動することで、高解像度の動画を生成する方法について説明する図である。
【０１００】
ステップＳ１００１〜ステップＳ１００５は、それぞれ実施例１の図７で示したステップＳ６０１〜ステップＳ６０５と同様であるため説明を省略する。
【０１０１】
ステップＳ１００６では、操作部５１５にあるスイッチＳＷ＿２を高解像度動画撮影トリガースイッチとして使用する。つまり、全体制御演算部５０９においてスイッチＳＷ＿２のＯＮ／ＯＦＦを判定し、スイッチＳＷ＿２がＯＮであればステップＳ１００７へ進み、ＯＦＦであればステップＳ１００８へ進む。
【０１０２】
ステップＳ１００７では、第１の動画撮影モードで通常の動画を撮影するために、撮像素子５０６を水平３画素混合、垂直１／３画素間引きモードで駆動して撮影動作を行う。撮影動作により得られた第２のデータサイズの１フレームの画像データは、素子内演算部１１８を経由してＰ／Ｓ変換部１０９に送られる。
【０１０３】
ステップＳ１００８では、第２の動画撮影モードで高解像度動画を撮影するために、撮像素子５０６を全画素読み出しモードで駆動して撮影動作を行う。撮影動作により得られた第１のデータサイズの１フレームの画像データは、素子内演算部１１８に送られる。
【０１０４】
ステップＳ１００９では、素子内演算部１１８においてステップＳ１００８で撮影した第１のデータサイズの１フレームの画像データを複製して、高解像度動画用画像データとしてフレームメモリ１１７へ保存する。また、素子内演算部１１８においてオリジナルの第１のデータサイズの１フレームの画像データをリサイズし、第１のデータサイズよりもデータサイズの小さい第２のデータサイズの１フレームの通常動画用画像データに変換する処理を行う。
【０１０５】
ステップＳ１０１０では、ステップＳ１００７において撮影された第２のデータサイズの画像データもしくはステップＳ１００９において第２のデータサイズにリサイズした第２のデータサイズの画像データに対し、Ｐ／Ｓ変換部１１９においてパラレル／シリアル変換処理を行う。そして、撮像信号処理回路５０７へ転送する。
【０１０６】
ステップＳ１０１０でＰ／Ｓ変換部１１９から撮像信号処理回路５０７へ転送される第２のデータサイズの画像データの画素数が２００万画素、各画素のデータ量１２ｂｉｔであるものとする。また、動画のフレームレートが１２０ｆｐｓで、撮像素子５０６のＰ／Ｓ変換部１１９から撮像信号処理回路５０７までの間を８ポートで伝送するものとし、撮像素子５０６から撮像信号処理回路５０７までの間の出力転送容量は１Ｇｂｐｓとする。その場合、実施例１のステップＳ６１０で転送するデータと同様のデータサイズとなるため、十分余裕を持って通常動画用画像データを転送することが可能である。
【０１０７】
ステップＳ１０１１〜ステップＳ１０１３については、それぞれ実施例１の図７で示したステップＳ６１１〜ステップＳ６１３と同様であるため、説明を省略する。
【０１０８】
ステップＳ１０１４では、ステップＳ１００９においてフレームメモリ１１７に保存された第１のデータサイズの高解像度動画用画像データに対し、Ｐ／Ｓ変換部１１９においてパラレル／シリアル変換処理を行い、撮像信号処理回路５０７に転送する。
【０１０９】
なお、Ｐ／Ｓ変換部１１９から出力される高解像度動画用画像データは、撮像素子５０６の出力転送容量以下となるように、データサイズやフレームレートが設定されている。
【０１１０】
ここで、第１のデータサイズの画像データの画素数は２４００万画素、各画素のデータ量は１２ｂｉｔである。フレームレートを２４ｆｐｓに設定すると、Ｐ／Ｓ変換部１１９から撮像信号処理回路５０７までの間を８ポートで伝送する場合、８６４Мｂｐｓ必要となる。撮像素子５０６から撮像信号処理回路５０７までの間の出力転送容量は１Ｇｂｐｓであることから、余裕を持って高解像度動画用画像データを転送することが可能である。
【０１１１】
ステップＳ１０１５では、全体制御演算部５０９からの指令によりステップＳ１０１４において転送された第１のデータサイズの画像データに対する各種処理が撮像信号処理回路５０７により施される。
【０１１２】
撮像信号処理回路５０７により施される各種処理としては、ノイズを低減するローパスフィルタ処理や欠陥画素補正処理、シェーディング補正処理、ホワイトバランス処理などの各種の画像信号処理、現像処理、画像データの圧縮処理、後処理等がある。そして、各種処理を施された画像データが記録媒体５１２に記録される。ここで記録される動画は、１２０ｆｐｓの高フレームレートで撮像素子の全有効撮像領域（全画面）に対応した高解像度動画である。
【０１１３】
また、ステップＳ１０１１において記憶媒体５１２に記録された動画に対しても後処理が施され、全画面の画像サイズよりも画像サイズが小さい所定の動画フォーマット形式に対応した１２０ｆｐｓの動画として保存される。
【０１１４】
以上説明したように、本実施例では、図１２で示したように撮像素子５０６を水平３画素混合、垂直１／３画素間引きモードで駆動し、高解像度動画撮影指示があった場合のみ撮像素子５０６を全画素読み出しモードで駆動する。そして、撮像素子５０６を水平３画素混合、垂直１／３画素間引きモードで駆動することで得られた第２のデータサイズの画像データと、撮像素子５０６を全画素読み出しモードで駆動して得られた第１のデータサイズの画像データをリサイズした第２のデータサイズの画像データから通常動画を生成することができる。さらに、全画素読み出しモードで得られた第１のデータサイズの画像データから高解像度動画を生成することができる。
【０１１５】
以上のように構成することで、画素数が大きな撮像素子を搭載した撮像システムにおいて、通常の動画撮影中に高解像度動画の撮影を行う場合でも、高フレームレートでシームレスな通常動画および高解像度動画を得ることが可能となる。
【０１１６】
（実施例３）
以下、図１１と図１３を参照して、本発明の実施例３について説明する。実施例２では、通常の動画撮影中に高解像度な動画を撮影する方法について説明したが、本実施例３では、通常の動画撮影中に通常よりも高い（ここでは８倍）のフレームレートの高速動画を撮影する方法について説明する。
【０１１７】
なお、撮像素子の構成、撮像システムの概要、画像データのリサイズ処理については、実施例１、２と同様であるため、説明を省略する。本実施例の撮影シーケンスのフローチャートについても、実施例２で示した図１１を用いて説明する。図１３は、本実施例において、通常の動画撮影中に高フレームレートの高速動画を生成する方法について説明する図である。
【０１１８】
ステップＳ１００１〜ステップＳ１００５、ステップＳ１００７については、実施例２で説明した動画撮影中に高解像度動画を撮影する場合と同様であるため、説明を省略する。
【０１１９】
ステップＳ１００６では、操作部５１５にあるスイッチＳＷ＿２を高速動画撮影トリガースイッチとして使用する。つまり、全体制御演算部５０９においてスイッチＳＷ＿２のＯＮ／ＯＦＦを判定し、スイッチＳＷ＿２がＯＮであればステップＳ１００７へ進み、ＯＦＦであればステップＳ１００８へ進む。
【０１２０】
ステップＳ１００８では、第２の動画モードで高フレームレートの動画を撮影するために、撮像素子５０６を水平３画素混合、垂直１／３画素間引きモード、通常の８倍のフレームレートで駆動して撮影動作を行う。通常のフレームレートが１２０ｆｐｓであると９６０ｆｐｓで駆動される。撮影動作により得られた第２のデータサイズの１フレームレートの画像データは、素子内演算部１１８に送られる。
【０１２１】
ステップＳ１００９では、素子内演算部１１８においてステップＳ１００８で撮影した第２のデータサイズの画像データをそれぞれ複製して、高フレームレート動画用画像データとしてフレームメモリ１１７へ保存する。また、素子内演算部１１８においてオリジナルの第２のデータサイズの画像データに対して８フレームにつき７フレームを間引き、フレームレートを９６０ｆｐｓから１２０ｆｐｓへ１／８に落とした第２のデータサイズの画像データに変換する処理を行う。
【０１２２】
ステップＳ１０１０では、ステップＳ１００７において撮影された第２のデータサイズの画像データ（フレームレートは１２０ｆｐｓ）に対し、Ｐ／Ｓ変換部１１９においてパラレル／シリアル変換処理を行う。もしくはステップＳ１００９において９６０ｆｐｓから１２０ｆｐｓへとフレームレートを変更された第２のデータサイズの画像データに対し、Ｐ／Ｓ変換部１１９においてパラレル／シリアル変換処理を行う。そして、撮像信号処理回路５０７へ転送する。
【０１２３】
ステップＳ１０１１〜ステップＳ１０１３については実施例２と同様であるため、説明を省略する。
【０１２４】
ステップＳ１０１４では、ステップＳ１００９においてフレームメモリ１１７に保存された第２のデータサイズの高フレームレート動画用画像データに対し、Ｐ／Ｓ変換部１１９においてパラレル／シリアル変換処理を行い、撮像信号処理回路５０７に転送する。
【０１２５】
ここで、第２のデータサイズの画像データの画素数は２００万画素、各画素のデータ量は１２ｂｉｔであるが、９６０ｆｐｓで撮影されたものであることから、Ｐ／Ｓ変換部１１９から撮像信号処理回路５０７までの間を８ポートで伝送する場合、２．８８Ｇｂｐｓ必要である。そのため、撮像素子５０６から撮像信号処理回路５０７までの間の出力転送容量が１Ｇｂｐｓでは、転送容量が足りないことになる。
【０１２６】
しかし、フレームレートを９６０ｆｐｓからその１／８である１２０ｆｐｓに落として撮像素子５０６から撮像信号処理回路５０７に転送するようにすれば、３６０Ｍｂｐｓの転送容量があれば良い。ここで、撮像素子５０６から撮像信号処理回路５０７までの間の出力転送容量は１Ｇｂｐｓ以下であることから、十分余裕を持って高フレームレート動画用画像データを転送することが可能である。
【０１２７】
ステップＳ１０１５では、全体制御演算部５０９からの指令によりステップＳ１０１４において転送された第２のデータサイズの画像データに対する各種処理が撮像信号処理回路５０７により施される。
【０１２８】
撮像信号処理回路５０７により施される各種処理としては、ノイズを低減するローパスフィルタ処理や欠陥画素補正処理、シェーディング補正処理、ホワイトバランス処理などの各種の画像信号処理、現像処理、画像データの圧縮処理、後処理等がある。そして、各種処理が施された画像データが記録媒体５１２に記録される。ここで記録される動画は、所定の動画フォーマットに対応した再生フレームレート９６０ｆｐｓの高フレームレート動画である。
【０１２９】
また、ステップＳ１０１１において記憶媒体５１２に記録された動画に対しても後処理が施され、所定の動画フォーマット形式に対応した再生フレームレート１２０ｆｐｓの動画として保存される。
【０１３０】
以上説明したように、本実施例では、図１３で示したように撮像素子５０６を水平３画素混合、垂直１／３画素間引きモード、１２０ｆｐｓで駆動する。そして、高速動画撮影指示があった場合のみ撮像素子５０６を水平３画素混合、垂直１／３画素間引きモード、フレームレート９６０ｆｐｓで駆動する。
【０１３１】
そして、水平３画素混合、垂直１／３画素間引きモード、１２０ｆｐｓで撮影することで得られた第２のデータサイズの画像データと、９６０ｆｐｓで撮影することで得られた画像データから複数フレーム間引いて１２０ｆｐｓにした第２のデータサイズの画像データから通常の１２０ｆｐｓの動画を作成する。また、９６０ｆｐｓで撮影動作を行うことで得られた第２のデータサイズの画像データから９６０ｆｐｓの高速動画を生成することができる。
【０１３２】
以上のように構成することで、画素数が大きな撮像素子を搭載した撮像システムにおいて、通常の動画撮影中に高速動画の撮影を行う場合でも、高フレームレートでシームレスな通常動画および高速動画を得ることが可能となる。
【０１３３】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【０１３４】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１３５】
１０１  画素
１０  第１のチップ
１１  第２のチップ
１１７  フレームメモリ
１１８  素子内演算部
【図１】
2018038073.tif 000003
【図２】
2018038073.tif 000004
【図３】
2018038073.tif 000005
【図４】
2018038073.tif 000006
【図５】
2018038073.tif 000007
【図６】
2018038073.tif 000008
【図７】
2018038073.tif 000009
【図８】
2018038073.tif 000010
【図９】
2018038073.tif 000011
【図１０】
2018038073.tif 000012
【図１１】
2018038073.tif 000013
【図１２】
2018038073.tif 000014
【図１３】
2018038073.tif 000015
【図１４】
2018038073.tif 000016