(57)【要約】【課題】  静止画と動画の両方の画像を撮影可能な半導体集積回路装置及び撮像装置において、ラインメモリ容量を削減して回路規模を抑えつつ、高解像度の静止画撮影とモニタリング時のフレームレート確保とを実現する。【解決手段】  ＬＳＩ１００Ａは、動作モード切り替えレジスタ９により静止画撮影モードとモニタリングモードとの動作の切り替えを制御する。静止画撮影時は、撮像素子１の出力信号をＳＤＲＡＭ１１に一旦記憶してからフレームを水平方向にＮ分割してラインメモリ１２，１３に読み出してカメラ信号処理回路５、電子ズーム処理回路６での信号処理を行い、その後出力する処理を行う。一方、モニタリング時は、サブサンプリング回路４を用いて撮像素子１の出力信号をモニタリングに必要な水平方向画素数に応じて１／Ｎにリサイズ処理し、それを映像信号処理してリアルタイムで出力する。【選択図】  図１
2006005596.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子からの出力信号を記憶するメモリ回路と、前記メモリ回路から読み出した信号あるいは前記撮像素子からの出力信号を遅延させる少なくとも１ライン以上のラインメモリと、前記ラインメモリの出力をもとに映像信号を生成する映像信号処理回路と、を具備する半導体集積回路装置であって、
前記撮像素子からの出力信号を、その１フレームの水平方向画素数をＨとしたときに（１／Ｎ）×Ｈになるようにリサイズ処理するサブサンプリング回路と、
外部の撮像素子駆動回路、前記映像信号処理回路、及び前記サブサンプリング回路の動作を切り替えるレジスタと、を有し、
前記ラインメモリの１ラインあたりの容量は、前記（１／Ｎ）×Ｈに対応した映像情報を保持する分の容量であることを特徴とする半導体集積回路装置。
【請求項２】
請求項１記載の半導体集積回路装置において、
静止画撮影時に、前記メモリ回路から読み出した信号に対して前記映像信号処理回路での信号処理を行わせる動作と、モニタリング時に、前記撮像素子からの出力信号を前記サブサンプリング回路で１／Ｎにリサイズ処理した信号に対して前記映像信号処理回路での信号処理を行わせる動作と、を前記レジスタにより切り替える処理を行うことを特徴とする半導体集積回路装置。
【請求項３】
請求項２記載の半導体集積回路装置において、
前記レジスタは、静止画撮影時とモニタリング時とで前記外部の撮像素子駆動回路、前記映像信号処理回路、及び前記サブサンプリング回路の動作を切り替えることで動作モードを切り替え、
前記静止画撮影時に、前記撮像素子からの出力信号を前記サブサンプリング回路によるリサイズ処理無しで前記メモリ回路に記憶し、前記メモリ回路に記憶された信号を前記１／Ｎに対応してＮ個の領域に分割して、前記分割した領域ごとに前記映像信号処理回路での信号処理を行わせる動作と、前記モニタリング時に、前記撮像素子からの出力信号を前記サブサンプリング回路によりリサイズ処理した信号に対して前記メモリ回路への記憶及び分割の処理無しで前記映像信号処理回路での信号処理を行って映像信号を取得させる動作と、を前記レジスタにより切り替える処理を行うことにより、前記モニタリング時のフレームレートを確保することを特徴とする半導体集積回路装置。
【請求項４】
請求項３記載の半導体集積回路装置において、
前記メモリ回路に対するデータの読み書きのアドレスを操作するメモリ回路制御部を有し、
前記サブサンプリング回路は、前記映像信号処理回路に供給するクロックを前記１／Ｎに対応してＮ画素単位で動作停止させ、前記クロックに乗せるデータを前記撮像素子からの出力信号のＮ画素ごとの加算平均値に乗せ換える処理を行い、
前記静止画撮影時に、前記撮像素子からの出力信号を前記サブサンプリング回路によるリサイズ処理無しで一旦前記メモリ回路に記憶し、前記メモリ回路に記憶された信号を前記メモリ回路制御部を用いてフレーム水平方向に前記（１／Ｎ）×Ｈずつライン順に前記ラインメモリに読み出すことで前記Ｎ個に分割した領域に対して順次前記映像信号処理回路による信号処理を行わせることを特徴とする半導体集積回路装置。
【請求項５】
請求項４記載の半導体集積回路装置において、
前記映像信号処理回路として、カメラ信号処理を行うカメラ信号処理回路と、電子ズーム処理を行う電子ズーム処理回路と、を有し、
前記静止画撮影時に前記Ｎ個の領域に分割して前記映像信号処理回路での信号処理を行わせる際に、前記電子ズーム処理における拡大率をＭとしたとき、前記メモリ回路に記憶された信号をフレーム水平方向で（１／Ｍ）×Ｈとなるように切り出し、この切り出した領域に対し、前記Ｎに対応してフレーム水平方向で一部重複させて信号の連続性が保持されるように分割して読み出して信号処理を行わせることを特徴とする半導体集積回路装置。
【請求項６】
撮像素子と、前記撮像素子を駆動する撮像素子駆動回路と、前記撮像素子から出力される信号を記憶するメモリ回路と、前記メモリ回路から読み出した信号あるいは前記撮像素子から出力される信号を遅延させる少なくとも１ライン以上のラインメモリと、前記ラインメモリの出力をもとに映像信号を生成する映像信号処理回路と、を具備する撮像装置であって、
前記撮像素子からの出力信号を、その１フレームの水平方向画素数をＨとしたときに（１／Ｎ）×Ｈになるようにリサイズ処理するサブサンプリング回路と、
前記撮像素子駆動回路と前記映像信号処理回路と前記サブサンプリング回路の動作を切り替えるレジスタと、を有し、
前記ラインメモリの１ラインあたりの容量は、前記（１／Ｎ）×Ｈに対応した映像情報を保持する分の容量であることを特徴とする撮像装置。
【請求項７】
請求項６記載の撮像装置において、
静止画撮影時に、前記メモリ回路から読み出した信号に対して前記映像信号処理回路での信号処理を行わせる動作と、動画撮影時に、前記撮像素子から出力される信号を前記サブサンプリング回路で１／Ｎにリサイズ処理した信号に対して前記映像信号処理回路での信号処理を行わせる動作と、を前記レジスタにより切り替える処理を行うことを特徴とする撮像装置。
【請求項８】
請求項７記載の撮像装置において、
前記レジスタは、静止画撮影時とモニタリング時とで前記撮像素子駆動回路、前記映像信号処理回路、及び前記サブサンプリング回路の動作を切り替えることで動作モードを切り替え、
前記静止画撮影時に、前記撮像素子からの出力信号を前記サブサンプリング回路によるリサイズ処理無しで前記メモリ回路に記憶し、前記メモリ回路に記憶された信号を前記１／Ｎに対応してＮ個の領域に分割して、前記分割した領域ごとに前記ラインメモリに読み出して前記映像信号処理回路での信号処理を行わせる動作と、前記モニタリング時に、前記撮像素子からの出力信号を前記サブサンプリング回路によりリサイズ処理した信号に対して前記メモリ回路への記憶及び分割の処理無しで前記映像信号処理回路での信号処理を行わせる動作と、を前記レジスタにより切り替える処理を行うことにより、前記モニタリング時のフレームレートを確保することを特徴とする撮像装置。
【請求項９】
請求項８記載の撮像装置において、
前記メモリ回路に対するデータの読み書きのアドレスを操作するメモリ回路制御部を有し、
前記サブサンプリング回路は、前記映像信号処理回路に供給するクロックを前記１／Ｎに対応してＮ画素単位で動作停止させ、前記クロックに乗せるデータを前記撮像素子からの出力信号のＮ画素ごとの加算平均値に乗せ換える処理を行い、
前記静止画撮影時に、前記撮像素子からの出力信号を前記サブサンプリング回路によるリサイズ処理無しで一旦前記メモリ回路に記憶し、前記メモリ回路に記憶された信号を前記メモリ回路制御部を用いてフレーム水平方向に前記（１／Ｎ）×Ｈずつライン順に読み出すことで前記Ｎ個に分割した領域に対して順次前記映像信号処理回路による信号処理を行わせることを特徴とする撮像装置。
【請求項１０】
請求項９記載の撮像装置において、
前記映像信号処理回路として、カメラ信号処理を行うカメラ信号処理回路と、電子ズーム処理を行う電子ズーム処理回路と、を有し、
前記静止画撮影時に前記Ｎ個の領域に分割して前記映像信号処理回路での信号処理を行わせる際に、前記電子ズーム処理における拡大率をＭとしたとき、前記メモリ回路に記憶された信号をフレーム水平方向で（１／Ｍ）×Ｈとなるように切り出し、この切り出した領域に対し、前記Ｎに対応してフレーム水平方向で一部重複させて信号の連続性が保持されるように分割して読み出して信号処理を行わせることを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、静止画と動画の両方の画像を撮影するための半導体集積回路装置及び撮像装置に関し、特に、多画素撮像素子と映像信号を格納するメモリとを用いて撮影を行う技術に関する。
【背景技術】
【０００２】
静止画と動画の両方の画像を撮影可能な撮像装置としては、例えば特許文献１に記載された技術がある。特許文献１記載の技術は、撮像素子に、受光部、垂直転送部及び水平転送部を備え、垂直転送部は、垂直方向に互いに隣接した上下の受光部で得られる電荷信号を混合して出力し、かつ、水平転送部は、垂直転送部から転送されてくる垂直方向に互いに隣接する少なくとも上下２画素以上の電荷情報を混合して出力するものであり、撮像素子の駆動周波数を低減しつつ、動画及び高画質の静止画を得ることができる。
【特許文献１】特開２０００−２９５５３１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
静止画と動画の両方の画像を撮影可能な撮像装置において高解像度化を実現するにあたっては、静止画撮影時は高解像度の映像信号に対する信号処理が要求され、動画や静止画の撮影のためのモニタリング時はフレームレートすなわち撮像素子からの信号出力レートの確保が要求される。しかしながら、本発明の発明者が発明の前提技術として検討した、図７に示すような従来の撮像装置回路構成では、高解像度化に伴い、映像信号処理に必要とするラインメモリの容量が増加することとなる。ラインメモリ容量の増加によりラインメモリを含んだ半導体集積回路装置の規模の増加に繋がり、そのチップ面積や消費電力の増加が問題となる。
【０００４】
本発明は以上のような問題に鑑みてなされたものであり、その目的は、静止画と動画の両方の画像を撮影可能とするための半導体集積回路装置及びこれを含んで構成される撮像装置において、従来よりもラインメモリ容量を削減して回路規模を抑えつつ、静止画撮影時の高解像度の映像信号に対する信号処理と、モニタリング時のフレームレートの確保との両方を実現できる技術を提供することである。
【課題を解決するための手段】
【０００５】
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次のとおりである。
【０００６】
前記目的を達成するために、本発明の半導体集積回路装置は、撮像素子から出力される信号（映像信号）を記憶するメモリ回路（フレームメモリ）と、前記メモリ回路から読み出した信号あるいは前記撮像素子から出力される信号を遅延させる少なくとも１ライン以上のラインメモリと、前記ラインメモリの出力をもとに映像信号を生成する映像信号処理回路と、を具備する装置であって、前記撮像素子からの出力信号を、その１フレームの水平方向画素数をＨとしたときに（１／Ｎ）×Ｈ（Ｎは１以上の整数）になるようにリサイズ処理するサブサンプリング回路と、静止画撮影時とモニタリング時の動作切り替えを行う手段（動作モード切り替えレジスタ）と、を有し、前記ラインメモリの１ラインあたりの容量は、前記（１／Ｎ）×Ｈに対応した映像情報を保持して映像信号処理可能な分の容量であることを特徴とする。
【０００７】
また、本発明の撮像装置は、上記構成の半導体集積回路装置を内蔵して構成され、撮像素子と、前記撮像素子を駆動する撮像素子駆動回路と、を有することを特徴とする。また、本発明の撮像装置は、前記撮像素子の出力信号をＡ／Ｄ変換して前記サブサンプリング回路に入力するＡ／Ｄ回路や、モニタリング出力のための表示装置、出力信号を記憶する外部記憶装置等を更に有する構成であってもよい。
【０００８】
前記フレームメモリは、例えばＳＤＲＡＭ（Synchronous DRAM）で構成される。またフレームメモリの部分は半導体集積回路装置と別構成としてもよい。前記映像信号処理回路は、例えばカメラ信号処理回路と電子ズーム処理回路で構成される。前記（１／Ｎ）×Ｈに対応した映像情報を保持可能な分の容量とは、言い換えれば、１ラインで前記Ｈに対応した全映像情報を保持する容量に比して１／Ｎ、あるいは１／Ｌ（１＜Ｌ＜Ｎ）となる容量である。
【０００９】
モニタリングによる画角合わせは、通常、撮像素子出力に比べると画素数の少ないＬＣＤ（液晶ディスプレイ）モニタ等の表示装置を用いて行われるため、この場合は高解像度の映像信号の出力は要求されない。本発明では、前記表示装置でのモニタリング出力における水平方向画素数が、撮像装置を通じて撮影すなわち作成される静止画像の水平方向画素数Ｈに対して１／Ｎとなるシステムを前提とする。
【００１０】
本発明では、モニタリング時は、撮像素子の出力する高解像度の映像信号に対して映像信号処理を行う前に、前記サブサンプリング回路によってサンプリング処理を行うことで、前記映像信号の１フレームの水平方向画素数が、前記モニタリング出力における水平方向画素数に合わせて１／Ｎとなるようにリサイズ（サイズ変更）する。これにより、１ラインあたりの容量が前記（１／Ｎ）×Ｈに対応した分の容量を持つラインメモリを用いて、前記映像信号を一旦フレームメモリに保存せずにリアルタイムで映像信号処理を行うことができる。このような技術手段により、従来のＳＤＲＡＭを用いた撮像装置回路構成に対して少ない回路追加で撮像素子の出力信号に対する信号処理をリアルタイムに実行できる。
【００１１】
一方、静止画撮影時は、フレームレートの確保は要求されないため、映像信号処理前に一旦フレームメモリに映像信号を保存し、保存した映像信号のフレームについて水平方向にＮ個の領域に分割して、Ｎ回に分けて映像信号処理回路で映像信号処理を行う。上記フレームの分割の領域ごとにフレームメモリからデータを読み出すようにフレームメモリを制御するメモリ回路制御部（メモリコントロール）により、前記フレームメモリに保存した映像信号を水平方向にＮ分割してラインメモリから読み出し、読み出された映像信号に対して映像信号処理を行って、再びフレームメモリに書き込む処理を行う。Ｎ個の領域に分割された映像信号に対して順次に映像信号処理を行ってフレームメモリへの書き込み時に元のデータと再合成することで、映像信号処理回路で一回の処理対象となる映像信号の１ライン分のデータは前記（１／Ｎ）×Ｈの分になるため、前記１ラインあたりが（１／Ｎ）×Ｈに対応した分の容量を持つラインメモリで１フレームの映像信号が信号処理可能となる。
【００１２】
また、静止画撮影時に前記Ｎ個の領域に分割して映像信号処理回路での信号処理を行わせる際に、電子ズーム処理における拡大率をＭとしたとき、前記メモリ回路に記憶された信号をフレーム水平方向で（１／Ｍ）×Ｈとなるように切り出し、この切り出した領域に対し、前記Ｎに対応してフレーム水平方向でオーバーラップ（一部重複）させて信号の連続性が保持されるように分割して読み出して信号処理を行わせる。映像信号処理として電子ズーム処理は、フレーム水平方向に連続的な処理であり、電子ズーム出力信号を算出するにあたり水平方向に連続的に変化する係数を用いる。そのため、前記係数を保持するレジスタを電子ズーム処理回路に設けて、前記フレームメモリからのＮ個の分割での読み出しの領域を一部重複させ、前記分割の境界における電子ズーム出力信号の算出に用いた係数を前記係数保持用レジスタに保持し、次の読み出し領域に対する電子ズーム処理時に反映する。これにより前記分割の境界における連続性が再現される。
【００１３】
本発明の半導体集積回路装置及び撮像装置は、静止画撮影時の動作とモニタリング時の動作とを切り替えることで、モニタリングに必要な水平方向画素数分の映像信号に対して映像信号処理が可能な分の容量のラインメモリで、高解像度の静止画撮影とモニタリング時のフレームレート確保との両方が実現される。
【発明の効果】
【００１４】
本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。
【００１５】
本発明によれば、静止画と動画の両方の画像を撮影可能な半導体集積回路装置及びこれを含んで構成される撮像装置において、従来よりも容量が削減されたラインメモリで、回路規模を抑えつつ、静止画撮影時の高解像度の映像信号に対する信号処理と、モニタリング時のフレームレートの確保との両方を実現できる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一部には原則として同一符号を付し、その繰り返しの説明は省略する。
【００１７】
図１〜図５は、本発明の実施の形態１における撮像装置と本発明の実施の形態１における半導体集積回路装置（ＬＳＩ）の説明のための図である。図６は、本発明の実施の形態２における撮像装置と本発明の実施の形態２における半導体集積回路装置の説明のための図である。図７は、本発明の実施の形態との比較のために、本発明者が本発明の前提技術として検討した撮像装置の構成を示すブロック図であり、構成要素としてＳＤＲＡＭを使用した場合の基本的な撮像装置回路構成を示すものである。
【００１８】
（実施の形態１）
図１は、本発明の実施の形態１における撮像装置の構成を示すブロック図である。本撮像装置は、本発明の実施の形態１における半導体集積回路装置１００Ａを含んで構成される。
【００１９】
実施の形態１の撮像装置は、静止画と動画の両画像を撮影可能な処理機能を内蔵したＬＳＩ１００Ａ、撮像素子１、撮像素子駆動回路２、Ａ／Ｄ回路３、その他、図示しないＬＣＤモニタ等のモニタリング用表示装置（以下、表示装置と称する）や撮影データを記憶する外部記憶装置等を有する構成である。表示装置や外部記憶装置に関しては、撮像装置に一体化された構成でもよいし、別装置として接続される構成でもよい。ＬＳＩ１００Ａは、サブサンプリング回路４、カメラ信号処理回路５、電子ズーム処理回路６、画像圧縮回路７、出力ＩＦ（インターフェイス）８、動作モード切り替えレジスタ９、メモリコントロール１０、ＳＤＲＡＭ１１、第一のラインメモリ１２、第二のラインメモリ１３、ＳＷ（スイッチ）１４，１５を有して構成される。
【００２０】
本撮像装置は、動作モード切り替えレジスタ９によって、撮像素子駆動回路２、サブサンプリング回路４、第一のスイッチ１４及び第二のスイッチ１５の動作を切り替えることで、動作モードとしてモニタリングモードと静止画撮影モードとの切り替えを行う。モニタリングモードでは、モニタリング処理、すなわち表示装置に対し撮像素子１から所定のフレームレートを確保しつつ映像を出力する処理が行われる。静止画撮影モードでは、静止画撮影のために高解像度の映像信号を信号処理する処理が行われる。映像信号処理のための第一のラインメモリ１２と第二のラインメモリ１３は、映像信号のフレームの処理にあたりモニタリングに必要な水平方向画素数に対して信号処理を行える分の容量を持つ。
【００２１】
撮像素子１は、水平方向・垂直方向の光電変換素子で入力光の光電変換を行って映像信号を出力する多画素撮像素子である。撮像素子駆動回路２は、撮像素子１を駆動する駆動回路である。Ａ／Ｄ回路３は、撮像素子１から出力されるアナログの映像信号をアナログ／ディジタル変換（サンプリング）して出力データをＬＳＩ１００Ａのサブサンプリング回路４に入力する。
【００２２】
サブサンプリング回路４は、動作モードに応じた制御に基づき、撮像素子１からＡ／Ｄ回路３を通じて入力される映像信号データをサンプリングして１／Ｎ（Ｎは１以上の整数）にリサイズする処理を行う。サブサンプリング回路４は、リサイズ処理時には、映像信号処理回路に供給するクロックをＮ画素単位で動作停止させ、このクロックに乗せるデータを撮像素子１からの出力信号のＮ画素ごとの加算平均値に乗せ換える処理を行う。なおこれらの値Ｎは、本明細書を通じて相互に対応する値である。このサンプリング処理の詳細については後述する。
【００２３】
映像信号処理回路として、カメラ信号処理回路５と電子ズーム処理回路６を有する。カメラ信号処理回路５は、映像信号データに対してカメラ信号処理を行う。電子ズーム処理回路６は、映像信号データに対して電子ズーム処理を行う。各処理回路５，６は、それぞれに対応するラインメモリ１２，１３に格納されるデータに対し信号処理を行う。
【００２４】
第一のラインメモリ１２は、カメラ信号処理回路５におけるカメラ信号処理に用いるメモリである。第二のラインメモリ１３は、電子ズーム処理回路６における電子ズーム処理に用いるメモリである。各ラインメモリ１２，１３は、対応する処理のために、メモリコントロール１０を通じてＳＤＲＡＭ１１から分割して読み出されるフレームのデータを記憶する。
【００２５】
画像圧縮回路７は、ＳＤＲＡＭ１１からの映像データを所定の画像圧縮方式により画像圧縮して出力する処理を行う。出力ＩＦ８は、ＬＳＩ１００Ａの外部に映像（静止画像と動画像を含む）データを出力するインターフェイスであり、例えば前記表示装置が接続される。
【００２６】
メモリコントロール１０は、ＳＤＲＡＭ１１への映像データのリード／ライト等のアクセスを制御するメモリ回路制御部である。メモリコントロール１０は、特に、後述するフレームの分割処理においてＳＤＲＡＭ１１から分割範囲ごとにデータを読み出すようにＳＤＲＡＭ１１を制御する。ＳＤＲＡＭ１１は、撮像素子１からの映像データを記憶するフレームメモリであり、容量としては撮像素子１が出力するフレームを基準としてそのフルサイズの２フレーム分の画像データを蓄積できる分の容量を持つ。ＳＤＲＡＭ１１には、サブサンプリング回路４からスイッチ１４を通じて入力される映像データがフレーム単位で書き込まれ、あるいは、映像信号処理回路での信号処理後のデータがスイッチ１５を通じて入力され書き込まれる。また、ＳＤＲＡＭ１１から、映像信号処理回路及びそのラインメモリ１２，１３に対しフレームのデータが分割して読み出され、あるいは、画像圧縮回路７を通じて出力ＩＦ８に読み出される。
【００２７】
次に、本撮像装置及びＬＳＩ１００Ａの動作について、まず、静止画撮影のための画角合わせの際に使用するモニタリング時の動作すなわちモニタリングモードについて説明する。撮像装置特にＬＳＩ１００Ａは、モニタリング時には、動作モード切り替えレジスタ９を用いて、スイッチ１４がサブサンプリング回路４でのサブサンプリング処理後の映像信号データを直接カメラ信号処理回路５に入力するように設定し、かつ、スイッチ１５が電子ズーム信号処理回路６の出力信号をそのまま出力ＩＦ８に出力するように設定する。
【００２８】
本撮像装置及びＬＳＩ１００Ａでは、静止画撮影時に撮影される静止画像のフレームの水平方向画素数Ｈに対して、モニタリング時に必要な映像信号のフレームの水平方向画素数を（１／Ｎ）×Ｈとすることが前提である。この前提のもと、モニタリング時には、撮像素子１の出力する映像信号を、サブサンプリング回路４により、フレーム水平方向に（１／Ｎ）×Ｈにリサイズを行う。これにより処理対象フレームの水平方向画素数が１／Ｎになることから、カメラ信号処理に必要なラインメモリ１２と電子ズーム処理に必要なラインメモリ１３の容量が、図７に示す撮像装置回路構成で必要な各ラインメモリ１２Ｃ，１３Ｃの容量に比べると１／Ｎの容量で済むこととなる。カメラ信号処理回路５等での信号処理後の出力信号は、出力ＩＦ８から表示装置に出力される。上記動作により、リアルタイムに、所定のフレームレートを確保しながらモニタリングのための信号処理を実行できる。フレーム垂直方向のサンプリングについては撮像素子駆動回路２において制御する。
【００２９】
ラインメモリ１２，１３の容量は、１ラインあたり、前記フレームの水平方向画素数Ｈに対して前記（１／Ｎ）×Ｈとなる分の容量としてもよいし、あるいは、それより多く（１／Ｌ）×Ｈ（１＜Ｌ＜Ｎ）となる容量としてもよい。
【００３０】
前記図７は、高解像度の静止画撮影とモニタリングとを両方処理するための基本的な撮像装置回路構成例であるが、この場合、ラインメモリ１２Ｃ，１３Ｃは、撮像素子１Ｃから出力される映像信号のフレームの水平方向画素数Ｈに対応して、１ラインあたりに前記Ｈに対応する全映像情報（画素情報）を保持する分の容量を持つ構成である。カメラ信号処理回路５Ｃ等での映像信号処理後の出力信号は、静止画撮影時はＳＤＲＡＭ１１Ｃに格納され、またモニタリング時はそのまま出力ＩＦ８Ｃから出力される。
【００３１】
次に、図２に示す実施の形態１の撮像装置及びＬＳＩ１００Ａでのサブサンプリング処理についての説明図を参照して、サブサンプリング回路４のサンプリング方式について、そのサンプリング率が１／２（すなわち前記Ｎが２）の場合の例を用いて説明する。図２の（１）は、撮像素子１の出力を示す。（２）は、撮像素子１の出力についての二成分の分離後の出力を示す。（３）は、更にその内挿補完後の出力について示す。（４）は、更にその平均値算出後の出力について示す。（５）は、サブサンプリング回路４のサンプリング出力について示す。
【００３２】
撮像素子１として想定する補色ＣＣＤ（電荷結合素子）及び原色ＣＣＤの出力は、（１）に示すように１ラインに二成分（図中におけるＡとＢの各系列）が交互に出力されるため、（２）に示すようにその二成分を分離して、分離した成分ごとに後にサンプリングを行う。サブサンプリング回路４で前記１／Ｎにリサイズするためのサンプリングを行う際、単純にＮ個の画素ごとに１画素を出力するだけでは信号の連続性が失われ、モアレ発生の原因となるため、周辺画素の平均値をサンプリングデータとして出力する。ここで（３）に示すように、内挿補完処理として、前記分離した二成分に対し、各成分の抜けた部分において隣り合う同成分のデータの平均値を補間する。例えば画素値Ａ１とＡ３の間にその平均値「Ａ２'」が補完される。そしてこれを用いて、（４）に示すように、リサイズにおけるサンプリング率に応じて、周辺画素の平均値を算出する。例えばサンプリング率が１／２であることに応じて四個の画素値｛Ａ１，Ａ２'，Ａ３，Ａ４'｝の平均値「Ａ１"」が算出される。これにより、更にモアレ発生を防ぐ効果が高くなる。そして（５）に示すように、前記算出した二成分の平均値を１ラインで交互に出力することでサンプリング出力を得る。ここではサンプリング率が１／２なので、データが元の撮像素子１の出力の１／２にリサイズされている。
【００３３】
次に、本撮像装置及びＬＳＩ１００Ａの動作として、静止画撮影時の動作すなわち静止画撮影モードについて説明する。静止画撮影の処理時は、高解像度の映像信号を用いるため撮像素子１の出力信号のリサイズが必要ないので、サブサンプリング回路４でサブサンプリングを行わない。従って、撮像装置特にＬＳＩ１００Ａは、動作モード切り替えレジスタ９を通じて、サブサンプリング回路４に入力された映像信号に対しサンプリング処理を行わずそのまま出力するように設定する。また動作モード切り替えレジスタ９を通じて、スイッチ１４がサブサンプリング回路４の出力信号をＳＤＲＡＭ１１側に送るように設定し、スイッチ１５が映像信号処理回路での信号処理後の出力信号をＳＤＲＡＭ１１側に送るように設定する。上記設定に基づく動作により、撮像素子１からの１フレーム単位の出力信号が、メモリコントロール１０を通じてＳＤＲＡＭ１１に一旦保存される。
【００３４】
そして、次の処理段階では、撮像装置特にＬＳＩ１００Ａは、ＳＤＲＡＭ１１に保存されたフレームについて、水平方向に所定枚数に分割して読み出して映像信号処理を行ってＳＤＲＡＭ１１に再保存する。この分割数をＮとする。これにより、カメラ信号処理回路５等で処理対象となる映像データの水平方向画素数が元の撮像素子１の出力するフレームに対して１／Ｎとなるため、ラインメモリ１２，１３では、図７の回路構成の場合と比較して１ラインにおけるワード長を１／Ｎに削減したメモリ容量で信号処理を実行できる。前記Ｎ枚に分割されたフレームの領域のそれぞれに対して順次、カメラ信号処理回路５及び電子ズーム処理回路６で信号処理を行い、処理後のデータについてＳＤＲＡＭ１１への書き込み時に分割前のフレームと再合成する。上記分割処理により１フレームにおける全画素に対して信号処理を行うことができ高解像度の静止画撮影処理を達成できる。
【００３５】
次に、図３、図４を参照して、前記分割処理を行う際のＳＤＲＡＭ１１に対するフレームのデータの読み出し及び書き込みの方式についてより詳細に説明する。図３は、前記フレームの分割時のＳＤＲＡＭ１１からのデータの読み出しの方式について示す説明図である。１６は、撮像素子出力データ領域、１７は電子ズーム処理のための切り出し範囲、１８〜２０は分割時の読み出し範囲、２１は分割時の読み出し順序を示す。
【００３６】
１６の実線の領域は、ＳＤＲＡＭ１１に格納される、撮像素子１からの１フレームのフルサイズ（全画素）の出力データを表わし、その水平方向画素数がＨで表わされる。１７の実線の領域は、前記１フレーム分の出力データの領域１６において、電子ズーム処理のための切り出し範囲を表わす。この切り出し範囲は、電子ズーム処理回路６での電子ズーム処理における拡大率をＭとしたときに、水平方向画素数が（１／Ｍ）×Ｈになる。領域１７を破線で分割したうちの１８の領域は、前記切り出し範囲を前記分割処理により水平方向にＮ枚に分割したときの１枚目の読み出し範囲を示す。同様に１９の領域は２枚目の読み出し範囲を、２０の領域はＮ枚目の読み出し範囲を示す。各読み出し範囲１８〜２０の水平方向画素数は、前記切り出し範囲となる領域１７を水平方向にＮ分割したものであるので、（１／Ｍ・Ｎ）×Ｈとなる。また２１の矢印は、前記１枚目の読み出し範囲１８におけるデータの読み出しの順序を示し、この順序で前記各読み出し範囲ごとに信号処理が行われる。すなわち各読み出し範囲において水平方向の分割された１ラインのデータについて処理され垂直方向の次の分割された１ラインについて処理される。
【００３７】
図４は、前記図３のようにＳＤＲＡＭ１１から分割して読み出した映像データに対して信号処理を行った後の出力信号についてのＳＤＲＡＭ１１への書き込みの方式について示す説明図である。１７ｂは電子ズーム処理のための切り出し範囲１７に対応したＳＤＲＡＭ１１への書き込み範囲、２２〜２４は分割時の書き込み範囲、２５は分割時の書き込み順序をそれぞれ示す。１７ｂの実線の領域は、前記図３に示したＳＤＲＡＭ１１からの切り出し範囲となった領域に対応し、この領域についてＳＤＲＡＭ１１における信号処理前のフレームの格納領域に対し書き込みすなわち再合成がなされる。領域１７ｂを破線で分割したうちの２２の領域は、前記分割された１枚目の読み出し範囲に対応する信号処理出力のＳＤＲＡＭ１１への書き込み範囲を示す。同様に、２３の領域は２枚目の書き込み範囲を、２４の領域はＮ枚目の書き込み範囲を示す。各書き込み範囲２２〜２４の水平方向画素数は、読み出し及び信号処理前の１フレームを水平方向にＮ分割したものであるので、（１／Ｎ）×Ｈとなる。また２５の矢印は、前記１枚目の書き込み範囲におけるデータの書き込みの順序を示し、この順序で前記各書き込み範囲ごとにＳＤＲＡＭ１１への書き込みが行われる。
【００３８】
前記分割処理では、まずＳＤＲＡＭ１１から前記図３に示した分割した１枚目の読み出し範囲１８を読み出してラインメモリ１２，１３に格納しつつこのデータに対してカメラ信号処理回路５、電子ズーム処理回路６で各信号処理を行った後、再びＳＤＲＡＭ１１における前記図４に示した１枚目の書き込み範囲２２に対し書き込みが行われる。次に前記２枚目の読み出し範囲１９以降に対する信号処理を同様に行う。その際、フレームにおける分割の境界における連続性の再現のために、本撮像装置及びＬＳＩ１００Ａは、前記図３に示す領域１８と領域１９のように、データを水平方向でオーバーラップ（一部重複）してＳＤＲＡＭ１１から読み出して処理を行う。
【００３９】
映像信号処理として電子ズーム処理は、フレームの水平方向に連続的な処理であり、電子ズーム出力信号を算出するにあたり水平方向に連続的に変化する係数を用いる。このとき、前記ＳＤＲＡＭ１１からのＮ分割された読み出し範囲を前記ようにオーバーラップさせるが、オーバーラップさせて単に信号処理するだけでは前記フレームの分割の境界における連続性については再現できない。そのため、電子ズーム処理回路６に前記電子ズーム出力信号を算出するためのフレーム水平方向に連続的に変化する係数を保持する図示しない係数保持用レジスタを設ける。前記フレームの分割の境界における電子ズーム出力信号の算出に用いた係数をこの係数保持用レジスタに保持し、次の分割された読み出し範囲に対する電子ズーム処理時に反映する。これにより前記フレームの分割の境界における連続性が再現される。
【００４０】
このように静止画撮影モードでは、ＳＤＲＡＭ１１に一旦保存したフレームについて、Ｎ枚に分割した映像信号データを単位として、順次、読み出し、映像信号処理、及び書き込みを行うこと、すなわちＮ回に分けた信号処理により、１フレーム全体に対する信号処理が完了する。
【００４１】
図５は、本撮像装置及びＬＳＩ１００Ａにおける静止画撮影モード時の動作シーケンスを示す。図５の（１）は、撮像素子１の出力する垂直同期信号、（２）は、ＬＳＩ１００Ａ内部で生成する内部生成垂直同期信号、（３）は、動作シーケンスを示す。（１）の垂直同期信号の周期は、撮像素子１が１フレームの映像信号を出力する周期である。（２）の内部生成垂直同期信号は、撮像素子１の垂直同期信号をもとにＬＳＩ１００Ａで生成される。前記内部生成垂直同期信号は、前記フレームの分割処理を用いた映像信号処理のシーケンス時は、前記と同様に分割数をＮとすると前記垂直同期信号の周期に対して１／Ｎの周期とする。（３）に示す動作シーケンスにおける各処理は、前記内部生成垂直同期信号に同期して動作させる。
【００４２】
まず、前記垂直同期信号の１周期目において撮像素子１の出力する１フレーム分の映像信号をＳＤＲＡＭ１１に保存する。次に前記垂直同期信号の２周期目では、垂直同期信号をＮ分割した内部生成垂直同期信号の各周期において、それぞれの信号処理（＃１〜＃Ｎ）を行う。すなわち、１回の信号処理＃１において、ＳＤＲＡＭ１１からのフレームの分割読み出し、映像信号処理（すなわち前記カメラ信号処理及び電子ズーム処理）、及びＳＤＲＡＭ１１への分割書き込みをセットで行う。この信号処理をＮ回行って１フレーム分の映像信号処理を完了した後、次に前記垂直同期信号の３周期目で、ＳＤＲＡＭ１１から前記１フレーム分の映像信号処理後の映像信号データを読み出して、画像圧縮処理回路７により画像圧縮処理してから、撮影された静止画像として出力ＩＦ８を介して外部の装置に出力する。これにより例えば外部装置として外部記憶装置を通じて記憶媒体に、前記撮影された静止画像が記録される。このように、リアルタイムのモニタリングモードと比して、３フレームに対し１フレームとなるフレームレートで高解像度の静止画像が作成できる。
【００４３】
以上のような構成及び処理方式により、本撮像装置及びＬＳＩ１００Ａでは、モニタリング時と静止画撮影時の動作を動作モード切り替えレジスタ９で切り替えて処理を行うことで、映像信号処理に用いるラインメモリ１２，１３については、モニタリングに必要な水平方向画素数の映像信号に対応して映像信号処理が可能な分の容量すなわち図７のような従来回路構成に対して１ラインあたり１／Ｎとなる少ない容量のラインメモリの構成において、高解像度の静止画撮影と所定のフレームレートを確保したリアルタイムのモニタリングとの両方が実現できる。
【００４４】
（実施の形態２）
次に、他の実施の形態について説明する。図６は、本発明の実施の形態２における撮像装置の構成を示すブロック図である。本撮像装置は、本発明の実施の形態２における半導体集積回路装置１００Ｂを含んで構成される。
【００４５】
本実施の形態２は、前記図１に示した実施の形態１に対し、前記カメラ信号処理に用いるラインメモリ１２と電子ズーム処理に用いるラインメモリ１３とを共有化したラインメモリである共有ラインメモリ６０を設けた構成である。実施の形態２のＬＳＩ１００Ｂは、共有ラインメモリ６０、カメラ信号処理回路５Ｂと電子ズーム処理回路６Ｂ、動作モード切り替えレジスタ９Ｂ等を有し、その他部分は実施の形態１とほぼ同様の構成である。映像信号処理のために用いるラインメモリを共有ラインメモリ６０のみとすることで、実施の形態１よりも更なるラインメモリ容量の削減を図った構成である。
【００４６】
本実施の形態２の撮像装置及びＬＳＩ１００Ｂにおいても、前記実施の形態１と同様にモニタリングモードと静止画撮影モードの切り替え制御を動作モード切り替えレジスタ９Ｂにより行い、静止画撮影時には実施の形態１と同様にフレームの分割処理を用いる。共有ラインメモリ６０の容量は、前記（１／Ｎ）×Ｈとなる分の容量である。これにより、前記二つのラインメモリ１２，１３の総容量よりも削減された容量の共有ラインメモリ６０による高解像度の静止画撮影を実現できる。ただし、実施の形態２ではカメラ信号処理と電子ズーム処理を前記５の（３）に示したような同タイミングでは行えないため、静止画撮影時・モニタリング時ともに、電子ズーム処理回路６Ｂでの電子ズーム処理の前にカメラ信号処理回路５ＢからＳＤＲＡＭ１１に一旦データを保存する処理を行う必要がある。メモリコントロール１０Ｂは、カメラ信号処理回路５Ｂからの要求に基づきＳＤＲＡＭ１１Ｂにカメラ信号処理後のデータを格納し、また次のタイミングではそのデータを読み出して電子ズーム処理回路６Ｂに供給する動作を行う。実施の形態２では、従って、ラインメモリ容量を削減できる分、フレームレートが落ちることとなる。具体的には、静止画撮影時には４枚のフレームに対し１枚のフレームとなるフレームレートで静止画像が作成可能となり、一方、モニタリング時には２枚のフレームに対し１枚のフレームとなるフレームレートを確保してモニタリング出力が可能となりこれは撮像素子１の出力レートの１／２となる。
【００４７】
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることは言うまでもない。
【産業上の利用可能性】
【００４８】
本発明は、デジタルビデオカメラ、デジタルスチルカメラ、カメラ付き携帯電話等の各種撮像装置に利用可能である。
【図面の簡単な説明】
【００４９】
【図１】本発明の実施の形態１における撮像装置の構成を示すブロック図である。
【図２】（１）〜（５）は、本発明の実施の形態１における撮像装置及び半導体集積回路装置でのサブサンプリング処理についての説明図である。
【図３】本発明の実施の形態１における撮像装置及び半導体集積回路装置でのＳＤＲＡＭからの映像信号の分割読み出しについての説明図である。
【図４】本発明の実施の形態１における撮像装置及び半導体集積回路装置でのＳＤＲＡＭへの映像信号の分割書き込みについての説明図である。
【図５】（１）〜（３）は、本発明の実施の形態１における撮像装置及び半導体集積回路装置での静止画撮影時の動作シーケンスを示す図である。
【図６】本発明の実施の形態２における撮像装置の構成を示すブロック図である。
【図７】本発明の実施の形態との比較のために、本発明の前提技術として検討した従来の撮像装置回路構成を示すブロック図である。
【符号の説明】
【００５０】
１…撮像素子、２…撮像素子駆動回路、３…Ａ／Ｄ回路、４…サブサンプリング回路、５…カメラ信号処理回路、６…電子ズーム処理回路、７…画像圧縮回路、８…出力ＩＦ、９…動作モード切り替えレジスタ、１０…メモリコントロール、１１…ＳＤＲＡＭ、１２…ラインメモリ、１３…ラインメモリ、１４，１５…スイッチ、１６…撮像素子出力データ領域、１７…切り出し範囲、１７ｂ…切り出し範囲に対応する書き込み範囲、１８〜２０…分割時の読み出し範囲、２１…分割時の読み出し順序、２２〜２４…分割時の書き込み範囲、２５…分割時の書き込み順序、６０…共有ラインメモリ。
【図１】
2006005596.tif 000003
【図２】
2006005596.tif 000004
【図３】
2006005596.tif 000005
【図４】
2006005596.tif 000006
【図５】
2006005596.tif 000007
【図６】
2006005596.tif 000008
【図７】
2006005596.tif 000009