(57)【特許請求の範囲】
【請求項１】
垂直転送パルスおよび水平転送パルスを出力するタイミングジェネレータと、
露光期間中に光電変換素子に蓄積された信号電荷を前記垂直転送パルスおよび水平転送パルスに基づいて出力するＣＣＤ固体撮像素子と、
行および列方向に記憶領域を配し前記ＣＣＤ固体撮像素子の出力データが書き込まれるメモリと、
前記メモリから読み出されたデータを入力し、符号化処理用の輝度信号および色差信号を生成するＹ／Ｃ処理手段と、
前記Ｙ／Ｃ処理手段で生成された輝度信号および色差信号に対し符号化処理を行い、符号化信号を出力する符号化手段と、
前記符号化手段の符号化処理の負荷に応じて読出し停止信号を出力する読出し停止信号発生手段と、
前記ＣＣＤ固体撮像素子の出力データを行方向に順次前記メモリへ書込み、前記メモリから所定の複数行にまたがりかつ所定の列幅のブロック単位でデータを読出し前記Ｙ／Ｃ処理手段へ出力するとともに、前記読出し停止信号発生手段からの読出し停止信号に応答して前記メモリからの読出しを停止するメモリコントローラとを備えた撮像装置であって、
前記メモリコントローラは、前記メモリの書込みと読出しの並列処理を行い、前記メモリから読み出す対象となるブロック単位のデータに含まれた行の書込みが完了していないときは読出しを停止し、前記書込みが完了すると読出しを開始し、前記メモリへの書込みを行う際に前記記憶領域の最終行の次は開始行に戻って書込みを行い、次に前記メモリの書込みの対象となる行を含む書込み済のブロック単位のデータの読出しが完了していないときはタイミングジェネレータの垂直転送パルスを停止させ、前記読出しが完了すると前記垂直転送パルスの停止を解除させることを特徴とする撮像装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ＣＣＤ固体撮像素子の出力信号からＪＰＥＧ符号化信号を生成する撮像装置に関するものである。
【０００２】
【従来の技術】
近年、デジタルスチルカメラの業界では、ＣＣＤ固体撮像素子の高画素化に伴う高画素画像の高速ＪＰＥＧ符号化処理と、デジタルスチルカメラについても銀塩カメラと同様の連写機能の需要が高まってきている。また、連写機能を連写枚数を増やしかつ高速に処理を行おうとすると、システム中の連写枚数に比例したメモリ領域が必要になるということが、課題となりつつある。
【０００３】
以下、従来の撮像装置の構成について説明する。図１５は従来の撮像装置におけるＣＣＤ固体撮像素子の出力信号からＪＰＥＧ符号化信号を生成するための処理のブロック図を示すものである。図１５において、１０１はタイミングジェネレータ、１０２はＣＣＤ固体撮像素子、１０３は相関二重サンプリング回路、１０４はＡ／Ｄ変換回路、２００はメモリコントローラ、３００はＤＲＡＭ等のメモリ、４００はＹ／Ｃ信号生成部（以下「Ｙ／Ｃ処理部」という）、５００はＪＰＥＧ圧縮／伸張処理部（以下「ＪＰＥＧ処理部」という）、５０１はＪＰＥＧブロック読出し制御部である。また、メモリコントローラ２００は、メモリ書込み用コントローラ２０１とメモリ読出し用コントローラ２０２とで構成されている。
【０００４】
以上のように構成された従来の撮像装置において、ＣＣＤ固体撮像素子１０２の出力信号からＪＰＥＧ符号化信号を生成する動作を説明する。
【０００５】
まず、ＣＣＤ固体撮像素子１０２中の垂直転送ＣＣＤ・水平転送ＣＣＤは、タイミングジェネレータ１０１の垂直転送パルス・水平転送パルスにより連続的に駆動している。タイミングジェネレータ１０１から出力される水平転送パルスはＣＣＤ固体撮像素子１０２に直接入力されるが、垂直転送パルスはＶドライバ１０５でＨｉｇｈレベル変換が行われてＣＣＤ固体撮像素子１０２に入力される。また、タイミングジェネレータ１０１は、銀塩カメラでいうシャッターのような外部入力信号である「取込み命令信号」を受付けると、所定のシャッタースピードに相当する露光期間終了後にフォトダイオード読出しパルス（以下「ＰＤ読出しパルス」という）７をＶドライバ１０５へ出力する。したがって、タイミングジェネレータ１０１は、取込み命令信号を受付けるとＶドライバ１０５に対しＰＤ読出しパルス７と垂直転送パルスを出力する。Ｖドライバ１０５では、垂直転送パルスとＰＤ読出しパルス７とを合成してＣＣＤ固体撮像素子１０２へ出力する。
【０００６】
ＣＣＤ固体撮像素子１０２の構成を図１６に示す。ＣＣＤ固体撮像素子１０２は、Ｖドライバ１０５からＰＤ読出しパルス７（垂直転送パルスに重畳されている）を受付けると、各フォトダイオード２から画素電荷を垂直転送ＣＣＤ１に移動し、Ｖドライバ１０５からの垂直転送パルス６により、順次、最終行下にある水平転送ＣＣＤ３に送られる。その後、水平転送ＣＣＤ３に送られた水平１行分の電荷は、タイミングジェネレータ１０１からの水平転送パルス５により、順次、電荷検出回路４に送られ、一画素分の電荷が電位信号に変換され出力される。水平転送ＣＣＤ３により水平１行分の電荷がすべて電荷検出回路４に送られ電位信号に変換されると、水平転送ＣＣＤ３に隣接する垂直転送ＣＣＤ１にある電荷が水平転送ＣＣＤ３に送られる。この動作を繰り返し、一画面を構成する画素の電荷信号を電位信号に変換し出力する。
【０００７】
ＣＣＤ固体撮像素子１０２から出力された画素電位信号は相関二重サンプリング回路１０３に入力されノイズリダクションされて出力され、Ａ／Ｄ変換回路１０４により量子化された画素信号となって出力される。その後、メモリコントローラ２００内のメモリ書込み用コントローラ２０１に出力される。
【０００８】
図１７のメモリ３００内の矢印で示すように、メモリ書込み用コントローラ２０１に出力された画素信号は、メモリ書込み開始アドレスから順に書き込まれる。画素データがメモリ３００に書き込まれる位置は、ＣＣＤ固体撮像素子１０２の画素の位置関係と同様に、水平一行分の書込みが終了すると、垂直位置を変え、再び水平位置を開始位置に戻し、水平一行分を書き込むという書込み順序に従う。この書込み処理を、一画面分の全画像データがメモリ３００に展開し尽くすまで行う。
【０００９】
なお、ＪＰＥＧ符号化を行う最小単位ブロックは、図１９（Ｂ）のように、輝度信号Ｙが１６〔画素〕×１６〔画素〕、色差信号Ｃｒ・ＣｂがＭ’〔画素〕×Ｎ’〔画素〕のブロックである。その最小単位ブロックの信号は、メモリ３００中のベイヤ配列画素信号または補色配列画素信号をＹ／Ｃ処理部４００に入力し生成するが、それを生成するのに必要な図１９（Ａ）で示されるメモリ３００上のＹＣ処理読出しブロックのサイズ（Ｍ〔画素〕×Ｎ〔画素〕）はＹ／Ｃ処理方式で用いるブロック空間フィルタにより異なる。
【００１０】
メモリ３００中に一画面分の全画像データがメモリ書込み処理により書きこまれると、メモリコントローラ２００中のメモリ読出し用コントローラ２０２により、図１８のメモリ３００内の四角形（ブロック）で示すように、ＹＣ処理読出しブロック単位で読み出され、Ｙ／Ｃ処理部４００に出力し輝度信号Ｙと色差信号Ｃｒ・Ｃｂを生成し、その信号をＪＰＥＧ処理部５００へ出力し、ＪＰＥＧ処理部５００内にＪＰＥＧ処理ブロック単位の輝度信号Ｙ（１６〔画素〕×１６〔画素〕）と色差信号Ｃｒ・Ｃｂ（形式により異なる）が蓄積されると、ＪＰＥＧ処理部５００は符号化処理を開始し、符号化信号を出力する。
【００１１】
ただし、ＪＰＥＧ処理部５００の符号化処理に要する時間はＪＰＥＧ処理ブロック単位の輝度信号と色差信号の内容によって異なる。そのため、ＪＰＥＧ処理部５００の符号化処理の負荷に応じてメモリ読出し用コントローラ２０２に対して読出し処理を停止するようにＪＰＥＧブロック読出し制御部５０１が停止信号を発生する。メモリ読出し用コントローラ２０２はその停止信号を受付けるとメモリ３００からの読出し処理の一時停止を行う。しかし、メモリ３００からの読出し処理のＹＣ処理読出しブロックは、読み出したブロックに対するＹ／Ｃ処理が終了するたびに水平移動し、水平方向に処理対象のブロックがなくなるとＹＣ処理読出しブロックの垂直サイズ分垂直方向に移動し、水平方向は元のアドレスに戻る。このようにＹＣ処理読出しブロックは、一画面の処理が終わるまで、そのＹ／Ｃ処理が終了すると直ちに移動し続ける。このようにして、ＪＰＥＧ処理もブロック単位で連続して行われる。
【００１２】
【発明が解決しようとする課題】
上記従来の構成によれば、メモリ３００中に一画面分の全画像データの書込みが完了した後に、読出し処理が開始されるため、ＣＣＤ固体撮像素子１０２の出力信号からＪＰＥＧ符号化信号を生成するまでの処理時間が長くかかるという問題があった。
【００１３】
ここで、メモリ３００に対する書込み処理と読出し処理とを並列に行うと仮定する。図１３の（Ａ）の最初の「一画面の処理」のタイミングで示すように並列に行うとすると、図２０のように、書込み処理が完了していない領域に対して読出し処理を行ってしまうという可能性があった。
【００１４】
さらに、メモリ３００において、画像展開用の領域を一画面未満のサイズにし、かつ、メモリ３００に対する書込み処理と読出し処理とを並列に行うと仮定すると、以下の（１），（２）の点から読出し処理が完了していない領域に書込み処理のデータが上書きされてしまう可能性があった。
【００１５】
（１）ＣＣＤ固体撮像素子１０２は、タイミングジェネレータ１０１からＶドライバ１０５を介してＰＤ読出しパルス７を受けると、ＣＣＤ水平転送パルス５およびＣＣＤ垂直転送パルス６が常に駆動しているため、一画面分の有効画素データの出力を終えるまでは、その出力途中で停止することはできない。
【００１６】
（２）ＪＰＥＧ処理部５００は入力されたＹＣ処理読出しブロック中のデータの情報量によって処理時間が異なる。
【００１７】
この場合、例えば、図２１のように、メモリ３００の全領域が一画面分に相当するものであれば、それよりも狭い領域を画像展開用の領域とし、書込み処理は、画像展開用の領域内で、書込み開始点から順次書き込まれ、書込み終点の書込み処理を終了すると書込み開始点に戻り、一画面分のデータが順次書き込まれる。また、読出し処理は、図２２のように、ＹＣ処理読出しブロック単位で読み出され、画像展開用の領域内における読出し最終ブロックの読出し処理が終了すると、読出し開始ブロックに戻り、一画面分のデータを順次ブロックごとに読み出す。この図２０と図２１に示す処理を、図１３の（Ａ）の最初の「一画面の処理」のタイミングで示すように並列に行うとすると、図２３のように、書込み処理のデータが読出し処理を行っているＹＣ処理読出しブロック上に上書きされてしまう可能性があった。したがって、従来の構成では、メモリ３００の画像展開用の領域を一画面未満のサイズにし、かつ、読み書き並列処理を行うことはできなかった。
【００１８】
本発明の目的は、ＣＣＤ固体撮像素子の出力信号から符号化信号を生成するまでの処理時間を短縮し高速処理が可能となる撮像装置を提供することである。
【００１９】
さらに本発明の他の目的は、メモリの記憶領域を小さくできる撮像装置を提供することである。
【００２０】
【課題を解決するための手段】
請求項１記載の撮像装置は、垂直転送パルスおよび水平転送パルスを出力するタイミングジェネレータと、フォトダイオード（光電変換素子）の露光期間に蓄積された電荷を垂直転送パルスおよび水平転送パルスに基づいて出力するＣＣＤ固体撮像素子と、行および列方向に記憶領域を配しＣＣＤ固体撮像素子の出力データが書き込まれるメモリと、メモリから読み出されたデータを入力し、符号化処理用の輝度信号および色差信号を生成するＹ／Ｃ処理手段と、Ｙ／Ｃ処理手段で生成された輝度信号および色差信号に対し符号化処理を行い、符号化信号を出力する符号化手段と、記号化手段の符号化処理の負荷に応じて読出し停止信号を出力する読出し停止信号発生手段と、ＣＣＤ固体撮像素子の出力データを行方向に順次メモリへ書込み、メモリから所定の複数行にまたがりかつ所定の列幅のブロック単位でデータを読出しＹ／Ｃ処理手段へ出力するとともに、読出し停止信号発生手段からの読出し停止信号に応答してメモリからの読出しを停止するメモリコントローラとを備えた撮像装置であって、メモリコントローラは、メモリの書込みと読出しの並列処理を行い、メモリから読み出す対象となるブロック単位のデータに含まれた行の書込みが完了していないときは読出しを停止し、書込みが完了すると読出しを開始し、メモリへの書込みを行う際に記憶領域の最終行の次は開始行に戻って書込みを行い、次にメモリの書込みの対象となる行を含む書込み済のブロック単位のデータの読出しが完了していないときはタイミングジェネレータの垂直転送パルスを停止させ、読出しが完了すると垂直転送パルスの停止を解除させることを特徴とする。
【００２１】
この構成によれば、メモリの書込みと読出しの並列処理を行うことにより、ＣＣＤ固体撮像素子の出力データから符号化信号を生成するまでの処理時間を短縮できる。また、その場合に、メモリから読み出す対象となるブロック単位のデータに含まれた行の書込みが完了していないときは読出しを停止することにより、メモリの書込み処理が完了していない領域に対して読出し処理を行うことを防止できる。
【００２３】
また、ＣＣＤ固体撮像素子の出力データを記憶するメモリの記憶領域を小さくすることができる。また、その場合に、次にメモリの書込みの対象となる行を含む書込み済のブロック単位のデータの読出しが完了していないときはタイミングジェネレータの垂直転送パルスを停止させることにより、実質的にＣＣＤ固体撮像素子の出力を停止し、メモリの読出し処理が完了していない領域への上書きを防止することができる。
【００２４】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照しながら説明する。図１は本発明の実施の形態の撮像装置におけるＣＣＤ固体撮像素子の出力信号からＪＰＥＧ符号化信号を生成するまでの構成を示すブロック図を示すものである。図１において、６０１は垂直転送パルス停止機能を内蔵したタイミングジェネレータ、６０２は被写体に対応したデータを画素の電位信号として出力するＣＣＤ固体撮像素子、６０３は二重相関サンプリング回路、６０４はＡ／Ｄ変換回路、７００はメモリコントローラ、８００はＤＲＡＭ等のメモリ、９００はＹ／Ｃ処理手段であるＹ／Ｃ信号生成部（以下「Ｙ／Ｃ処理部」という）、１０００は符号化手段であるＪＰＥＧ圧縮／伸張処理部（以下「ＪＰＥＧ処理部」という）、１００１は読出し停止信号発生手段であるＪＰＥＧブロック読出し制御部である。
【００２５】
本実施の形態では、メモリコントローラ７００に、メモリ書込み用コントローラ７０１およびメモリ読出し用コントローラ７０２に加え、停止制御コントローラ７０３を設けている。
【００２６】
停止制御コントローラ７０３は、ＪＰＥＧブロック読出し制御部１００１からＪＰＥＧ処理部１０００の符号化処理の負荷に応じて出力される停止信号を入力し、その停止信号に応答してメモリ読出し用コントローラ７０２に読出し処理を停止させる。
【００２７】
また、停止制御コントローラ７０３は、メモリ書込み用コントローラ７０１が書込み処理を行う実行アドレスと、メモリ読出し用コントローラ７０２が読出し処理を行うＹＣ処理読出しブロック（Ｍ〔画素〕×Ｎ〔画素〕）の実行領域とを管理し、メモリ書込み用コントローラ７０１に書込み処理を行う実行アドレスと、メモリ読出し用コントローラ７０２に読出し処理を行う実行領域とを指示する。そして、ＪＰＥＧブロック読出し制御部１００１からの停止信号の有無にかかわらず、読み出す対象となるＹＣ処理読出しブロックを含む読出しブロック最小行領域分のメモリ書込み処理が完了するまでは、メモリ読出し用コントローラ７０２に対して停止信号を発し、メモリ読出し処理を停止する。ここで、図２に示すような、メモリ８００内において、縦がＭ画素で、横がＣＣＤ固体撮像素子６０２の生成する画像の水平有効画素サイズｌの領域を、読出しブロック最小行領域と呼ぶことにする。▲１▼，▲２▼・・・はＹＣ処理読出しブロックを示す。
【００２８】
さらに、停止制御コントローラ７０３は、メモリ８００に書込み処理が行われている場合に、次に書込み処理の対象となる行を含む書込み済のＹＣ処理読出しブロックの読出し処理が完了していないとき、その読出し処理が完了するまでタイミングジェネレータ６０１へ垂直転送パルスを停止させる信号を発する。
【００２９】
そして、タイミングジェネレータ６０１は、停止制御コントローラ７０３からの垂直転送パルス停止信号を入力する端子を設けてあり、停止制御コントローラ７０３からの信号に応答して垂直転送パルスを一時停止することができ、これにより、ＣＣＤ固体撮像素子６０２の電荷の垂直転送を停止でき、水平転送ＣＣＤへの転送を一時停止する。一時停止直前の水平一行分の電位信号の出力が終了すると、垂直転送パルスは停止しているが、水平転送パルスは駆動し続けているためＣＣＤ固体撮像素子６０２の信号出力端子からは信号（無効なデータ）が出力され続ける。しかし、一時停止直前の水平一行分の電位信号の出力が終了すると無効なデータを出力し続けるため、実質的には一画面を構成する有効画素の電位信号の出力を１行単位で一時停止していることになる。このような機能により、一画面を構成する画素の電位信号の出力を、一画面の出力の途中の行単位で停止させることができることになる。
【００３０】
この本実施の形態の撮像装置において、ＣＣＤ固体撮像素子６０２の出力信号からＪＰＥＧ符号化信号を生成するまでの動作を説明する。
【００３１】
はじめに、第１の例として、ＣＣＤ固体撮像素子６０２から出力されたデータを書込むために用いるメモリ８００中の領域のサイズは、一画面分の有効画像サイズ（垂直方向はＣＣＤ固体撮像素子６０２の有効垂直画素数、水平方向はＣＣＤ固体撮像素子６０２の有効水平画素数）を記憶できるものとし、読み書き並列処理にて符号化処理を行う場合についての動作を説明する。この第１の例の場合、停止制御コントローラ７０３によるタイミングジェネレータ６０１の垂直転送パルスを一時停止させる制御および構成は不要であり、無いものとする。
【００３２】
従来例同様、タイミングジェネレータ６０１から出力される水平転送パルスはＣＣＤ固体撮像素子６０２に直接入力されるが、垂直転送パルスはＶドライバ６０５を介してＣＣＤ固体撮像素子６０２に入力される。また、タイミングジェネレータ６０１は外部入力信号である「取込み命令信号」を受付けると、Ｖドライバ６０５に対し垂直転送パルスとＰＤ読出しパルスを出力し、Ｖドライバ６０５は垂直転送パルスとＰＤ読出しパルスとを合成してＣＣＤ固体撮像素子６０２へ出力する。
【００３３】
ＣＣＤ固体撮像素子６０２は、Ｖドライバ６０５からのＰＤ読出しパルス（垂直転送パルスに重畳されている）を受付けると、各フォトダイオードから画素電荷を垂直転送ＣＣＤに移動し、ＣＣＤ固体撮像素子６０２中の垂直転送ＣＣＤ・水平転送ＣＣＤは、垂直転送パルス・水平転送パルスにより従来例と同様に駆動して、一画面を構成する画素の電荷信号を電位信号に変換し出力する。
【００３４】
ＣＣＤ固体撮像素子６０２から出力された画素電位信号は、相関二重サンプリング回路６０３に入力されノイズリダクションされ、Ａ／Ｄ変換回路６０４により量子化された画素信号となって出力される。その後、メモリコントローラ７００内のメモリ書込み用コントローラ７０１に出力される。
【００３５】
メモリ書込み用コントローラ７０１に出力された画素信号は、図３に示すように、停止制御コントローラ７０３から指定されたメモリ８００のアドレスに順次書き込まれる。この図３のような最初のメモリ書込み処理の時点においては、最初の読出しブロック最小行領域分のメモリ書込み処理が完了するまでは、停止制御コントローラ７０３がメモリ読出し用コントローラ７０２に対して停止信号を発し、メモリ読出し処理を停止している。
【００３６】
ＪＰＥＧ処理のためのメモリ読出し処理は、最小単位ブロックの信号生成に必要なメモリ８００上のＹＣ処理読出しブロック（Ｍ〔画素〕×Ｎ〔画素〕）を読出し、そのブロック単位で水平方向に読出し位置を変え、水平方向の処理が済むと、垂直位置を変え、再び水平方向に処理を進める。これを繰り返し符号化信号を生成する。
【００３７】
そして、図４に示すように、メモリ８００内の最初の読出しブロック最小行領域がメモリ書込み処理により画素データで埋まると、メモリコントローラ７００中のメモリ読出し用コントローラ７０２により、ＹＣ処理読出しブロック単位で読み出され、Ｙ／Ｃ処理部９００に出力し輝度信号と色差信号を生成し、その信号をＪＰＥＧ処理部１０００へ出力し、ＪＰＥＧ処理部１０００内に図１９のようなＪＰＥＧ処理ブロック単位の輝度信号Ｙ（１６〔画素〕×１６〔画素〕）と色差信号Ｃｒ・Ｃｂ（Ｍ’〔画素〕×Ｎ’〔画素〕）が蓄積されると、ＪＰＥＧ処理部１０００は符号化処理を開始し、符号化信号を出力する。
【００３８】
ただし、ＪＰＥＧ処理部１０００の符号化処理に要する時間は、ＪＰＥＧ処理ブロック単位の輝度信号と色差信号の内容によって異なる。そのため、ＪＰＥＧ処理部１０００の符号化処理の負荷に応じて、ＪＰＥＧブロック読出し制御部１００１は、停止制御コントローラ７０３を介してメモリ読出し用コントローラ７０２に対し読出し処理を停止するよう停止信号を発生する。メモリ読出し用コントローラ７０２はその停止信号を受付けると、メモリ８００からの読出し処理の一時停止を行う。
【００３９】
なお、ＪＰＥＧブロック読出し制御部１００１は、図１４に示すように、ＪＰＥＧ処理部１０００の入力データ格納部に未処理のデータが残っているかどうかの状態を監視している。ＪＰＥＧ符号化処理の負荷が重い状態、つまり処理に対応する絵柄の情報量が多い（絵柄のＹＣに細かい変化が多い）場合、出力符号量が増大し、符号化処理により多くの時間が必要となる。したがって、所定の期間内に処理が終了しなければ、入力データ格納部に未処理のデータが残るという状態になり、この場合、ＪＰＥＧブロック読出し制御部１００１は停止信号を発生する。
【００４０】
図４のように、読出し処理と書込み処理が並列に行われると、図５に示すように、読出し処理により読出しブロック最小行領域内の最後のＹＣ処理読出しブロックを読出し、Ｙ／Ｃ処理が終了した時点で、次の読出しブロック最小行領域分のメモリ書込み処理が完了していない場合に、書込み処理が完了していないＹＣ処理読出しブロックを読出しそうになる。しかし、本実施の形態では、メモリ書込み処理が次の読出しブロック最小行領域の書込み処理を行っている途中の場合は、停止制御コントローラ７０３がメモリ読出し用コントローラ７０２に対して停止信号を発し、読出し処理が次の読出しブロック最小行領域に移行するのを停止する。そして、図６に示すように、次の読出しブロック最小行領域の書込み処理が終了すると、読出し処理の処理対象を次の読出しブロック最小行領域に移行し処理を続ける。以降同様にして１画面分の処理を行う。
【００４１】
したがって、上記の第１の例によれば、メモリ８００への書込み処理と読出し処理を並列に行うことにより処理時間を短縮し高速処理が可能となる。また、図２０の場合のように、書込み処理が完了していない領域に対して読出し処理を行ってしまうこともない。特に、連写時には処理時間が短縮される効果が大きくなり、従来の処理に比べ高速な処理を実現できる。
【００４２】
次に、第２の例として、ＣＣＤ固体撮像素子６０２から出力されたデータを書込むために用いるメモリ８００中の領域のサイズ（画像展開用の領域）は、図７のように、読出しブロック最小行領域２個分（垂直方向はＹＣ処理読出しブロックサイズの垂直サイズの２倍、水平方向はＣＣＤ固体撮像素子６０２の有効水平画素数）とし、かつ、読み書き並列処理にて符号化処理を行う場合についての動作について説明する。ここで、ＣＣＤ固体撮像素子６０２の垂直方向の有効画素数はＹＣ処理読出しブロックサイズの垂直サイズよりはるかに大きいものとする。また、以下では、連写の場合について説明するが、一画面目（一枚目）の処理については一枚だけあるいは一枚ずつある時間をあけて撮影する場合も同様である。
【００４３】
画素データがメモリ８００に書き込まれる位置は、図２１の場合と同様、ＣＣＤ固体撮像素子６０２の画素の位置関係と同様に、水平一行分の書込みが終了すると、垂直位置を変え、再び水平一行分の書き込むという書込み順序に従う。そして、メモリ８００中の画像処理に用いる領域に対して、メモリ書込み処理を完了すると、書込みを開始したアドレスにもどり、書込みを継続する。
【００４４】
読出し処理についても、図２２の場合と同様、読み出したブロックに対するＹ／Ｃ処理が終了するたびに（図１４のＹ／Ｃ処理部９００内の処理データ格納部にデータが無くなったとき）水平に移動し、水平方向に処理対象のブロックがなくなるとＹＣ処理読出しブロックの垂直サイズ分垂直方向に移動し、水平方向は元のアドレスに戻る。読出しブロック最小行領域２個分に対し処理を終えると、再び読出し処理を開始した位置に戻り、読出し処理を再開する。
【００４５】
ＣＣＤ固体撮像素子６０２から出力され量子化された信号のメモリ８００への書き込む順序は上記の通り、図７のように、水平一行単位での書込みを行い、一画面目の処理の最初の時点においては、最初の読出しブロック最小行領域分の書込み処理が完了するまでは、停止制御コントローラ７０３がメモリ読出し用コントローラ７０２に対して停止信号を発し、読出し処理を停止している。
【００４６】
最初の読出しブロック最小行領域分の書込み処理が完了すると、図８のように、停止制御コントローラ７０３からメモリ読出し用コントローラ７０２への停止信号が解除され、メモリ８００からの読出し処理が前述の要領で開始され、ここで、読出し処理と書込み処理が並列に行われる。
【００４７】
この並列処理を続けて行うと、図９のように、読出し処理により読出しブロック最小行領域内の最後のＹＣ処理読出しブロックを読出し、Ｙ／Ｃ処理が終了した時点で、次の読出しブロック最小行領域分のメモリ書込み処理が完了していない場合に、書込み処理が完了していないＹＣ処理読出しブロックを読出しそうになる。しかし、第１の例と同様に、メモリ書込み処理が次の読出しブロック最小行領域の書込み処理を行っている途中の場合は、停止制御コントローラ７０３がメモリ読出し用コントローラ７０２に対して停止信号を発し、読出し処理が次の読出しブロック最小行領域に移行するのを停止する。そして、図１０に示すように、次の読出しブロック最小行領域の書込み処理が終了すると、読出し処理の処理対象を次の読出しブロック最小行領域に移行し処理を続ける。以降同様にして１画面分の処理を行う。
【００４８】
ここで、この第２の例のように、メモリ８００中の画像展開用の領域が１画面分のデータ展開に必要な領域より小さい場合には、ＪＰＥＧ処理は入力されるブロックデータの情報量によって処理の負荷（時間）が違うため、データによっては、書込み処理のデータが読出し処理を行っているＹＣ処理読出しブロック上に上書きされそうになる場合がある。このような場合、例えば図１１のように、書込み処理が次の読出しブロック最小行領域に達する手前の行の書込み処理を行っている時点で、停止制御コントローラ７０３がタイミングジェネレータ６０１に対して垂直転送パルス停止信号を発し、ＣＣＤ固体撮像素子６０２の垂直ＣＣＤ転送を停止し、書込み処理のデータで読出し処理を行っている読出しブロック最小行領域のデータを書き潰さないよう制御を行う（上書き防止機能）。
【００４９】
書込み処理は、読出し処理を行っている読出しブロック最小行領域の処理が完了し次の行ブロックに処理が移行するまで停止し、処理が移行すると、停止制御コントローラ７０３の垂直転送パルス停止信号が解除され、処理が再開される。停止制御コントローラ７０３は、タイミングジェネレータ６０１に対し垂直転送パルス停止信号を発している間、メモリ書込み用コントローラ７０１に対して書込み停止信号を発し、書込みを禁止している。例えば、図１２に示すタイミングで、垂直転送を停止した水平有効期間にＣＣＤ固体撮像素子６０２から出力される１Ｈ分全てのデータの書き込みを禁止する。
【００５０】
以上のように、１画面分のすべての画像データの展開領域をメモリ８００に必要とすることなく、読出しブロック最小行領域が最低２つあれば１画面分のＹ／Ｃ処理ないしＪＰＥＧ処理を実現することができるため、メモリ消費領域を飛躍的に少なくすることができる。
【００５１】
また、以上の処理は連写の場合も、一枚だけ撮影する場合も同様である。連写の場合は、一画面を書込み終えると、停止制御コントローラ７０３はメモリ書込み用コントローラ７０１に書込み停止信号を発し、書込み処理と読出し処理ともに終えた読出しブロック最小行領域ができるまではＣＣＤ出力信号を受付けず、書込み処理と読出し処理ともに終えた読出しブロック最小行領域ができ、次画面のデータの出力信号が出力されるまで一時停止する。そして、ＣＣＤ固体撮像素子６０２から次の画面のデータの出力を開始すると、書込み処理と読出しともに終えた読出しブロック最小行領域に対して直ちに書込みを再開する。すなわち、前画面の符号化処理の完了するのを待たずに次の画面の書込み処理を行うことになる。連写の場合の書込み処理と読出し処理のタイミングは、図１３の（Ｂ）に示すようになる。
【００５２】
これに対し、第１の例において連写をした場合には、図１３の（Ａ）のタイミングで示され、処理中の画面の読出し処理が終了した後で、次の画面の書込み処理が行われる。これは、第１の例の場合、第２の例における上書き防止機能がないためであり、メモリ８００に画像展開用の領域を１画面分必要とする。
【００５３】
第２の例によれば、第１の例に比べ、画像展開用の領域に使用するメモリ８００の記憶領域が大幅に少なくてすみ、かつ、連写の場合、より高速に行うことができる。
【００５４】
【発明の効果】
以上のように本発明によれば、メモリコントローラにより、メモリの書込みと読出しの並列処理を行うことにより、ＣＣＤ固体撮像素子の出力データから符号化信号を生成するまでの処理時間を短縮し、高速処理が可能となる。また、その場合に、メモリから読み出す対象となるブロック単位のデータに含まれた行の書込みが完了していないときは読出しを停止することにより、メモリの書込み処理が完了していない領域に対して読出し処理を行うことを防止できる。
【００５５】
さらに、メモリの記憶領域をＣＣＤ固体撮像素子の１画面未満の出力データに対応する領域として小さくすることができる。その場合に、メモリコントローラにより、メモリへの書込みを行う際に記憶領域の最終行の次は開始行に戻って書込みを行い、次にメモリの書込みの対象となる行を含む書込み済のブロック単位のデータの読出しが完了していないときはタイミングジェネレータの垂直転送パルスを停止させることにより、実質的にＣＣＤ固体撮像素子の出力を停止し、メモリの読出し処理が完了していない領域への上書きを防止することができる。
【００５６】
特に、連写時にはＣＣＤ固体撮像素子のデータのメモリの書込み処理と読出し処理とが並列に行えるようになることで従来の処理に比べ高速な処理を実現し、また、飛躍的に少ないメモリ領域での高画素画像の符号化処理を実現することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態の撮像装置の要部構成を示すブロック図。
【図２】本発明の実施の形態における読出しブロック最小行領域を示す図。
【図３】本発明の実施の形態における第１の例の動作を示す図。
【図４】本発明の実施の形態における第１の例の動作を示す図。
【図５】本発明の実施の形態における第１の例の動作を示す図。
【図６】本発明の実施の形態における第１の例の動作を示す図。
【図７】本発明の実施の形態における第２の例の動作を示す図。
【図８】本発明の実施の形態における第２の例の動作を示す図。
【図９】本発明の実施の形態における第２の例の動作を示す図。
【図１０】本発明の実施の形態における第２の例の動作を示す図。
【図１１】本発明の実施の形態における第２の例の動作を示す図。
【図１２】本発明の実施の形態における第２の例の動作を示すタイミングチャート。
【図１３】本発明の実施の形態における第１の例と第２の例の連写時の動作のタイミング図。
【図１４】本発明の実施の形態の撮像装置の一部の内部構成を示すブロック図。
【図１５】従来の撮像装置の要部構成を示すブロック図。
【図１６】ＣＣＤ固体撮像素子の構成を示す図。
【図１７】従来の撮像装置の動作を示すブロック図。
【図１８】従来の撮像装置の動作を示すブロック図。
【図１９】読出し処理の最小単位ブロックとＪＰＥＧ符号化を行う最小単位ブロックとを示す図。
【図２０】従来の問題点を説明するための図。
【図２１】従来の問題点を説明するための図。
【図２２】従来の問題点を説明するための図。
【図２３】従来の問題点を説明するための図。
【符号の説明】
６０１  タイミングジェネレータ
６０２  ＣＣＤ固体撮像素子
７００  メモリコントローラ
８００  メモリ
９００  Ｙ／Ｃ信号生成部（Ｙ／Ｃ処理部）
１０００  ＪＰＥＧ圧縮／伸張処理部（ＪＰＥＧ処理部）
１００１  ＪＰＥＧブロック読出し制御部
【図１】
0004357691.tif 000002
【図２】
0004357691.tif 000003
【図３】
0004357691.tif 000004
【図４】
0004357691.tif 000005
【図５】
0004357691.tif 000006
【図６】
0004357691.tif 000007
【図７】
0004357691.tif 000008
【図８】
0004357691.tif 000009
【図９】
0004357691.tif 000010
【図１０】
0004357691.tif 000011
【図１１】
0004357691.tif 000012
【図１２】
0004357691.tif 000013
【図１３】
0004357691.tif 000014
【図１４】
0004357691.tif 000015
【図１５】
0004357691.tif 000016
【図１６】
0004357691.tif 000017
【図１７】
0004357691.tif 000018
【図１８】
0004357691.tif 000019
【図１９】
0004357691.tif 000020
【図２０】
0004357691.tif 000021
【図２１】
0004357691.tif 000022
【図２２】
0004357691.tif 000023
【図２３】
0004357691.tif 000024