(57)【要約】【課題】駆動周波数の増加や回路面積の拡大を伴うことなく、一定時間内に適切な処理を補償するとともに、画質の劣化を生じさせないようにする。【解決手段】固体撮像素子１２からプログレッシブ方式で読み出された画像（プログレッシブ画像）に対しては、後段の構成の駆動周波数を抑制するために、プログレッシブ画像のまま、初段の解像度変換処理部である解像度変換処理部２５−１において縮小処理が施される。縮小処理により得られたプログレッシブ画像に対しては、出力フォーマットに則ったサイズの切り出し処理、および、インターレース処理が後段の解像度変換処理部である解像度変換処理部２５−２において施され、それらの処理により得られた画像が出力される。本発明は、撮像した画像を処理するディジタルビデオカメラに適用することができる。【選択図】図６
2007174560.tif 000002
【特許請求の範囲】
【請求項１】
入力された画像信号に信号処理を施し、信号処理の結果を出力する信号処理装置において、
前記画像信号の出力元となる撮像素子の画素に依存する補正処理を入力された前記画像信号に対して施す第１の補正処理手段と、
前記撮像素子の画素に依存しない補正処理を供給された画像信号に対して施す第２の補正処理手段と、
供給された画像信号に基づいて、撮像された画像を表す、空間位相のそろったRGB信号を生成する同時化処理手段と、
供給された画像信号に基づいて輝度信号、色信号を生成する処理を少なくとも行う変換手段と、
撮像された画像を、出力する画像の解像度と同じ解像度の画像に変換する第１の解像度変換手段と
を備え、
前記第１の解像度変換手段は、前記第１の補正処理手段が設けられる位置より後段の位置であって、かつ、前記変換手段が設けられる位置より前段の位置に設けられる
信号処理装置。
【請求項２】
有効画素の範囲の画像を切り出す処理と、プログレッシブ方式の画像信号をインターレース方式の画像信号に変換する処理のうちの少なくともいずれかを行い、処理結果を前記信号処理の結果として出力する第２の解像度変換手段をさらに備える
請求項１に記載の信号処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号処理装置に関し、特に、固体撮像素子の多画素化が進んだ場合でも、駆動周波数の増加や回路面積の拡大を伴うことなく、一定時間内に適切な処理を補償するとともに、画質の劣化を生じさせないようにした信号処理装置に関する。
【背景技術】
【０００２】
近年、１つの固体撮像素子を用いてディジタル動画像を記録する装置（例えば、単板式ディジタルビデオカメラ）、もしくは複数の固体撮像素子を用いてディジタル動画像を記録する装置（例えば、３板式ディジタルビデオカメラ）において、そのシステムが有する固体撮像素子の多画素化が進んでいる。
【０００３】
このような多画素化が進んでいる状況でも、これらの動画撮像システムにおいては、その出力がテレビジョン信号標準規格（例えば、NTSC(National Television System Committee)，PAL(Phase Alternation by Line)，SECAM(SEquential Couleur A Memoire)等）によって規定されていることから、一定の時間内で決められたフィールド周波数（あるいはフレーム周波数）、水平解像度、垂直解像度を補償し、適切に処理しなければならない。
【０００４】
固体撮像素子から得られる画像の画素数（解像度）が少ない場合、一般的に、図１に示されるような構成によって、そのような適切な処理が実現される。
【０００５】
図１は、従来のディジタルビデオカメラ全体の構成のうちの信号処理系のシステムの構成例を示すブロック図である。
【０００６】
図１に示されるように、信号処理システム１は、基本的に、レンズ１１、固体撮像素子１２、A/D(Analog/Digital)コンバータ１３、カメラ信号処理部１４から構成される。そのうちのカメラ信号処理部１４は、画素に依存する補正処理部２１（以下、単に、補正処理部２１という）、画素に依存しない補正処理部２２（以下、非依存補正処理部２２という）、同時化処理部２３、変調、ＹＣ変換処理部２４、および解像度変換処理部２５から構成される。
【０００７】
ここで、画素に依存する補正処理部２１とは、固体撮像素子１２を用いたディジタルビデオカメラにおいて、固体撮像素子２１の各画素の内、光が入射していない状態においても特異なレベルの信号を出力するいわゆる欠陥画素を考慮して補正を行うものである。これにより、撮像して得た画像の画質が劣化した場合にも、この画素に依存する補正処理部２１によって固体撮像素子１２のどの画素が欠陥画素かを検査し、その検査の結果得られた欠陥画素が補正される。
【０００８】
レンズ１１は、被写体からの光L1を光L2として固体撮像素子１２上に合焦させる。
【０００９】
固体撮像素子１２は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などよりなり、レンズ１１を介して入射する被写体からの光L1（光L2）を受光して光電変換を行い、受光量に応じた電気信号としてのアナログの画像信号E1をA/Dコンバータ１３に出力する。固体撮像素子１２の表面にはそれぞれの画素を構成する受光素子毎に赤（Ｒ），緑（Ｇ），青（Ｂ）のOCCF(On Chip Color Filter)が備えられており、集光された光L2のうち、各OCCFの透過色成分のみが画素毎に光電変換される。
【００１０】
A/Dコンバータ１３は、固体撮像素子１２から供給されたアナログ信号E1をディジタル信号S1に変換し、ディジタル信号S1をカメラ信号処理部１４（補正処理部２１）に出力する。
【００１１】
カメラ信号処理部１４のうちの補正処理部２１は、画素に依存する補正処理として、例えば、画素欠陥補正処理（特許文献１）、チャンネル差調整ゲイン処理（特許文献２）、画素単位でのノイズリダクション処理（特許文献３）等をディジタル信号S1に対して施し、得られた信号S2を非依存補正処理部２２に出力する。
【００１２】
特許文献１には、フィールド読み出しモードとフレーム読み出しモードとを選択的に切り換え可能なビデオカメラにおいて、欠陥画素の検出を行うモードが設定されているときには、強制的に、撮像素子の読み出しモードをフレーム読み出しモードにする技術が開示されている。
【００１３】
特許文献２には、１画面分の画素情報をライン単位で読み出し、ライン単位で読み出した画素情報を左右２チャネルに分割して出力するCCDイメージセンサを備える装置が開示されている。この装置においては、CCDイメージセンサから読み出された画素データの黒レベルを左右独立に検出し、チャネル毎に黒レベルを補正するといったことなどが行われる。
【００１４】
特許文献３には、ノイズリダクションを施す対象の注目画素と注目画素の周辺に位置する周辺画素との画素間で平滑化および補間処理を施した後に二次微分を行い、その二次微分の結果を閾値と比較して、周辺画素がノイズリダクションに使用できる画素であるかできない画素であるかを判別し、ノイズリダクションに使用できると判別された画素を用いてノイズリダクションを行う技術が開示されている。
【００１５】
図１の説明に戻り、非依存補正処理部２２は、補正処理部２１から供給された信号S2に対して、例えば、面内各色共に均一のゲインを施すディジタルゲイン処理や、面内均一で各色独立にゲインを施すホワイトバランスゲイン処理等の処理を行い、得られた信号S3を同時化処理部２３に出力する。
【００１６】
同時化処理部２３は、信号S3に基づいて、空間位相の揃ったＲ，Ｇ，Ｂ信号を画素毎に生成し、生成したＲ，Ｇ，Ｂ信号を変調、ＹＣ変換処理部２４に出力する。信号処理システム１が単板式のシステムである場合、信号S3は色毎に空間サンプリングポイントが異なるため、固体撮像素子１２のOCCF配置パターンに依存した同時化処理（空間位相を揃える処理）が同時化処理部２３において行われる。
【００１７】
変調、ＹＣ変換処理部２４は、同時化処理部２３から供給されたＲ，Ｇ，Ｂ信号を対象として高画質化処理、1/γ処理、Ｙ信号生成処理、Ｃ信号生成処理などを行い、得られたビデオ信号Y1，C1を解像度変換処理部２５に出力する。
【００１８】
解像度変換処理部２５は、変調、ＹＣ変換処理部２４から供給されたビデオ信号Y1，C1を出力フォーマットに則った信号に変換する処理を行い、得られたビデオ信号Y2，C2を外部に出力する。解像度変換処理部２５においては、例えば、解像度変換、インターレース処理（プログレッシブ方式の画像信号をインターレース方式の画像信号に変換する処理）、有効画像領域の切り出し処理（例えば、手ぶれ補正用処理マージンを除く、有効な領域だけを切り出し、出力する処理）が出力フォーマットに則った変換処理として行われる。
【００１９】
解像度変換処理部２５から出力された信号は、動画像を記録するための信号として、あるいは、取り込み中の画像を表示するための信号として後段に設けられる図示せぬ処理部において用いられる。
【００２０】
図２は、従来の信号処理システム１の他の構成例を示すブロック図である。図１の構成と対応する構成には同じ符号を付してある。重複する説明については適宜省略する。
【００２１】
図２の信号処理システム１においては、図１の補正処理部２１により行われる処理が補正処理部２１−１と補正処理部２１−２においてそれぞれ並列して行われ、図１の非依存補正処理部２２により行われる処理が非依存補正処理部２２−１と非依存補正処理部２２−２においてそれぞれ並列して行われるようになされている。
【００２２】
同様に、図１の同時化処理部２３により行われる処理が同時化処理部２３−１と同時化処理部２３−２においてそれぞれ並列して行われ、図１の変調、ＹＣ変換処理部２４により行われる処理が変調、ＹＣ変換処理部２４−１と変調、ＹＣ変換処理部２４−２においてそれぞれ並列して行われるようになされている。
【００２３】
すなわち、図２のA/Dコンバータ１３は、固体撮像素子１２から供給されたアナログ信号E1をディジタル信号に変換し、変換して得られたディジタル信号をディジタル信号S1-１とディジタル信号S1-2の２つの信号に分け、ディジタル信号S1-１を補正処理部２１−１に、ディジタル信号S1-2を補正処理部２１−２にそれぞれ出力する。
【００２４】
図２の解像度変換処理部２５は、変調、ＹＣ変換処理部２４−１から供給されたビデオ信号Y1-1，C1-1と変調、ＹＣ変換処理部２４−２から供給されたビデオ信号Y1-2，C1-2に基づいて出力フォーマットに則った信号に変換する処理を行い、得られたビデオ信号Y2，C2を外部に出力する。
【００２５】
なお、図２の信号処理システム１において、補正処理部２１−１により処理が施されることによって得られた信号S2-1は非依存補正処理部２２−１に供給され、補正処理部２１−２により処理が施されることによって得られた信号S2-2は非依存補正処理部２２−２に供給される。信号S2-1と信号S2-2の２つの信号をあわせた信号が図１の信号S2に対応する。
【００２６】
また、非依存補正処理部２２−１により処理が施されることによって得られた信号S3-1は同時化処理部２３−１に供給され、非依存補正処理部２２−２により処理が施されることによって得られた信号S3-2は同時化処理部２３−２に供給される。信号S3-1と信号S3-2の２つの信号をあわせた信号が図１の信号S3に対応する。
【００２７】
同様に、同時化処理部２３−１により処理が施されることによって得られたＲ，Ｇ，Ｂ信号は変調、ＹＣ変換処理部２４−１に供給され、同時化処理部２３−２により処理が施されることによって得られたＲ，Ｇ，Ｂ信号は変調、ＹＣ変換処理部２４−２に供給される。同時化処理部２３−１により処理が施されることによって得られたＲ，Ｇ，Ｂ信号と同時化処理部２３−２により処理が施されることによって得られたＲ，Ｇ，Ｂ信号の２つの信号をあわせた信号が図１のＲ，Ｇ，Ｂ信号に対応する。
【００２８】
変調、ＹＣ変換処理部２４−１により処理が施されることによって得られたビデオ信号Y1-1，C1-1は解像度変換処理部２５に供給され、変調、ＹＣ変換処理部２４−２により処理が施されることによって得られたビデオ信号Y1-2，C1-2は解像度変換処理部２５に供給される。ビデオ信号Y1-1，C1-1とビデオ信号Y1-2，C1-2をあわせた信号が図１のビデオ信号Y1，C1に対応する。
【００２９】
このように、１つの構成において行われる処理を複数の構成に分担させて並列的に行わせることによって、カメラ信号処理部１４の動作の基準となる駆動周波数の増加を避けることが可能となる。
【００３０】
図１、図２に示されるように、従来の信号処理システム１においては、出力フォーマットに則った変換処理は一連の処理の最終ステップにおいて行われる。
【特許文献１】特開平５−３４４４２６号公報
【特許文献２】特開２００２−２５２８０８号公報
【特許文献３】特開２００５−３１１４５５号公報
【発明の開示】
【発明が解決しようとする課題】
【００３１】
このように、出力フォーマットに則った変換処理が一連の処理の最終ステップにおいて行われる構成を採用した場合、固体撮像素子１２の多画素化が進むと、それに伴ってシステムの駆動周波数が増加し、消費電力が大きくなるという問題が生じる。固体撮像素子１２の多画素化によって処理対象のデータの量が多くなると、同じ構成でその処理を賄うためには駆動周波数を上げる必要がある。
【００３２】
また、駆動周波数を低減させるために図２に示されるような並列処理を行う構成を採用した場合、当然、同じ構成が２つ必要になることから、回路規模を増大させ、回路面積の拡大につながるという問題が生じる。
【００３３】
さらに、カメラ信号処理部１４の駆動周波数を低減させるため、固体撮像素子１２上で加算読み出し処理を行うことによって実質的な入力画素数を減らすことも考えられるが、この場合、加算による解像度の劣化や固体撮像素子１２の画素単位に起因する画質の劣化を補正することができないという問題が生じる。
【００３４】
本発明はこのような状況に鑑みてなされたものであり、固体撮像素子の多画素化が進んだ場合でも、駆動周波数の増加や回路面積の拡大を伴うことなく、一定時間内に適切な処理を補償するとともに、画質の劣化を生じさせないようにするものである。
【課題を解決するための手段】
【００３５】
本発明の一側面の信号処理装置は、入力された画像信号に信号処理を施し、信号処理の結果を出力する信号処理装置において、前記画像信号の出力元となる撮像素子の画素に依存する補正処理を入力された前記画像信号に対して施す第１の補正処理手段と、前記撮像素子の画素に依存しない補正処理を供給された画像信号に対して施す第２の補正処理手段と、供給された画像信号に基づいて、撮像された画像を表す、空間位相のそろったRGB信号を生成する同時化処理手段と、供給された画像信号に基づいて輝度信号、色信号を生成する処理を少なくとも行う変換手段と、撮像された画像を、出力する画像の解像度と同じ解像度の画像に変換する第１の解像度変換手段とを備え、前記第１の解像度変換手段は、前記第１の補正処理手段が設けられる位置より後段の位置であって、かつ、前記変換手段が設けられる位置より前段の位置に設けられる。
【００３６】
有効画素の範囲の画像を切り出す処理と、プログレッシブ方式の画像信号をインターレース方式の画像信号に変換する処理のうちの少なくともいずれかを行い、処理結果を前記信号処理の結果として出力する第２の解像度変換手段をさらに設けることができる。
【００３７】
本発明の一側面においては、撮像された画像を出力する画像の解像度と同じ解像度の画像に変換する解像度変換手段が、画像信号の出力元となる撮像素子の画素に依存する補正処理を入力された画像信号に対して施す補正処理手段が設けられる位置より後段の位置であって、かつ、供給された画像信号に基づいて輝度信号、色信号を生成する処理を少なくとも行う変換手段が設けられる位置より前段の位置に設けられる。
【発明の効果】
【００３８】
本発明の一側面によれば、駆動周波数の増加や回路面積の拡大を伴うことなく、一定時間内に適切な処理を補償するとともに、画質の劣化を生じさせないようにすることができる。
【発明を実施するための最良の形態】
【００３９】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外には対応しないものであることを意味するものでもない。
【００４０】
本発明の一側面の信号処理装置は、入力された画像信号に信号処理を施し、信号処理の結果を出力する信号処理装置（例えば、図３の信号処理システム１）において、前記画像信号の出力元となる撮像素子の画素に依存する補正処理を入力された前記画像信号に対して施す第１の補正処理手段（例えば、図３の補正処理部２１−１，２１−２）と、前記撮像素子の画素に依存しない補正処理を供給された画像信号に対して施す第２の補正処理手段（例えば、図３の非依存補正処理部２２−１，２２−２）と、供給された画像信号に基づいて、撮像された画像を表す、空間位相のそろったRGB信号を生成する同時化処理手段（例えば、図３の同時化処理部２３−１，２３−２）と、供給された画像信号に基づいて輝度信号、色信号を生成する処理を少なくとも行う変換手段（例えば、図３の変調、ＹＣ変換処理部２４）と、撮像された画像を、出力する画像の解像度と同じ解像度の画像に変換する第１の解像度変換手段（例えば、図３の解像度変換処理部２５−１）とを備え、前記第１の解像度変換手段は、前記第１の補正処理手段が設けられる位置より後段の位置であって、かつ、前記変換手段が設けられる位置より前段の位置に設けられる。
【００４１】
この信号処理装置には、有効画素の範囲の画像を切り出す処理と、プログレッシブ方式の画像信号をインターレース方式の画像信号に変換する処理のうちの少なくともいずれかを行い、処理結果を前記信号処理の結果として出力する第２の解像度変換手段（例えば、図３の解像度変換処理部２５−２）をさらに設けることができる。
【００４２】
以下、本発明の実施の形態について図を参照して説明する。
【００４３】
図３は、本発明の一実施形態に係るディジタルビデオカメラ全体の構成のうちの信号処理系のシステムの構成例を示すブロック図である。図１、図２の構成と対応する構成には同じ符号を付してある。
【００４４】
図３の信号処理システム１においては、一連の信号処理のうち、Ｒ，Ｇ，Ｂの各信号が同時化されるまでは並列して処理が行われるようになされている。
【００４５】
すなわち、図３のA/Dコンバータ１３は、固体撮像素子１２から供給されたアナログ信号E1をディジタル信号に変換し、変換して得られたディジタル信号をディジタル信号S1-１とディジタル信号S1-2の２つの信号に分け、ディジタル信号S1-１を補正処理部２１−１に、ディジタル信号S1-2を補正処理部２１−２にそれぞれ出力する。
【００４６】
カメラ信号処理部１４のうちの補正処理部２１−１は、画素に依存する補正処理として、例えば、画素欠陥補正処理（特許文献１）、チャンネル差調整ゲイン処理（特許文献２）、画素単位でのノイズリダクション処理（特許文献３）等をディジタル信号S1-1に対して施し、得られた信号S2-1を非依存補正処理部２２−１に出力する。
【００４７】
非依存補正処理部２２−１は、補正処理部２１−１から供給された信号S2-1に対して、例えば、面内各色共に均一のゲインを施すディジタルゲイン処理や、面内均一で各色独立にゲインを施すホワイトバランスゲイン処理等の処理を施し、得られた信号S3-1を同時化処理部２３−１に出力する。
【００４８】
同時化処理部２３−１は、信号S3-1に基づいて、空間位相の揃ったR1-1，G1-1，B1-1信号を画素毎に生成し、生成したR1-1，G1-1，B1-1信号を解像度変換処理部２５−１に出力する。信号処理システム１が単板式のシステムである場合、信号S3は色毎に空間サンプリングポイントが異なるため、固体撮像素子１２のOCCF配置パターンに依存した同時化処理（空間位相をそろえる処理）が同時化処理部２３−１において行われる。
【００４９】
一方、補正処理部２１−２は、画素に依存する補正処理として、補正処理部２１−１と同様に、画素欠陥補正処理（特許文献１）、チャンネル差調整ゲイン処理（特許文献２）、画素単位でのノイズリダクション処理（特許文献３）等をディジタル信号S1-2に対して施し、得られた信号S2-2を非依存補正処理部２２−２に出力する。
【００５０】
非依存補正処理部２２−２は、補正処理部２１−２から供給された信号S2-2に対して、面内各色共に均一のゲインを施すディジタルゲイン処理や、面内均一で各色独立にゲインを施すホワイトバランスゲイン処理等の処理を行い、得られた信号S3-2を同時化処理部２３−２に出力する。
【００５１】
同時化処理部２３−２は、信号S3-2に基づいて、空間位相の揃ったR1-2，G1-2，B1-2信号を画素毎に生成し、生成したR1-2，G1-2，B1-2信号を解像度変換処理部２５−１に出力する。
【００５２】
解像度変換処理部２５−１は、同時化処理部２３−１から供給されたR1-1，G1-1，B1-1信号と同時化処理部２３−２から供給されたR1-2，G1-2，B1-2信号を対象として、それらの信号により表される画像を、出力フォーマットの画像の解像度と同じ解像度の画像に変換する変換処理（例えば縮小操作）を行い、得られたR2，G2，B2信号を変調、ＹＣ変換処理部２４に出力する。
【００５３】
変調、ＹＣ変換処理部２４は、解像度変換処理部２５−１から供給されたR2，G2，B2信号を対象として高画質化処理、1/γ処理、Ｙ信号生成処理、Ｃ信号生成処理などを行い、得られたビデオ信号Y1，C1を解像度変換処理部２５−２に出力する。
【００５４】
解像度変換処理部２５−２は、変調、ＹＣ変換処理部２４から供給されたビデオ信号Y1，C1を出力フォーマットに則った信号に変換する処理を行い、得られたビデオ信号Y2，C2を外部に出力する。解像度変換処理部２５−２においては、例えば、インターレース処理、有効画像領域の切り出し処理（例えば、手ぶれ補正用処理マージンを除く、有効な領域だけを切り出し、出力する処理）が出力フォーマットに則った変換処理として行われる。
【００５５】
解像度変換処理部２５−２から出力された信号は、動画像を記録するための信号として、あるいは、取り込み中の画像を表示するための信号として後段に設けられる図示せぬ処理部において用いられる。
【００５６】
このように、図１、図２の解像度変換処理部２５により行われる処理（解像度変換処理、インターレース処理、有効画像領域の切り出し処理）のうちの解像度変換処理を行う構成（図３の解像度変換処理部２５−１）だけが高画質化処理、1/γ処理、Ｙ信号生成処理、Ｃ信号生成処理を行う構成（変調、ＹＣ変換処理部２４）より前段の位置に設けることにより、並列して処理を行わせる場合でも、その高画質化処理、1/γ処理、Ｙ信号生成処理、Ｃ信号生成処理を行う構成を図２に示されるように２つ設ける必要がない。
【００５７】
また、固体撮像素子１２の多画素化が進んだ場合であっても、解像度の縮小処理によって処理対象となるデータの量を一連の処理の早い段階で減らすことができるから、一連の処理のうちの一部を並列して行うことにより駆動周波数の増加を抑えることができ、回路面積の拡大を抑えることもできる。さらに、一定時間内に適切な処理を補償することができ、また、画素値の加算などが固体撮像素子１２において行われるわけではないから、画質の劣化を生じさせないようにすることが可能となる。
【００５８】
図４は、信号処理システム１の他の構成例を示すブロック図である。上述した構成と対応する構成には同じ符号を付してある。
【００５９】
図４の信号処理システム１においては、一連の信号処理のうち、補正系の処理が行われるまでは並列して処理が行われるようになされている。
【００６０】
すなわち、図４のA/Dコンバータ１３、補正処理部２１−１，２１−２、非依存補正処理部２２−１，２２−２は、図３のA/Dコンバータ１３、補正処理部２１−１，２１−２、非依存補正処理部２２−１，２２−２と同様のものである。
【００６１】
図４のA/Dコンバータ１３は、固体撮像素子１２から供給されたアナログ信号E1をディジタル信号に変換し、変換して得られたディジタル信号をディジタル信号S1-１とディジタル信号S1-2の２つの信号に分け、ディジタル信号S1-１を補正処理部２１−１に、ディジタル信号S1-2を補正処理部２１−２にそれぞれ出力する。
【００６２】
補正処理部２１−１は、画素に依存する補正処理をディジタル信号S1-1に対して施し、得られた信号S2-1を非依存補正処理部２２−１に出力する。非依存補正処理部２２−１は、補正処理部２１−１から供給された信号S2-1に対してディジタルゲイン処理やホワイトバランスゲイン処理等を行い、得られた信号S3-1を解像度変換処理部２５−１に出力する。
【００６３】
一方、補正処理部２１−２は、画素に依存する補正処理をディジタル信号S1-2に対して施し、得られた信号S2-2を非依存補正処理部２２−２に出力する。非依存補正処理部２２−２は、補正処理部２１−２から供給された信号S2-2に対してディジタルゲイン処理やホワイトバランスゲイン処理等を施し、得られた信号S3-2を解像度変換処理部２５−１に出力する。
【００６４】
解像度変換処理部２５−１は、非依存補正処理部２２−１から供給された信号S3-1と非依存補正処理部２２−２から供給された信号S3-2を対象として、それらの信号により表される画像を、出力フォーマットの画像の解像度と同じ解像度の画像に変換する変換処理（例えば縮小操作）を行い、得られた信号S4を同時化処理部２３に出力する。
【００６５】
図４の非依存補正処理部２２−１から出力された信号S3-1と非依存補正処理部２２−２から出力された信号S3-2が固体撮像素子１２によって取り込まれた画像全体の補正系の処理の結果を表すものであるのに対し、解像度変換処理部２５−１から出力される信号S4は、固体撮像素子１２によって取り込まれた画像全体を例えば縮小した画像の補正系の処理の結果を表すものになる。
【００６６】
同時化処理部２３は、解像度変換処理部２５−１から供給された信号S4に基づいて、空間位相の揃ったＲ，Ｇ，Ｂ信号を画素毎に生成し、生成したＲ，Ｇ，Ｂ信号を変調、ＹＣ変換処理部２４に出力する。
【００６７】
変調、ＹＣ変換処理部２４は、同時化処理部２３から供給されたＲ，Ｇ，Ｂ信号を対象として高画質化処理、1/γ処理、Ｙ信号生成処理、Ｃ信号生成処理などを行い、得られたビデオ信号Y1，C1を解像度変換処理部２５−２に出力する。
【００６８】
解像度変換処理部２５−２は、変調、ＹＣ変換処理部２４から供給されたビデオ信号Y1，C1を出力フォーマットに則った信号に変換する処理を行い、得られたビデオ信号Y2，C2を外部に出力する。解像度変換処理部２５−２においては、例えば、インターレース処理、有効画像領域の切り出し処理が出力フォーマットに則った変換処理として行われる。
【００６９】
このように、図１、図２の解像度変換処理部２５により行われる処理（解像度変換処理、インターレース処理、有効画像領域の切り出し処理）のうちの解像度変換処理を行う構成（図４の解像度変換処理部２５−１）だけを同時化処理を行う構成（同時化処理部２３）より前段に設けることにより、その同時化処理を行う構成をも図２に示されるように２つ設ける必要がない。
【００７０】
また、図４の構成によっても、図３の構成と同様に、解像度の縮小処理によって処理対象となるデータの量を一連の処理の早い段階で減らすことができるから、駆動周波数の増加を抑えることができ、回路面積の拡大を抑えることもできる。さらに、一定時間内に適切な処理を補償することができ、また、画質の劣化を生じさせないようにすることが可能となる。
【００７１】
図５は、信号処理システム１のさらに他の構成例を示すブロック図である。上述した構成と対応する構成には同じ符号を付してある。
【００７２】
図５の信号処理システム１においては、一連の信号処理のうち、補正系の２つの処理のうちの画素に依存する補正処理が行われるまでは並列して処理が行われるようになされている。
【００７３】
すなわち、図５のA/Dコンバータ１３、補正処理部２１−１，２１−２は、図３、図４のA/Dコンバータ１３、補正処理部２１−１，２１−２と同様のものである。
【００７４】
図５のA/Dコンバータ１３は、固体撮像素子１２から供給されたアナログ信号E1をディジタル信号に変換し、変換して得られたディジタル信号をディジタル信号S1-１とディジタル信号S1-2の２つの信号に分け、ディジタル信号S1-１を補正処理部２１−１に、ディジタル信号S1-2を補正処理部２１−２にそれぞれ出力する。
【００７５】
補正処理部２１−１は、画素に依存する補正処理をディジタル信号S1-1に対して施し、得られた信号S2-1を解像度変換処理部２５−１に出力する。一方、補正処理部２１−２は、画素に依存する補正処理をディジタル信号S1-2に対して施し、得られた信号S2-2を解像度変換処理部２５−１に出力する。
【００７６】
解像度変換処理部２５−１は、補正処理部２１−１から供給された信号S2-1と補正処理部２１−２から供給された信号S2-2を対象として、それらの信号により表される画像の解像度を出力フォーマットの画像の解像度と同じ解像度のものに変換する変換処理（例えば縮小操作）を行い、得られた信号S3を非依存補正処理部２２に出力する。
【００７７】
非依存補正処理部２２以降の構成は図１の構成と同様のものになる。すなわち、非依存補正処理部２２は、解像度変換処理部２５−１から供給された信号S3に対して、ディジタルゲイン処理やホワイトバランスゲイン処理等を施し、得られた信号S4を同時化処理部２３に出力する。
【００７８】
同時化処理部２３は、信号S4に基づいて、空間位相の揃ったＲ，Ｇ，Ｂ信号を画素毎に生成し、生成したＲ，Ｇ，Ｂ信号を変調、ＹＣ変換処理部２４に出力する。
【００７９】
変調、ＹＣ変換処理部２４は、同時化処理部２３から供給されたＲ，Ｇ，Ｂ信号を対象として高画質化処理、1/γ処理、Ｙ信号生成処理、Ｃ信号生成処理などを行い、得られたビデオ信号Y1，C1を解像度変換処理部２５−２に出力する。
【００８０】
解像度変換処理部２５−２は、変調、ＹＣ変換処理部２４から供給されたビデオ信号Y1，C1を出力フォーマットに則った信号に変換する処理を行い、得られたビデオ信号Y2，C2を外部に出力する。解像度変換処理部２５においては、例えば、インターレース処理、有効画像領域の切り出し処理が出力フォーマットに則った変換処理として行われる。
【００８１】
このように、図１、図２の解像度変換処理部２５により行われる処理（解像度変換処理、インターレース処理、有効画像領域の切り出し処理）のうちの解像度変換処理を行う構成（図５の解像度変換処理部２５−１）だけを画素に依存しない補正処理を行う構成（非依存補正処理部２２）より前段に設けることにより、その補正処理を行う構成をも図２に示されるように２つ設ける必要がない。
【００８２】
図５の構成によっても、図３や図４の構成と同様に、解像度の縮小処理によって処理対象となるデータの量を一連の処理の早い段階で減らすことができるから、駆動周波数の増加を抑えることができ、回路面積の増加を抑えることもできる。さらに、一定時間内に適切な処理を補償することができ、また、画質の劣化を生じさせないようにすることが可能となる。
【００８３】
以上のように、図１、図２の解像度変換処理部２５により行われる処理（解像度変換処理、インターレース処理、有効画像領域の切り出し処理）のうちの解像度変換処理を行う構成（図３、図４、図５の解像度変換処理部２５−１）だけをより前段の位置（画像に依存する補正処理を行う構成よりは後段の位置）に設けることによって、それより後段の構成を図２に示されるように複数設ける必要がない。
【００８４】
以上のように、解像度変換処理部が２つの処理部として設けられる信号処理システム１においては、その設けられる位置や与える機能によっては、各処理部の処理によって得られる画像の解像度の推移は様々なものとなる。
【００８５】
図６は、画像の解像度の推移の例を示す図である。
【００８６】
例えば、図６の左端に示されるように、固体撮像素子１２からプログレッシブ方式で読み出された画像（プログレッシブ画像）に対しては、後段の構成の駆動周波数を抑制するために、プログレッシブ画像のまま、初段の解像度変換処理部である解像度変換処理部２５−１において縮小処理が施される。
【００８７】
縮小処理により得られたプログレッシブ画像に対しては、出力フォーマットに則ったサイズ（例えば、手ぶれ補正処理用切り出しマージンを除く有効エリア）の切り出し処理、および、インターレース処理が後段の解像度変換処理部である解像度変換処理部２５−２において施され、それらの処理により得られた画像が出力される。
【００８８】
図６の例においては、固体撮像素子１２から読み出されたプログレッシブ画像は２０００×１５００画素のサイズの画像であり、解像度変換処理部２５−１により縮小処理が施された後のプログレッシブ画像は８００×５４０画素のサイズの画像とされている。また、解像度変換処理部２５−２により切り出し処理が施された後のインターレース画像は７２０×４８０画素のサイズの画像とされている。
【００８９】
図７は、画像の解像度の推移の他の例を示す図である。
【００９０】
例えば、図７の左端に示されるように、固体撮像素子１２からプログレッシブ方式で読み出されたプログレッシブ画像に対しては、後段の構成の駆動周波数を抑制するために、プログレッシブ画像のまま、初段の解像度変換処理である解像度変換処理部２５−１において縮小処理が施される。
【００９１】
また、図７の例においては、解像度変換処理部２５−１において、縮小処理のみならず、インターレース処理も行われるようになされている。このように、２つの解像度変換処理部にそれぞれ行わせる処理の内容（与える機能）は適宜変更可能である。
【００９２】
縮小処理とインターレース処理により得られたインターレース画像に対しては、出力フォーマットに則ったサイズの切り出し処理が後段の解像度変換処理部である解像度変換処理部２５−２において施され、それらの処理により得られた画像が出力される。
【００９３】
図７の例においては、固体撮像素子１２から読み出されたプログレッシブ画像は２０００×１５００画素のサイズの画像であり、解像度変換処理部２５−１により縮小処理とインターレース処理が施された後のインターレース画像は８００×５４０画素のサイズの画像とされている。また、解像度変換処理部２５−２により切り出し処理が施された後のインターレース画像は７２０×４８０画素のサイズの画像とされている。
【００９４】
以上においては、図３乃至図５に示されるようなカメラ信号処理部１４がディジタルビデオカメラに設けられる場合について説明したが、動画や静止画の撮影機能を有する撮像装置であればどのような装置にも適用することができる。
【００９５】
また、図５に示した信号処理システム１の解像度変換処理部２５−１において、解像度変換処理部２５−２で行われるインターレース処理や有効画像領域の切り出し処理などを行わせるように構成することで、変調、ＹＣ変換処理部２４の後段に解像度変換処理部２５−２を設ける必要がなくなり、より回路面積の拡大を抑えることが可能となる。
【図面の簡単な説明】
【００９６】
【図１】従来のディジタルビデオカメラ全体の構成のうちの信号処理系のシステムの構成例を示すブロック図である。
【図２】従来の信号処理系のシステムの他の構成例を示すブロック図である。
【図３】本発明の一実施形態に係るディジタルビデオカメラ全体の構成のうちの信号処理系のシステムの構成例を示すブロック図である。
【図４】信号処理システム１の他の構成例を示すブロック図である。
【図５】信号処理システム１のさらに他の構成例を示すブロック図である。
【図６】画像の解像度の推移の例を示す図である。
【図７】画像の解像度の推移の他の例を示す図である。
【符号の説明】
【００９７】
１  信号処理装置，  １１  レンズ，  １２  固体撮像素子，  １３  A/Dコンバータ，  １４  カメラ信号処理部，  ２１  補正処理部，  ２２  非依存補正処理部，  ２３  同時化処理部，  ２４  変調、ＹＣ変換処理部，  ２５  解像度変換処理部
【図１】
2007174560.tif 000003
【図２】
2007174560.tif 000004
【図３】
2007174560.tif 000005
【図４】
2007174560.tif 000006
【図５】
2007174560.tif 000007
【図６】
2007174560.tif 000008
【図７】
2007174560.tif 000009