(57)【特許請求の範囲】
【請求項１】
水平走査及び垂直走査の各タイミングに対応して駆動される固体撮像素子の出力を取り込み、所定のフォーマットに従う映像信号を生成する映像信号処理装置において、水平ライン単位で連続する上記固体撮像素子の出力に対して第１の信号処理を施して第１の水平ブランキング期間及び第１の映像期間を含む第１の映像信号を得る第１の信号処理回路と、上記第１の映像信号をデジタル情報に変換して第１の映像データを得るＡ／Ｄ変換回路と、上記第１の映像データを少なくとも１水平ライン単位で記憶し、所定の期間経過した後に読み出して出力する記憶回路と、出力される上記第１の映像データに対して第２の信号処理を施して第２の映像データを得る第２の信号処理回路と、上記第２の映像データをアナログ値に変換して第２の水平ブランキング期間及び第２の映像期間を含む第２の映像信号を得るＤ／Ａ変換回路と、を備え、上記記憶回路が水平走査期間の整数倍の期間より上記第２の信号処理の期間分短く上記第１の映像データの出力を遅延させることにより、前記第２の水平ブランキング期間で発生するノイズが前記第１の映像期間に混入しないようにすることを特徴とする映像信号処理装置。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、固体撮像素子から得られる映像信号をデジタルデータに変換して各種の信号処理を施す映像信号処理装置に関する。
【０００２】
【従来の技術】
ＣＣＤ固体撮像素子を用いたテレビカメラ等の撮像装置では、撮像素子にクロックパルスを与えて駆動する駆動回路と共に、撮像素子の出力に対して各種の信号処理を施して所定のフォーマットに従う映像信号を生成する映像信号処理回路が設けられる。このような映像信号処理回路の場合、各種処理の条件設定を簡素化するため、アナログ信号処理からデジタル信号処理への移行が進められている。特に、カラー映像信号を取り扱う際には、ホワイトバランスの調整や高輝度擬信号の抑圧等信号処理条件の設定項目が多くなり、信号処理のデジタル化によって条件設定を大幅に簡素化することができる。
【０００３】
図４は、映像信号処理の一部をデジタル化した撮像装置の構成を示すブロック図である。
撮像素子１は、行列配置された複数の受光画素を有し、各受光画素に発生する情報電荷が駆動クロックφV、φHにより転送出力されて各受光画素の情報電荷量に対応した映像信号Ｙ1(t)を１画面単位で出力する。また、カラー映像を得る際には、各受光画素がそれぞれ三原色（赤、緑、青）またはその補色（黄、マゼンダ、シアン）のカラーフィルタに対応付けられ、各受光画素に所定の色成分を表す情報電荷が蓄積される。タイミングパルス生成回路２は、基準クロックに基づいて水平走査周期及び垂直走査周期のタイミングパルスＶＤ、ＨＤを発生し、ドライバ３に与える。ドライバ３は、タイミングパルス発生回路２から供給されるタイミングパルスＶＤ、ＨＤに応答して固体撮像素子１に垂直転送及び水平転送のための多相の駆動クロックφV、φHを供給する。これにより、撮像素子は、垂直走査の始まで１画面分の情報電荷の転送出力を開始すると共に、水平走査の始まりで１水平ラインの情報電荷の転送出力を開始することになる。
【０００４】
アナログ信号処理部４は、主に、撮像素子１から出力される映像信号Ｙ1(t)に対するサンプリング処理、信号レベルの平均を一定に維持する利得制御処理及び映像信号の再生側での信号レベルに対する発光輝度の非線形性に対応させるためのガンマ補正処理を行い、映像信号Ｙ2(t)を出力する。Ａ／Ｄ変換回路５は、アナログ信号処理部４から出力される映像信号Ｙ2(t)をデジタルデータに変換し、各受光画素毎の映像情報に対応する映像データＹＤ1を出力する。デジタル信号処理部６は、Ａ／Ｄ変換回路５から出力される映像データＹＤ1に対し、色成分毎に分離する色分離処理、ホワイトバランス調整のための各色成分毎の増幅処理等を行い、映像データＹＤ2を出力する。このデジタル信号処理部６においては、各種同期信号に対応したデータの合成も行われる。Ｄ／Ａ変換回路７は、デジタル信号処理部６から出力される映像データＹＤ2をアナログ値に変換し、所定のフォーマットに従う映像信号Ｙ3(t)を出力する。そして、制御マイコン８は、アナログ信号処理部４での利得制御の基準レベル設定やデジタル信号処理部６でのホワイトバランス制御の条件設定等を行う。同時に、制御マイコン８は、各信号処理部４、６から得られる信号レベル情報に基づいて、タイミングパルス生成回路２の動作タイミングを制御することにより、撮像素子１のアイリス制御を行う。撮像素子１のアイリス制御は、撮像素子１に１画面分の情報電荷が蓄積される時間を出力信号の平均レベルに応答して伸縮することにより実現される。
【０００５】
Ｄ／Ａ変換回路７から出力される映像信号Ｙ3(t)は、図５に示すように、１水平ライン単位で連続しており、各水平ラインの信号の間には水平走査の帰線消去期間となる水平ブランキング期間が設定される。再生側において画面上に現れない水平ブランキング期間には、再生側の水平走査のタイミングを映像信号に同期させる水平同期信号が重畳され、カラー映像信号の場合には、さらにカラーバーストと称される色同期信号が重畳される。また、水平ラインの信号が水平走査線の数だけ連続すると、映像信号Ｙ1(t)は次の画面に切り換わり、その切り換わりを示す期間には垂直走査の帰線消去期間となる垂直ブランキング期間が設定される。この垂直ブランキング期間にも、水平ブランキング期間と同様に、垂直同期信号や等価パルスが重畳されることになる。
【０００６】
【発明が解決しようとする課題】
アナログ信号処理部４及びデジタル信号処理部６からそれぞれ出力される映像信号Ｙ2(t)及び映像データＹＤ2は、各信号処理の過程において生じる遅延により、それぞれに入力される映像信号Ｙ1(t)及び映像データＹＤ1に対して一定期間のずれを有している。特に、映像信号処理のデジタル化が進むと、デジタル信号処理部６での処理項目が多くなり、映像データＹＤ1に対する映像データＹＤ2の遅延が大きくなる。このため、アナログ信号処理部４から出力される映像信号Ｙ2(t)とＤ／Ａ変換回路７から出力される映像信号Ｙ3(t)とで水平ブランキング期間が一致しなくなる。測定によれば、１４．３２ＭＨｚの基準クロックを用いたときで５μｓｅｃ程度の遅延を生じることが確認されており、ＮＴＳＣ方式では、水平走査期間（６３．５μｓｅｃ）の約１／１２の期間だけずれることになる。
【０００７】
映像信号Ｙ2(t)と映像信号Ｙ3(t)とで水平ブランキング期間が一致しなくなると、Ａ／Ｄ変換回路５またはＤ／Ａ変換回路７で生じるスイッチングノイズが各映像信号Ｙ2(t)、Ｙ3(t)に混入し易くなる。即ち、水平ブランキング期間内に重畳されている水平同期信号や色同期信号は、同一のパターンを繰り返すため、Ａ／Ｄ変換回路５及びＤ／Ａ変換回路７での変換動作の際のスイッチングノイズがパターンノイズとなり、映像信号Ｙ2(t)、Ｙ3(t)の映像成分に混入して再生画面の画質の劣化を招くことになる。さらには、各信号処理部４、６やタイミングパルス生成回路２において水平ブランキング期間内に設定される水平走査周期のタイミングパルスに起因して発生するノイズが映像信号の映像期間に混入し易くなる。尚、映像成分については、各水平ライン毎の規則性がないことから、Ａ／Ｄ変換回路５及びＤ／Ａ変換回路７による変換動作で生じるスイッチングノイズがパターンノイズとはならず、映像成分に混入しても再生画面の画質を大きく劣化させることはない。
【０００８】
そこで本発明は、水平ブランキング期間に発生するノイズが映像信号の映像期間に混入するのを防止した映像信号処理装置の提供を目的とする。
【０００９】
【課題を解決するための手段】
本発明は、上述の課題を解決するためのなされたもので、その特徴とするところは、水平走査及び垂直走査の各タイミングに対応して駆動される固体撮像素子の出力を取り込み、所定のフォーマットに従う映像信号を生成する映像信号処理装置において、水平ライン単位で連続する上記固体撮像素子の出力に対して第１の信号処理を施して第１の水平ブランキング期間及び第１の映像期間を含む第１の映像信号を得る第１の信号処理回路と、上記第１の映像信号をデジタル情報に変換して第１の映像データを得るＡ／Ｄ変換回路と、上記第１の映像データを少なくとも１水平ライン単位で記憶し、所定の期間経過した後に読み出して出力する記憶回路と、出力される上記第１の映像データに対して第２の信号処理を施して第２の映像データを得る第２の信号処理回路と、上記第２の映像データをアナログ値に変換して第２の水平ブランキング期間及び第２の映像期間を含む第２の映像信号を得るＤ／Ａ変換回路と、を備え、上記記憶回路が水平走査期間の整数倍の期間より上記第２の信号処理の期間分短く上記第１の映像データの出力を遅延させることにより、前記第２の水平ブランキング期間で発生するノイズが前記第１の映像期間に混入しないようにすることにある。
【００１０】
【作用】
本発明によれば、記憶回路が水平走査期間の整数倍の期間より上記第２の信号処理の期間分短く第１の映像データを遅延することで、第２の信号処理回路での信号処理過程での遅延が加えられた第２の映像データは、記憶回路で遅延される前の第１の映像データに対して水平走査期間の整数倍の期間遅れることになる。このため、Ａ／Ｄ変換回路に入力される第１の映像信号の水平ブランキング期間とＤ／Ａ変換回路から出力される第２の映像信号の水平ブランキング期間とが互いに一致し、各変換回路で生じるパターンノイズや、水平ブランキング期間に設定されるタイミング信号に起因するノイズが映像期間に混入しなくなる。
【００１１】
【実施例】
図１は、本発明の映像信号処理装置の構成を示すブロック図である。この図において、撮像素子１、タイミングパルス生成回路２及びドライバ３は図４と同一であり、タイミングパルス生成回路２から出力される垂直走査周期及び水平走査周期のタイミングパルスＶＤ、ＨＤに応答してドライバ３が駆動クロックφV、φHを撮像素子１に与え、映像信号Ｙ1(t)を得るように構成される。
【００１２】
アナログ信号処理部１１は、撮像素子１から出力される映像信号Ｙ1(t)を取り込んでサンプリングした後、後述するアイリス／ゲイン制御回路１４からの指示に基づいてゲインを調整し、映像信号Ｙ1(t)の平均レベルを一定範囲内に維持する。さらに、再生側での信号レベルに対する発光輝度の非線形性に対応させるようにガンマ補正を行い、所定のフォーマットに従う映像信号Ｙ2(t)を出力する。Ａ／Ｄ変換回路１２は、映像信号Ｙ2(t)を取り込んでデジタルデータに変換し、各データが撮像素子１の各受光画素の映像情報に対応する映像データＹＤ1を出力する。ラインメモリ１３は、アナログデジタル変換回路１２から出力される映像データＹＤ1を１水平ライン単位で記憶し、一定の期間経過した後に読み出して出力する。この読み出しのタイミングについては、後に詳述する。アイリス／ゲイン制御回路１４は、ラインメモリ１３から出力される映像データＹＤ1を１画面単位で積分し、その積分値に基づいてタイミングパルス生成回路２にアイリスの制御指示を与えると共に、アナログ信号処理部１１にゲインの制御指示を与える。タイミングパルス生成回路２に与えられる制御指示によれば、映像データＹＤ1の１画面分の積分値の増減に対応して撮像素子１の情報電荷の蓄積期間を伸縮制御する自動露光制御が実現される。アナログ信号処理部１１に与えられる制御指示によれば、映像データＹＤ1の１画面分の積分値に対応して映像信号Ｙ1(t)のゲインを可変設定する自動利得制御が実現される。
【００１３】
クランプ回路１５は、ラインメモリ１３から出力される映像データＹＤ1の基準レベルをクランプし、その基準レベルと映像データＹＤ1との差を取り出して出力する。色信号処理部１６は、まず映像データＹＤ1を色成分（赤、緑、青）毎に分離し、各成分の色データ（Ｒ、Ｇ、Ｂ）に対して固有のゲイン係数を乗じてホワイトバランスを調整する。その後、マトリクス処理を経て色データ（Ｒ、Ｂ）から輝度データ（Ｙ）が差し引かれた色差データ（Ｒ−Ｙ、Ｂ−Ｙ）を生成し、エンコーダ回路１８に供給する。輝度信号処理部１７は、各色データ（Ｒ、Ｇ、Ｂ）を所定の割合〔Ｒ：３０％、Ｇ：５９％、Ｂ：１１％〕で合成して得られる輝度データ（Ｙ）に対して、輪郭補正、ガンマ補正等の処理を施し、エンコーダ回路１８に供給する。エンコーダ回路１８は、各色差データ（Ｒ−Ｙ、Ｂ−Ｙ）に対して平衡変調処理を施して搬送色データを生成し、この搬送色データを輝度信号処理部１７から供給される輝度データ（Ｙ）に加算することにより所定のテレビジョンフォーマットに対応した映像データＹＤ2を出力する。また、エンコーダ回路１８では、色同期信号に対応した色同期データを加算することにより、映像データＹＤ2の水平ブランキング期間に色同期信号を重畳させている。そして、Ｄ／Ａ変換回路１９は、エンコーダ回路１８から出力される映像データＹＤ2をアナログ値に変換し、映像信号Ｙ3(t)として出力する。このようにして得られる映像信号Ｙ3(t)は、輝度信号に所定の色副搬送波により変調された色差信号が重畳され、水平ブランキング期間に色同期信号及び水平同期信号が重畳されている。尚、色信号処理部１６及び輝度信号処理部１７の処理動作については、ＮＴＣＳ方式の場合を例示しており、その他のテレビジョン方式では異なった処理動作となる。
【００１４】
ここで、ラインメモリ１３からの映像データＹＤ1の読み出しは、映像データＹＤ1が書き込まれるタイミングに対し、１水平走査期間よりクランプ回路１５の入力からエンコーダ回路１８の出力までに生じる遅延分だけ短い期間遅れたタイミングに設定される。即ち、クランプ回路１５に映像データＹＤ1が入力されてからエンコーダ回路１８から映像データＹＤ2が出力されるまでに生じる遅延と、ラインメモリ１３に映像データＹＤ1が書き込まれてから読み出されるまでに生じる遅延とを合わせて１水平走査期間となるようにしている。従って、Ｄ／Ａ変換回路１９から出力される映像信号Ｙ3(t)は、Ａ／Ｄ変換回路１２に入力される映像信号Ｙ2(t)に対して１水平走査期間だけずれ、互いの水平ブランキング期間が一致する。このため、Ａ／Ｄ変換回路１２及びＤ／Ａ変換回路１９のスイッチングノイズや水平ブランキング期間に設定される水平走査周期のタイミングパルスに起因するノイズが各映像信号Ｙ2(t)、Ｙ3(t)の映像期間に混入することがなくなる。
【００１５】
以上のように映像信号の水平ブランキング期間に発生するノイズが映像信号Ｙ2(t)、Ｙ3(t)の映像期間に混入しなくなれば、各部を同一基板上に集積回路として構成することが可能になる。具体的には、アナログ信号処理部１１、Ａ／Ｄ変換回路１２、ラインメモリ１３、アイリス／ゲイン制御回路１４及びＤ／Ａ変換回路１９をアナログ／デジタル混載の第１の集積回路Ａとし、クランプ回路１５、色信号処理部１６、輝度信号処理部１７及びエンコーダ回路１８をデジタル部のみとなる第２の集積回路Ｂとして構成する。尚、第１の集積回路Ａにタイミングパルス生成回路２を加えるようにしてもよい。従って、２つの集積回路Ａ、Ｂにより信号処理装置を構成することができるようになる。
【００１６】
図２は、本発明の映像信号処理装置の動作を説明するタイミング図で、撮像素子１を連続的に動作させる場合を示す。
Ａ／Ｄ変換回路１２から出力される映像データＹＤ1は、水平同期信号に同期して１水平ライン分が連続しており、１水平ライン単位で順次ラインメモリ１３に書き込まれる。ラインメモリ１３に書き込まれた映像データＹＤ1は、書き込まれてから一定の期間（１水平走査期間よりもクランプ回路１５からエンコーダ回路１８までの信号処理で生じる遅延分だけ短い期間）経過した後に読み出され、クランプ回路１５に供給される。このラインメモリ１３の読み出しタイミングは、水平走査周期を計測するカウンタにより設定される。例えば、１４．３２ＭＨｚの基準クロックを用いるＮＴＳＣ方式の場合、１水平走査期間が９１０クロック期間で定義されることから、クランプ回路１５からエンコーダ回路１８の間に生じる遅延を５μｓｅｃと仮定したときには、９１０クロックから５μｓｅｃに相当する７２クロックを差し引いた８３８クロック期間経過した時点でラインメモリ１３から映像データＹＤ1を読み出すようにする。また、１水平ライン分の映像データＹＤ1を読み出している途中で次の水平ラインの映像データＹＤ1が入力されると、ラインメモリ１３は、映像データＹＤ1の読み出しと書き込みとを並行して行うことになる。ラインメモリ１３で書き込みと読み出しとを並行処理できるようにするには、映像データＹＤ1の書き込み及び読み出しを２倍の周期で繰り返すことや、書き込み回路と読み出し回路とを並列に設けるデュアルポート型とすることが考えられる。
【００１７】
そして、映像データＹＤ1がクランプ回路１５に入力されると、色信号処理部１６及び輝度信号処理部１７で所定の処理が施された後にエンコーダ回路１８から映像データＹＤ2として出力される。このときの映像データＹＤ2は、クランプ回路１５に入力される映像データＹＤ1に対してクランプ回路１５からエンコーダ回路１８までの信号処理により生じる遅延分だけ遅れることになる。ところが、クランプ回路１５に入力される映像データＹＤ1が予め１水平走査期間よりもクランプ回路１５からエンコーダ回路１８までの信号処理で生じる遅延分だけ短く遅延されていることから、映像データＹＤ2は、ラインメモリ１３に書き込まれる映像データＹＤ1に対してちょうど１水平走査期間遅れることになる。従って、Ａ／Ｄ変換回路１２に入力される映像信号Ｙ2(t)とＤ／Ａ変換回路１９から出力される映像信号Ｙ3(t)との水平ブランキング期間が一致し、水平ブランキング期間に重畳される水平同期信号や色同期信号に起因するＡ／Ｄ変換回路１２やＤ／Ａ変換回路１９のスイッチングノイズ及び水平走査周期のタイミングパルスに起因するノイズが映像期間に混入しにくくなる。
【００１８】
図３は、本発明の映像信号処理装置の動作を説明するタイミング図で、撮像素子１を１水平走査期間おきに間欠的に動作させる場合を示す。
Ａ／Ｄ変換回路１２から出力される映像データＹＤ1は、１水平走査期間おきに１水平ライン分が連続しており、１水平ライン単位でそれぞれラインメモリ１３に書き込まれる。ラインメモリ１３に書き込まれた映像データＹＤ1は、書き込まれてから一定の期間経過した後に読み出され、クランプ回路１５に供給される。そして、クランプ回路１５に入力された映像データＹＤ1は、色信号処理部１６及び輝度信号処理部１７で所定の処理が施された後にエンコーダ回路１８から映像データＹＤ2として出力される。ここで、ラインメモリ１３からの映像データＹＤ1の読み出しのタイミング及びクランプ回路１５からエンコーダ回路１８までの信号処理によって生じる遅延については、図２に示す連続動作の場合と同一となる。従って、撮像素子１を間欠動作させる場合でも、Ａ／Ｄ変換回路１２に入力される映像信号Ｙ1(t)とＤ／Ａ変換回路１９から出力される映像信号Ｙ3(t)との水平ブランキング期間が一致することになる。
【００１９】
以上の実施例においては、映像データＹＤ2を映像データＹＤ1に対して１水平走査期間遅らせる場合を例示したが、遅延期間は、水平走査期間の整数倍であればよく、１水平走査期間に限られるものではない。
【００２０】
【発明の効果】
本発明によれば、映像信号をデジタルデータとして処理するようにした映像信号処理装置において、映像信号をデジタルデータに変換するためのＡ／Ｄ変換回路あるいはデジタルデータから映像信号を再生するＤ／Ａ変換回路で生じるスイッチングノイズが映像信号の映像期間に混入しにくくなる。同時に、映像信号の水平ブランキング期間に設定される各種のタイミングパルスに起因するノイズが映像期間に混入しにくくなることから、ノイズ低減の効果は大きい。
【００２１】
そして、映像信号の映像期間にノイズが混入しにくくなることから、信号処理回路をＡ／Ｄ変換回路あるいはＤ／Ａ変換回路と共に集積回路として構成することが可能になり、映像信号処理装置を僅かな構成部品によって実現することができる。
【図面の簡単な説明】
【図１】本発明の映像信号処理装置の構成を示すブロックである。
【図２】本発明の映像信号処理装置の第１の動作を説明するタイミング図である。
【図３】本発明の映像信号処理装置の第２の動作を説明するタイミング図である。
【図４】映像信号処理の一部がデジタル化された撮像装置の構成を示すブロック図である。
【図５】映像信号の水平走査期間の波形図である。
【符号の説明】
１  撮像素子
２  タイミングパルス生成回路
３  ドライバ
４、１１  アナログ信号処理部
５、１２  Ａ／Ｄ変換回路
６  デジタル信号処理部
７、１９  Ｄ／Ａ変換回路
８  制御マイコン
１３  ラインメモリ
１４  アイリス／ゲイン制御回路
１５  クランプ回路
１６  色信号処理部
１７  輝度信号処理部
１８  エンコーダ回路
【図１】
0003667784.tif 000002
【図２】
0003667784.tif 000003
【図３】
0003667784.tif 000004
【図４】
0003667784.tif 000005
【図５】
0003667784.tif 000006