(57)【特許請求の範囲】
【請求項１】
全画素読み出し方式の固体撮像素子の各受光画素に蓄積された各電荷を垂直ＣＣＤを介して第１，第２水平ＣＣＤに転送して読み出された第１，第２チャンネルの各映像信号に対してそれぞれ信号処理を行う際に、チャンネル間での信号レベルのバラツキを補正する映像信号処理方法において、
前記第１チャンネルの映像信号中で有効画素期間の前方側に位置する光学的黒レベル期間中に付加された基準信号の第１ピーク値に対して積算して平均化した平均値を複数の奇数ラインに沿って所定ライン数分積算した基準信号の第１ピーク値の積算値と、前記基準信号の第１ピーク値の積算値から前記有効画素期間の後方側に位置する光学的黒レベル期間中の第１光学的黒レベル値に対して積算して平均化した平均値を前記複数の奇数ラインに沿って前記所定ライン数分積算した第１光学的黒レベル値の積算値を減算した第１差分値とを、光学的黒レベルの積算値を一定値に保持できなくなった境目を閾値として選択的に切り換えて出力する第１の切り換えステップと、
前記第２チャンネルの映像信号中で前記前方側に位置する前記光学的黒レベル期間中に付加された前記基準信号の第２ピーク値に対して積算して平均化した平均値を複数の偶数ラインに沿って前記所定ライン数分積算した基準信号の第２ピーク値の積算値と、前記基準信号の第２ピーク値の積算値から前記後方側に位置する前記光学的黒レベル期間中の第２光学的黒レベル値に対して積算して平均化した平均値を前記複数の偶数ラインに沿って前記所定ライン数分積算した第２光学的黒レベル値の積算値を減算した第２差分値とを、前記閾値に応じて選択的に切り換えて出力する第２の切り換えステップと、
前記第１の切り換えステップから出力された前記基準信号の第１ピーク値の積算値と前記第２の切り換えステップから出力された前記基準信号の第２ピーク値の積算値との比率、又は、前記第１の切り換えステップから出力された前記第１差分値と前記第２の切り換えステップから出力された前記第２差分値との比率のいずれかを演算するステップと、
前記比率に応じた補正係数を前記第１チャンネル又は前記第２チャンネルのいずれか一方の映像信号に乗算して該一方の映像信号を補正するステップとを有することを特徴とする映像信号処理方法。
【請求項２】
全画素読み出し方式の固体撮像素子の各受光画素に蓄積された各電荷を垂直ＣＣＤを介して第１，第２水平ＣＣＤに転送して読み出された第１，第２チャンネルの各映像信号に対してそれぞれ信号処理を行う際に、チャンネル間での信号レベルのバラツキを補正する映像信号処理装置において、
前記第１チャンネルの映像信号中で有効画素期間の前方側に位置する光学的黒レベル期間中に付加された基準信号の第１ピーク値に対して積算して平均化した平均値を複数の奇数ラインに沿って所定ライン数分積算した基準信号の第１ピーク値の積算値と、前記基準信号の第１ピーク値の積算値から前記有効画素期間の後方側に位置する光学的黒レベル期間中の第１光学的黒レベル値に対して積算して平均化した平均値を前記複数の奇数ラインに沿って前記所定ライン数分積算した第１光学的黒レベル値の積算値を減算した第１差分値とを、光学的黒レベルの積算値を一定値に保持できなくなった境目を閾値として選択的に切り換えて出力する第１の切り換え手段と、
前記第２チャンネルの映像信号中で前記前方側に位置する前記光学的黒レベル期間中に付加された前記基準信号の第２ピーク値に対して積算して平均化した平均値を複数の偶数ラインに沿って前記所定ライン数分積算した基準信号の第２ピーク値の積算値と、前記基準信号の第２ピーク値の積算値から前記後方側に位置する前記光学的黒レベル期間中の第２光学的黒レベル値に対して積算して平均化した平均値を前記複数の偶数ラインに沿って前記所定ライン数分積算した第２光学的黒レベル値の積算値を減算した第２差分値とを、前記閾値に応じて選択的に切り換えて出力する第２の切り換え手段と、
前記第１の切り換え手段から出力された前記基準信号の第１ピーク値の積算値と前記第２の切り換え手段から出力された前記基準信号の第２ピーク値の積算値との比率、又は、前記第１の切り換え手段から出力された前記第１差分値と前記第２の切り換え手段から出力された前記第２差分値との比率のいずれかを演算する演算手段と、
前記比率に応じた補正係数を前記第１チャンネル又は前記第２チャンネルのいずれか一方の映像信号に乗算して該一方の映像信号を補正する映像信号補正手段とを有することを特徴とする映像信号処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、撮像装置（例えばビデオカメラ等）に適用されるものであって、いわゆる２チャンネル出力全画素読み出し方式の固体撮像素子にて撮像して生成された映像信号に対して、信号処理を施す映像信号処理方法及び映像信号処理装置に関する。
【０００２】
【従来の技術】
従来の固体撮像素子（Charge Coupled Devise：ＣＣＤ）は、例えばＮＴＳＣ（National Television System Committee）放送方式の２：１インターレース走査に合わせ、２ラインの信号電荷を垂直ＣＣＤ中で混合するフィールド蓄積モードにて、通常は使用されている。このフィールド蓄積モードは、各画素信号が時間的に殆どズレを生じさせず、高速な電子シャッタが可能であるという長所があるものの、垂直解像度が画素数の半分の２４０ＴＶ本しか得られないという欠点がある。
【０００３】
一方で、フレーム蓄積モードのＣＣＤでは、各画素信号を混合せずに読み出すようになされているので、水平解像度と略々同等の４８０ＴＶ本の垂直解像度を得ることが可能であるが、１ラインおきに蓄積時間が１フィールド期間（１／６０秒）ずれるので、例えば被写体が動いている場合に映像が流れてしまう。したがって、フレーム蓄積モードのＣＣＤを使用する撮像装置では、このフレーム蓄積モードを使用することで解像度を確保し、機械式シャッタまたはストロボによって動きのある被写体に対応するようになされている。しかし、この撮像装置は、ストロボや機械式シャッタを要するために構成の小型化が困難であり、コストも上昇するという欠点がある。
【０００４】
このようなことから、近年は、１フィールド期間内に全画素の信号電荷を独立に読み出し、混合せずに出力することで、動きの速い被写体であっても高い水平解像度及び垂直解像度を得ることができる、いわゆる全画素読み出し方式のＣＣＤを使用する撮像装置が登場している。
【０００５】
ただし、この全画素読み出し方式のＣＣＤは、１フィールド期間に出力する信号が、同じ画素数のインターレース走査のＣＣＤの２倍（すなわち２倍の転送速度が必要）であるため、水平、垂直ＣＣＤともに、インターレース走査のＣＣＤとは異なる構造となされている。すなわち、全画素読み出し方式のＣＣＤは、例えば垂直ＣＣＤに３層電極の３層駆動垂直ＣＣＤを用い、水平ＣＣＤには例えば２チャンネルの水平ＣＣＤ構造が採用されている。
【０００６】
当該全画素読み出し方式のＣＣＤからの２チャンネルの信号は、各チャンネル毎に、それぞれアンプによる増幅、相関二重サンプリング（ＣＤＳ）回路による相関二重サンプリング処理、さらに自動利得制御（ＡＧＣ）回路による利得制御等のアナログ処理が施された後、アナログ／デジタル変換器にてデジタル信号に変換されて信号処理回路に送られることになる。
【０００７】
【発明が解決しようとする課題】
ところが、２チャンネル出力の全画素読み出し方式ＣＣＤを使用した場合、上述のように、各チャンネルを、それぞれ別系統で独立して設けられているアンプ、相関二重サンプリング回路、自動利得制御回路等のアナログ回路に通すことになるため、これら各チャンネルのアナログ回路のバラツキ等により、各チャンネル間で信号レベルにバラツキ（すなわちレベル差或いはゲイン差）が発生してしまう。
【０００８】
このように、チャンネル間で信号のレベル差が発生すると、後に表示デバイス上への表示を行う時に、そのレベル差に起因するフリッカが発生してしまうことになる。
【０００９】
なお、従来のフィールド蓄積モードのＣＣＤでは、フィールド２ライン分を混合して１ラインを生成していたので、２チャンネル出力の全画素読み出し方式ＣＣＤのような信号レベル差は発生しない。
【００１０】
本発明は、上述の課題に鑑みてなされたものであり、２チャンネル出力の全画素読み出し方式の固体撮像素子を使用した場合において、各チャンネル毎に独立して設けられているアンプや相関二重サンプリング、自動利得制御等のバラツキの影響を取り除き、結果としてフリッカを抑圧することが可能な映像信号処理方法及び映像信号処理装置の提供を目的とする。
【００１１】
【課題を解決するための手段】
本発明に係る映像信号処理方法は、上述の課題を解決するために、全画素読み出し方式の固体撮像素子の各受光画素に蓄積された各電荷を垂直ＣＣＤを介して第１，第２水平ＣＣＤに転送して読み出された第１，第２チャンネルの各映像信号に対してそれぞれ信号処理を行う際に、チャンネル間での信号レベルのバラツキを補正する映像信号処理方法において、
前記第１チャンネルの映像信号中で有効画素期間の前方側に位置する光学的黒レベル期間中に付加された基準信号の第１ピーク値に対して積算して平均化した平均値を複数の奇数ラインに沿って所定ライン数分積算した基準信号の第１ピーク値の積算値と、前記基準信号の第１ピーク値の積算値から前記有効画素期間の後方側に位置する光学的黒レベル期間中の第１光学的黒レベル値に対して積算して平均化した平均値を前記複数の奇数ラインに沿って前記所定ライン数分積算した第１光学的黒レベル値の積算値を減算した第１差分値とを、光学的黒レベルの積算値を一定値に保持できなくなった境目を閾値として選択的に切り換えて出力する第１の切り換えステップと、
前記第２チャンネルの映像信号中で前記前方側に位置する前記光学的黒レベル期間中に付加された前記基準信号の第２ピーク値に対して積算して平均化した平均値を複数の偶数ラインに沿って前記所定ライン数分積算した基準信号の第２ピーク値の積算値と、前記基準信号の第２ピーク値の積算値から前記後方側に位置する前記光学的黒レベル期間中の第２光学的黒レベル値に対して積算して平均化した平均値を前記複数の偶数ラインに沿って前記所定ライン数分積算した第２光学的黒レベル値の積算値を減算した第２差分値とを、前記閾値に応じて選択的に切り換えて出力する第２の切り換えステップと、
前記第１の切り換えステップから出力された前記基準信号の第１ピーク値の積算値と前記第２の切り換えステップから出力された前記基準信号の第２ピーク値の積算値との比率、又は、前記第１の切り換えステップから出力された前記第１差分値と前記第２の切り換えステップから出力された前記第２差分値との比率のいずれかを演算するステップと、
前記比率に応じた補正係数を前記第１チャンネル又は前記第２チャンネルのいずれか一方の映像信号に乗算して該一方の映像信号を補正するステップとを有する。
【００１２】
また、本発明に係る映像信号処理装置は、上述の課題を解決するために、全画素読み出し方式の固体撮像素子の各受光画素に蓄積された各電荷を垂直ＣＣＤを介して第１，第２水平ＣＣＤに転送して読み出された第１，第２チャンネルの各映像信号に対してそれぞれ信号処理を行う際に、チャンネル間での信号レベルのバラツキを補正する映像信号処理装置において、
前記第１チャンネルの映像信号中で有効画素期間の前方側に位置する光学的黒レベル期間中に付加された基準信号の第１ピーク値に対して積算して平均化した平均値を複数の奇数ラインに沿って所定ライン数分積算した基準信号の第１ピーク値の積算値と、前記基準信号の第１ピーク値の積算値から前記有効画素期間の後方側に位置する光学的黒レベル期間中の第１光学的黒レベル値に対して積算して平均化した平均値を前記複数の奇数ラインに沿って前記所定ライン数分積算した第１光学的黒レベル値の積算値を減算した第１差分値とを、光学的黒レベルの積算値を一定値に保持できなくなった境目を閾値として選択的に切り換えて出力する第１の切り換え手段と、
前記第２チャンネルの映像信号中で前記前方側に位置する前記光学的黒レベル期間中に付加された前記基準信号の第２ピーク値に対して積算して平均化した平均値を複数の偶数ラインに沿って前記所定ライン数分積算した基準信号の第２ピーク値の積算値と、前記基準信号の第２ピーク値の積算値から前記後方側に位置する前記光学的黒レベル期間中の第２光学的黒レベル値に対して積算して平均化した平均値を前記複数の偶数ラインに沿って前記所定ライン数分積算した第２光学的黒レベル値の積算値を減算した第２差分値とを、前記閾値に応じて選択的に切り換えて出力する第２の切り換え手段と、
前記第１の切り換え手段から出力された前記基準信号の第１ピーク値の積算値と前記第２の切り換え手段から出力された前記基準信号の第２ピーク値の積算値との比率、又は、前記第１の切り換え手段から出力された前記第１差分値と前記第２の切り換え手段から出力された前記第２差分値との比率のいずれかを演算する演算手段と、
前記比率に応じた補正係数を前記第１チャンネル又は前記第２チャンネルのいずれか一方の映像信号に乗算して該一方の映像信号を補正する映像信号補正手段とを有する。
【００１７】
【発明の実施の形態】
以下、本発明に係る映像信号処理方法及び映像信号処理装置の好ましい実施の形態について図面を参照しながら詳細に説明する。
【００１８】
本発明実施の形態に係る映像信号処理方法及び映像信号処理装置は、例えば固体撮像素子にて撮像した映像信号を、磁気テープ等のテープ状記録媒体、磁気ディスクや光ディスク等のディスク状記録媒体、或いは該装置内に配される半導体メモリや着脱可能な半導体メモリカード等に記録する、ビデオカメラ等に適用することができる。
【００１９】
また、本実施の形態のビデオカメラにて使用する固体撮像素子は、１フィールド期間内に全画素の信号電荷を独立に読み出し、混合せずに出力することで、動きの速い被写体であっても高い水平，垂直解像度を得ることができる、いわゆる全画素読み出し方式を採用している。
【００２０】
本発明の一実施の形態となるビデオカメラの主要部の構成を図１に示す。なお、この図１では、図示を簡略化するため、レンズ光学系や記録媒体への記録系、各種信号処理系、操作系など、ビデオカメラに一般的に備えられているものについては省略している。
【００２１】
この図１において、固体撮像素子を備えた撮像デバイス１上には、図示しないレンズ光学系を介し、さらに複数色の色フィルタを介した被写体等からの光が入射されて結像される。
【００２２】
この撮像デバイス１は、受光画素及び垂直ＣＣＤを備えた撮像部２と、２チャンネルの水平ＣＣＤ３Ａ及び３Ｂ（以下、水平ＣＣＤ３Ａ側をＡチャンネル、水平ＣＣＤ３Ｂ側をＢチャンネルとする）と、後述する基準信号を発生する基準信号発生器４と、基準信号発生器４にて発生された基準信号をＡチャンネル，Ｂチャンネルの撮像信号にそれぞれ付加する付加器５Ａ，５Ｂと、付加器５Ａ，５Ｂを介したＡチャンネル，Ｂチャンネルの撮像信号をそれぞれ増幅するアンプ６Ａ，６Ｂとを、少なくとも有してなるものである。ここで２チャンネルとは、撮像デバイス１上で複数の固体撮像素子が水平方向と垂直方向にマトリックス状に配列されているときに、水平方向の一つの奇数ライン目とこの一つの奇数ライン目と対をなす一つの偶数ライン目を水平ＣＣＤ３Ａ及び３Ｂで呼び出した時に、Ａチャンネルを奇数ライン目Ｂチャンネルを偶数ライン目と設定したものである。
【００２３】
すなわち、この撮像デバイス１の撮像部２では、受光画素に蓄積された電荷が３層電極の３層駆動垂直ＣＣＤを介して、水平ＣＣＤ３Ａ及び水平ＣＣＤ３Ｂに転送される。水平ＣＣＤ３Ａに転送されたＡチャンネルの信号電荷と水平ＣＣＤ３Ｂに転送されたＢチャンネルの信号電荷は同時に読み出され、Ａチャンネルの撮像信号及びＢチャンネルの撮像信号としてそれぞれ対応する付加器５Ａ，５Ｂに供給される。
【００２４】
一方、基準信号発生器４では、所定のレベルを有し且つ所定の時間長を有する基準信号を、所定のタイミングで発生するものであり、この基準信号をＡ，Ｂチャンネルの付加器５Ａ及び５Ｂに供給する。そして、付加器５Ａでは、該基準信号を水平ＣＣＤ３Ａから供給されたＡチャンネルの撮像信号に付加し、付加器５Ｂでは、該基準信号を水平ＣＣＤ３Ｂから供給されたＢチャンネルの撮像信号に付加する。
【００２５】
すなわち、基準信号は、図２中の指示符号ＰＴａ，ＰＴｂに示すように、Ａチャンネル及びＢチャンネルの撮像信号の内、水平ラインの例えば光学的黒レベル期間（いわゆるオプティカルブラックの期間）が配される期間に、所定レベルで且つ所定時間長を有する信号として付加されるものであり、一般にパイロット信号とも呼ばれているものである。ただし、この基準信号は、全ライン、或いは複数ラインおきに付加されるものであり、いずれのタイミングで付加するかは撮像デバイスの設計仕様により異なる。この際、基準信号を複数ラインおきに付加するにあたって、Ａラインに付加する基準信号とＢラインに付加する基準信号は複数ライン中同数であることが前提となる。なお、図２中の指示符号ＳＧにて示す期間は有効画素の期間を表し、図中指示部号ＳＢにて示す期間は光学的黒レベル（ＯＢ）の期間を、図中指示符号ＤＢにて示す期間はダミービットの期間を表している。
【００２６】
付加器５Ａによって基準信号ＰＴａが付加されたＡチャンネルの撮像信号はアンプ６Ａにて所定レベルに増幅され、付加器５Ｂによって基準信号ＰＴｂが付加されたＢチャンネルの撮像信号はアンプ６Ｂにて所定レベルに増幅された後、該撮像デバイス１から出力される。この撮像デバイス１から出力されたＡチャンネルの撮像信号は相関二重サンプリング（ＣＤＳ）回路７Ａに供給され、Ｂチャンネルの撮像信号は相関二重サンプリング回路７Ｂに供給される。
【００２７】
これら相関二重サンプリング回路７Ａ，７Ｂは、ＣＣＤのランダム雑音（信号と暗電流のショット雑音）を除く雑音低減手法の一つである、いわゆる相関二重サンプリング処理を行う回路であって、具体的には、信号期間レベルからフィールドスルー期間のレベルを差し引くことによってリセット雑音を抑圧するような処理が行われる。相関二重サンプリング回路７Ａの出力は、自動利得制御（ＡＧＣ）回路８Ａに供給され、相関二重サンプリング回路７Ｂの出力は、自動利得制御回路８Ｂに供給される。
【００２８】
これら自動利得制御回路８Ａ，８Ｂは、それぞれ供給された信号の利得を所定値に自動調整する。自動利得制御回路８Ａの出力は、アナログ／デジタル（Ａ／Ｄ）変換器９Ａに送られ、自動利得制御回路８Ｂの出力は、アナログ／デジタル変換器９Ｂに送られる。すなわち、ここでの自動利得制御回路８Ａ，８Ｂは、後段のアナログ／デジタル変換器９Ａ，９Ｂへの入力レベルを適正な値に調整することが行われている。
【００２９】
アナログ／デジタル変換器９Ａ，９Ｂは、入力側にサンプルホールド回路を含み、それぞれ供給されたアナログ撮像信号を該サンプルホールド回路にてサンプルホールドし、そのサンプルホールドされたアナログ撮像信号を、所定のサンプル周波数にてサンプリングしてデジタル信号に変換する。これらアナログ／デジタル変換器９Ａ，９Ｂにてそれぞれデジタル信号に変換されたＡ，Ｂチャンネルの撮像信号は、デジタルシグナルプロセッサ（ＤＳＰ）１０に送られる。
【００３０】
該デジタルシグナルプロセッサ１０は、供給されたＡ，Ｂチャンネルの撮像信号に対して、一般のビデオカメラにて通常行われる信号処理を施すと共に、後述するようにフリッカを抑圧するための補正処理をも行っている。
【００３１】
すなわち、本実施の形態の撮像デバイス１のように、２チャンネル出力の全画素読み出し方式ＣＣＤを使用した場合には、該撮像デバイス１から出力されたＡ，Ｂ各チャンネルの撮像信号を、それぞれ別系統で独立して設けられているアンプ６Ａ，６Ｂ、相関二重サンプリング回路７Ａ，７Ｂ、自動利得制御回路８Ａ，８Ｂ等のアナログ回路に通すことになるため、これらＡ，Ｂ各チャンネルに対応するアナログ回路のバラツキ等により、各チャンネル間で信号レベルにバラツキ（すなわちレベル差）が発生してしまい、結果としてフリッカが発生することになってしまう。したがって、本実施の形態のデジタルシグナルプロセッサ１０では、ＡチャンネルとＢチャンネルとの間で発生する信号レベルのバラツキ（レベル差、ゲイン差）を補正することで、フリッカを抑圧するような補正処理を行うようにしている。
【００３２】
より具体的に説明すると、本発明の第１の実施の形態に係るデジタルシグナルプロセッサ１０では、ＡチャンネルとＢチャンネルにそれぞれ付加されている基準信号のピーク値のライン積算と光学的黒レベルのライン積算とを行い、これら基準信号のピーク値のライン積算値と光学的黒レベルのライン積算値とを用いて、Ａ，Ｂチャンネル間の出力信号レベル（出力ゲイン）の差を補正するようにしている。
【００３３】
図３には、第１の実施の形態に係るデジタルシグナルプロセッサ１０における、基準信号のピーク値のライン積算値と光学的黒レベルのピーク値のライン積算値とを用いたＡ，Ｂチャンネル間のレベル差補正処理を実現するための回路構成を示す。なお、デジタルシグナルプロセッサ１０では、実際にはソフトウェアにて該補正処理等のデジタル信号処理を行うが、図３はそのソフトウェアによる補正処理を回路図として表現したものである。したがって、該ソフトウェアを変更すれば、補正処理における各種設定値や動作を容易に変更できることは言うまでもない。
【００３４】
この図３において、入力端子１１Ａに供給されたＡチャンネルの撮像信号は、ゲート２１及び２２に送られ、入力端子１１Ｂに供給されたＢチャンネルの撮像信号は、ゲート３１及び３２に送られる。
【００３５】
ゲート２１では、後述するタイミング信号Ｔｐａに基づいて、入力Ａチャンネル撮像信号から、基準信号のうちの所定部分を抜き出して積算器２３に供給する。該積算器２３では、供給された基準信号の所定部分内のピーク値をライン積算する。また、ゲート２２では、後述するタイミング信号Ｔｏａに基づいて、入力Ａチャンネル撮像信号から、光学的黒レベル期間のうちの所定部分のレベルを抜き出して積算器２４に供給する。該積算器２４では、供給された光学的黒レベル期間の所定部分のレベルをライン積算する。
【００３６】
一方、ゲート３１では、後述するタイミング信号Ｔｐｂに基づいて、入力Ｂチャンネル撮像信号から基準信号のうちの所定部分を抜き出して積算器３３に供給する。該積算器３３では、供給された基準信号の所定部分内のピーク値をライン積算する。また、ゲート３２では、後述するタイミング信号Ｔｏｂに基づいて、入力Ｂチャンネル撮像信号から光学的黒レベル期間のうちの所定部分を抜き出して積算器３４に供給する。該積算器３４では、供給された光学的黒レベルの所定部分のレベルをライン積算する。
【００３７】
なお、タイミング信号Ｔｐａ及びＴｐｂにて、Ａ，Ｂチャンネルの基準信号から抜き出す所定部分は、例えば該基準信号の中央部分であって、このように例えば中央部分を抜き出すのは、例えば信号の立ち上がり部分や立ち下がり部分のように不安定な期間の基準信号を使用しないようにするためである。同じく、タイミング信号Ｔｏａ及びＴｏｂにて、Ａ，Ｂチャンネルの光学的黒レベル期間から抜き出す所定部分も、該光学的黒レベルとして安定した部分であり、不安定な期間の光学的黒レベルを使用しないようにしている。
【００３８】
ここで、一例として、図２のＡ，Ｂチャンネル撮像信号において基準信号が存在する位置であり、且つ、ゲート２１及び３１にて該基準信号から抜き出される所定部分を、水平方向の各画素に対応する水平基準クロックをカウントした水平基準カウント値に換算して４カウント目から８カウント目までの４クロック分に相当する撮像信号上の位置とし、また、図２のＡ，Ｂチャンネルの撮像信号において光学的黒レベル期間であり、且つ、ゲート２２及び３２にて該光学的黒レベル期間から抜き出される所定部分を、同じく水平基準カウント値に換算して７５０カウント目から７５７カウント目までの８クロック分に相当する期間であるとする。
【００３９】
さらに、一例として、基準信号から抜き出した所定部分のピーク値をライン積算すると共に光学的黒レベル期間から抜き出した所定部分のレベル値をライン積算する複数ラインを、Ａチャンネルについては垂直方向の各画素に対応する垂直基準クロックをカウントした垂直基準カウント値に換算して６２カウント目から１８８カウント目までの１２８ラインのうちの奇数ライン分の６４ラインとし、Ｂチャンネルについては同じく垂直基準カウント値に換算して６３カウント目から１８９カウント目までの１２８ラインのうちの偶数ライン分の６４ラインとする。
【００４０】
これら一例として挙げた数値を用いて、ゲート２１及び積算器２３、ゲート２２及び積算器２４、ゲート３１及び積算器３３、ゲート３２及び積算器３４における動作を、以下に説明する。
【００４１】
すなわち、これら一例の数値を用いた場合において、ゲート２１及び積算器２３では、Ａチャンネル撮像信号に付加されている基準信号から、水平基準カウント値の４カウント目から８カウント目までの４クロック分に相当する期間の信号部分のピーク値の平均積算値を求め、この平均積算値を垂直基準カウント値の６２カウント目から１８８カウント目までの１２８ラインの内、奇数ライン分の６４ラインで垂直積算する。
【００４２】
同様に、ゲート３１及び積算器３３では、Ｂチャンネル撮像信号に付加されている基準信号から、水平基準カウント値の４カウント目から８カウント目までの４クロック分に相当する期間の信号部分のピーク値の平均積算値を求め、この平均積算値を垂直基準カウント値の６３カウント目から１８９カウント目までの１２８ラインの内、偶数ライン分の６４ラインで垂直積算する。
【００４３】
また、ゲート２２及び積算器２４では、Ａチャンネル撮像信号の光学的黒レベル期間から、水平基準カウント値の７５０カウント目から７５７カウント目までの８クロック分に相当する期間の信号部分のレベルの平均積算値を求め、この平均積算値を垂直基準カウント値の６２カウント目から１８８カウント目までの１２８ラインの内、奇数ライン分の６４ラインで垂直積算する。
【００４４】
同様に、ゲート３２及び積算器３４では、Ｂチャンネル撮像信号の光学的黒レベル期間から、水平基準カウント値の７５０カウント目から７５７カウント目までの８クロック分に相当する期間の信号部分のレベルの平均積算値を求め、この平均積算値を垂直基準カウント値の６３カウント目から１８９カウント目までの１２９ラインの内、偶数ライン分の６４ラインで垂直積算する。
【００４５】
上述のように、Ａチャンネル側のゲート２１及び積算器２３により生成された基準信号についてのライン積算値は減算器２５に送られ、ゲート２２及び積算器２４により生成された光学的黒レベルについてのライン積算値は減算信号として減算器２５に送られる。
【００４６】
この減算器２５では、Ａチャンネルの基準信号についてのライン積算値から、光学的黒レベルについてのライン積算値を減算し、得られた差分信号ｐLａをマイクロコンピュータ（マイコン）３６に供給する。
【００４７】
また、Ｂチャンネル側のゲート３１及び積算器３３により生成された基準信号についてのライン積算値は減算器３５に送られ、ゲート３２及び積算器３４により生成された光学的黒レベルについてのライン積算値は減算信号として減算器３５に送られる。
【００４８】
この減算器３５では、Ｂチャンネルの基準信号についてのライン積算値から、光学的黒レベルについてのライン積算値を減算し、得られた差分信号ｐLｂをマイクロコンピュータ３６に供給する。
【００４９】
マイクロコンピュータ３６では、Ａ，Ｂ両チャンネルから供給された差分信号ｐLａ及びｐLｂを用いて下記式の所定の演算を行い、例えばＢチャンネルの撮像信号のレベル補正を行うための補正係数Ｋを求める。
【００５０】
Ｋ＝ｐLａ／ｐLｂ
すなわち、この補正係数Ｋは、Ｂチャンネルの撮像信号のレベルを、Ａチャンネルの撮像信号のレベルに合わせるための補正信号に相当する。このマイクロコンピュータ３６にて求められた補正係数Ｋは、乗算器３７へ乗算係数として送られる。
【００５１】
この乗算器３７には、入力端子１１Ｂに供給されたＢチャンネルの撮像信号がそのまま入力されており、したがって、該乗算器３７ではＢチャンネルの撮像信号に補正係数Ｋが乗算されることで、レベル補正が行われる。この乗算器３７の出力がレベル補正後のＢチャンネルの撮像信号として、端子１２Ｂを介してデジタルシグナルプロセッサ１０内の後段の信号処理部に送られることになる。また、Ａチャンネルの撮像信号については、そのまま端子１２Ａを介してデジタルシグナルプロセッサ１０内の後段の信号処理部に送られることになる。なお、補正係数ＫがＢチャンネルの撮像信号に反映されることになるのは、ライン積算演算後の次フィールドとなるが、１フィールドは１／６０秒であるため、その遅延分は視覚的に殆ど気にならないレベルである。
【００５２】
第１の実施の形態では、補正係数ＫとしてＢチャンネルの撮像信号のレベルをＡチャンネルの撮像信号のレベルに合わせる係数を求める例を挙げたが、該補正係数ＫをＡチャンネルの撮像信号のレベルをＢチャンネルの撮像信号のレベルに合わせる係数とすることも可能である。この場合のマイクロコンピュータ３６では、
Ｋ＝ｐLｂ／ｐLａ
の演算式によって補正係数Ｋを求める。また、この場合、乗算器３７はＢチャンネル側ではなく、Ａチャンネル側に設けられることになり、該Ａチャンネル側に設けられた乗算器３７によって、入力端子１１Ａに供給されたＡチャンネルの撮像信号に補正係数Ｋが乗算され、Ａチャンネルの撮像信号のレベル補正が行われることになる。
【００５３】
上述したように本発明の第１の実施の形態によれば、ＡチャンネルとＢチャンネルの撮像信号のレベルを合わせることができるため、後のフリッカの発生を抑えることが可能となる。
【００５４】
なお、第１の実施の形態のように、デジタルシグナルプロセッサ１０内部にて、基準信号のピーク値のライン積算と光学的黒レベルのライン積算を行うのは、一つの基準信号のピーク値や一つの光学的黒レベルのみを用いたのでは例えばノイズ等による信号対雑音比（Ｓ／Ｎ）の変動の影響を受ける可能性があるためであり、基準信号のピーク値及び光学的黒レベルの各ライン積算を行うようにすれば、ノイズを平均化させることができて、信号対雑音比の変動の影響を受け難くなるためである。
【００５５】
また、基準信号のみでなく、光学的黒レベルも使用するのは、図２に示したように、該基準信号自身には光学的黒レベルデータも含まれているためであり、基準信号と共に該光学的黒レベルデータについてもライン積算を行い、この光学的黒レベルのライン積算値と基準信号のピーク値のライン積算値との差分をとることによって、基準信号のピーク値のライン積算値のみを使用した場合よりも精度の高い補正信号（補正係数）を得るようにするためである。
【００５６】
第１の実施の形態では、Ａ，Ｂ両チャンネルにおいて、それぞれ基準信号についてのライン積算値と光学的黒レベルについてのライン積算値の両方を求める例を挙げたが、第２の実施の形態として、構成を簡略化して、Ａ，Ｂ両チャンネルにおいて基準信号についてのライン積算値のみを求め、これらＡ，Ｂ両チャンネルで求めた基準信号についてのライン積算値を、それぞれマイクロコンピュータ３６に供給する信号ｐLａ及びｐLｂとすることも可能である。
【００５７】
この第２の実施の形態の構成は、図示は省略するが、図３の構成からゲート２２と積算器２４と減算器２５を削除し、また、ゲート３２と積算器３４と減算器３５を削除した構成となり、積算器２３と積算器３３の出力が直接マイクロコンピュータ３６に供給されることになる。
【００５８】
本発明の第２の実施の形態においても、ＡチャンネルとＢチャンネルの撮像信号のレベルを合わせることができるため、後のフリッカの発生を抑えることが可能となる。
【００５９】
また、この第２の実施の形態のように、光学的黒レベルを撮像信号のレベル補正に使用しないようにした場合は、構成の簡略化のみならず、例えば強い光が撮像デバイス１に入射することによって撮像部２の光学的黒レベル部周辺に光が漏れ込み、光学的黒レベル期間の信号レベルがゆすられてしまうような場合に特に有効である。
【００６０】
なお、該第２の実施の形態において、Ａチャンネルの撮像信号のレベルをＢチャンネルの撮像信号のレベルに合わせるようにすることも可能である。
【００６１】
次に、第３の実施の形態として、第１の実施の形態と第２の実施の形態の両方の機能を兼ね備えた構成とすることも可能である。
【００６２】
すなわち、第１の実施の形態のように、Ａ，Ｂ両チャンネルにおいてそれぞれ基準信号についてのライン積算値と光学的黒レベルについてのライン積算値の両方を求め、それらの差分信号ｐLａ，ｐLｂをマイクロコンピュータ３６に供給するような動作と、第２の実施の形態のように、Ａ，Ｂ両チャンネルにおいて基準信号についてのライン積算値のみをマイクロコンピュータ３６へ供給する信号ｐLａ，ｐLｂにする動作とを、切り換え得るようにすることも可能である。
【００６３】
この第３の実施の形態の構成例を図４に示す。なお、図４において、図１と同じように動作する各構成要素についてはそれぞれ同一の指示符号を付して、それらの説明については省略する。
【００６４】
この図４において、Ａチャンネル側の積算器２３から出力される基準信号についてのライン積算値は、減算器２５に送られると共に、切換スイッチ４１Ａの一方の被切換端子に供給される。また、減算器２５から出力される、基準信号についてのライン積算値と光学的黒レベルについてのライン積算値との差分信号は、切換スイッチ４１Ａの他方の被切換端子に供給される。
【００６５】
一方、Ｂチャンネル側の積算器３３から出力される基準信号についてのライン積算値は、減算器３５に送られると共に、切換スイッチ４１Ｂの一方の被切換端子に供給される。また、減算器３５から出力される、基準信号についてのライン積算値と光学的黒レベルについてのライン積算値との差分信号は、切換スイッチ４１Ｂの他方の被切換端子に供給される。
【００６６】
切換スイッチ４１Ａ，４１Ｂは、端子１３を介して供給される切換信号に応じて、一方若しくは他方の被切換端子の何れかに切換制御されるものである。切換信号は、「Ｈ（ハイレベル）」，「Ｌ（ローレベル）」の何れか一方を示す信号である。
【００６７】
具体的に説明すると、Ａチャンネル側に設けられている切換スイッチ４１Ａは、切換信号が「Ｈ」であるときに一方の被切換端子、すなわち積算器２３から出力される基準信号についてのライン積算値側に切り換えられ、切換信号が「Ｌ」であるときに他方の被切換端子、すなわち減算器２５から出力される差分信号側に切り換えられる。同様に、Ｂチャンネル側に設けられている切換スイッチ４１Ｂは、切換信号が「Ｈ」であるときに一方の被切換端子、すなわち積算器３３から出力される基準信号についてのライン積算値側に切り換えられ、切換信号が「Ｌ」であるときに他方の被切換端子、すなわち減算器３５から出力される差分信号側に切り換えられる。これら切換スイッチ４１Ａ，４１Ｂからの出力が信号ｐLａ，ｐLｂとして、マイクロコンピュータ３６に供給される。
【００６８】
この第３の実施の形態においては、通常状態では基準信号についてのライン積分値と光学的黒レベルについてのライン積分値の差分信号をマイクロコンピュータ３６に供給するように、切換スイッチ４１Ａ，４１Ｂの切換動作を制御しているが、例えば強い光が撮像デバイス１に入射することによって光学的黒レベル期間の信号レベルがゆすられてしまうような場合には、基準信号についてのライン積分値のみをマイクロコンピュータ３６に供給するように切換スイッチ４１Ａ，４１Ｂの切換動作を制御する。
【００６９】
このような切換スイッチ４１Ａ，４１Ｂの切換動作制御を行うための切換信号は、例えば、光学的黒レベルについての積算値が一定値になるように相関二重サンプリング回路７Ａ，７Ｂと自動利得制御回路８Ａ，８Ｂのセットアップのフィードバック制御を行い、該光学的黒レベルについての積算値を一定値に保持できなくなった境目を閾値とし、この閾値を越えたときに「Ｈ」となり、越えていないときには「Ｌ」となる信号として生成されるものである。
【００７０】
この第３の実施の形態のように、切換スイッチ４１Ａ，４１Ｂを切換制御することによって、第１の実施の形態の動作と第２の実施の形態の動作を状況に応じて切り換え可能となり、第１の実施の形態にて説明した効果と、第２に実施の形態にて説明した効果の両方を、適応的に得ることが可能となる。
【００７１】
すなわち、第３の実施の形態の構成によれば、第１，第２の実施の形態の場合と同様に、ＡチャンネルとＢチャンネルの撮像信号のレベルを合わせることによるフリッカの抑圧のみならず、第１の実施の形態の場合のように、ノイズを平均化させて信号対雑音比の変動の影響を受け難くすると共に精度の高い補正信号を得ることができ、また、第２の実施の形態の場合のように、例えば強い光が撮像デバイス１に入射することによって撮像部２の光学的黒レベル部周辺に光が漏れ込み、光学的黒レベル期間の信号レベルがゆすられてしまうような場合にも有効である。
【００７２】
なお、該第３の実施の形態において、Ａチャンネルの撮像信号のレベルをＢチャンネルの撮像信号のレベルに合わせるようにすることも可能である。
【００７３】
次に、第１乃至第３の実施の形態において、さらに以下のような動作を行わせることも可能である。
【００７４】
すなわち、自動利得制御回路８Ａ，８Ｂでは、基準信号についての利得調整も行っており、該自動利得制御回路８Ａ，８Ｂでの自動利得調整動作によって例えば基準信号のレベルがアナログ／デジタル変換器９Ａ，９Ｂへの適正入力レベルを越えるようになったりすると、該基準信号は正規な値であるとは言えなくなり、したがってこの基準信号をデジタルシグナルプロセッサ１０に供給することは好ましくない。
【００７５】
このような場合には、図示は省略するが、自動利得制御回路８Ａ，８Ｂによる利得調整値が基準信号に付加されないように、例えばフラグを立てて、自動利得制御回路８Ａ，８Ｂの利得調整量が変動しても基準信号が影響されないようにする。
【００７６】
さらに、第１乃至第３の実施の形態の構成において、Ａチャンネルの撮像信号及び、補正係数Ｋによるレベル補正後のＢチャンネルの撮像信号に、さらに光学的黒レベルのクランプ処理を施すことも可能である。
【００７７】
すなわち第４の実施の形態として、第１乃至第３の実施の形態の構成に対してさらに図５に示すように、光学的黒レベルのクランプ処理を行うクランプ回路５１Ａ，５１ＢをＡチャンネル及びＢチャンネルに設ける。なお、この図５において、図３や図４のゲート２１，２２，３１，３２からマイクロコンピュータ３６までの構成は、積算演算回路５０としてまとめて表している。
【００７８】
この図５において、Ａチャンネル側については入力端子１１Ａと出力端子１２Ａの間にクランプ回路５１Ａと減算器５２Ａを設け、Ｂチャンネル側については乗算器３７と出力端子１２Ｂとの間にクランプ回路５１Ｂと減算器５２Ｂを設けるようにする。
【００７９】
これらＡ，Ｂチャンネルに対してクランプ回路５１Ａ，５１Ｂを設けた場合の該クランプ回路５１Ａ，５１Ｂにおける動作を、前述したゲート及び積算器と同様に、一例を挙げて説明する。
【００８０】
Ａチャンネル側に設けられたクランプ回路５１Ａでは、入力端子１１Ａに供給されたＡチャンネルの撮像信号の光学的黒レベル期間から、水平基準カウント値の７５０カウント目から７５７カウント目までの８クロック分に相当する期間の信号部分のレベルの平均積算値を求め、この平均積算値を垂直基準カウント値の６２カウント目から１８９カウント目までの１２８ライン分で垂直積算し、平均化する。
【００８１】
一方、Ｂチャンネル側に設けられたクランプ回路５１Ｂでは、乗算器３７にてレベル補正処理された後のＢチャンネルの撮像信号の光学的黒レベル期間から、水平基準カウント値の７５０カウント目から７５７カウント目までの８クロック分に相当する期間の信号部分のレベルの平均積算値を求め、この平均積算値を垂直基準カウント値の６２カウント目から１８９カウント目までの１２８ライン分で垂直積算し、平均化する。
【００８２】
減算器５２Ａでは、入力端子１１Ａを介して供給されているＡチャンネルの撮像信号から、クランプ回路５１Ａにて求められた積算平均値を減算する。これにより、減算器５２Ａからは、Ａチャンネルの撮像信号の光学的黒レベルがクランプされた信号が出力されることになる。
【００８３】
また、減算器５２Ｂでは、乗算器３７にてレベル補正された後のＢチャンネルの撮像信号から、クランプ回路５１Ｂにて求められた積算平均値を減算する。これにより、減算器５２Ｂからは、レベル補正後のＢチャンネル撮像信号の光学的黒レベルがクランプされた信号が出力されることになる。
【００８４】
なお、該第４の実施の形態においても、Ａチャンネルの撮像信号のレベルをＢチャンネルの撮像信号のレベルに合わせるようにすることができる。
【００８５】
本発明は上述した実施の形態に限定されることはなく、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論であり、ビデオカメラ以外の撮像装置、例えばデジタルスチルカメラ等にも適用でき、また、ＣＣＤは単板式、３板式の何れにも適用可能である。
【００８６】
【発明の効果】
請求項１に記載の本発明に係る映像信号処理方法によれば、全画素読み出し方式の固体撮像素子の各受光画素に蓄積された各電荷を垂直ＣＣＤを介して第１，第２水平ＣＣＤに転送して読み出された第１，第２チャンネルの各映像信号に対してそれぞれ信号処理を行う際に、チャンネル間での信号レベルのバラツキを補正する映像信号処理方法において、前記第１チャンネルの映像信号中で有効画素期間の前方側に位置する光学的黒レベル期間中に付加された基準信号の第１ピーク値に対して積算して平均化した平均値を複数の奇数ラインに沿って所定ライン数分積算した基準信号の第１ピーク値の積算値と、前記基準信号の第１ピーク値の積算値から前記有効画素期間の後方側に位置する光学的黒レベル期間中の第１光学的黒レベル値に対して積算して平均化した平均値を前記複数の奇数ラインに沿って前記所定ライン数分積算した第１光学的黒レベル値の積算値を減算した第１差分値とを、光学的黒レベルの積算値を一定値に保持できなくなった境目を閾値として選択的に切り換えて出力する第１の切り換えステップと、前記第２チャンネルの映像信号中で前記前方側に位置する前記光学的黒レベル期間中に付加された前記基準信号の第２ピーク値に対して積算して平均化した平均値を複数の偶数ラインに沿って前記所定ライン数分積算した基準信号の第２ピーク値の積算値と、前記基準信号の第２ピーク値の積算値から前記後方側に位置する前記光学的黒レベル期間中の第２光学的黒レベル値に対して積算して平均化した平均値を前記複数の偶数ラインに沿って前記所定ライン数分積算した第２光学的黒レベル値の積算値を減算した第２差分値とを、前記閾値に応じて選択的に切り換えて出力する第２の切り換えステップと、前記第１の切り換えステップから出力された前記基準信号の第１ピーク値の積算値と前記第２の切り換えステップから出力された前記基準信号の第２ピーク値の積算値との比率、又は、前記第１の切り換えステップから出力された前記第１差分値と前記第２の切り換えステップから出力された前記第２差分値との比率のいずれかを演算するステップと、前記比率に応じた補正係数を前記第１チャンネル又は前記第２チャンネルのいずれか一方の映像信号に乗算して該一方の映像信号を補正するステップとを有しているため、撮像素子中で光学的黒レベル部周辺に光が漏れ込み、光学的黒レベル期間の信号レベルがゆすられてしまうような場合には基準信号の第１，第２ピーク値の積算値の比率に応じて第１，第２チャンネルのいずれか一方の映像信号を補正し、また、通常の場合には第１，第２差分値の比率に応じて第１，第２チャンネルのいずれか一方の映像信号を補正することができるので、２チャンネル出力の全画素読み出し方式の固体撮像素子を使用した場合において、各チャンネル毎に独立して設けられているアンプや相関二重サンプリング、自動利得制御等のアナログ回路のバラツキの影響を取り除き、結果としてフリッカを抑圧することが可能である。
【００８７】
請求項２に記載の本発明に係る映像信号処理装置によれば、全画素読み出し方式の固体撮像素子の各受光画素に蓄積された各電荷を垂直ＣＣＤを介して第１，第２水平ＣＣＤに転送して読み出された第１，第２チャンネルの各映像信号に対してそれぞれ信号処理を行う際に、チャンネル間での信号レベルのバラツキを補正する映像信号処理装置において、前記第１チャンネルの映像信号中で有効画素期間の前方側に位置する光学的黒レベル期間中に付加された基準信号の第１ピーク値に対して積算して平均化した平均値を複数の奇数ラインに沿って所定ライン数分積算した基準信号の第１ピーク値の積算値と、前記基準信号の第１ピーク値の積算値から前記有効画素期間の後方側に位置する光学的黒レベル期間中の第１光学的黒レベル値に対して積算して平均化した平均値を前記複数の奇数ラインに沿って前記所定ライン数分積算した第１光学的黒レベル値の積算値を減算した第１差分値とを、光学的黒レベルの積算値を一定値に保持できなくなった境目を閾値として選択的に切り換えて出力する第１の切り換え手段と、前記第２チャンネルの映像信号中で前記前方側に位置する前記光学的黒レベル期間中に付加された前記基準信号の第２ピーク値に対して積算して平均化した平均値を複数の偶数ラインに沿って前記所定ライン数分積算した基準信号の第２ピーク値の積算値と、前記基準信号の第２ピーク値の積算値から前記後方側に位置する前記光学的黒レベル期間中の第２光学的黒レベル値に対して積算して平均化した平均値を前記複数の偶数ラインに沿って前記所定ライン数分積算した第２光学的黒レベル値の積算値を減算した第２差分値とを、前記閾値に応じて選択的に切り換えて出力する第２の切り換え手段と、前記第１の切り換え手段から出力された前記基準信号の第１ピーク値の積算値と前記第２の切り換え手段から出力された前記基準信号の第２ピーク値の積算値との比率、又は、前記第１の切り換え手段から出力された前記第１差分値と前記第２の切り換え手段から出力された前記第２差分値との比率のいずれかを演算する演算手段と、前記比率に応じた補正係数を前記第１チャンネル又は前記第２チャンネルのいずれか一方の映像信号に乗算して該一方の映像信号を補正する映像信号補正手段とを有しているため、上記した請求項１記載と同様の効果を得ることができる。
【図面の簡単な説明】
【図１】本発明に係る映像信号処理方法及び映像信号処理装置が適用される実施の形態のビデオカメラの主要部構成を示すブロック図である。
【図２】Ａチャンネル及びＢチャンネルの撮像信号に付加される基準信号と、撮像信号の光学的黒レベルの説明に用いる波形図である。
【図３】本発明の第１の実施の形態に係るマイクロコンピュータ内のレベル補正処理部の構成例を示すブロック図である。
【図４】本発明の第３の実施の形態に係るマイクロコンピュータ内のレベル補正処理部の構成例を示すブロック図である。
【図５】本発明の第４の実施の形態に係るマイクロコンピュータ内のレベル補正処理部の構成例を示すブロック図である。
【符号の説明】
１…撮像デバイス
２…撮像部
３Ａ，３Ｂ…垂直ＣＣＤ
４…基準信号発生器
５Ａ，５Ｂ…付加器
６Ａ，６Ｂ…アンプ
７Ａ，７Ｂ…相関二重サンプリング回路
８Ａ，８Ｂ…自動利得制御回路
９Ａ，９Ｂ…アナログ／デジタル変換器
１０…デジタルシグナルプロセッサ
２１，２２，３１，３２…ゲート
２３，２４，３３，３４…積算器
２５，３５，５２Ａ，５２Ｂ…減算器
３６…マイクロコンピュータ
３７…乗算器
４１Ａ，４１Ｂ…切換スイッチ
５１Ａ，５１Ｂ…クランプ回路
【図１】
0003744160.tif 000002
【図２】
0003744160.tif 000003
【図３】
0003744160.tif 000004
【図４】
0003744160.tif 000005
【図５】
0003744160.tif 000006