(57)【特許請求の範囲】
【請求項１】
１画面分の画素情報をライン単位で読み出し、ライン単位で読み出した１ライン内の画素情報を画面の水平方向の中心で２分割して、それぞれ異なる２つのチャネルから出力するイメージセンサの出力信号の処理を行う画像信号処理装置において、
上記イメージセンサから１ライン内を２つのチャネルに分割して読み出された画素情報の黒レベルを各チャネル毎に検出して黒レベルを補正する補正値を算出する黒レベル検出手段と、
上記黒レベル検出手段により算出された補正値に基づき、上記イメージセンサから１ライン内を複数のチャネルに分割して読み出された画素情報の黒レベルを各チャネル毎に補正し、黒レベルを各チャネル毎に補正した画素情報から各チャネル毎にチャネル間の境界及びその近傍部分の画素情報を抽出し、抽出した画素情報を複数ラインに亘って積分し、該積分した値の差分を求めてチャネル間のゲイン差を検出するゲイン検出手段と、
上記イメージセンサから１ライン内を複数のチャネルに分割して読み出された画素情報のチャネル間のゲイン差を、上記ゲイン検出手段により検出したゲイン差に基づいて補正するゲイン補正手段とを備え、
上記ゲイン検出手段は、上記黒レベルを補正した画素情報のうち、一方のチャネルの画素情報に対しては、該ゲイン検出手段が過去に求めたゲイン差により補正してから、チャネル間の境界及びその近傍部分の画素情報を抽出する画像信号処理装置。
【請求項２】
上記黒レベル検出手段は、上記イメージセンサから読み出された画素情報の各チャネル毎に黒レベルを検出し、現在補正して得られている黒レベルと、新たに検出した黒レベルとの差分を求め、その差分を累積して平均化し、その平均化した差分値を黒レベルの補正値として算出する請求項１記載の画像信号処理装置。
【請求項３】
上記イメージセンサからチャネル毎に出力された画素情報をメモリに格納し、上記メモリに格納された画素情報を、１画面単位で所定の読み出し順序に従い読み出して、１チャネル化された画素情報を出力する画素並べ替え手段と、
上記画素並べ替え手段から１チャネル化されて出力された画素情報に対して、上記黒レベル検出手段により算出された補正値により、黒レベルを補正する黒レベル補正手段とを備え、
上記ゲイン補正手段は、上記黒レベル補正手段により黒レベルが補正された画素情報のチャネル間のゲイン差を、上記ゲイン検出手段により検出したゲイン差に基づいて補正する請求項１記載の画像信号処理装置。
【請求項４】
上記ゲイン補正手段は、上記イメージセンサから１ライン内を複数のチャネルに分割して読み出された画素情報のチャネル間のゲイン差を、上記ゲイン検出手段により検出したゲイン差に基づいて補正し、そののちに、補正した画素情報から、１ライン毎にチャネル間の境界及びその近傍部分の画素情報を抽出し、この抽出した画素情報に基づきチャネル間のゲイン差を検出し、検出したゲイン差に基づき１ライン毎にチャネル間のゲイン差を補正する請求項３記載の画像信号処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、１画面分の画素情報をライン単位で読み出し、ライン単位で読み出した画素情報を複数のチャネルに分割して出力するイメージセンサの出力信号の処理を行う画像信号処理装置に関するものである。
【０００２】
【従来の技術】
従来より、ビデオカメラ用のＣＣＤイメージセンサは、２次元情報として得られる１画面分の画素情報を、垂直レジスタと水平レジスタとによって読み出すことによって、１本のデータストリームに変換し、１つの出力チャネルから出力していた。このような１チャネル出力型のデータ転送を行うＣＣＤイメージセンサ、及び、このＣＣＤイメージセンサに用いられる従来の１チャネル出力対応の画像信号処理装置を図９に示す。
【０００３】
図９に示す従来の画像信号処理装置１０１は、例えば、イメージャに蓄積された電荷を垂直方向に転送する垂直レジスタ１１１と、垂直レジスタ１１１により転送された電荷を水平方向に１ラインづつ転送する１つの水平レジスタ１１２とを有したＣＣＤイメージセンサ１１０の出力信号に対して、画像処理を行うものである。
【０００４】
この画像信号処理装置１０１は、ＣＣＤイメージセンサ１１０の水平レジスタ１１２から出力された出力信号に対してゲインコントロール処理やＡ／Ｄ変換処理等を行い、デジタル化された画像信号を出力するアナログフロントエンド回路１２１と、後段のＹ／Ｃ分離処理を行うためにデジタル化された画素データを一定時間遅延させるディレイライン１２２と、例えばＲＧＢ信号や補色信号として入力された画素データを輝度（Ｙ）成分とクロマ（Ｃ）成分とに分離するＹ／Ｃ分離回路１２３と、画素データのうちの輝度（Ｙ）成分に対する所定の処理を行って輝度データを出力するＹプロセス回路１２４と、画素データのうちのクロマ（Ｃ）成分に対する所定の処理を行ってクロマデータを出力するＣプロセス回路１２５とを備えて構成される。
【０００５】
以上のような構成の従来の画像信号処理回路１０１では、ＣＣＤイメージセンサ１１０から１チャネルで出力された画像信号をデジタル化して、輝度（Ｙ）成分及びクロマ（Ｃ）成分に分離したデジタルの画像データを出力することができる。ＣＣＤイメージセンサ１１０の１画面分の画素数が１００万画素程度であれば、通常、アナログフロントエンド回路１２１によるＡ／Ｄ変換処理等のアナログ処理の動作周波数が３３ＭＨｚ程度で処理がされる。
【０００６】
ところで、近年、１画面分の画素数が１００万画素を越える高解像度対応のＣＣＤイメージセンサが現れている。１チャネル出力に対応した画像信号処理回路１０１によって、このような１００万画素を越える超高解像度のＣＣＤイメージセンサの読み出しを行う場合、Ａ／Ｄ変換処理等のアナログ信号処理の動作周波数が４０ＭＨｚを越える。アナログ信号処理の動作周波数が高速となると、Ａ／Ｄ変換処理等の動作が不安定となり、また、安定性を確保しようとすれば非常に高価なＩＣ等が必要となってしまう。
【０００７】
このような問題を解決するために、近年、複数の出力チャネルをもったＣＣＤイメージセンサが提案されている。複数の出力チャネルから画像信号が出力されれば、Ａ／Ｄ変換処理等のアナログ処理の動作周波数が１チャネルの場合よりも低速となる。例えば、２チャネル出力がされれば、１チャネル出力の場合と比較して１／２の動作周波数でアナログ処理を行うことができる。そして、それぞれのチャネル毎にアナログ処理を行ってデジタル化をしたのちに１チャネルに合成すれば、動作の安定性が確保される。
【０００８】
２チャネル出力対応の従来の画像信号処理装置２０１を図１０に示す。
【０００９】
この２チャネル出力対応の従来の画像信号処理装置２０１は、例えば、感光して蓄積された電荷を垂直方向に転送する垂直レジスタ２１１と、垂直レジスタ２１１により転送された電荷を水平方向に１ライン分転送する第１及び第２の２つの水平レジスタ２１２，２１３とを有したＣＣＤイメージセンサ２１０の出力信号に対して、画像処理を行うものである。なお、このＣＣＤイメージセンサ２１０では、垂直レジスタ２１１から第１の水平レジスタ２１２への電荷の転送、及び、第１の水平レジスタ２１２から第２の水平レジスタ２１３への電荷の転送という処理がされ、同時に２ライン分の画像情報が出力される。すなわち、第１の水平レジスタ２１２からは例えば奇数ラインの画素が出力され、第２のの水平レジスタ２１３から例えば偶数ラインの画素が出力されることとなる。
【００１０】
この画像信号処理装置２０１は、第１の水平レジスタ２１２から出力された出力信号に対してゲインコントロール処理やＡ／Ｄ変換処理等を行い、デジタル化された第１チャネルの画像信号を出力する第１のアナログフロントエンド回路２２１と、第２の水平レジスタ２１３から出力された出力信号に対してゲインコントロール処理やＡ／Ｄ変換処理等を行い、デジタル化された第２チャネルの画像信号を出力する第２のアナログフロントエンド回路２２２と、第１チャネルと第２チャネルとを１チャネルの画像信号に合成するとともに後段のＹ／Ｃ分離処理を行うためにデジタル化された画像信号を一定時間遅延させるディレイライン２２３と、例えばＲＧＢ信号や補色信号として入力された画像信号を輝度（Ｙ）成分とクロマ（Ｃ）成分とに分離するＹ／Ｃ分離回路２２４と、画像信号のうちの輝度（Ｙ）成分に対する所定の処理を行って輝度データを出力するＹプロセス回路２２５と、画像信号のうちのクロマ（Ｃ）成分に対する所定の処理を行ってクロマデータを出力するＣプロセス回路２２６とを備えて構成される。
【００１１】
以上のような構成の従来の画像信号処理回路２０１では、ＣＣＤイメージセンサ２１０から２チャネルで出力された画像信号をデジタル化して、輝度（Ｙ）成分及びクロマ（Ｃ）成分に分離したデジタル画像データを出力することができる。また、２チャネルで出力されるので、各チャネルに対応したアナログフロント／エンド回路２２１，２２２の動作周波数が低速となり、安定化したアナログ処理を行うことができる。
【００１２】
【発明が解決しようとする課題】
ところが、以上のような複数チャネル出力がされるＣＣＤイメージセンサを製造する場合、均一な特性をもった２つの水平レジスタを製造することは、プロセス上非常に困難であった。そのため、各チャネルから出力される出力信号にゲイン差が生じたり、また、各チャネルの黒レベルにオフセット差が生じたりしていた。このようなチャネル間のゲイン差や黒レベルのオフセット差を調整するため、従来の複数チャネル出力がされるＣＣＤイメージセンサでは、各水平レジスタにパイロット信号を含めて、パイロット信号に基づき各チャネル間のゲインや黒レベルを補正するといったことが行われているが、パイロット信号そのものに誤差が生じるなどして、有効に補正することが困難であった。
【００１３】
本発明は、このような実情を鑑みてなされたものであり、画像情報を複数のチャネルに分割して出力するイメージセンサに対して、黒レベル及びチャネル間のゲイン差を、高精度に補正することが可能な画像信号処理装置を提供することを目的とする。
【００１４】
【課題を解決するための手段】
本発明にかかる画像信号処理装置は、１画面分の画素情報をライン単位で読み出し、ライン単位で読み出した１ライン内の画素情報を画面の水平方向の中心で２分割して、それぞれ異なる２つのチャネルから出力するイメージセンサの出力信号の処理を行う画像信号処理装置であって、上記イメージセンサから１ライン内を２つのチャネルに分割して読み出された画素情報の黒レベルを各チャネル毎に検出して黒レベルを補正する補正値を算出する黒レベル検出手段と、上記黒レベル検出手段により算出された補正値に基づき、上記イメージセンサから１ライン内を複数のチャネルに分割して読み出された画素情報の黒レベルを各チャネル毎に補正し、黒レベルを各チャネル毎に補正した画素情報から各チャネル毎にチャネル間の境界及びその近傍部分の画素情報を抽出し、抽出した画素情報を複数ラインに亘って積分し、該積分した値の差分を求めてチャネル間のゲイン差を検出するゲイン検出手段と、上記イメージセンサから１ライン内を複数のチャネルに分割して読み出された画素情報のチャネル間のゲイン差を、上記ゲイン検出手段により検出したゲイン差に基づいて補正するゲイン補正手段とを備え、上記ゲイン検出手段は、上記黒レベルを補正した画素情報のうち、一方のチャネルの画素情報に対しては、該ゲイン検出手段が過去に求めたゲイン差により補正してから、チャネル間の境界及びその近傍部分の画素情報を抽出する。
【００１８】
【発明の実施の形態】
以下、本発明の実施の形態として、本発明を適用した２チャネル出力型のＣＣＤイメージセンサの出力信号の処理を行う画像信号処理装置について説明をする。
【００１９】
図１に、本発明の実施の形態の画像信号処理装置のブロック構成図を示す。
【００２０】
本実施の形態で適用されるＣＣＤイメージセンサ１０は、１画面分の撮像領域を水平方向の中心で２分割して、それぞれ異なるチャネルから画素情報を出力するイメージセンサである。具体的にこのＣＣＤイメージセンサ１０は、垂直レジスタ１１と、１ライン分の水平レジスタ１２とを備えて構成される。垂直レジスタ１１は、イメージャに蓄積された電荷を１ライン単位で垂直方向に転送するレジスタである。水平レジスタ１２は、垂直レジスタ１１により転送されてきた１ライン分の電荷を水平方向に１画素単位で転送して、２つの出力チャネルから画素情報を出力していく。この水平レジスタ１２は、１ラインの中心で２分割して、分割した一方を第１のチャネルから出力し、他方を第２のチャネルから出力している。なお、水平レジスタ１２の２つの出力チャネルのうち一方のチャネルを右チャネル、他方のチャネルを左チャネルという。
【００２１】
画像信号処理装置１は、右チャネル用アナログフロントエンド回路２１と、左チャネル用アナログフロントエンド回路２２と、複数ラインゲイン検波回路２３と、右チャネル黒レベル検波回路２４と、左チャネル黒レベル検波回路２５と、画素並べ替え回路２６と、黒レベル補正回路２７と、複数ラインゲイン補正回路２８と、１ラインゲイン検波／補正回路２９と、ディレイライン３０と、Ｙ／Ｃ分離回路３１と、Ｙプロセス回路３２と、Ｃプロセス回路３３とを備えて構成される。
【００２２】
右チャネル用アナログフロントエンド回路２１は、ＣＣＤイメージセンサ１０の右チャネルから出力された出力信号に対してゲインコントロール処理やＡ／Ｄ変換処理等を行い、デジタル化された右チャネルの画素データを出力する。右チャネルのデジタルの画素データは、右チャネル用アナログフロントエンド回路２１から複数ラインゲイン検波回路２３，右チャネル黒レベル検波回路２４，画素並べ替え回路２６に送られる。
【００２３】
左チャネル用アナログフロントエンド回路２２は、ＣＣＤイメージセンサ１０の左チャネルから出力された出力信号に対してゲインコントロール処理やＡ／Ｄ変換処理等を行い、デジタル化された左チャネルの画素データを出力する。左チャネルのデジタルの画素データは、左チャネル用アナログフロントエンド回路２２から複数ラインゲイン検波回路２３，左チャネル黒レベル検波回路２５，画素並べ替え回路２６に送られる。
【００２４】
複数ラインゲイン検波回路２３は、右チャネルの画素データと左チャネルの画素データとを複数ラインに亘って平均化し、その差分を求めて、右チャネルと左チャネルとのゲイン差を求める。求めたゲイン差は、ゲイン補正値として、後段の複数ラインゲイン補正回路２８に供給される。なお、この複数ラインゲイン検波回路２３の処理内容の一例を後で説明する。
【００２５】
右チャネル黒レベル検波回路２４は、右チャネルの画素データの黒レベルを検波する。黒レベルの検波は、現在補正して得られている黒レベルと、新たに検出した黒レベルとの差分を求め、その差分を累積して平均化し、その平均化した差分値を右チャネルの黒レベルの補正値として出力する。すなわち、ＩＩＲフィルタ回路等によってデータを収束させながら黒レベルの補正値を求める。また、左チャネル黒レベル検波回路２５も、右チャネルと同様に、左チャネルの黒レベル補正値を求めて出力する。このように、本画像信号処理装置１では、右チャネル及び左チャネルそれぞれで独立に、黒レベルの補正値を求めている。このため、各チャネルの黒レベルが混合することなく、高い精度で黒レベルを検出することができる。求められた黒レベル補正値は、黒レベル補正回路２７及び複数ラインゲイン検波回路２３に供給される。
【００２６】
画像並べ替え回路２６は、右チャネル画素データ及び左チャネル画素データを合成して、１チャネル化した画素データに変換する。この画像並べ替え回路２６から出力される画素データは、１チャネル出力型のＣＣＤイメージセンサによる画面のスキャン順序と同様のデータ配列にする。このように配列することにより、以後従来の１チャネル出力型ＣＣＤイメージセンサによって用いていた画像信号処理回路と同様の信号処理を用いることができるようになる。１チャネル化された画素データは、黒レベル補正回路２７に供給される。なお、画像並べ替え回路２６による画素の並べ替え処理内容の一例を後に説明する。
【００２７】
黒レベル補正回路２７は、１チャネル化された画素データに対して、黒レベル検波回路２４で求められた黒レベル補正値をオフセット加算して、画素データの黒レベル補正を行う。なお、黒レベル補正値は、右左の両チャネルそれぞれ独立に求められているため、１チャネル化された画素データの各画素に対して加算する黒レベルを、スキャン順序に応じて（例えば半ライン毎）に切り換える。黒レベルが補正された画素データは、複数ラインゲイン補正回路２８に供給される。
【００２８】
複数ラインゲイン補正回路２８は、１チャネル化された画素データのうちの一方のチャネル（例えば右チャネル）に対して、複数ラインゲイン検波回路２３で求めたゲイン補正値を乗算して、チャネル間のゲイン差の補正を行う。なお、いずれか一方のチャネルのゲインを基準にして、他方のチャネルのゲインを変化させれば、チャネル間のゲイン差は補正することができるので、複数ラインゲイン補正回路２８では、一方のチャネル（例えば右チャネル）に対してのみ、ゲイン補正値を乗算する。また、１チャネル化された画素データのうち一方のチャネルの各画素に対してのみゲイン補正値を乗算するには、スキャン順序に応じて（例えば半ライン毎）ゲイン補正値を乗算するかどうかを切り換えてながら、行えばよい。ゲイン補正値が乗算された画素データは、１ラインゲイン検波／補正回路２９に供給される。
【００２９】
１ラインゲイン検波／補正回路２９は、１ライン毎に右チャネルと左チャネルの境界部分の画素を抽出し、その境界部分のゲイン差を検出して、そのゲイン差を補正する。この１ラインゲイン検波／補正回路２９は、１ライン単位で完結したチャネル間のゲイン補正を行い、１ライン単位で生じているチャネル境界部分のゲインの不連続性を補正することができる。１ライン単位でゲイン補正がされた画素データは、ディレイライン３０に供給される。なお、１ラインゲイン検波／補正回路２９の処理内容の一例を後に説明する。
【００３０】
ディレイライン３０は、後段のＹ／Ｃ分離処理を行うため、画素データを一定時間遅延させる。ディレイライン３０によって遅延された画素データは、Ｙ／Ｃ分離回路３１に供給される。
【００３１】
Ｙ／Ｃ分離回路３１は、例えばＲＧＢ信号や補色信号として入力された画素データを輝度（Ｙ）成分とクロマ（Ｃ）成分とに分離する。輝度（Ｙ）成分は、Ｙプロセス回路３２に供給され、クロマ（Ｃ）成分は、Ｃプロセル回路３３に供給される。
【００３２】
Ｙプロセス回路３２は、輝度（Ｙ）成分に対する所定の処理を行って輝度データを出力する。  Ｃプロセス回路３３は、クロマ（Ｃ）成分に対する所定の処理を行ってクロマデータを出力する。
【００３３】
以上のような構成の画像信号処理回路１では、ＣＣＤイメージセンサ１０から左右の２チャネルで出力された画素データを、それぞれチャネル毎にデジタル化するので、アナログフロントエンド回路２１，２２の動作周波数を低速とすることができ、安定化した処理を行うことができる。
【００３４】
（複数ラインゲイン検波回路）
つぎに、複数ラインゲイン検波回路２３の構成について詳細に説明する。
【００３５】
複数ラインゲイン検波回路２３は、図２に示すように、右チャネル黒レベル補正部４１と、ゲイン補正部４２と、右チャネル境界画素抽出部４３と、右チャネル積分部４４と、左チャネル黒レベル補正部４５と、左チャネル境界画素抽出部４６と、左チャネル積分部４７と、ゲイン検波部４８とを備えて構成される。
【００３６】
右チャネル黒レベル補正部４１には、右チャネルの画素データと、右チャネル黒レベル検波回路２４により求められた右チャネル黒レベル補正値が入力される。右チャネル黒レベル補正部４１は、右チャネルの画素データに、右チャネル黒レベル補正値をオフセット加算することによって、黒レベルの補正を行う。同様に左チャネル黒レベル補正部４５には、左チャネルの画素データと、左チャネル黒レベル検波回路２５により求められた左チャネル黒レベル補正値が入力される。左チャネル黒レベル補正部４５は、左チャネルの画素データに、左チャネル黒レベル補正値をオフセット加算することによって、黒レベルの補正を行う。このようにチャネル間のゲイン差を求める前に、画素データの黒レベルの補正をすることによって、黒レベルが一致した状態での正確なゲイン差を検出することができることとなる。右チャネル黒レベル補正部４１により黒レベルが補正された画素データは、ゲイン補正回路４２に供給される。また、左チャネル黒レベル補正部４５により黒レベルが補正された画素データは、左チャネル境界画素抽出部４６に供給される。
【００３７】
ゲイン補正部４２は、黒レベルが補正された右チャネルの画素データと、後段のゲイン検波部４８で求められたゲイン補正値とが入力される。ゲイン補正部４２は、右チャネルの画素データに、ゲイン補正値を乗算することにより、右チャネルの画素データのゲイン補正を行う。このようにゲイン補正を行ったのちにゲイン検波を行うことによって、常に初期値からゲイン検波を行うのではなく、これまでに求めたゲイン補正値からの増減分のみを補正データとして出力することができる。そのため、後段の積分部４４，４７やゲイン検波部４８の回路規模や演算処理を簡略化することができる。ゲイン補正部４２によりゲイン補正がされた右チャネル画素データは、右チャネル境界画素抽出部４３に供給される。
【００３８】
右チャネル境界画素抽出部４３及び左チャネル境界画素抽出部４６は、チャネル間のゲイン差を検出する際に、右チャネルと左チャネルとの画像の違いによる差分の影響を取り除くため、右チャネルと左チャネルの境界部分の画素のみを抽出する処理を行う。境界部分の画素であれば、画像の特性上相関関係が強く、画像の違いによる差分が非常に少ないためである。右チャネル境界画素抽出部４３及び左チャネル境界画素抽出部４６は、例えば、図３に示すように、右チャネルと左チャネルの境界ラインを挟んで、左右２画素ずつを、垂直方向の全ラインに亘って抽出する。右チャネルの境界画素データは右チャネル積分部４４に供給され、左チャネルの境界画素データは左チャネル積分部４７に供給される。
【００３９】
右チャネル積分部４３及び左チャネル積分部４６は、抽出された境界画素データを、複数ラインに亘って積分する。積分演算は、例えば、以下の式（１）に示すように行う。
Ｓｍ＝（１／２ｎ）Ｉｍ  ＋  （（２ｎ−１）／２ｎ）Ｓｍ−１  ・・・（１）
ここで、Ｉは、入力された境界画素データの一つの画素の値であり、Ｓは積分結果であり、ｎは積分の時定数（積分する範囲）を規定する値である。Ｉ，Ｓの下付けの添え字は、境界画素データの画素番号を示す。
【００４０】
また、以上の演算式をハードウェア化して実現する場合には、図４に示すような演算回路５０となる。
【００４１】
演算回路５０において、入力された境界画素データＩｍは、第１の乗算器５１に入力される。第１の乗算器５１は、境界画素データＩｍに１／２ｎを乗算して、“（１／２ｎ）Ｉｍ”を出力する。この第１の乗算器５１から出力された値は、第１の加算器５２に入力される。第１の加算器５２は、第１の乗算器５１から出力された“（１／２ｎ）Ｉｍ”と、第１のラッチ回路５３に格納されている“（（２ｎ−１）／２ｎ）Ｓｍ−１”とを加算して、積分値Ｓｍを算出する。算出された積分値Ｓｍは、第２のラッチ回路５４に格納される。第２のラッチ回路５４に格納されている積分値Ｓｍは、積分値取り込みタイミングに応じて切り換えられる第１のスイッチ５５によって、第３のラッチ回路５６に転送される。第３のラッチ回路５６に格納された積分値Ｓｍは、続いて、第４のラッチ回路５７に転送される。そして、この第４のラッチ回路５７に格納されている値が、外部に出力される。また、第４のラッチ回路４７に格納されている積分値Ｓｍは、第２の乗算器５８及び第２の加算器５９によって、“（（２ｎ−１）／２ｎ）Ｓｍ”の演算がされる。この演算結果は、次に境界画素データＩｍが入力されたときの演算として用いられる値“（（２ｎ−１）／２ｎ）Ｓｍ−１”として、第１のラッチ回路５３に格納される。
【００４２】
なお、この演算回路５０では、外部から入力される時定数ｎによって１／２ｎ乗算器５１，５２の乗数が設定される。この時定数ｎを例えばプログラマブルに設定することによって、出力する積分値Ｓの収束スピードを変化させることができる。図５に、Ｉ＝１００としたときの収束スピードの違いを示したグラフを示す。
【００４３】
また、この積分回路５０では、積分初期値を設定するためのスイッチ６０が設けられている。積分初期値を設定することによって、安定値までの収束時間を短縮することができる。
【００４４】
以上のように右チャネル積分部４３及び左チャネル積分部４６は、それぞれ右チャネル積分値及び左チャネル積分値を出力する。出力した右チャネル積分値及び左チャネル積分値は、ゲイン検波部４８に供給される。
【００４５】
ゲイン検波部４８は、右チャネル積分値及び左チャネル積分値の大小を比較し、その大小に応じて、ゲイン補正値の値を１カウントずつアップダウンする。
【００４６】
例えばゲイン検波部４８は、図６に示すように、構成することができる。この図６に示すゲイン検出部４８は、比較器６１によって右チャネル積分値と左チャネル積分値との大小を比較する。比較結果は、制御回路６２に与えられる。制御回路６２は、ゲイン取り込みタイミング毎にスイッチ６４を切り換えることによって、出力ラッチ回路６３に格納されているゲイン補正値を、−１加算器６５、＋１加算器６６、±０加算器６７にフィードバックし、ゲイン補正値の値を±１単位でアップダウンカウントをする。ゲイン検出部４８では、以上のような処理を行うことによって、ＣＣＤイメージセンサ１０の出力信号に常に追従したゲイン検波処理を行うことができる。なお、このゲイン検出部４８では、ゲイン検波開始時にスイッチ６８が切り換えられることによって、予め設定してある初期値を、ゲイン補正値として出力する。このことにより、ゲイン補正値が安定するまでの収束時間を短縮することができる。
【００４７】
以上のように複数ラインゲイン検波回路２３は、右チャネルの画素データと左チャネルの画素データとを複数ラインに亘って平均化し、その差分を求めて、右チャネルと左チャネルとのゲイン差を求めることができる。
【００４８】
（画素並べ替え回路）
つぎに、画素並べ替え回路２６について詳細に説明する。
【００４９】
画素並べ替え回路２６は、右チャネル画素データ及び左チャネル画素データの２チャネル分の画素データ列を合成して、１チャネル化した画素データ列に変換する。
【００５０】
例えば、画素並べ替え回路２６は、図７に示すような、２つの入力ポートと１つの出力ポートとを備えたメモリを用いて画素の並べ替えを行い、２チャネル分の画素データを、１チャネル化した画素データ列に変換する。
【００５１】
この場合、書き込みは、例えば、図７（Ａ）に示すように、右チャネル画素データと左チャネル画素データとをそれぞれ独立の入力ポートから１ライン毎メモリ上に順次書き込んでいく。
【００５２】
読み出し時には、図７（Ｂ）に示すように、まず、右チャネルの０ラインの画素データを、書き込み順序と同一の順序で読み出していき、左チャネルの０ラインの画素データを、書き込み順序と逆の順序で読み出していく。続いて、右チャネルの１ラインの画素データを、書き込み順序と同一の順序で読み出していき、左チャネルの１ラインの画素データを、書き込み順序と逆の順序で読み出していく。といったように、読み出し時には、半ライン毎に右チャネルと左チャネルとで、交互に読み出しアドレスをアクセスしていき、１チャネル出力型のＣＣＤイメージセンサによる画面のスキャン順序と同様のデータ配列にする。なお、読み出しレートは、書き込みレートに対して少なくとも倍のスピードで処理を行う必要がある。
【００５３】
（１ラインゲイン検波／補正回路）
つぎに、１ラインゲイン検波／補正回路２９について説明をする。
【００５４】
１ラインゲイン検波／補正回路２９は、１ライン毎に右チャネルと左チャネルの境界部分の画素を抽出し、その境界部分のゲイン差を検出して、そのゲイン差を補正する回路である。
【００５５】
１ラインゲイン検波／補正回路２９は、例えば、図８に示すように、各ライン毎、チャネル境界近傍の複数の画素を抽出する。例えば、ここでは、左右８画素づつ抽出している。そして、左右のチャネルの画素値の平均を求め、その比を算出する。その平均値の比率に基づき、ゲインの高いチャネルに対しては画素のレベルを下げ、ゲインの低いチャネルの画素のレベルを上げるといった処理を行って、境界部分に生じてるゲイン差を平滑化する。例えば、境界から遠い画素より、境界部分に近い画素のほうを補正量を多くすることにより、チャネル境界部分に生じてる左右チャネルのレベル差を滑らかに平滑化しても良い。
【００５６】
以上のように１ライン内でのチャネル間のゲイン補正を行うことにより、１ライン単位で生じているチャネル境界部分のゲインの不連続性を補正することができる。
【００５７】
以上のように本発明の実施の形態の画像信号処理装置１では、左右チャネルに分割して出力するＣＣＤイメージセンサ１０から出力される画素データに対して、各チャネル毎に独立に黒レベルを検出してそれぞれ独立に黒レベルの補正を行うとともに、各チャネル間のゲイン差を検出してゲイン差を補正している。このことによりこの画像信号処理装置１では、左右チャネルに分割して出力するＣＣＤイメージセンサ１０に対して、黒レベル及びチャネル間のゲイン差を、高精度に補正することができる。
【００５８】
また、この画像信号処理装置１では、複数のラインに亘り平均化しチャネル間のゲイン差を検出して、チャネル間のゲイン差を補正している。このことによりこの画像信号処理装置１では、より高精度にゲイン差を補正することができる。
【００５９】
また、この画像信号処理装置１では、チャネル間の境界及びその近傍部分の画素情報を抽出し、この抽出した画素データに基づきチャネル間のゲイン差を検出し、チャネル間のゲイン差を補正している。このことによりこの画像信号処理装置１では、画像成分を除去した純粋なゲイン差成分を検出することができ、そのためより高精度なチャネル間のゲイン差の補正を行うことができる。
【００６０】
【発明の効果】
本発明にかかる画像信号処理装置では、１ライン内を複数のチャネルに分割して出力するイメージセンサから出力される画素情報に対して、各チャネル毎に独立に黒レベルを検出してそれぞれ独立に黒レベルの補正を行うとともに、各チャネル間のゲイン差を検出してゲイン差を補正する。
【００６１】
このことにより上記画像信号処理装置では、複数のチャネルに分割して出力するイメージセンサに対して、黒レベル及びチャネル間のゲイン差を、高精度に補正することができる。
【００６２】
また、本発明にかかる画像信号処理装置では、イメージセンサから１ライン内を複数のチャネルに分割して読み出された画素情報の黒レベルを各チャネル毎に補正し、黒レベルを補正した画素情報を各チャンネル毎に複数のラインに亘り平均化しチャネル間のゲイン差を検出して、チャネル間のゲイン差を補正する。
【００６３】
このことにより本発明にかかる画像信号処理装置では、より高精度にゲイン差を補正することができる。
【００６４】
また、本発明にかかる画像信号処理装置では、上記イメージセンサから１ライン内を２つのチャネルに分割して読み出された画素情報に対して、チャネル間の境界及びその近傍部分の画素情報を抽出し、この抽出した画素情報に基づきチャネル間のゲイン差を検出し、チャネル間のゲイン差を補正する。このことにより上記画像信号処理装置では、画像成分を除去した純粋なゲイン差成分を検出することができ、そのためより高精度なチャネル間のゲイン差の補正を行うことができる。
さらに、本発明にかかる画像信号処理装置では、黒レベルを補正した画素情報のうち、一方のチャネルの画素情報に対しては、該ゲイン検出手段が過去に求めたゲイン差により補正してから、チャネル間の境界及びその近傍部分の画素情報を抽出することによって、常に初期値からゲイン差を検出するのではなく、これまでに求めたゲイン差からの増減分のみをゲイン補正の補正データとして出力することができる。このため、本発明にかかる画像信号処理装置では、画素情報を積分する処理や、積分した値からゲイン差差を求める処理の回路規模、及び、演算処理を簡略化することができる。
【図面の簡単な説明】
【図１】本発明を適用した画像信号処理装置のブロック構成図である。
【図２】上記画像信号処理装置内の複数ラインゲイン検波回路のブロック構成図である。
【図３】上記複数ラインゲイン検波回路内の境界画素抽出部の処理内容を説明するための図である。
【図４】上記複数ラインゲイン検波回路内の境界画素積分部の回路構成を示す図である。
【図５】上記境界画素積分部で時定数ｎを変化させたときの積分結果の収束スピードを説明するための図である。
【図６】上記複数ラインゲイン検波回路内のゲイン検波部の回路構成を示す図である。
【図７】上記画像信号処理装置内の画素並べ替え回路の処理内容を説明するための図である。
【図８】上記画像信号処理装置内の１ラインゲイン検波補正回路の処理内容を説明するための図である。
【図９】１チャネル出力型のデータ転送を行うＣＣＤイメージセンサに用いられる従来の１チャネル出力対応の画像信号処理装置のブロック構成図である。
【図１０】２チャネル出力型のデータ転送を行うＣＣＤイメージセンサに用いられる従来の１チャネル出力対応の画像信号処理装置のブロック構成図である。
【符号の説明】
１  画像信号処理装置、１０  ＣＣＤイメージセンサ、１１  垂直レジスタ、１２  水平レジスタ、２１  右チャネル用アナログフロントエンド回路、２２  左チャネル用アナログフロントエンド回路、２３  複数ラインゲイン検波回路、２４  右チャネル黒レベル検波回路、２５  左チャネル黒レベル検波回路、２６画素並べ替え回路、２７  黒レベル補正回路、２８  複数ラインゲイン補正回路、２９  １ラインゲイン検波／補正回路
【図１】
0004655383.tif 000002
【図２】
0004655383.tif 000003
【図３】
0004655383.tif 000004
【図４】
0004655383.tif 000005
【図５】
0004655383.tif 000006
【図６】
0004655383.tif 000007
【図７】
0004655383.tif 000008
【図８】
0004655383.tif 000009
【図９】
0004655383.tif 000010
【図１０】
0004655383.tif 000011