(57)【要約】【課題】  本発明の課題は、コストを増大させることなく、高速な読み出しを実現すると共に高画質の画像を得られるようにすることである。【解決手段】  複数の出力端子を備えた複数の撮像素子における出力端子間の出力された信号のばらつきを補正する補正手段と、前記補正手段により補正された前記複数の撮像素子からの信号を合成する合成手段とを有することを特徴とする画像処理装置を提供する。【選択図】  図１
2006222537.tif 000002
【特許請求の範囲】
【請求項１】
複数の出力端子を備えた複数の撮像素子における出力端子間の出力された信号のばらつきを補正する補正手段と、
前記補正手段により補正された前記複数の撮像素子からの信号を合成する合成手段とを有することを特徴とする画像処理装置。
【請求項２】
前記各出力端子に対応した各撮像領域からの信号を増幅する増幅手段をさらに有し、
前記増幅手段は、前記撮像素子の各出力端子から出力される複数の信号をそれぞれ独立して増幅することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記複数の撮像素子のうち、少なくとも２つの撮像素子間の空間位置はオフセットを持っていることを特徴とする請求項１及び請求項２に記載の画像処理装置。
【請求項４】
像を結像するレンズからの光を受光する撮像素子と、
前記撮像素子からの信号をＡ／Ｄ変換するＡ／Ｄ変換器と、
記録手段に前記補正手段から出力された信号を記録するように制御する記録制御手段と、を更に有することを特徴とする請求項１乃至請求項３のいずれか１項に記載の画像処理装置。
【請求項５】
複数の出力端子を持つ撮像素子を複数有する画像処理装置の画像処理方法であって、
前記撮像素子における出力端子間の出力された信号のばらつきを補正する補正工程と、前記補正工程で補正された前記複数の撮像素子からの信号を合成する合成工程とを有することを特徴とする特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子を用いた画像処理装置及び画像処理方法に関するものである。
【背景技術】
【０００２】
近年、半導体技術の進歩及び市場の拡大に対応して、画素数の多い撮像素子をより安価に入手できるようになってきた。また、ビデオカメラなどに使用される撮像素子も、小型化、多画素化へと向かっている。こうした状況の中、安価で高解像度、色再現の良い画像処理装置を作るための技術として、多板式より成る画像処理装置が提案されている。この画像処理装置は、複数の撮像素子から得られた各々の出力信号を信号処理回路で処理し、これによりカラー化された映像信号を得て高い色再現性を実現していた。（例えば文献１）
【特許文献１】特開平０８−０５１６３５
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、多画素化された撮像素子で読み取った全画素の情報をビデオレートで読み出す場合や、連写撮影等の能力を向上させる場合には、単一の読み出し回路で画素からの信号を読み出したのでは、その駆動周波数を高くする必要があり、高速にする為の回路部品コストが高くなり、その回路の消費電流も増大するといった問題が生じていた。
【課題を解決するための手段】
【０００４】
上記の問題を解決するために、本発明の画像処理装置は、複数の出力端子を備えた複数の撮像素子における出力端子間の出力された信号のばらつきを補正する補正手段と、前記補正手段により補正された前記複数の撮像素子からの信号を合成する合成手段とを有することを特徴とする。
【０００５】
また、本発明の画像処理方法は、複数の出力端子を持つ撮像素子を複数有する画像処理装置の画像処理方法であって、前記撮像素子における出力端子間の出力された信号のばらつきを補正する補正工程と、前記補正工程で補正された前記複数の撮像素子からの信号を合成する合成工程とを有することを特徴とする特徴とする。
【発明の効果】
【０００６】
コストを増大させることなく、高速な読み出しと等価な方法を実現すると共に高画質の画像を得ることができる。
【発明を実施するための最良の形態】
【０００７】
（実施例１）
図１は実施例１の構成を示すブロック図である。図において、１００、２００、３００はそれぞれＲ、Ｇ、ＢのＣＣＤエリアセンサで、その領域が２つに分割されている。１０１，１０２、２０１，２０２、３０１，３０２は光電変換部、１０３，１０４、２０３，２０４、３０３，３０４は水平転送部であり、それぞれのＣＣＤエリアセンサ１００、２００、３００の撮像領域の分割に対応して、それぞれ画面の略中心を境に左右に別々の映像信号を処理するように設けられている。
【０００８】
１０６，１０７、２０６，２０７、３０６，３０７はそれぞれＣＣＤエリアセンサ１００、２００、３００の左右の信号電荷を増幅して出力する出力アンプである。１０９，１１０、２０９，２１０、３０９，３１０は相関２重サンプリングとＡ／Ｄ変換を行うアナログフロントエンド、１１１，１１２、２１１，２１２、３１１，３１２は黒レベルの検出及び黒レベルの補正をおこなう黒レベル補正回路、１１３，１１４、２１３，２１４、３１３，３１４はレベルを調整するレベル補正回路、１１６、２１６，３１６は左右２チャンネル間の不均一性を検出するための段差評価値生成回路、１１７、２１７，３１７、は２系統の画像信号を合成して１枚の画像を生成する画面合成回路である。１１５、２１５、３１５は制御回路で、このビデオカメラ全体の動作を制御している。この制御回路１１５、２１５、３１５はマイクロコンピュータ等のＣＰＵや、プログラム、データ等を格納しているプログラムメモリを備えている。１１８は信号処理部で、ここで処理された信号は出力端子（図示せず）から出力される。
【０００９】
次に本実施例の画像処理装置の動作について説明する。ＣＣＤエリアセンサ１００、２００、３００上に結像された被写体像は、光電変換部１０１，１０２、２０１，２０２、３０１，３０２により電気信号に変換された後、水平転送部１０３，１０４、２０３，２０４、３０３，３０４により２系統に分割されて出力アンプ１０６，１０７、２０６，２０７、３０６，３０７に供給される。これら出力アンプ１０６，１０７、２０６，２０７、３０６，３０７は、ＣＣＤエリアセンサの左右の撮像領域に対応する信号電荷を電圧に変換し出力する。ここで出力アンプ１０６、２０６、３０６から得られる撮像信号をＲ，Ｇ，Ｂそれぞれの左チャンネル信号、１０７、２０７、３０７から出力される撮像信号をＲ，Ｇ，Ｂそれぞれの右チャンネル信号と呼ぶことにする。
【００１０】
これら左右チャンネル信号はそれぞれアナログフロントエンド１０９，１１０、２０９、２１０、３０９，３１０により相関２重サンプリング処理及びＡ／Ｄ変換された後、各ＣＣＤチャンネル信号毎に黒レベル補正部１１１、１１２、２１１、２１２、３１１、３１２に入力される。上記各チャンネルの黒レベル補正回路ではそれぞれ各チャンネル信号のうち、ダミー信号部分もしくは、オプティカルブラック信号部分を用いて、左右チャンネルの撮像信号の黒レベルがそれぞれディジタルデータの「０」と一致するように黒レベル補正が行われる。これにより、左右チャンネル信号間のオフセット成分の誤差が除去される。黒レベルが補正された後、レベル補正部１１３，１１４、２１３，２１４、３１３，３１４において、左右チャンネル信号のそれぞれに対して、入力信号に応じたゲインによるレベル補正が施される。このレベル補正時において適用されるゲインの値は、画像合成部１１７、２１７，３１７からの出力から、段差評価値生成部１１６，２１６，３１６で左右のレベル差を検出し、その結果を制御部１１５に送り、ディジタル演算により算出される。算出された補正データを基に、レベル補正部１１３，１１４，２１３，２１４，３１３，３１４においてレベル補正が行われる。これにより、左右チャンネルに対応する回路特性のバラツキや、経時変動、温度変動の影響を排除し、入力信号に対する出力レベルが一致するように補正が行われる。
【００１１】
図２から図４は２系統間のゲイン差の補正の１例を示す図である。
【００１２】
図２ＡはＣＣＤ１００の左チャンネルの信号入出力レベルを示し、図２Ｂは同様にＣＣＤ１００の右チャンネルの信号入出力レベルを示している。入力光ｂに対する左チャンネルの出力信号レベルＲｂに対し、右チャンネルの出力信号レベルＲｂ’は小さく、
Ｒｂ’＝Ｒｂ×０．８
であったとする。このゲイン差は制御部１１５にて判別され、その結果、レベル補正部１１３には１．２５倍のゲイン、レベル補正部１１４には１倍のゲインが与えられ、レベル補正の出力において、
Ｒｂ”＝Ｒｂ
となり、左右の出力差が補正されて、ＣＣＤ１００の左右の出力差にともなう輝度の段差が補正され、１１７の画像合成部より出力される（図２Ｃ）。
【００１３】
また、図３ＡはＣＣＤ２００の左チャンネルの信号入出力レベルを示し、図３Ｂは同様にＣＣＤ２００の右チャンネルの信号入出力レベルを示している。入力光ａに対する左チャンネルの出力信号レベルＧａは、右チャンネルの出力信号レベルＧａと同じであったとする。この場合にはゲイン差がないと制御部２１５にて判別され、その結果レベル補正部２１３に１倍のゲイン、レベル補正部２１４に１倍のゲインが与えられ、ゲイン調整部の出力において、
Ｇａ”＝Ｂａ
となり、ＣＣＤ２００の左右の出力２１７の画像合成部から出力される（図３Ｃ）。
【００１４】
次に、図４Ａ，４Ｂ，４Ｃについて説明する。図４ＡはＣＣＤ３００の左チャンネルの信号入出力レベルを示し、図４Ｂは同様にＣＣＤ３００の右チャンネルの信号入出力レベルを示している。入力光ａに対する左チャンネルの出力信号レベルＢａ’は、右チャンネルの出力信号レベルＢａに対し小さく、
Ｂａ’＝Ｂａ×０．８
であったとする。このゲイン差は制御部３１５にて判別され、その結果、レベル補正部３１３には１倍のゲイン、レベル補正部３１４には１．２５倍のゲインが与えられ、ゲイン調整部の出力において、
Ｂａ”＝Ｂａ
となり、左右の出力差が調整されて、ＣＣＤ３００の左右の出力差にともなう輝度の段差が補正され、３１７の画像合成部から出力される（図４Ｃ）。
【００１５】
その結果、生成される輝度信号は左右のレベル差及び黒レベル差が補正された信号となる。
【００１６】
上述のように、撮像素子の領域を複数に分割して画像信号を出力することにより、読み出しの高速化を図ることができる。また、複数の出力部から読み出した信号を合成する前に出力部間の信号の補正を行うことにより、複雑な回路構成を必要とせずに高画質の画像を得ることが可能となる。
【００１７】
（実施例２）
次に、実施例２について説明する。なお、実施例１と同様な部分については説明を省略する。
【００１８】
図５は実施例２の構成を示すブロック図である。ＣＣＤ１００及びＣＣＤ３００と、ＣＣＤ２００は空間的に０．５画素ずらして配置されている。
【００１９】
また、図６は図５の中央部の拡大図である。図６から分かるように、ＣＣＤ１００及びＣＣＤ３００と、ＣＣＤ２００を空間的に０．５画素ずらした結果、このまま出力して画像合成してしまうと、中央部の分割部も０．５画素分、空間的にずれてしまう。つまり、図９に示すようにＲとＢの中央部と、Ｇの中央部の２箇所で段差が発生し画質劣化が起こってしまう。そこで、本実施例では、このような２重の段差を発生させないために、まず、２系統に分割されて出力された信号の左右レベルの調整を行う。その後、各色の映像信号における画素間の情報を他の色の映像信号により補う。このように始めに２系統の出力に対してレベル調整を行っておくことにより、画質劣化を防止することが可能となる。
【００２０】
次に、本実施例の画像処理装置の詳しい動作を以下に説明する。ＣＣＤエリアセンサ１００、２００、３００上に結像された被写体像は、光電変換部１０１，１０２、２０１，２０２、３０１，３０２により電気信号に変換された後、水平転送部１０３，１０４、２０３，２０４、３０３，３０４により２系統に分割されて出力アンプ１０６，１０７、２０６，２０７、３０６，３０７に供給される。これら出力アンプ１０６，１０７、２０６，２０７、３０６，３０７は、ＣＣＤエリアセンサの左右の撮像領域に対応する信号電荷を電圧に変換し出力する。
【００２１】
出力アンプ１０６、２０６、３０６から得られる撮像信号である左チャンネル信号、１０７、２０７、３０７から出力される撮像信号である右チャンネル信号は、それぞれアナログフロントエンド１０９，１１０、２０９、２１０、３０９，３１０により相関２重サンプリング処理及びＡ／Ｄ変換された後、各ＣＣＤチャンネル信号毎に黒レベル補正部１１１、１１２、２１１、２１２、３１１、３１２に入力される。上記各チャンネルの黒レベル補正回路ではそれぞれ各チャンネル信号のうち、ダミー信号部分もしくは、オプティカルブラック信号部分を用いて、左右チャンネルの撮像信号の黒レベルがそれぞれディジタルデータの「０」と一致するように黒レベル補正が行われる。これにより、左右チャンネル信号間のオフセット成分の誤差が除去される。黒レベルが補正された後、レベル補正部１１３，１１４、２１３，２１４、３１３，３１４において、左右チャンネル信号のそれぞれに対して、入力信号に応じたゲインによるレベル補正が施される。
【００２２】
このレベル補正時において適用されるゲインの値は、画像合成部１１７、２１７，３１７からの出力から、段差評価値生成部１１６，２１６，３１６で左右のレベル差を検出し、その結果を制御部１１５に送り、ディジタル演算により算出される。算出された補正データを基に、レベル補正部１１３，１１４，２１３，２１４，３１３，３１４においてレベル補正が行われる。これにより、左右チャンネルに対応する回路特性のバラツキや、経時変動、温度変動の影響を排除し、入力信号に対する出力レベルが一致するように補正が行われる。
【００２３】
そして、例えば、図７に示すように、ＲＧＢ三原色の各色用のＣＣＤ撮像素子の画素ピッチの水平方向をｄｘ、垂直方向をｄｙとすると、緑色（Ｇ）用のＣＣＤ撮像素子の各画素に対して、赤色（Ｒ）用と青色（Ｂ）用のＣＣＤ撮像素子の各画素を水平方向にｄｘ／２と垂直方向にｄｙ／２ずつずらして配置する。赤色用と青色用に対して緑色用のＣＣＤ撮像素子の画素をずらすのは、輝度信号を生成する際に緑色の映像信号と、赤色及び青色の映像信号の寄与率が同程度であるからである。そして、各色の映像信号の画素数を水平及び垂直方向にそれぞれ２倍に拡大させ全体で４倍の画素数とする補間処理を行う。この補間処理は、図８に示すように、隣接する４個の実画素Ｓ（１，１）〜Ｓ（２，２）に対して、これらの間に５個の画素Ｓａ〜Ｓｅを補間する処理である。各画素Ｓａ〜Ｓｅのサンプリング値は、４個の実画素（１，１）〜Ｓ（２，２）の各サンプリング値に基づいて数１の各演算を行うことにより計算する。
【００２４】
【数１】
2006222537.tif 000003
【００２５】
上記のようにして画素数を４倍にした各色の映像信号は、赤色と青色の映像信号の場合、図８に示した４個の実画素Ｓ（１，１）〜Ｓ（２，２）の中間に補間された画素Ｓｃの位置に緑色の映像信号の実画素が重ねて配置され、また、緑色の映像信号で補間された画素に対しても赤色と青色の映像信号の実画素が同様に重ねて配置される。従って、この空間斜め画素ずらし法は、各色の映像信号における画素間の情報を他の色の映像信号により補うことができるので、単に補間処理のみによって画素数を４倍に増加させた場合よりも水平及び垂直解像度を向上させることができる。
【００２６】
上述のように、撮像素子の領域を複数に分割して画像信号を出力することにより、読み出し速度の低速化を図ることができる。また、本実施例においては、ＣＣＤ毎にそれぞれ１１１から１１７までと２１１から２１７までと３１１から３１７までのブロックにて、左右のレベル合わせ補正がされるため、図に示すように左右の画素分割領域での段差がそれぞれのＣＣＤにて補正される。このため、生成された輝度信号には０．５画素分のずれが発生せず画質のよい画像を得ることができる。
【図面の簡単な説明】
【００２７】
【図１】第１の実施例の構成を示すブロック図である。
【図２】Ａ、Ｂ、Ｃは左右チャンネル間の補正を示す説明図である。
【図３】Ａ、Ｂ、Ｃは左右チャンネル間の補正を示す説明図である。
【図４】Ａ、Ｂ、Ｃは左右チャンネル間の補正を示す説明図である。
【図５】第２の実施例を示すブロック図である。
【図６】画面の中央部の画素ずれを示す図である。
【図７】水平・垂直方向に１／２画素分ずらして配色した概念を示す図である。
【図８】各色の映像信号における画素間の情報を他の色の映像信号により補うことを説明する図である。
【図９】画素ずらしの際に、２重に信号段差が発生した場合の概念図である。
【符号の説明】
【００２８】
１００、２００、３００  Ｒ、Ｇ、ＢのＣＣＤエリアセンサ
１０１，１０２、２０１，２０２、３０１，３０２  光電変換部
１０３，１０４、２０３，２０４、３０３，３０４  水平転送部
１０６，１０７、２０６，２０７、３０６，３０７  出力アンプ
１０９，１１０、２０９，２１０、３０９，３１０  アナログフロントエンド
１１１，１１２、２１１，２１２、３１１，３１２  黒レベル補正回路
１１３，１１４、２１３，２１４、３１３，３１４  レベル補正回路
１１６、２１６，３１６  段差評価値生成回路
１１７、２１７，３１７  画面合成回路
１１５、２１５、３１５  制御回路
１１８  信号処理部
【図１】
2006222537.tif 000004
【図２】
2006222537.tif 000005
【図３】
2006222537.tif 000006
【図４】
2006222537.tif 000007
【図５】
2006222537.tif 000008
【図６】
2006222537.tif 000009
【図７】
2006222537.tif 000010
【図８】
2006222537.tif 000011
【図９】
2006222537.tif 000012