(57)【特許請求の範囲】
【請求項１】
画像信号を処理する信号処理装置であって、
１つの画面を構成する複数の撮像領域と、前記複数の撮像領域で発生した画像信号を転送するＣＣＤと、前記複数の撮像領域に各々対応し、前記ＣＣＤから前記画像信号を出力する複数の出力端子とを有する撮像素子と、
前記撮像素子を駆動して、前記複数の出力端子の各々からダミー画像信号と前記画像信号とを出力させる駆動手段と、
撮像動作によって得られた前記画像信号を前記撮像素子から読み出すための動作中に得られる、前記複数の出力端子の各々からの前記ダミー画像信号に基づいて前記画像信号を補正することにより、前記複数の出力端子から出力される複数の前記画像信号の間のオフセット差を低減する第１の処理部と、
前記複数の出力端子から出力された撮像動作によって得られた前記画像信号を、前記撮像動作を行うよりも前に予め決定されているゲイン補正値に基づいて補正することにより、前記複数の出力端子から出力される複数の前記画像信号の間のゲイン差を低減する第２の処理部とを備え、
ここで、前記第１の処理部によるオフセット補正及び前記第２の処理部によるゲイン補正がなされた、前記複数の出力端子から出力された複数の前記画像信号は合成され、
前記ダミー画像信号は、前記ＣＣＤを空転送することにより得られる信号であることを特徴とする信号処理装置。
【請求項２】
前記第１の処理部は、前記複数の出力端子から出力される複数の画像信号
の各々に対して前記複数のダミー画像信号のうち対応するダミー画像信号に基づいてクランプ処理を施す複数のダミークランプ処理部を有することを特徴とする請求項1に記載の信号処理装置。
【請求項３】
前記第１の処理部は、補正される画像信号よりも前に前記出力端子から出力されたダミー画像信号に基づいて前記画像信号を補正することを特徴とする請求項1又は２に記載の信号処理装置。
【請求項４】
前記第１の処理部は、補正される画像信号よりも後に前記出力端子から出力されたダミー画像信号に基づいて前記画像信号を補正することを特徴とする請求項1又は２に記載の信号処理装置。
【請求項５】
前記複数の撮像領域のうちの１つの撮像領域に含まれるオプティカルブラック部のオプティカルブラックレベルに基づいて、前記複数の出力端子から出力された画像信号を補正するオプティカルブラック処理部を更に備えることを特徴とする請求項１乃至４のいずれか1項に記載の信号処理装置。
【請求項６】
前記オプティカルブラック処理部によって処理された複数の画像信号を合成して１つの画像の画像信号を生成する画像合成部を更に備えることを特徴とする請求項５に記載の信号処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、信号処理装置及び信号処理方法並びに撮像装置に関し、特に、画像信号を処理する信号処理装置及び信号処理方法並びにこれらを適用した撮像装置に関する。
【０００２】
【従来の技術】
図１は、一般的なデジタルカメラの構成を示す図である。撮影者がカメラ操作スイッチ１０１(例えば、メインスイッチ及びレリーズスイッチで構成される)を操作すると、全体制御回路１００がそれを検出し、その他の各回路ブロックへの電源供給を開始する。
【０００３】
画角内の被写体像は、主撮影光学系１０２及び１０３を通して撮像素子１０４上に結像し、撮像素子１０４により電気信号に変換される。撮像素子１０４から出力される電気信号は、ＣＤＳ／ＡＧＣ回路１０５を介して、Ａ／Ｄ変換回路１０６に供給され、ここで画素毎に順にデジタル信号に変換される。ドライバ回路１０７は、全体の駆動タイミングを決定するタイミングジェネレータ１０８から提供される信号に基づいて、撮像素子１０４における電荷の蓄積、水平及び垂直方向の電荷転送等を制御する。また、ＣＤＳ／ＡＧＣ回路１０５、並びにＡ／Ｄ変換回路１０６は、タイミングジェネレータ１０８で生成されるタイミングに従って動作する。
【０００４】
Ａ／Ｄ変換回路１０６から出力される画像信号は、全体制御ＣＰＵ１００によって制御されるセレクタ１０９を介してメモリコントローラ１１５に供給され、フレームメモリ１１６に書き込まれる。フレームメモリ１１６に書き込まれた画像信号は、メモリコントローラ１１５により読み出されて、セレクタ１０９を介してカメラＤＳＰ部１１０に転送される。カメラＤＳＰ部１１０では、フレームメモリ１１６から供給される画像信号に基づいてＲＧＢの各色信号を生成する。
【０００５】
通常、撮影前の状態では、カメラＤＳＰ部１１０の処理結果をビデオメモリ１１１に定期的(フレーム毎)に転送しモニタ表示部１１２に撮像画像を表示することにより、モニタ表示部１１２を電子ファインダとして機能させる。
【０００６】
一方、撮影者がカメラ操作スイッチ１０１を操作することにより、撮影が指示された場合は、全体制御ＣＰＵ１００による制御に従って、１フレーム分の画像信号がフレームメモリ１１６から読み出され、カメラＤＳＰ部１１０により画像処理がなされた後、その結果が一旦ワークメモリ１１３に書き込まれる。ワークメモリ１１３に書き込まれた画像信号は、圧縮・伸張部１１４において所定の圧縮フォーマットで圧縮され、その結果は外部不揮発性メモリ１１７(例えば、フラッシュメモリ等)に保存される。
【０００７】
撮影済みの画像を観察する場合には、外部不揮発性メモリ１１７に圧縮して保存された画像信号が圧縮・伸張部１１４において伸長され、その結果がビデオメモリ１１１に転送され、モニタ表示部１１２により表示される。
【０００８】
この様に、一般的なデジタルカメラでは、撮像素子１０４から出力される信号は、ほぼリアルタイムで処理されてメモリないしはモニタ表示部に出力される。
【０００９】
上記の様なデジタルカメラにおいて連写撮影等の能力を向上させるため、例えば１０駒/秒程度の連写能力を実現するためには、撮像素子からの読み出し速度を上げたり、フレームメモリ等への画像信号の書き込み速度を上げたりするなど、撮像素子を含めたシステム的な改善が必要である。
【００１０】
以下、デジタルカメラの連写撮影等の能力を向上させるための技術について説明する。図２は、水平ＣＣＤを２分割した２出力タイプのＣＣＤ撮像素子のデバイス構造を概略的に示す図である。
【００１１】
図２に示す撮像素子では、フォトダイオード部９で発生した画素毎の電荷を所定のタイミングで一斉に垂直ＣＣＤ部１０へ転送し、次のタイミングでライン毎に垂直ＣＣＤ１０の電荷を左右の水平ＣＣＤ７及び８に転送する。水平ＣＣＤ７は、転送クロック毎にその電荷を左側のアンプ５へ向かって転送し、水平ＣＣＤ８は、転送クロック毎にその電荷を右側のアンプ６へ向かって転送する。したがって、この撮像素子では、撮像された画像信号は、画面の中央を境にして左右の２つの領域に分割されて読み出される。
【００１２】
図３は、図２に示すタイプの撮像素子から出力される信号を処理する信号処理回路のブロック図である。ＣＣＤ１１で撮像された画像信号は、左右別々に２つのＣＤＳ／ＡＧＣ回路１４及び１５並びに２つのＡＤ変換回路１６及び１７においてＣＤＳ／ＡＧＣ処理され、デジタル信号に変換された後、フレームメモリ２０及び２３に格納される。
【００１３】
ここで、撮像素子１１とＣＤＳ／ＡＧＣ回路１４及び１５とはＡＣ結合されており、撮像素子１１からＣＤＳ／ＡＧＣ回路１４及び１５に画像信号が入力される際に直流成分が除去される。そこで、直流成分を再生するために、クランプ回路１８及び１９において、撮像素子１１の左右の領域でそれぞれ撮像された画像信号は、それぞれの領域のＯＢ（オプティカルブラック）画素部の画素値に従ってクランプ処理される。すなわち、撮像素子１１の左右の領域でそれぞれ撮像された画像信号は、それぞれのＯＢ画素部の画素値が所定のレベルになるように全体のレベルが調節される。
【００１４】
撮像素子１１のＯＢ画素部は、有効画素部の左右両端にそれぞれ位置しており、両者の画素値は、暗電流のシェーディングなどに起因して若干レベルが異なっている。したがって、画面を左右の２つの領域に分けて、左右の領域の画像信号を別々にＯＢ画素部の画素値に基づいてクランプ処理することで直流レベルを再生すると、画面の左右でオフセット差を生じ、両ＯＢ画素部の画素値のレベル差分だけ直流レベルが異なった画像が得られる。
【００１５】
このように左右別々に処理された画像信号は、画像合成回路１６で合成され、カラー処理部２５で色補間処理やガンマ変換処理などのカラー処理が施されて１枚の画像の画像信号とされる。
【００１６】
【発明が解決しようとする課題】
以上の様に、撮像素子に複数の出力端子を設けて該複数の出力端子から同時に画像信号を読み出す技術は、今後のデジタルカメラをより銀塩カメラ(一眼レフタイプの銀塩カメラでは、既に８駒/秒程度のスペックの製品が実現されている)の能力に近づけ、或いはそれを越えさせる上で必須の技術である。
【００１７】
しかしながら、撮像素子に複数の出力端子を備える技術は、スピードの観点では有利になるものの、出力レベルのマッチング性という観点では、１出力しかないものに比べて明らかに不利になってしまう。
【００１８】
従来、ＣＤＳ／ＡＧＣ回路部に画像信号を供給する際に除去される直流成分を再生するために、ＣＤＳ／ＡＧＣ回路部やカメラＤＳＰにおいて、オプティカルブラック（ＯＢ）レベルに基づいて撮像素子の領域ごとにクランプ処理をしていた。しかしながら、この方法では、クランプレベルを決定するためのＯＢレベルと有効画素部の黒レベルとの間に段差がある場合や、暗電流シェーディングに起因して撮像素子の複数の出力端子からそれぞれ出力されるＯＢレベルが異なる場合において、撮像素子の複数の領域（の出力）の間のオフセット差を完全に除去することができずに、複数の領域の境界が合成後の画像に現れることがあるという問題があった。
【００１９】
したがって、撮像素子の複数の出力端子から出力される画像信号間のオフセット差を除去することが重要な課題となっている。
【００２０】
本発明は、上記の背景に鑑みてなされたものであり、撮像素子の複数の領域に各々対応する複数の出力端子から出力される複数の画像信号間のオフセット差を低減し、領域間の境界が自然で良好な画像を得るための技術を提供することを目的とする。
【００２１】
【課題を解決するための手段】
本発明の第１の側面は、画像信号を処理する信号処理装置に係り、ａ）１つの画面を構成する複数の撮像領域と、該複数の撮像領域に各々対応する複数の出力端子とを有し、該複数の出力端子の各々から、対応する撮像領域での撮像に係る画像信号と該対応する撮像領域についてのダミー画像信号とを出力する撮像素子と、ｂ）前記複数の出力端子から出力される複数の画像信号の間のオフセット差を前記複数の出力端子から出力される複数のダミー画像信号に基づいて低減する処理部とを備える。ここで、前記複数のダミー画像信号としては、前記撮像素子の光電変換部に依存しない信号が採用される。
【００２２】
本発明の好適な実施の形態によれば、前記処理部は、前記複数の出力端子から出力される複数の画像信号の各々に対して前記複数のダミー画像信号のうち対応するダミー画像信号に基づいてクランプ処理を施す複数のダミークランプ処理部を有することが好ましい。
【００２３】
また、本発明の好適な実施の形態によれば、前記撮像素子は、前記光電変換部で生成された信号を垂直方向に転送する複数の垂直転送部と、前記複数の垂直転送部のうち各々対応する撮像領域に属する垂直転送部によって転送された信号を含む信号を転送する複数の水平転送部とを有し、前記複数の水平転送部は前記複数の出力端子に各々対応して設けられており、前記複数のダミー画像信号は前記複数の水平転送部によって転送される信号のうち前記複数の垂直転送部によって転送される信号以外の信号であることが好ましい。
【００２４】
或いは、前記撮像素子は、前記光電変換部で生成された信号を垂直方向に転送する複数の垂直転送部と、前記複数の垂直転送部のうち各々対応する撮像領域に属する垂直転送部によって転送された信号を含む信号を転送する複数の水平転送部とを有し、前記複数の水平転送部は前記複数の出力端子に各々対応して設けられており、前記複数の水平転送部は、各々、対応する撮像領域に属する垂直転送部によって転送された信号を転送する第１転送部と、対応する前記出力端子と前記第１転送部との間に設けられた第２転送部とを有し、前記複数のダミー画像信号は前記複数の水平転送部が転送を開始する前に前記第２転送部に蓄積されていた信号であることが好ましい。
【００２５】
或いは、前記撮像素子は、前記光電変換部で生成された信号を垂直方向に転送する複数の垂直転送部と、前記複数の垂直転送部のうち各々対応する撮像領域に属する垂直転送部によって転送された信号を含む信号を転送する複数の水平転送部とを有し、前記複数の水平転送部は、前記複数の出力端子に各々対応して設けられており、前記複数のダミー画像信号は、前記複数の水平転送部が前記複数の垂直転送部から転送された信号を転送し終えた後に転送する信号であることが好ましい。
【００２６】
また、本発明の好適な実施の形態によれば、前記処理部によって処理された複数の画像信号に対して、前記撮像素子から提供されるオプティカルブラックレベルに基づいて、共通のクランプ処理を施すオプティカル・ブラック・クランプ処理部を更に備えることが好ましい。更に、この信号処理装置は、前記オプティカル・ブラック・クランプ処理部によって処理された複数の画像信号を合成して１つの画像の画像信号を生成する画像合成部を更に備えることが好ましい。
【００２７】
本発明の第２の側面は、画像信号を処理する信号処理装置に係り、１つの画面を構成する複数の撮像領域と、該複数の撮像領域に各々対応する複数の出力端子とを有し、該複数の出力端子の各々から、対応する撮像領域での撮像に係る画像信号と該対応する撮像領域についてのダミー画像信号とを出力する撮像素子の該複数の出力端子から出力される複数の画像信号の間のオフセット差を低減する。具体的には、この信号処理回路は、該複数の出力端子から出力される複数のダミー画像信号に基づいて低減する処理部を備える。ここで、該複数のダミー画像信号は、該撮像素子の光電変換部に依存しない信号である。
【００２８】
本発明の第３の側面は、画像信号を処理する信号処理装置に係り、水平方向及び垂直方向に配列された複数の光電変換部を含む１つの画面を構成する複数の撮像領域と、前記複数の光電変換部からの信号を転送する複数の垂直転送部と、前記複数の撮像領域に各々対応して設けられたそれぞれが複数の転送段を含む複数の水平転送部と、前記複数の水平転送部に各々対応して設けられた複数の水平転送部と、前記複数の出力端子から出力される複数の画像信号の間のオフセット差を前記複数の出力端子から出力されるダミー画像信号に基づいて低減する処理部とを有する。ここで、前記ダミー画像信号としては、前記複数の水平転送部で空転送をすることによって得られる信号が採用される。
【００２９】
本発明の好適な実施の形態によれば、前記複数の水平転送部の各々は、垂直方向に前記複数の垂直転送部からの信号が転送される第１の転送段と、前記第１の転送段以外の第２の転送段とを含むことが好ましい。ここで、前記ダミー画像信号としては、前記第１の転送段に前記垂直転送部から信号が転送された後に、前記水平転送部を駆動させ、空転送によって得られる信号が採用される。
【００３０】
また、本発明の好適な実施の形態によれば、この信号処理装置は、前記複数の出力端子からの信号に対して、共通の撮像領域に含まれるオプティカルブラック部のオプティカルブラックレベルに基づいて、クランプ処理を施すオプティカル・ブラック・クランプ処理部を更に有することが好ましい。
【００３１】
本発明の第４の側面は、撮像装置に係り、上記の第１乃至第３の側面に係る信号処理装置を備えることを特徴とする。
【００３２】
本発明の第５の側面は、画像信号を処理する信号処理方法に係り、１つの画面を構成する複数の撮像領域と、該複数の撮像領域に各々対応する複数の出力端子とを有し、該複数の出力端子の各々から、対応する撮像領域での撮像に係る画像信号と該対応する撮像領域についてのダミー画像信号とを出力する撮像素子の該複数の出力端子から出力される複数の画像信号の間のオフセット差を低減する。具体的には、この方法は、該複数の出力端子から出力される複数のダミー画像信号に基づいて低減する工程を含む。ここで、該複数のダミー画像信号は、該撮像素子の光電変換部に依存しない信号である。
【００３３】
本発明の第６の側面は、信号処理装置における信号処理方法に係り、該信号処理装置は、水平方向及び垂直方向に配列された複数の光電変換部を含む１つの画面を構成する複数の撮像領域と、前記複数の光電変換部からの信号を転送する複数の垂直転送部と、前記複数の撮像領域に各々対応して設けられたそれぞれが複数の転送段を含む複数の水平転送部と、前記複数の水平転送部に各々対応して設けられた複数の水平転送部とを有する。この信号処理方法は、前記複数の出力端子から出力される複数の画像信号の間のオフセット差を前記複数の出力端子から出力される、前記複数の水平転送部で空転送をすることによって得られる、ダミー画像信号に基づいて低減することを特徴とする。
【００３４】
【発明の実施の形態】
以下、添付図面を参照しながら本発明の好適な実施の形態を説明する。
【００３５】
［第１の実施の形態］
図４は、本発明の好適な実施の形態に係る信号処理回路を含む撮像装置（例えば、デジタルカメラ）のハードウェア構成を概略的に示すブロック図である。この実施の形態では、１画面を複数の領域に分割して該複数の領域の画像信号を並列に出力する撮像素子として、１画面を２つの領域に分割して該２つの領域の画像信号を並列に出力するＣＣＤ２９を採用している。ＣＣＤ２９は、２つの領域に各々対応する２つの出力（出力端子、出力信号）ＣＨ１及びＣＨ２を有する。より具体的には、ＣＣＤ２９は、ドライバ３０によって駆動されて、所定の周波数で動作し、図２に示すように画面全体を縦に２分割する形式で左右別々に画像信号を出力する。
【００３６】
被写体は、不図示の主光学系でＣＣＤ２９の撮像面に結像され、該撮像面内に二次元的に配列された複数のフォトダイオード（光電変換部）９で光電変換された後、ＶＣＣＤ（垂直転送用のＣＣＤ）１０を通って、左右２つのＨＣＣＤ（水平転送用のＣＣＤ）７及び８まで縦（垂直）方向に転送され、さらにＨＣＣＤ７及び８で横（水平）方向（左方向及び右方向）に転送されて出力アンプ部５及び６を通して出力される。
【００３７】
図２に示すＣＣＤ２９では、ＨＣＣＤ７及び８は、ＶＣＣＤ１０（或いは、フォトダイオード部９）の横方向の画素数に相当する段数の他に余分の段数を有する。より具体的には、この実施の形態では、ＣＣＤ２９は、ＶＣＣＤ１０から直接に電荷（画像信号）が転送されるＨＣＣＤ７ｖ及び８ｖと出力アンプ５及び６との間に余分の段数のＨＣＣＤ７ｄ及び８ｄを有する。ＨＣＣＤ８及び９では、この余分のＨＣＣＤ７ｄ及び８ｄの段数分だけ信号が空送りされる。すなわち、このＣＣＤ２９では、VCCDからHCCDに電荷が転送された後、HCCDを駆動することによって、余分のＨＣＣＤ７ｄ及び８ｄの段数分だけ、フォトダイオード９に依存しないダミーの画素レベル（転送動作を開始する前に蓄積されていた電荷（信号）のレベル）が出力される。
【００３８】
図４に戻って、ＴＧ／ＳＳＧ回路３１は、垂直同期信号ＶＤ及び水平同期信号ＨＤを出力するタイミング発生回路であり、垂直同期信号ＶＤ及び水平同期信号ＨＤは、ドライバ３０、ＣＤＳ／ＡＧＣ３２及び３３、Ａ／Ｄ変換回路３４及び３５に供給される。
【００３９】
ＣＣＤ２９の画面の右半面及び左半面についての出力画像信号は、図５に示すように、横１ライン分の出力として、有効画素部（左有効画素部及び右有効画素部）の出力、ＯＢ画素部（左ＯＢ画素部及び右ＯＢ画素部）の出力、及びダミー画素部（左ダミー画素部及び右ダミー画素部）の出力を含んでいる。左ダミー画素部及び右ダミー画素部は、それぞれ前述の余分のＨＣＣＤ７ｄ及び８ｄに相当する。ＣＣＤ２９のアンプ５からは、左ダミー画素部、左ＯＢ画素部、左有効画素部の順番に信号が出力される。また、アンプ６からは、右ダミー画素部、右ＯＢ画素部、右効画素部の順番に信号が出力される。
【００４０】
ＣＣＤ２９の右半面の画像出力は、ＣＨ１端子からＣＤＳ／ＡＧＣ回路３３に供給される。ＣＨ１端子は、ＣＤＳ／ＡＧＣ回路３３とＡＣ結合されているので、信号の直流成分が除去される。ＣＤＳ／ＡＧＣ回路３３では、ＣＤＳ回路により、ＣＣＤ２９から供給された右半面の信号に対して相関２重サンプリング等を施してＣＣＤ２９の出力信号に含まれるリセットノイズ等を除去すると共に、ＡＧＣ回路により、所定の信号レベルまで出力信号を増幅する。このＡＧＣ回路で増幅された信号をＡ／Ｄ変換回路３５に供給し、ここでデジタル信号に変換してＡＤ−ＣＨ１信号が得られる。
【００４１】
同様に、ＣＣＤ２９の左半面の画像出力は、ＣＨ２端子からＣＤＳ／ＡＧＣ回路３２に供給され、この際に直流成分が除去される。ＣＤＳ／ＡＧＣ回路３２では、ＣＤＳ回路により、ＣＣＤ２９から供給された左半面の画像信号に対して相関２重サンプリング等を施してＣＣＤ２９の出力信号に含まれるリセットノイズ等を除去すると共に、ＡＧＣ回路により、所定の信号レベルまで出力信号を増幅する。このＡＧＣ回路で増幅された信号をＡ／Ｄ変換回路３４に供給し、ここでデジタル信号に変換してＡＤ−ＣＨ２信号が得られる。
【００４２】
次に、ＡＤ−ＣＨ１信号は、ダミークランプ回路３７に供給される。ダミークランプ回路３７は、ライン毎に順次出力される右ダミー画素部の所定画素数分の信号値の平均値を算出し、続いて出力される右半面の１ライン分の画像信号の各画素値から該平均値を減算する。すなわち、ダミークランプ回路３７は、右ダミー画素部の信号レベル（ダミー画素レベル）を所定の値（ここでは、ゼロ）に補正するように、１ライン全体のレベルをシフトさせるクランプ処理を行う。ここで、クランプ処理は、各ラインの画像信号の各画素値から当該ラインについての右ダミー画素部の信号値の平均値を減算するのではなく、例えば、複数ラインの右ダミー画素部の信号値の平均値を減算してもよいし、例えば、１又は複数ラインの右ダミー画素部の信号値の中間値（メディアン）を減算してもよいし、他の方法によってもよい。
【００４３】
また、ＣＤＳ／ＡＧＣ回路３３又はＡＤ変換回路３５にクランプ処理回路を内蔵し、内蔵のクランプ処理回路のみでダミー画素部に基づいてクランプ処理をしてもよい。
【００４４】
クランプ処理を全ラインに対して実行することにより、アナログ回路部で生じる縦（垂直）方向のシェーディングをキャンセルするとともに、全ラインにおいてダミー画素レベルを一定に保つように右半面についての画像信号のレベルを補正することができる。
【００４５】
同様に、ＡＤ−ＣＨ２信号は、ダミークランプ回路３６に供給される。ダミークランプ回路３６は、ライン毎に順次出力される左ダミー画素部の所定画素数分の信号値の平均値を算出し、続いて出力される左半面の１ライン分の画像信号の各画素値から該平均値を減算する。すなわち、ダミークランプ回路３６は、左ダミー画素部の信号レベル（ダミー画素レベル）を右半面のダミー画素レベルと等しい値に補正するように、１ライン全体のレベルをシフトさせるクランプ処理を行う。ここで、クランプ処理は、各ラインの画像信号の各画素値から当該ラインについての左ダミー画素部の信号値の平均値を減算するのではなく、例えば、複数ラインの右ダミー画素部の信号値の平均値を減算してもよいし、例えば、１又は複数ラインの右ダミー画素部の信号値の中間値（メディアン）を減算してもよいし、他の方法によってもよい。
【００４６】
また、ＣＤＳ／ＡＧＣ回路３２又はＡＤ変換回路３４にクランプ処理回路を内蔵し、内臓のクランプ処理回路のみでダミー画素部に基づいてクランプ処理をしてもよい。
【００４７】
クランプ処理を全ラインに対して実行することにより、アナログ回路部で生じる縦（垂直）方向のシェーディングをキャンセルするとともに、全ラインにおいてダミー画素レベルを一定に保つように左半面についての画像信号のレベルを補正することができる。
【００４８】
以上のように、この実施の形態によれば、ＯＢ画素部の画素値に基づいて左右の領域に対して別々にクランプ処理をするのではなく、左右のダミー画素部の画素値に基づいて左右の領域に対して別々にクランプ処理をするので、例えば、左右の領域のＯＢ画素部の暗電流が異なっていても、それに影響を受けることなく、左右の領域の画像信号の間のオフセット差を取り除くことができる。
【００４９】
次に、ダミークランプ回路３６及び３７で処理された画像信号は、それぞれゲイン調整回路３８及び３９に供給される。ゲイン調整回路３８及び３９は、ＣＣＤ２９のアンプ５及び６、ＣＤＳ／ＡＧＣ回路部３２及び３３、ＡＤ変換回路３４及び３５で発生した左右の領域の画像信号間のゲイン差を補正するように、ダミークランプ回路３６及び３７からそれぞれ出力される画像信号に対して、全体処理ＣＰＵから提供されるゲイン補正値を乗算することにより、左右の領域の画像信号間のゲイン差を取り除く。このゲイン補正値は、予め工場における調整の際等に書き込まれた調整値に基づいて決定されてもよいし、出荷後のキャリブレーションによって得られる値に基づいて決定されてもよい。
【００５０】
このようにしてダミークランプ処理及びゲイン補正処理を行うことで、ＣＣＤ２９の左右の領域の画像信号は、両者のオフセット差及びゲイン差が除去され、画像合成回路４６で合成されたときに両領域間の境界がわからないような信号となる。しかしながら、このまま出力したのでは、黒レベルが所定の値に調整できておらず、黒浮きしたり黒沈みしたりした出力画像となってしまう。
【００５１】
そこで、ゲイン補正された両信号をそれぞれＯＢクランプ回路４０及び４１に供給し、ＯＢ画素部の画素値に基づいてクランプ処理を行う。ここで、図５に示すように、ＯＢ画素部は、左右の領域のそれぞれについて設けられているが、左右のＯＢ画素部の画素値に基づいて左右の画像信号に対して別々にＯＢクランプ処理を実行すると、折角取り除いた両領域間のオフセット差が再び生じてしまう。
【００５２】
この問題に鑑み、この実施の形態では、左右どちらか一方のＯＢ画素部の画素値に基づいて左右の画像信号に対して共通の値でクランプ処理をすることにより直流成分を再生する。例えば、左半面の出力信号に含まれるＯＢ画素部の所定画素数の画素値の平均値を算出し、ＯＢクランプ回路４０において左半面の１ライン分の画像信号の各画素値から該平均値を減算すると同時に、該平均値をＯＢクランプ回路４１にも提供し、右半面の１ライン分の画像信号の各画素値からも該平均値を減算するという如きである。これを全ラインについて実行する。
【００５３】
次に、メモリコントローラ４３及び４４を介してフレームメモリ４２及び４５にそれぞれ画像信号を書き込み、その後、画像合成回路４６により両画像信号を合成して１枚の画像の画像信号を生成し、次段のカラー処理回路４７で所定のカラー処理(例えば、色補間処理やガンマ変換等)を行う。
【００５４】
［第２の実施の形態］
以下、本発明の第２の実施の形態を説明する。複数の出力端子を有する撮像素子２９が図２に示すようなＣＣＤである場合、ＨＣＣＤ７（８）においてＨＣＣＤ７（８）の段数分を越えて信号の転送を続けると、図６に示すように、左（右）ダミー画素部、左（右）ＯＢ画素部、並びに、左（右）有効画素部が出力された後に、さらにＨＣＣＤ７（８）のみの信号成分を含んだ左（右）ダミー画素部が出力される。この左（右）ダミー画素部を左（右）後ダミー画素部、最初に出力される左（右）ダミー画素部を左（右）前ダミー画素部と呼ぶことにする。
【００５５】
左（右）前ダミー画素部と左（右）後ダミー画素部とは、フォトダイオード９に依存しないＨＣＣＤ７（８）のみの信号成分を含んだ信号なので、本来同じレベルとなる筈であるが、ＣＣＤ２９のアンプ５（６）、ＣＤＳ／ＡＧＣ回路３（４）、ＡＤ変換回路５（６）などにおいて、外乱などによりアナログ的に信号が変動するようなことがある場合には同じレベルとならない。この場合、左（右）後ダミー画素部は、有効画素部の左右領域の境界部分が出力された直後に出力され、その出力時刻が有効画素部の左右境界部分の出力時刻と近いので、前ダミー画素部よりもアナログ回路における信号のレベル変動の影響を受けにくく、有効画素部、特に有効画素部の中でも左右境界部分との相関性が高い。
【００５６】
そこで、第１の実施の形態と同様に、ＣＣＤ２９の左領域及び右領域の出力信号を別々にＣＤＳ／ＡＧＣ回路及びＡＤ変換回路に入力してデジタル信号ＡＤ−ＣＨ１及びＡＤ−ＣＨ２を得た後、図４に示すダミークランプ回路３７及び３６において、後ダミー画素部の信号値に基づいてクランプ処理を実行する。この場合も、第１の実施の形態と同様に、ライン毎に順次出力される左及び右後ダミー画素部の所定画素数分の信号値の平均値をそれぞれ算出し、続いて出力される左右半面の１ライン分の画像信号の各画素値から該平均値を減算し、左及び右後ダミー画素部の信号レベルを所定の値にするように１ライン全体のレベルをシフトするクランプ処理をそれぞれ行う。このクランプ処理は、各ラインの画像信号の各画素値から当該ラインについての左及び右ダミー画素部の信号値の平均値を減算するのではなく、例えば、複数ラインの左及び右ダミー画素部の信号値の平均値をそれぞれ減算してもよいし、例えば、１又は複数ラインの左及び右ダミー画素部の信号値の中間値（メディアン）を減算してもよいし、他の方法によってもよい。
【００５７】
また、ＣＤＳ／ＡＧＣ回路３２（３３）又はＡＤ変換回路３４（３５）にクランプ処理回路を内蔵し、内臓のクランプ処理回路のみで左（右）後ダミー画素部に基づいてクランプ処理してもよい。
【００５８】
これを全ラインについて実行することにより、アナログ回路部で生じる縦方向のシェーディングをキャンセルするとともに、ダミー画素レベルを一定に保つように左右半面の画像レベルをそれぞれ補正することができる。
【００５９】
さらに、第１の実施の形態と同様に、ゲイン補正回路３８及び３９において、左右出力のゲイン差を補正した後、ＯＢクランプ回路４０及び４１において同一の値でクランプ処理をすることにより直流成分を再生し、画像合成回路４６において左右の画像信号を１つの画像の画像信号に合成し、カラー処理を行う。
【００６０】
このように後ダミー画素部の信号値に基づいてクランプ処理を実行することによって、ＣＣＤ出力アンプ、ＣＤＳ／ＡＧＣ回路及びＡＤ変換回路などにおいてアナログ的に信号が変動することがあっても、左右の領域の画像信号間のオフセット差を良好に除去することができる。
【００６１】
上記の実施の形態では、撮像素子の一例としてＣＣＤを挙げたが、本発明は、他の形式の撮像素子、例えばＣＭＯＳ等の撮像素子にも適用することができる。
【００６２】
また、上記の実施の形態におけるソフトウェアの全部又は一部は、ハードウェハで置き換えられてもよいし、上記の実施の形態におけるハードウェアの全部又は一部は、ソフトウェアで置き換えられてもよい。
【００６３】
また、上記の実施の形態に係る装置及び方法は、全体でも一部でも発明を構成し得る。
【００６４】
また、上記の実施の形態における装置及びその構成要素は、他の装置の一部として、或いは他の装置と結合して実施されてもよい。
【００６５】
また、本発明は、例えば、ビデオムービーカメラ、ビデオスチルカメラ、レンズ交換式カメラ、一眼レフカメラ、レンズシャッターカメラ、監視カメラ等の種々の撮像装置、更には、それらを含む装置にも適用され得る。
【００６６】
また、上記の実施の形態の機能は、所定のソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）をシステムあるいは装置に提供することによっても達成され得る。ここで、コンピュータが記憶媒体に格納されたプログラムコードを実行することによっても、そのプログラムコードの指示に基づいてコンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を実行することによっても、上記の実施の形態の機能を実現することができる。また、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後に、そのプログラムコードの指示に基づいて、その機能拡張カードや機能拡張ユニットに搭載されたCPUなどが実際の処理の一部または全部を実行することによっても、上記の実施の形態の機能が実現され得るる。
【００６７】
【発明の効果】
本発明によれば、撮像素子の複数の領域に各々対応する複数の出力端子から出力される複数の画像信号間のオフセット差を低減することができ、領域間の境界が自然で良好な画像を得ることができる。
【図面の簡単な説明】
【図１】一般的なデジタルカメラの構成を示す図である。
【図２】１画面を複数の領域に分割して該複数の領域の画像信号を並列に出力する撮像素子の一例を示す図である。
【図３】図２に示すタイプの撮像素子から出力される信号を処理する従来の信号処理回路のブロック図である。
【図４】本発明の好適な実施の形態に係る信号処理回路を含む撮像装置（例えば、デジタルカメラ）のハードウェア構成を概略的に示すブロック図である。
【図５】本発明の第１の実施の形態に係る撮像素子の出力信号の具体例を示す図である。
【図６】本発明の第２の実施の形態に係る撮像素子の出力信号の具体例を示す図である。
【図１】
0003697172.tif 000002
【図２】
0003697172.tif 000003
【図３】
0003697172.tif 000004
【図４】
0003697172.tif 000005
【図５】
0003697172.tif 000006
【図６】
0003697172.tif 000007