(57)【特許請求の範囲】
【請求項１】
撮像素子の出力に対する信号処理を実行する画像信号処理回路であり、
撮像素子の分割領域各々に対応する出力信号を入力して補正処理を実行する画像信号補正部を有し、
前記画像信号補正部は、
前記撮像素子の分割領域各々に対応する第１画像領域と第２画像領域の境界部に隣接する画素を含む境界画素の画素値を取得し、
前記第１画像領域の境界画素の各ラインｎ（ｎ＝１〜Ｎ）の画素値の加算値である第１画素値総和と、
前記第２画像領域の境界画素の各ラインｎ（ｎ＝１〜Ｎ）の画素値を一部置き換えて加算した修正第２画素値総和を算出し、
前記第１画素値総和と前記修正第２画素値総和との差分値である修正画素値総和差分を算出する演算部と、
前記演算部の算出した前記修正画素値総和差分と予め定めた閾値［Ｔｈ］との比較を実行し、該比較結果に応じて異なる分割領域画像の補正態様を決定して、決定した補正態様に従って分割領域画像の画素値補正処理を実行する補正部を有し、
前記演算部は、
前記修正第２画素値総和の算出処理において、各ライン単位で前記第２画像領域の境界部画素値と前記第１画像領域の境界部画素値との差分算出を行い、画素値差分が予め設定した閾値［ＤＩＦＦ］より大きい場合に、前記第２画像領域の境界部画素の画素値を前記第１画像領域の境界部画素の画素値に置き換えて、前記修正第２画素値総和の算出処理を行う構成であることを特徴とする画像信号処理回路。
【請求項２】
前記演算部は、
モノクロ画像の画像補正処理を実行する構成であり、
前記撮像素子の分割領域各々に対応する第１画像領域と第２画像領域の境界部に隣接する１画素の画素列の各画素値を取得し、
前記第１画像領域の境界部に隣接する１画素について、各ラインｎ（ｎ＝１〜Ｎ）の画素値の加算値である第１画素値総和と、
前記第２画像領域の境界部に隣接する１画素について、各ラインｎ（ｎ＝１〜Ｎ）の画素値を一部置き換えて加算した修正第２画素値総和を算出する処理を実行する構成であることを特徴とする請求項１に記載の画像信号処理回路。
【請求項３】
前記演算部は、
カラー画像の画像補正処理を実行する構成であり、
前記撮像素子の分割領域各々に対応する第１画像領域と第２画像領域の境界部に隣接する複数画素の画素列の各画素値を取得し、
前記第１画像領域の境界部に隣接する複数画素について、各ラインｎ（ｎ＝１〜Ｎ）の画素値の加算値である第１画素値総和と、
前記第２画像領域の境界部に隣接する複数画素について、各ラインｎ（ｎ＝１〜Ｎ）の画素値を一部置き換えて加算した修正第２画素値総和を算出する処理を実行する構成であることを特徴とする請求項１に記載の画像信号処理回路。
【請求項４】
前記画像信号処理回路は、さらに、
前記撮像素子の分割領域各々に対応する電荷情報に基づく電圧情報を出力する複数の出力アンプと、
前記複数の出力アンプの各出力を個別に入力してデジタル信号を生成する複数の信号処理部と、
前記複数の信号処理部の出力を合成するマルチプレクサとを有し、
前記演算部は、前記マルチプレクサからデジタル画像信号を入力して前記修正画素値総和差分の算出を実行し、
前記補正部は、前記マルチプレクサからデジタル画像信号を入力して画素値補正処理を実行する構成であることを特徴とする請求項１に記載の画像信号処理回路。
【請求項５】
前記補正部は、
前記修正画素値総和差分の絶対値が前記閾値［Ｔｈ］よりも大きい場合、分割領域画像の画素値を変更する画素値補正処理を実行し、前記修正画素値総和差分の絶対値が前記閾値［Ｔｈ］以下である場合は補正処理を行なわない構成であることを特徴とする請求項１に記載の画像信号処理回路。
【請求項６】
前記補正部は、
前記第１画素値総和をΣａ、
前記修正第２画素値総和をΣｂ（ｎｅｗ）、
としたとき、
前記修正画素値総和差分［Ｓｕｂ（ｎｅｗ）＝Σｂ（ｎｅｗ）−Σａ］と予め設定された閾値［Ｔｈ］を比較し、
（１）前記修正画素値総和差分［Ｓｕｂ（ｎｅｗ）＝Σｂ（ｎｅｗ）−Σａ］が閾値［Ｔｈ］よりも大きい場合、前記第１画像領域の出力レベルを上げる補正、
（２）前記修正画素値総和差分［Ｓｕｂ（ｎｅｗ）＝Σｂ（ｎｅｗ）−Σａ］が閾値［Ｔｈ］以下であり負の値でもない場合は補正なし、
（３）前記修正画素値総和差分［Ｓｕｂ（ｎｅｗ）＝Σｂ（ｎｅｗ）−Σａ］が負の値であり、前記修正画素値総和差分［Ｓｕｂ（ｎｅｗ）＝Σｂ（ｎｅｗ）−Σａ］の絶対値｜Ｓｕｂ（ｎｅｗ）｜が閾値［Ｔｈ］を超える場合は前記第１画像領域の出力レベルを下げる補正、
（４）前記修正画素値総和差分［Ｓｕｂ（ｎｅｗ）＝Σｂ（ｎｅｗ）−Σａ］が負の値であり、前記修正画素値総和差分［Ｓｕｂ（ｎｅｗ）＝Σｂ（ｎｅｗ）−Σａ］の絶対値｜Ｓｕｂ（ｎｅｗ）｜が閾値［Ｔｈ］よりも小さい場合は補正なし、
上記（１）〜（４）のいずれかを前記差分値と閾値との比較結果に基づいて実行する構成であることを特徴とする請求項１に記載の画像信号処理回路。
【請求項７】
前記補正部は、
前記修正画素値総和差分［Ｓｕｂ（ｎｅｗ）＝Σｂ（ｎｅｗ）−Σａ］の絶対値｜Ｓｕｂ（ｎｅｗ）｜より小さい絶対値を持つ補正量を設定して各画像フレーム対する補正処理を実行する構成であることを特徴とする請求項１に記載の画像信号処理回路。
【請求項８】
撮像部と、撮像部からの入力信号の信号処理を実行する画像信号処理部とを有する撮像装置であり、
前記撮像部は、撮像素子の分割領域各々に対応する出力信号を出力する構成を有し、
前記画像信号処理部は、前記撮像素子の分割領域各々に対応する出力信号を入力して補正処理を実行する画像信号補正部を有し、
前記画像信号補正部は、
前記撮像素子の分割領域各々に対応する第１画像領域と第２画像領域の境界部に隣接する画素を含む境界画素の画素値を取得し、
前記第１画像領域の境界画素の各ラインｎ（ｎ＝１〜Ｎ）の画素値の加算値である第１画素値総和と、
前記第２画像領域の境界画素の各ラインｎ（ｎ＝１〜Ｎ）の画素値を一部置き換えて加算した修正第２画素値総和を算出し、
前記第１画素値総和と前記修正第２画素値総和との差分値である修正画素値総和差分を算出する演算部と、
前記演算部の算出した前記修正画素値総和差分と予め定めた閾値［Ｔｈ］との比較を実行し、該比較結果に応じて異なる分割領域画像の補正態様を決定して、決定した補正態様に従って分割領域画像の画素値補正処理を実行する補正部を有し、
前記演算部は、
前記修正第２画素値総和の算出処理において、各ライン単位で前記第２画像領域の境界部画素値と前記第１画像領域の境界部画素値との差分算出を行い、画素値差分が予め設定した閾値［ＤＩＦＦ］より大きい場合に、前記第２画像領域の境界部画素の画素値を前記第１画像領域の境界部画素の画素値に置き換えて、前記修正第２画素値総和の算出処理を行う構成であることを特徴とする撮像装置。
【請求項９】
画像信号処理装置において、撮像素子の出力に対する信号処理を実行する画像信号処理方法であり、
画像信号補正部が撮像素子の分割領域各々に対応する出力信号を入力して補正処理を実行する画像信号補正ステップを有し、
前記画像信号補正ステップは、
演算部が、
前記撮像素子の分割領域各々に対応する第１画像領域と第２画像領域の境界部に隣接する画素を含む境界画素の画素値を取得し、
前記第１画像領域の境界画素の各ラインｎ（ｎ＝１〜Ｎ）の画素値の加算値である第１画素値総和と、
前記第２画像領域の境界画素の各ラインｎ（ｎ＝１〜Ｎ）の画素値を一部置き換えて加算した修正第２画素値総和を算出し、
前記第１画素値総和と前記修正第２画素値総和との差分値である修正画素値総和差分を算出する演算ステップと、
補正部が、
前記演算部の算出した前記修正画素値総和差分と予め定めた閾値［Ｔｈ］との比較を実行し、該比較結果に応じて異なる分割領域画像の補正態様を決定して、決定した補正態様に従って分割領域画像の画素値補正処理を実行する補正ステップを有し、
前記演算ステップは、
前記修正第２画素値総和の算出処理において、各ライン単位で前記第２画像領域の境界部画素値と前記第１画像領域の境界部画素値との差分算出を行い、画素値差分が予め設定した閾値［ＤＩＦＦ］より大きい場合に、前記第２画像領域の境界部画素の画素値を前記第１画像領域の境界部画素の画素値に置き換えて、前記修正第２画素値総和の算出処理を行うステップであることを特徴とする画像信号処理方法。
【請求項１０】
画像信号処理装置において、撮像素子の出力に対する信号処理を実行させるコンピュータ・プログラムであり、
画像信号補正部に、撮像素子の分割領域各々に対応する出力信号を入力して補正処理を実行させる画像信号補正ステップを有し、
前記画像信号補正ステップは、
演算部に、
前記撮像素子の分割領域各々に対応する第１画像領域と第２画像領域の境界部に隣接する画素を含む境界画素の画素値を取得させ、
前記第１画像領域の境界画素の各ラインｎ（ｎ＝１〜Ｎ）の画素値の加算値である第１画素値総和と、
前記第２画像領域の境界画素の各ラインｎ（ｎ＝１〜Ｎ）の画素値を一部置き換えて加算した修正第２画素値総和を算出させて、
前記第１画素値総和と前記修正第２画素値総和との差分値である修正画素値総和差分を算出させる演算ステップと、
補正部に、
前記演算部の算出した前記修正画素値総和差分と予め定めた閾値［Ｔｈ］との比較を実行させて、該比較結果に応じて異なる分割領域画像の補正態様を決定させて、決定した補正態様に従って分割領域画像の画素値補正処理を実行させる補正ステップを有し、
前記演算ステップは、
前記修正第２画素値総和の算出処理において、各ライン単位で前記第２画像領域の境界部画素値と前記第１画像領域の境界部画素値との差分算出を行い、画素値差分が予め設定した閾値［ＤＩＦＦ］より大きい場合に、前記第２画像領域の境界部画素の画素値を前記第１画像領域の境界部画素の画素値に置き換えて、前記修正第２画素値総和の算出処理を行わせるステップであることを特徴とするコンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像信号処理回路、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラムに関する。さらに、詳細には、撮像素子を複数に分割し分割区分毎の信号処理を行なう構成において、分割領域の境界の不連続性を解消する処理を行う画像信号処理回路、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラムに関する。
【背景技術】
【０００２】
例えばビデオカメラやスチルカメラなどにおける撮像素子としてＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）が広く用いられている。例えば従来の一般的なＣＣＤは、１画面分の撮影情報を多数のフォトディテクタ（ＰＤ：Photo Detector）によって受光し、光電変換によって得られる電荷信号を垂直レジスタと水平レジスタとによって読み出してデータストリームに変換して１つの出力チャネルから出力していた。このような１チャネル出力型のＣＣＤおよび信号処理構成について図１を参照して説明する。
【０００３】
図１に示すＣＣＤ１０は、ＣＣＤを構成する撮像素子としてのフォトディテクタ（ＰＤ）に蓄積された電荷を垂直方向に転送する垂直レジスタ１１と、垂直レジスタ１１により転送された電荷を水平方向に１ラインずつ転送する１つの水平レジスタ１２と水平レジスタ１２の電荷を電圧に変換する出力アンプ１３を有し、出力アンプ１３の出力を信号処理部２１に入力する構成である。
【０００４】
信号処理部２１は、入力信号中のノイズ除去を実行するＣＤＳ回路、ゲイン調整を行うＡＧＣ回路、ＡＤ変換を行なうＡＤ変換部等によって構成される。信号処理部２１において信号処理のなされたデジタル信号は、ラインメモリ２２に蓄積された後、出力部２３を介して出力され、例えば図に示す出力画像３０が得られる。
【０００５】
近年、信号処理の高速化の要請やＣＣＤの構成画素数の増大に伴い、ＣＣＤの出力を複数に分割し、それぞれの出力の並列処理を行い合成して出力する構成が提案されている。このような構成によって高速な信号処理が実現される。例えば、２チャネルの出力がなされれば、１チャネル出力の場合と比較して１／２の動作周波数で出力データの信号処理を行うことができる。
【０００６】
２チャネル出力対応のＣＣＤおよび信号処理構成について図２を参照して説明する。図２に示すＣＣＤ５０は、ＣＣＤを構成するフォトディテクタ（ＰＤ）に蓄積された電荷を垂直方向に転送する垂直レジスタ５１と、垂直レジスタ５１により転送された電荷を水平方向に１ラインずつ転送する２つの水平レジスタ５２，５３を有する。第１水平レジスタ５２はＣＣＤを構成するフォトディテクタの左半分の出力、第２水平レジスタ５３は右半分の出力を入力する。
【０００７】
第１水平レジスタ５２の蓄積データは、出力アンプ５４によって電荷が電圧に変換されて信号処理部６２に入力される。また、第２水平レジスタ５３の蓄積データは、出力アンプ５５によって電荷が電圧に変換されて信号処理部６１に入力される。２つの信号処理部６１，６２は、それぞれＣＣＤの構成画素の半分の出力データを並列に処理する。この処理によって高速な処理が実現される。
【０００８】
信号処理のなされたデータは、それぞれラインメモリ６３，６４に入力され、マルチプレクサ６５で合成され、出力部６６を介して出力される。例えば図に示す出力画像７０が得られる。
【０００９】
図２に示す構成では、ＣＣＤの撮像領域を左右に２分割し、左右それぞれの水平レジスタ５２，５３を介してデータ転送および信号処理を並列に実行することで、画像の出力スピードを向上させることが可能となる。しかし、複数の出力アンプ５４，５５を使用することとなり、出力アンプの特性の違いに基づく出力レベルの差が生じてしまう。すなわち、図２に示すように、ＣＣＤの出力を分割してそれぞれの出力を異なる出力アンプ５４，５５で増幅すると、出力アンプの個体差による出力データのばらつきが発生する。出力アンプの特性は製造工程上のばらつきに依存し、アンプの特性値を完全に一致することはかなり難しい。
【００１０】
また、出力アンプ５４，５５を通った信号はそれぞれの信号処理部（ＣＤＳ／ＡＧＣ／ＡＤブロック）６１，６２において信号処理がなされてデジタル信号に変換されるが、ＣＤＳ／ＡＧＣ／ＡＤの特性を一致させることもきわめて難しい。この結果、図に示す出力画像７０のように、左右の画像の出力レベルに差異が発生することになる。
【００１１】
左右のレベル差を補正し、撮像領域境界を目立たなくさせるには、左右の画像出力のレベルを一致させればよい。例えば、左右領域それぞれのレベルを演算して比較し、片方のレベルを補正してもう片方のレベルに一致させる手法である。例えば、特許文献１（特許３６１９０７７号）は、この手法によるレベル制御構成を開示している。しかしながら、この方法を適用する場合は、分割された各領域の画素から相関性の高い領域、例えば左右の画像に含まれる空の領域など同一被写体を撮影した領域を選択してレベル比較を行うことが必要となる。従って、レベル制御のための処理として相関性の判定処理や、相関性の高い領域の選択処理を行なうことが必要となる。また、分割された各領域に相関性の高い画素領域を検出できない場合には、処理が不可能になるという問題がある。なお、上述の説明ではＣＣＤを撮像素子として用いた例について説明したが、撮像素子としてＣＭＯＳ（Complementary Metal Oxide Semiconductor）を適用した場合も同様である。
【００１２】
また、特許文献２（特開２００２−２５２８０８号公報）には、左右のレベル差を補正するため、左右の各チャネルの画素データを複数ラインに亘って平均化してその差分を求めてゲイン補正値を決定して補正を行なう構成を開示している。しかし、この構成においても分割された領域の相関性を考慮した処理が必要となり、上記と同様の問題が発生する。
【００１３】
また、特許文献３（特開２００３−１４３４９１号公報）には、左右各チャネルの出力を独立に制御する制御系を設けてレベル差を小さくするように制御系の調整を行う構成を開示している。しかし、このような構成とする場合、新たな制御系を備えることが必要となり、回路規模やコストの増大という問題が発生する。
【００１４】
また、特許文献４（特開２００４−６４４０４号公報）には、撮像装置において、遮光状態での撮影を実行して、この撮影データに基づいて分割領域のレベル差を検出してレベル調整用のデータを得た後、撮影データに対してレベル調整を行なう構成が開示されている。しかし、この構成では、撮影前の制御用パラメータの取得処理が必要となるという問題がある。
【特許文献１】特許３６１９０７７号公報
【特許文献２】特開２００２−２５２８０８号公報
【特許文献３】特開２００３−１４３４９１号公報
【特許文献４】特開２００４−６４４０４号公報
【発明の開示】
【発明が解決しようとする課題】
【００１５】
本発明は、このような問題点に鑑みてなされたものであり、複数の分割出力を持つＣＣＤやＣＭＯＳなどの撮像素子からの出力信号を簡易な構成で補正を行い分割領域の境界の不連続性を解消することを可能とした画像信号処理回路、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１６】
本発明の第１の側面は、
撮像素子の出力に対する信号処理を実行する画像信号処理回路であり、
撮像素子の分割領域各々に対応する出力信号を入力して補正処理を実行する画像信号補正部を有し、
前記画像信号補正部は、
前記撮像素子の分割領域各々に対応する第１画像領域と第２画像領域の境界部に隣接する画素を含む境界画素の画素値を取得し、
前記第１画像領域の境界画素の各ラインｎ（ｎ＝１〜Ｎ）の画素値の加算値である第１画素値総和と、
前記第２画像領域の境界画素の各ラインｎ（ｎ＝１〜Ｎ）の画素値を一部置き換えて加算した修正第２画素値総和を算出し、
前記第１画素値総和と前記修正第２画素値総和との差分値である修正画素値総和差分を算出する演算部と、
前記演算部の算出した前記修正画素値総和差分と予め定めた閾値［Ｔｈ］との比較を実行し、該比較結果に応じて異なる分割領域画像の補正態様を決定して、決定した補正態様に従って分割領域画像の画素値補正処理を実行する補正部を有し、
前記演算部は、
前記修正第２画素値総和の算出処理において、各ライン単位で前記第２画像領域の境界部画素値と前記第１画像領域の境界部画素値との差分算出を行い、画素値差分が予め設定した閾値［ＤＩＦＦ］より大きい場合に、前記第２画像領域の境界部画素の画素値を前記第１画像領域の境界部画素の画素値に置き換えて、前記修正第２画素値総和の算出処理を行う構成であることを特徴とする画像信号処理回路にある。
【００１７】
さらに、本発明の画像信号処理回路において、前記演算部は、モノクロ画像の画像補正処理を実行する構成であり、前記撮像素子の分割領域各々に対応する第１画像領域と第２画像領域の境界部に隣接する１画素の画素列の各画素値を取得し、前記第１画像領域の境界部に隣接する１画素について、各ラインｎ（ｎ＝１〜Ｎ）の画素値の加算値である第１画素値総和と、前記第２画像領域の境界部に隣接する１画素について、各ラインｎ（ｎ＝１〜Ｎ）の画素値を一部置き換えて加算した修正第２画素値総和を算出する処理を実行する構成であることを特徴とする。
【００１８】
さらに、本発明の画像信号処理回路において、前記演算部は、カラー画像の画像補正処理を実行する構成であり、前記撮像素子の分割領域各々に対応する第１画像領域と第２画像領域の境界部に隣接する複数画素の画素列の各画素値を取得し、前記第１画像領域の境界部に隣接する複数画素について、各ラインｎ（ｎ＝１〜Ｎ）の画素値の加算値である第１画素値総和と、前記第２画像領域の境界部に隣接する複数画素について、各ラインｎ（ｎ＝１〜Ｎ）の画素値を一部置き換えて加算した修正第２画素値総和を算出する処理を実行する構成であることを特徴とする。
【００１９】
さらに、本発明の画像信号処理回路は、さらに、前記撮像素子の分割領域各々に対応する電荷情報に基づく電圧情報を出力する複数の出力アンプと、前記複数の出力アンプの各出力を個別に入力してデジタル信号を生成する複数の信号処理部と、前記複数の信号処理部の出力を合成するマルチプレクサとを有し、前記演算部は、前記マルチプレクサからデジタル画像信号を入力して前記修正画素値総和差分の算出を実行し、前記補正部は、前記マルチプレクサからデジタル画像信号を入力して画素値補正処理を実行する構成であることを特徴とする。
【００２０】
さらに、本発明の画像信号処理回路において、前記補正部は、前記修正画素値総和差分の絶対値が前記閾値［Ｔｈ］よりも大きい場合、分割領域画像の画素値を変更する画素値補正処理を実行し、前記修正画素値総和差分の絶対値が前記閾値［Ｔｈ］以下である場合は補正処理を行なわない構成であることを特徴とする。
【００２１】
さらに、本発明の画像信号処理回路において、前記補正部は、
前記第１画素値総和をΣａ、
前記修正第２画素値総和をΣｂ（ｎｅｗ）、
としたとき、
前記修正画素値総和差分［Ｓｕｂ（ｎｅｗ）＝Σｂ（ｎｅｗ）−Σａ］と予め設定された閾値［Ｔｈ］を比較し、
（１）前記修正画素値総和差分［Ｓｕｂ（ｎｅｗ）＝Σｂ（ｎｅｗ）−Σａ］が閾値［Ｔｈ］よりも大きい場合、前記第１画像領域の出力レベルを上げる補正、
（２）前記修正画素値総和差分［Ｓｕｂ（ｎｅｗ）＝Σｂ（ｎｅｗ）−Σａ］が閾値［Ｔｈ］以下であり負の値でもない場合は補正なし、
（３）前記修正画素値総和差分［Ｓｕｂ（ｎｅｗ）＝Σｂ（ｎｅｗ）−Σａ］が負の値であり、前記修正画素値総和差分［Ｓｕｂ（ｎｅｗ）＝Σｂ（ｎｅｗ）−Σａ］の絶対値｜Ｓｕｂ（ｎｅｗ）｜が閾値［Ｔｈ］を超える場合は前記第１画像領域の出力レベルを下げる補正、
（４）前記修正画素値総和差分［Ｓｕｂ（ｎｅｗ）＝Σｂ（ｎｅｗ）−Σａ］が負の値であり、前記修正画素値総和差分［Ｓｕｂ（ｎｅｗ）＝Σｂ（ｎｅｗ）−Σａ］の絶対値｜Ｓｕｂ（ｎｅｗ）｜が閾値［Ｔｈ］よりも小さい場合は補正なし、
上記（１）〜（４）のいずれかを前記差分値と閾値との比較結果に基づいて実行する構成であることを特徴とする。
【００２２】
さらに、本発明の画像信号処理回路において、前記補正部は、前記修正画素値総和差分［Ｓｕｂ（ｎｅｗ）＝Σｂ（ｎｅｗ）−Σａ］の絶対値｜Ｓｕｂ（ｎｅｗ）｜より小さい絶対値を持つ補正量を設定して各画像フレーム対する補正処理を実行する構成であることを特徴とする。
【００２３】
さらに、本発明の第２の側面は、
撮像部と、撮像部からの入力信号の信号処理を実行する画像信号処理部とを有する撮像装置であり、
前記撮像部は、撮像素子の分割領域各々に対応する出力信号を出力する構成を有し、
前記画像信号処理部は、前記撮像素子の分割領域各々に対応する出力信号を入力して補正処理を実行する画像信号補正部を有し、
前記画像信号補正部は、
前記撮像素子の分割領域各々に対応する第１画像領域と第２画像領域の境界部に隣接する画素を含む境界画素の画素値を取得し、
前記第１画像領域の境界画素の各ラインｎ（ｎ＝１〜Ｎ）の画素値の加算値である第１画素値総和と、
前記第２画像領域の境界画素の各ラインｎ（ｎ＝１〜Ｎ）の画素値を一部置き換えて加算した修正第２画素値総和を算出し、
前記第１画素値総和と前記修正第２画素値総和との差分値である修正画素値総和差分を算出する演算部と、
前記演算部の算出した前記修正画素値総和差分と予め定めた閾値［Ｔｈ］との比較を実行し、該比較結果に応じて異なる分割領域画像の補正態様を決定して、決定した補正態様に従って分割領域画像の画素値補正処理を実行する補正部を有し、
前記演算部は、
前記修正第２画素値総和の算出処理において、各ライン単位で前記第２画像領域の境界部画素値と前記第１画像領域の境界部画素値との差分算出を行い、画素値差分が予め設定した閾値［ＤＩＦＦ］より大きい場合に、前記第２画像領域の境界部画素の画素値を前記第１画像領域の境界部画素の画素値に置き換えて、前記修正第２画素値総和の算出処理を行う構成であることを特徴とする撮像装置にある。
【００２４】
さらに、本発明の第３の側面は、
画像信号処理装置において、撮像素子の出力に対する信号処理を実行する画像信号処理方法であり、
画像信号補正部が撮像素子の分割領域各々に対応する出力信号を入力して補正処理を実行する画像信号補正ステップを有し、
前記画像信号補正ステップは、
演算部が、
前記撮像素子の分割領域各々に対応する第１画像領域と第２画像領域の境界部に隣接する画素を含む境界画素の画素値を取得し、
前記第１画像領域の境界画素の各ラインｎ（ｎ＝１〜Ｎ）の画素値の加算値である第１画素値総和と、
前記第２画像領域の境界画素の各ラインｎ（ｎ＝１〜Ｎ）の画素値を一部置き換えて加算した修正第２画素値総和を算出し、
前記第１画素値総和と前記修正第２画素値総和との差分値である修正画素値総和差分を算出する演算ステップと、
補正部が、
前記演算部の算出した前記修正画素値総和差分と予め定めた閾値［Ｔｈ］との比較を実行し、該比較結果に応じて異なる分割領域画像の補正態様を決定して、決定した補正態様に従って分割領域画像の画素値補正処理を実行する補正ステップを有し、
前記演算ステップは、
前記修正第２画素値総和の算出処理において、各ライン単位で前記第２画像領域の境界部画素値と前記第１画像領域の境界部画素値との差分算出を行い、画素値差分が予め設定した閾値［ＤＩＦＦ］より大きい場合に、前記第２画像領域の境界部画素の画素値を前記第１画像領域の境界部画素の画素値に置き換えて、前記修正第２画素値総和の算出処理を行うステップであることを特徴とする画像信号処理方法にある。
【００２５】
さらに、本発明の第４の側面は、
画像信号処理装置において、撮像素子の出力に対する信号処理を実行させるコンピュータ・プログラムであり、
画像信号補正部に、撮像素子の分割領域各々に対応する出力信号を入力して補正処理を実行させる画像信号補正ステップを有し、
前記画像信号補正ステップは、
演算部に、
前記撮像素子の分割領域各々に対応する第１画像領域と第２画像領域の境界部に隣接する画素を含む境界画素の画素値を取得させ、
前記第１画像領域の境界画素の各ラインｎ（ｎ＝１〜Ｎ）の画素値の加算値である第１画素値総和と、
前記第２画像領域の境界画素の各ラインｎ（ｎ＝１〜Ｎ）の画素値を一部置き換えて加算した修正第２画素値総和を算出させて、
前記第１画素値総和と前記修正第２画素値総和との差分値である修正画素値総和差分を算出させる演算ステップと、
補正部に、
前記演算部の算出した前記修正画素値総和差分と予め定めた閾値［Ｔｈ］との比較を実行させて、該比較結果に応じて異なる分割領域画像の補正態様を決定させて、決定した補正態様に従って分割領域画像の画素値補正処理を実行させる補正ステップを有し、
前記演算ステップは、
前記修正第２画素値総和の算出処理において、各ライン単位で前記第２画像領域の境界部画素値と前記第１画像領域の境界部画素値との差分算出を行い、画素値差分が予め設定した閾値［ＤＩＦＦ］より大きい場合に、前記第２画像領域の境界部画素の画素値を前記第１画像領域の境界部画素の画素値に置き換えて、前記修正第２画素値総和の算出処理を行わせるステップであることを特徴とするコンピュータ・プログラムにある。
【００２６】
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【００２７】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００２８】
本発明の一実施例の構成によれば、撮像素子の分割領域各々に対応する出力信号を入力して補正処理を実行する構成において、分割領域各々に対応する第１画像領域と第２画像領域の境界部に隣接する少なくとも１画素の画素列の各画素値を取得し、第１画像領域の境界部の各ラインｎ（ｎ＝１〜Ｎ）の画素値の加算値である第１画素値総和を算出し、第２画像領域の境界部の各ラインｎ（ｎ＝１〜Ｎ）の画素値と第１画像領域の境界部画素値との差分が予め設定した閾値［ＤＩＦＦ］より大きい場合に、画素値を第１画像領域の境界部画素の画素値に置き換えて修正第２画素値総和を算出し、第１画素値総和と修正第２画素値総和との差分値である修正画素値総和差分と予め定めた閾値［Ｔｈ］との比較を実行し、比較結果に応じて異なる態様で分割領域画像の補正処理を実行する。具体的には、差分値の絶対値が閾値［Ｔｈ］よりも大きい場合、分割領域画像の画素値を変更する処理を実行する。本構成によれば、各分割領域の相関検出といった処理を行なうことなく効率的な画素値補正、すなわち、分割画像領域における不連続性を解消する補正を行なうことができる。
【発明を実施するための最良の形態】
【００２９】
以下、図面を参照しながら本発明の画像信号処理回路、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラムの詳細について説明する。まず、図３を参照して、本発明の一実施例に係る撮像装置、画像信号処理回路の構成例について説明する。
【００３０】
図３に示すＣＣＤ１００は、先に図２を参照して説明したＣＣＤの構成と同様、複数に分割され、分割領域毎の出力構成を有する。ＣＣＤ１００の詳細構成について、図４を参照して説明する。なお、以下の実施例では、撮像素子としてＣＣＤを用いた構成例について説明するが、本発明はＣＣＤに限らずＣＭＯＳを撮像素子として用いた場合でも適用可能である。
【００３１】
図４に示すようにＣＣＤ１００は、光電変換素子であるフォトディテクタ（ＰＤ）２００を多数有し、これらのフォトディテクタ（ＰＤ）２００に蓄積された電荷に基づく電圧信号を出力する構成となっている。ＣＣＤ１００は、１画面分の撮像領域を水平方向の中心で２分割して、それぞれ異なるチャネルから画素情報を出力する。ＣＣＤ１００は、垂直レジスタ１０１と、１ライン分の水平レジスタ１０２，１０３を有する。垂直レジスタ１０１は、フォトディテクタ（ＰＤ）２００に蓄積された電荷を１ライン単位で垂直方向に転送するレジスタである。
【００３２】
水平レジスタ１０２，１０３は、垂直レジスタ１０１から転送されてきた１ライン分の電荷を水平方向に１画素単位で転送して、電荷情報を電圧に変換して増幅する出力アンプ１０４，１０５に入力する。出力アンプ１０４，１０５は、それぞれの分割画像に対応する電荷情報を電圧信号として出力する。このようにＣＣＤ１００のフォトディテクタ（ＰＤ）２００の生成した画像情報は、２つの出力アンプ１０４，１０５を介した２つの出力チャネルから出力される。
【００３３】
すなわち、第１水平レジスタ１０２は、左画像の領域に含まれるフォトディテクタ（ＰＤ）２００から出力される電荷情報に基づく信号を第１出力アンプ１０４を介して出力し、第２水平レジスタ１０３は、右画像の領域に含まれるフォトディテクタ（ＰＤ）２００から出力される電荷情報に基づく信号を第２出力アンプ１０５を介して出力する。
【００３４】
図３に戻り、これらの出力アンプ１０４，１０５の出力信号の処理について説明する。ＣＣＤ１００の左側画像に対応する画像信号情報である第１出力アンプ１０４の出力は信号処理部１１１に入力される。信号処理部１１１は、入力信号中のノイズ除去を実行するＣＤＳ回路、ゲイン調整を行うＡＧＣ回路、ＡＤ変換を行なうＡＤ変換部等によって構成され、これらの各回路によって信号処理がなされ、アナログ信号から例えば１２ビットのデジタル信号（０（ｍｉｎ）〜４０９５（ｍａｘ））が生成されてラインメモリ１１２に蓄積される。
【００３５】
一方、ＣＣＤ１００の右側画像に対応する画像信号情報である第２出力アンプ１０５の出力は信号処理部１１３に入力される。信号処理部１１３も、入力信号中のノイズ除去を実行するＣＤＳ回路、ゲイン調整を行うＡＧＣ回路、ＡＤ変換を行なうＡＤ変換部等によって構成され、これらの各回路によって信号処理がなされ、例えば１２ビットのデジタル信号（０（ｍｉｎ）〜４０９５（ｍａｘ））が生成されてラインメモリ１１４に蓄積される。
【００３６】
ラインメモリ１１２に蓄積されるデータは、ＣＣＤ１００の左半分の画像データ、ラインメモリ１１４に蓄積されるデータは、ＣＣＤ１００の右半分の画像データに対応する。ラインメモリ１１２，１１４に格納された１ライン分の画像のうち、ラインメモリ１１２に格納された左側画像は先入れ先出し方式（ＦＩＦＯ）によって内部同期信号に従ってマルチプレクサ（ＭＵＸ）１１５に出力する。一方、ラインメモリ１１４に格納された右側画像は先入れ後出し方式（ＬＩＦＯ）によって転送開始位置と転送終了位置を入れ替え、右側画像領域の転送開始位置が左側画像領域の転送終了位置の次に来るようにマルチプレクサ（ＭＵＸ）１１５に出力する。すなわち、マルチプレクサ（ＭＵＸ）１１５からの出力を横方向の画素転送が左側画像領域と右側画像領域とで連続するようにする。
【００３７】
マルチプレクサ１１５の出力は画像信号補正部１２０の補正部１２１に入力され、補正部１２１において画素値補正が実行される。図５以下を参照して補正処理について説明する。
【００３８】
補正部１２１に対して入力された画像は、補正部１２１を介して演算部１２２にも入力される。演算部１２２は画素カウントを行なう内部カウンタを有し、内部カウンタのカウントによって左画像の右側境界に接する画素ａと右画像の左側境界に接する画素ｂを特定し、その境界領域の画素値を求める。例えば、図５に示すように１ライン目の左画像の右側領域に接する画素［ａ１］の画素値を［Ｌａ１］、および右画像の左領域に接する画素［ｂ１］の画素値を［Ｌｂ１］とし、以下、第２、第３〜第Ｎ各ラインの左右画像の境界部に隣接する画素である境界画素［ａ２］〜［ａＮ］，［ｂ２］〜［ｂＮ］の画素値をそれぞれ、
［Ｌａ２］，［Ｌｂ２］
［Ｌａ３］，［Ｌｂ３］
：
［ＬａＮ］，［ＬｂＮ］
とする。例えばＣＣＤが約５メガ（５００万画素）であれば、２４４８×２０５０の画素数を有し、有効ライン数に相当するＮの値は２０５０〜２０４８程度となる。
【００３９】
演算部１２２は、
（ａ）左領域画像の右側境界に接する画素ａ１〜ａＮの画素値［Ｌａ１］〜［ＬａＮ］の総和、
（ｂ）右領域画像の左側境界に接する画素ｂ１〜ｂＮの画素値［Ｌｂ１］〜［ＬｂＮ］を、以下に説明する処理によって一部置き換えた修正画素値［Ｌｂ１（ｎｅｗ）］〜［ＬｂＮ（ｎｅｗ）］の総和、
これらを算出する。
すなわち、
（ａ）画素ａ１〜ａＮの画素値総和：Σａ＝Ｌａ１＋Ｌａ２＋・・・＋ＬａＮ
（ｂ）画素ｂ１〜ｂＮの画素値の一部置き換えを行った修正画素値総和：Σｂ（ｎｅｗ）＝Ｌｂ１（ｎｅｗ）＋Ｌｂ２（ｎｅｗ）＋・・・＋ＬｂＮ（ｎｅｗ）
これらの画素値総和を算出する。
【００４０】
右領域画像の左側境界に接する画素ｂ１〜ｂＮの画素値［Ｌｂ１］〜［ＬｂＮ］の置き換えによる修正画素値［Ｌｂ１（ｎｅｗ）］〜［ＬｂＮ（ｎｅｗ）］の算出処理について説明する。
【００４１】
演算部１２２は、
第１〜第ＮのＮライン各々について、左画像の画像境界の画素［ａｎ］の画素値［Ｌａｎ］と、右画像の画像境界の画素［ｂｎ］の画素値［Ｌｂｎ］との差分絶対値［ＬＳＵＢｎ］を下式に従って算出する。
ＬＳＵＢｎ＝｜Ｌｂｎ−Ｌａｎ｜
これらを第１〜Ｎライン各々について算出する。ｎ＝１〜Ｎのいずれかである。
【００４２】
次に演算部１２２は、第１〜Ｎライン各々について算出した各ライン対応の差分絶対値［ＬＳＵＢｎ］と予め設定した差分閾値［ＤＩＦＦ］との比較を行う。
［ＬＳＵＢｎ］が差分閾値［ＤＩＦＦ］よりも大きい場合は、境界部で接する左右画像の画素［ａｎ］と画素［ｂｎ］は相関性が低いと判断する。
【００４３】
これは、境界部で接する左右画像の画素［ａｎ］と画素［ｂｎ］は、例えば異なる物体が表示されている状態、すなわち、画像境界が偶然、異なるオブジェクトの境界に対応したような場合であると判断するものである。
【００４４】
具体的には、例えば図６に示す画素領域３０１に含まれる画素のように、左画像の境界画素［ａｎ］と、右画像の境界画素［ｂｎ］とを比べた場合に、画素［ａｎ］の画素レベル［Ｌａｎ］に比べて画素［ｂｎ］の画素レベル［Ｌｂｎ］のほうが明らかに高く、相関性がかなり低い。このように明らかに異なる画素レベルを保持した画素が境界部に位置しているにもかかわらず、これらの画素を左右画像のバランス調整のため同一レベルに補正してしまうことは、画素値を誤って補正してしまうことになる。
【００４５】
本発明の画像補正処理では、このような相関性の低い画素の存在を考慮した上で左右画像のバランス調整を行うものであり、左画像の画像境界の画素［ａｎ］の画素値［Ｌａｎ］と、右画像の画像境界の画素［ｂｎ］の画素値［Ｌｂｎ］との差分絶対値［ＬＳＵＢｎ］が予め設定した差分閾値［ＤＩＦＦ］よりも大きい場合は、境界部で接する左右画像の画素［ａｎ］と画素［ｂｎ］は相関性が低いと判定して、修正画素値［Ｌｂｎ（ｎｅｗ）］を［Ｌａｎ］として設定する処理を行い、その後、左右画像のバランス調整の際に適用する値修正画素値総和：Σｂ（ｎｅｗ）＝Ｌｂ１（ｎｅｗ）＋Ｌｂ２（ｎｅｗ）＋・・・＋ＬｂＮ（ｎｅｗ）を算出する。
【００４６】
すなわち、図６に示すような画素領域３０１に属する画素［ａｎ］と［ｂｎ］の対応のように、左画像の画像境界の画素［ａｎ］の画素値［Ｌａｎ］と、右画像の画像境界の画素［ｂｎ］の画素値［Ｌｂｎ］との差分絶対値［ＬＳＵＢｎ］が予め設定した差分閾値［ＤＩＦＦ］よりも大きい場合、すなわち、
ＬＳＵＢｎ＞ＤＩＦＦ
上記式が成立する場合は、
画素［ｂｎ］の画素値［Ｌｂｎ］を同一ラインの左画像の境界画素［ａｎ］の画素値［Ｌａｎ］に置き換える。すなわち、修正画素値［Ｌｂｎ（ｎｅｗ）］は、
［Ｌｂｎ（ｎｅｗ）］＝［Ｌａｎ］
とする。図６に示す例では、画素領域３０１に含まれる画素［ｂｋ］と、画素［ｂ（ｋ＋１）］について、上記の画素値置き換え処理が行われる。
【００４７】
一方、
ＬＳＵＢｎ＞ＤＩＦＦ
上記式が成立しない場合は、境界部で接する左右画像の画素［ａｎ］と画素［ｂｎ］は相関性が高いと判断する。これは、境界部で接する左右画像の画素［ａｎ］と画素［ｂｎ］は、例えば同一の物体が表示されている状態であると判断し、左右画像の画素［ａｎ］と画素［ｂｎ］はほぼ同じ画素値を有しており、相関性が高いと判定する。図６に示す例では、画素領域３０１以外の境界画素の画素領域３０２ａ，３０２ｂは、ＬＳＵＢｎ＞ＤＩＦＦが成立しない画素領域であり、境界部で接する左右画像の画素［ａｎ］と画素［ｂｎ］は相関性が高いと判断する。
【００４８】
この場合は、［Ｌｂｎ（ｎｅｗ）］として、画素ｂｎのレベルそのもの［Ｌｂｎ］を採用する。すなわち、修正画素値［Ｌｂｎ（ｎｅｗ）］は、
［Ｌｂｎ（ｎｅｗ）］＝［Ｌｂｎ］
とする。
【００４９】
このように、第１〜Ｎ番目の各ラインの左画像の境界画素［ａｎ］の画素レベル［Ｌａｎ］と、右画像の境界画素［ｂｎ］の画素レベル［Ｌｂｎ］の各々について実行する。すなわち、
ＬＳＵＢｎ＝｜Ｌｂｎ−Ｌａｎ｜
これらを第１〜Ｎライン各々について算出し、
ＬＳＵＢｎ＞ＤＩＦＦ
上記式が成立するかしないかを判定し、
ＬＳＵＢｎ＞ＤＩＦＦが成立する場合は、修正画素値［Ｌｂｎ（ｎｅｗ）］＝［Ｌａｎ］として、
ＬＳＵＢｎ＞ＤＩＦＦが成立しない場合、すなわちＬＳＵＢｎ≦ＤＩＦＦの場合は、修正画素値［Ｌｂｎ（ｎｅｗ）］＝［Ｌｂｎ］とする。
【００５０】
これらの処理の結果に基づいて、第１〜第Ｎラインの右画像の境界画素［ｂｎ］のすべての修正画素値［Ｌｂ１（ｎｅｗ）］〜［ＬｂＮ（ｎｅｗ）］を算出し、
画素ｂ１〜ｂＮの修正画素値総和：Σｂ（ｎｅｗ）＝Ｌｂ１（ｎｅｗ）＋Ｌｂ２（ｎｅｗ）＋・・・＋ＬｂＮ（ｎｅｗ）を算出する。
【００５１】
すなわち、演算部１２２は、
（ａ）画素ａ１〜ａＮの画素値総和：Σａ＝Ｌａ１＋Ｌａ２＋・・・＋ＬａＮ
（ｂ）画素ｂ１〜ｂＮの画素値の一部置き換えを行った修正画素値総和：Σｂ（ｎｅｗ）＝Ｌｂ１（ｎｅｗ）＋Ｌｂ２（ｎｅｗ）＋・・・＋ＬｂＮ（ｎｅｗ）
これらの２つの画素値総和を算出する。
【００５２】
なお、予め設定した差分閾値［ＤＩＦＦ］は、制御情報設定部１２３としての例えば外部ＰＣから設定可能である。例えば、各画素の画素値が１２ビットの設定で０〜４０９５までの画素値レベルに設定可能である場合、差分閾値［ＤＩＦＦ］の値としては、０〜４０９５のいずれかの値に設定可能である。具体的な例としては、例えば、各画素の画素値が１２ビットの設定で０〜４０９５までの画素値レベルに設定可能である場合、差分閾値［ＤＩＦＦ］＝１２８が利用される。
【００５３】
次に、図７に示すフローチャートを参照して、画素ｂ１〜ｂＮの画素値の一部置き換えを行った修正画素値総和：Σｂ（ｎｅｗ）＝Ｌｂ１（ｎｅｗ）＋Ｌｂ２（ｎｅｗ）＋・・・＋ＬｂＮ（ｎｅｗ）の算出処理シーケンスについて説明する。この処理は、画像信号補正部１２０内の演算部１２２において実行される。
【００５４】
まず、初期設定としてステップＳ１０１において修正画素値総和Σｂ（ｎｅｗ）＝０、ステップＳ１０２において、ライン指定情報としてのパラメータ［ｎ］をｎ＝１に設定する。ｎは、ライン総数＝Ｎの場合、１〜Ｎの範囲で順次設定される変数である。ｎ＝１の設定により、まず最上段のラインについて、ステップＳ１０３の以下処理が実行される。
【００５５】
ステップＳ１０３において、左画像の境界画素［ａｎ］の画素レベル［Ｌａｎ］と、右画像の境界画素［ｂｎ］の画素レベル［Ｌｂｎ］との比較処理を実行する。
Ｌｂｎ＞Ｌａｎ
上記式が成立する場合は、ステップＳ１０４に進み、ステップＳ１０４において、右画像の画像境界の画素［ｂｎ］の画素値［Ｌｂｎ］との差分絶対値［ＬＳＵＢｎ］の算出処理を、
ＬＳＵＢｎ＝Ｌｂｎ−Ｌａｎ
上記式に従って実行する。
【００５６】
Ｌｂｎ＞Ｌａｎ
上記式が成立しない場合は、ステップＳ１０５に進み、ステップＳ１０５において、右画像の画像境界の画素［ｂｎ］の画素値［Ｌｂｎ］との差分絶対値［ＬＳＵＢｎ］の算出処理を、
ＬＳＵＢｎ＝Ｌａｎ−Ｌｂｎ
上記式に従って実行する。
【００５７】
次に、ステップＳ１０６において、左画像の画像境界の画素［ａｎ］の画素値［Ｌａｎ］と、右画像の画像境界の画素［ｂｎ］の画素値［Ｌｂｎ］との差分絶対値［ＬＳＵＢｎ］と、予め設定した差分閾値［ＤＩＦＦ］とを比較する。すなわち、
ＬＳＵＢｎ＞ＤＩＦＦ
上記式が成立するか否かを判定する。
【００５８】
ＬＳＵＢｎ＞ＤＩＦＦ
上記式が成立する場合は、ステップＳ１０７に進み、
画素［ｂｎ］の画素値［Ｌｂｎ］を同一ラインの左画像の境界画素［ａｎ］の画素値［Ｌａｎ］に置き換え、
修正画素値総和：Σｂ（ｎｅｗ）＝Σｂ（ｎｅｗ）＋Ｌａｎ
として、修正画素値総和［Σｂ（ｎｅｗ）］を更新する。
【００５９】
一方、
ＬＳＵＢｎ＞ＤＩＦＦ
上記式が成立しない場合は、ステップＳ１０８に進み、
画素［ｂｎ］の画素値［Ｌｂｎ］をそのまま適用して、
修正画素値総和：Σｂ（ｎｅｗ）＝Σｂ（ｎｅｗ）＋Ｌｂｎ
として、修正画素値総和［Σｂ（ｎｅｗ）］を更新する。
【００６０】
次に、ステップＳ１０９に進み、画素ライン指定変数［ｎ］が最下段ライン［Ｎ］に達したか否かを判定し、達していない場合は、ステップＳ１１０に進みｎ＝ｎ＋１とするパラメータ更新を実行して、次のラインについて、ステップＳ１０３以下の処理を繰り返し実行する。
【００６１】
この処理によってライン１〜Ｎの全ラインの処理が終了すると、画素ｂ１〜ｂＮの画素値の一部置き換えを行った修正画素値総和：Σｂ（ｎｅｗ）＝Ｌｂ１（ｎｅｗ）＋Ｌｂ２（ｎｅｗ）＋・・・＋ＬｂＮ（ｎｅｗ）の算出が終了する。なお、図７に示すフローは、修正画素値総和：Σｂ（ｎｅｗ）の算出処理シーケンスのみを示しているが、演算部１２２では、この処理に併せて、左画像の境界画素［ａｎ］の画素値総和、すなわち、画素ａ１〜ａＮの画素値総和：Σａ＝Ｌａ１＋Ｌａ２＋・・・＋ＬａＮについても算出する。
【００６２】
すなわち、演算部１２２は、
（ａ）画素ａ１〜ａＮの画素値総和：Σａ＝Ｌａ１＋Ｌａ２＋・・・＋ＬａＮ
（ｂ）画素ｂ１〜ｂＮの画素値の一部置き換えを行った修正画素値総和：Σｂ（ｎｅｗ）＝Ｌｂ１（ｎｅｗ）＋Ｌｂ２（ｎｅｗ）＋・・・＋ＬｂＮ（ｎｅｗ）
これらの２つの画素値総和を算出し、この総和値を補正部１２１に出力し、補正部１２１がこの入力データに基づいて左右画像のバランス調整処理、すなわち、左右各画像領域の不連続性を減少させるためとしての画像補正を実行する。
【００６３】
なお、本処理例では、左画像の境界画素［ａｎ］については全て、その画素値［Ｌａｎ］を利用して画素値総和［Σａ］を算出し、右画像の境界画素［ｂｎ］について、修正画素値総和［Σｂ］を算出する設定としているが、左画像と右画像に対する処理を入れ替えて、右画像の境界画素［ｂｎ］について画素値［Ｌｂｎ］を利用して画素値総和［Σｂ］を算出し、左画像の境界画素［ａｎ］について、修正画素値総和［Σａ］を算出する設定としてもよい。
【００６４】
次に、補正部１２１の処理について説明する。補正部１２１は、左右各画像領域の不連続性を減少させるためとしての画像補正を実行する。本発明の画像処理においては、左右各画像領域の不連続性を減少させるための処理として、上述した処理によって算出した以下の２つの画素値総和、すなわち、
（ａ）画素ａ１〜ａＮの画素値総和：Σａ＝Ｌａ１＋Ｌａ２＋・・・＋ＬａＮ
（ｂ）画素ｂ１〜ｂＮの画素値の一部置き換えを行った修正画素値総和：Σｂ（ｎｅｗ）＝Ｌｂ１（ｎｅｗ）＋Ｌｂ２（ｎｅｗ）＋・・・＋ＬｂＮ（ｎｅｗ）
これら２つの画素値総和の差分である修正画素値総和差分［ＳＵＢ（ｎｅｗ）］、すなわち、
ＳＵＢ（ｎｅｗ）＝Σｂ（ｎｅｗ）−Σａ
この修正画素値総和差分［Ｓｕｂ（ｎｅｗ）］をできるだけ小さくする補正を行なう。補正部１２１は、ある１つの画像データに基づいて算出した修正画素値総和差分［Ｓｕｂ（ｎｅｗ）］に基づいて、その画像フレームに対する処理を行う。
【００６５】
なお、処理態様としては、
（１）フレーム単位で修正画素値総和差分［ＳＵＢ（ｎｅｗ）］を算出し、その算出データに基づく画像補正をフレーム単位で行う。
（２）１つのフレーム画像を利用して、修正画素値総和差分［ＳＵＢ（ｎｅｗ）］を算出し、その算出データに基づく画像補正をそのフレームとその後継続する複数フレームに対して行う。
これらの（１），（２）のいずれの処理態様としてもよい。
【００６６】
補正部１２１の実行する画像補正処理について説明する。補正部１２１は、修正画素値総和差分［ＳＵＢ（ｎｅｗ）＝Σｂ（ｎｅｗ）−Σａ］と予め設定された閾値［Ｔｈ］を比較し、比較結果に応じて、以下の処理を選択して実行する。
（１）修正画素値総和差分［ＳＵＢ（ｎｅｗ）＝Σｂ（ｎｅｗ）−Σａ］が閾値［Ｔｈ］よりも大きい場合、左領域画像の出力レベルを上げるために、左領域画像にオフセット量を加える補正を行う（プラス補正）
（２）修正画素値総和差分［ＳＵＢ（ｎｅｗ）＝Σｂ（ｎｅｗ）−Σａ］が閾値［Ｔｈ］以下であり負の値でもない場合は補正を行なわない。
（３）修正画素値総和差分［ＳＵＢ（ｎｅｗ）＝Σｂ（ｎｅｗ）−Σａ］が負の値であり、修正画素値総和差分［ＳＵＢ（ｎｅｗ）］の絶対値｜ＳＵＢ（ｎｅｗ）｜が閾値［Ｔｈ］を超える場合は左領域画像の出力レベルを下げるために、左領域画像にオフセット量を減じる補正（マイナス補正）を行う。
（４）修正画素値総和差分［ＳＵＢ（ｎｅｗ）＝Σｂ（ｎｅｗ）−Σａ］が負の値であり、修正画素値総和差分［ＳＵＢ（ｎｅｗ）］の絶対値｜ＳＵＢ（ｎｅｗ）｜が閾値［Ｔｈ］よりも小さい場合は補正を行わない。
これらの４つのパターンのいずれかを、修正画素値総和差分［ＳＵＢ（ｎｅｗ）＝Σｂ（ｎｅｗ）−Σａ］と予め設定された閾値［Ｔｈ］との比較結果に基づいて実行する。
【００６７】
なお、閾値［Ｔｈ］および上記補正態様情報（１）〜（４）は例えばＰＣ等の制御情報設定部１２３から入力可能である。なお、補正部１２１内に閾値および上記補正態様情報（１）〜（４）を記録したメモリを設定し、記録情報を適用した処理構成としてもよい。なお、補正態様情報には、補正量（オフセット量）が含まれる。
【００６８】
上記補正処理（１）〜（４）中、実際に画像に対する補正処理が行なわれるのは（１），（３）の場合となる。すなわち、
（１）修正画素値総和差分［ＳＵＢ（ｎｅｗ）＝Σｂ（ｎｅｗ）−Σａ］が閾値［Ｔｈ］よりも大きい場合、左領域画像の出力レベルを上げるために、左領域画像にオフセット量を加える補正を行う（プラス補正）
（３）修正画素値総和差分［ＳＵＢ（ｎｅｗ）＝Σｂ（ｎｅｗ）−Σａ］が負の値であり、修正画素値総和差分［ＳＵＢ（ｎｅｗ）］の絶対値｜ＳＵＢ（ｎｅｗ）｜が閾値［Ｔｈ］を超える場合は左領域画像の出力レベルを下げるために、左領域画像にオフセット量を減じる補正（マイナス補正）を行う。
これらの場合である。ここで、オフセット量は、出力レベルの上昇または低下のための補正量であり、例えば輝度レベルのシフト量に相当する。オフセット量は、量子化最大値に比べて０．１％程度の一定値を基準としている。たとえば、輝度レベルが１２ビットのデジタル信号（０（ｍｉｎ）〜４０９５（ｍａｘ））である場合、
４０９５×０．１％＝４
１つの画像の画素に対して、輝度レベルとして−４〜＋４の範囲でレベル調整を行う。すなわち、補正部１２１は、差分値の絶対値より小さい絶対値を持つ補正量を設定して各画像フレームに対する補正処理を継続的に実行する。
【００６９】
例えば、輝度レベルが１２ビットのデジタル信号（０（ｍｉｎ）〜４０９５（ｍａｘ））である場合、
（１）修正画素値総和差分［ＳＵＢ（ｎｅｗ）＝Σｂ（ｎｅｗ）−Σａ］が閾値［Ｔｈ］よりも大きい場合、左領域画像の出力レベルを上げるために、左領域画像の輝度レベルに［＋４］を加える補正を行う（プラス補正）
（３）修正画素値総和差分［ＳＵＢ（ｎｅｗ）＝Σｂ（ｎｅｗ）−Σａ］が負の値であり、修正画素値総和差分［ＳＵＢ（ｎｅｗ）］の絶対値｜ＳＵＢ（ｎｅｗ）｜が閾値［Ｔｈ］を超える場合は左領域画像の出力レベルを下げるために、左領域画像の輝度レベルを［−４］を加える補正を行う（マイナス補正）
【００７０】
修正画素値総和差分［ＳＵＢ（ｎｅｗ）＝Σｂ（ｎｅｗ）−Σａ］をそのまま補正量（オフセット量）として適用しない理由は、補正による発振現象を抑えるためである。補正による発振現象とは、大きな補正を実施することで連続撮像される映像信号が撮像のたびにプラス補正とマイナス補正を永久に交互に繰り返してしまい、補正される側の領域の画像が明暗を繰り返してしまうことである。このような発振現象は、特に現時刻の画像の左右領域の相関性と次時刻の画像の左右領域の相関性が大きく異なるような場合に多く発生する。
【００７１】
本発明ではこのような発振現象を避けるために、補正量を量子化レベル最大値の０．１％程度に設定し、撮像のたびに次に撮像される画像に対して緩やかに補正を加える。このような補正処理を行なうことによって発振を抑えるようにしている。先に説明したように、閾値と補正量（オフセット量）は、図３に示す制御情報設定部１２３から補正部１２１に入力する構成としても、補正部１２１のメモリに記憶させてこれを利用する構成としてもよい。
【００７２】
上述した本発明の信号処理方法は不要な撮像領域を高速転送し、出力した撮像領域を通常通り転送するハイフレームレート方式に対応している。ハイフレームレート方式に従った処理を実行する場合、加算するライン数はハイフレームレート設定に応じて異なるが、閾値設定と補正量の設定をハイフレームレート設定に応じて設定することが可能であり、この設定により安定した制御が可能となる。なお、多くのＣＣＤは構成画素ごとに感度のバラつきがあり、分割領域の境界で接する画素においても感度のバラつきがある。
【００７３】
しかしながら、本発明の構成では、例えば図５〜図６を参照して説明したように、分割画像領域の境界にある縦方向の画素列の修正画素値総和差分［ＳＵＢ（ｎｅｗ）＝Σｂ（ｎｅｗ）−Σａ］を演算し、この差分に基づいて上記の（１）〜（４）の補正態様を決定して補正を実行する構成としたので、個々の画素の感度バラつきの影響を受けにくく、修正画素値総和差分［ＳＵＢ（ｎｅｗ）＝Σｂ（ｎｅｗ）−Σａ］の算出における差分発生要因を左右領域の出力アンプ、信号処理部の特性だけに依存しやすい設定である。
【００７４】
すなわち、１ラインの画素の修正画素値総和差分［ＳＵＢ（ｎｅｗ）＝Σｂ（ｎｅｗ）−Σａ］を適用して補正態様を決定することで個々の画素の感度バラつきの影響を受けにくくなる。このメリットについて図８を参照して説明する。図８は、分割領域の各画像領域の境界部の１列の画素について出力レベルの度数分布としてのヒストグラムを示したものである。図８（Ａ）が左側領域のヒストグラム、（Ｂ）が右側領域のヒストグラムである。画素単体で比較すると単なる一画素のバラつきの差分が検出されてしまい、バラつきの影響が大きくなる。しかし、縦方向の多数の画素の画素値の総和についての差分を比較する構成とすることで、個々の画素のバラつきの差分に対して与える影響は相対的に減少する。この結果、図８（Ａ），（Ｂ）に示すように、画像レベルの分布は形が似ているものの、ピーク位置が異なって現れる。このピーク位置の差分が、左画像と右画像とのレベル（例えば輝度）の差であり、この差分発生要因は、左右領域の出力アンプ、信号処理部の特性に依存したものとなる。
【００７５】
数１００万画素といった高画素数のＣＣＤでは、撮像領域で隣接する２画素間では同じ被写体の同じ素地を撮像している可能性が極めて高いため、この分布の差は被写体による差ではなく、２つの分割画像に対応する信号情報の処理系列、すなわち、図３に示す２つの処理系列、
（ａ）出力アンプ１０４と信号処理部１１１
（ｂ）出力アンプ１０５と信号処理部１１３
これらの処理における差を反映したものといえる。
【００７６】
補正部１２１で補正された画像データは、出力部１３０に出力され補正された画像データ１５０が出力される。このように本発明の構成によれば、分割画像領域の境界にある縦方向の画素列の修正画素値総和差分［ＳＵＢ（ｎｅｗ）＝Σｂ（ｎｅｗ）−Σａ］を演算部１２２において演算し、補正部１２１が、この修正画素値総和差分［ＳＵＢ（ｎｅｗ）＝Σｂ（ｎｅｗ）−Σａ］に基づいて上記の（１）〜（４）の補正態様を決定して補正を実行する構成としたので、個々の画素の感度バラつきの影響を最小限にして、左右領域の出力アンプ、信号処理部の特性だけに依存して発生するレベル差を補正することが可能となり、高品質な画像データ１５０を出力することが可能となる。
【００７７】
本発明の構成によれば、ＣＣＤ出力アンプの温度特性や、レンズの開放値、ＣＤＳ／ＧＡＩＮ／ＡＤ部のゲイン設定にかかわらず、撮像領域境界で発生している不連続な境界を解消することが可能となる。
【００７８】
図９に示すフローチャートを参照して、本発明の画像補正処理シーケンスについて説明する。図９に示すフローの処理は、図３に示す構成における補正部１２１および演算部１２２の処理を示すフローである。まず、一画面すべての領域の画像データが補正部１２１、演算部１２２に入力されると、演算部１２２が、分割領域画像の境界部の画素の画素値に基づいて、
（ａ）画素ａ１〜ａＮの画素値総和：Σａ＝Ｌａ１＋Ｌａ２＋・・・＋ＬａＮ
（ｂ）画素ｂ１〜ｂＮの画素値の一部置き換えを行った修正画素値総和：Σｂ（ｎｅｗ）＝Ｌｂ１（ｎｅｗ）＋Ｌｂ２（ｎｅｗ）＋・・・＋ＬｂＮ（ｎｅｗ）
これらの２つの画素値総和を算出する。
修正画素値総和［Σｂ（ｎｅｗ）］の算出処理は、図７に示すフローに従って実行される。演算部１２２は、さらに、画素ａ１〜ａＮの画素値総和［Σａ］と、画素ｂ１〜ｂＮの画素値の一部置き換えを行った修正画素値総和［Σｂ（ｎｅｗ）］とに基づいて、修正画素値総和差分、
［ＳＵＢ（ｎｅｗ）＝Σｂ（ｎｅｗ）−Σａ］
を算出し、この修正画素値総和差分［ＳＵＢ（ｎｅｗ）＝Σｂ（ｎｅｗ）−Σａ］を補正部１２１に入力する。
【００７９】
補正部１２１は、演算部１２２から、修正画素値総和差分［ＳＵＢ（ｎｅｗ）＝Σｂ（ｎｅｗ）−Σａ］を入力して図９に示すフローチャートに従った画像補正処理を実行する。まず、ステップＳ２０１において、修正画素値総和差分［ＳＵＢ（ｎｅｗ）＝Σｂ（ｎｅｗ）−Σａ］が０より大きいか否かを判定する。
なお、ここで、Σａ、Σｂ（ｎｅｗ）は、それぞれ、
（ａ）左領域画像の右側境界に接する画素ａ１〜ａＮの画素値の総和：Σａ＝ａ１＋ａ２＋・・・ａＮ、
（ｂ）画素ｂ１〜ｂＮの画素値の一部置き換えを行った修正画素値総和：Σｂ（ｎｅｗ）＝Ｌｂ１（ｎｅｗ）＋Ｌｂ２（ｎｅｗ）＋・・・＋ＬｂＮ（ｎｅｗ）
である。
【００８０】
ステップＳ２０１において、修正画素値総和差分［ＳＵＢ（ｎｅｗ）＝Σｂ（ｎｅｗ）−Σａ］が０より大きい正の値であると判定された場合は、ステップＳ２０２に進み、修正画素値総和差分［ＳＵＢ（ｎｅｗ）＝Σｂ（ｎｅｗ）−Σａ］の絶対値｜ＳＵＢ（ｎｅｗ）｜が予め設定された閾値［Ｔｈ］より大きいか否かを判定する。
【００８１】
修正画素値総和差分［ＳＵＢ（ｎｅｗ）＝Σｂ（ｎｅｗ）−Σａ］の絶対値｜ＳＵＢ（ｎｅｗ）｜が予め設定された閾値より大きい場合は、ステップＳ２０３に進み、補正量として正の値（＋）を設定する。すなわち、補正対象画像領域である左領域画像のレベル（輝度）を高くする補正量の設定を行う。これは、前述した（１）〜（４）の補正態様中の
（１）修正画素値総和差分［ＳＵＢ（ｎｅｗ）＝Σｂ（ｎｅｗ）−Σａ］の絶対値｜ＳＵＢ（ｎｅｗ）｜が閾値［Ｔｈ］よりも大きい場合、左領域画像の出力レベルを上げるために、左領域画像にオフセット量を加える補正を行う（プラス補正）
この補正に相当する補正量の設定処理である。
【００８２】
また、ステップＳ２０２において、修正画素値総和差分［ＳＵＢ（ｎｅｗ）＝Σｂ（ｎｅｗ）−Σａ］の絶対値｜ＳＵＢ（ｎｅｗ）｜が予め設定された閾値より大きくないと判定された場合は、ステップＳ２０４に進み、補正を行なわない設定とする。これは、前述した（１）〜（４）の補正態様中の
（２）修正画素値総和差分［ＳＵＢ（ｎｅｗ）＝Σｂ（ｎｅｗ）−Σａ］が閾値［Ｔｈ］以下であり負の値でもない場合は補正を行なわない。
この処理に相当する設定処理である。
【００８３】
一方、ステップＳ２０１において、修正画素値総和差分［ＳＵＢ（ｎｅｗ）＝Σｂ（ｎｅｗ）−Σａ］が０以下であると判定した場合は、ステップＳ２０５に進み、修正画素値総和差分［ＳＵＢ（ｎｅｗ）＝Σｂ（ｎｅｗ）−Σａ］の絶対値｜ＳＵＢ（Ｎｅｗ）｜が予め設定された閾値より大きいか否かを判定する。
【００８４】
修正画素値総和差分［ＳＵＢ（ｎｅｗ）＝Σｂ（ｎｅｗ）−Σａ］の絶対値｜ＳＵＢ（ｎｅｗ）｜が予め設定された閾値［Ｔｈ］より大きい場合は、ステップＳ２０６に進み、補正量として負の値（−）を設定する。すなわち、補正対象画像領域である左領域画像のレベル（輝度）を低くする補正量の設定を行う。これは、前述した（１）〜（４）の補正態様中の
（３）修正画素値総和差分［ＳＵＢ（ｎｅｗ）＝Σｂ（ｎｅｗ）−Σａ］が負の値であり、修正画素値総和差分［ＳＵＢ（ｎｅｗ）＝Σｂ（ｎｅｗ）−Σａ］の絶対値｜ＳＵＢ（ｎｅｗ）｜が閾値［Ｔｈ］を超える場合は左領域画像の出力レベルを下げるために、左領域画像にオフセット量を減じる補正（マイナス補正）を行う。
この補正に相当する補正量の設定処理である。
【００８５】
また、ステップＳ２０５において、修正画素値総和差分［ＳＵＢ（ｎｅｗ）＝Σｂ（ｎｅｗ）−Σａ］の絶対値｜ＳＵＢ（ｎｅｗ）｜が予め設定された閾値［Ｔｈ］より大きくないと判定された場合は、ステップＳ２０７に進み、補正を行なわない設定とする。これは、前述した（１）〜（４）の補正態様中の
（４）修正画素値総和差分［ＳＵＢ（ｎｅｗ）＝Σｂ（ｎｅｗ）−Σａ］が負の値であり、修正画素値総和差分［ＳＵＢ（ｎｅｗ）＝Σｂ（ｎｅｗ）−Σａ］の絶対値｜ＳＵＢ（ｎｅｗ）｜が閾値［Ｔｈ］よりも小さい場合は補正を行わない。
この処理に相当する設定処理である。
【００８６】
このようにしてステップＳ２０４〜Ｓ２０７において、いずれかの補正態様が決定され、ステップＳ２０８において決定した補正態様に従った補正を実行する。すなわち、ステップＳ２０８では、
（１）修正画素値総和差分［ＳＵＢ（ｎｅｗ）＝Σｂ（ｎｅｗ）−Σａ］が閾値［Ｔｈ］よりも大きい場合、左領域画像の出力レベルを上げるために、左領域画像にオフセット量を加える補正を行う（プラス補正）
（２）修正画素値総和差分［ＳＵＢ（ｎｅｗ）＝Σｂ（ｎｅｗ）−Σａ］が閾値［Ｔｈ］以下であり負の値でもない場合は補正を行なわない。
（３）修正画素値総和差分［ＳＵＢ（ｎｅｗ）＝Σｂ（ｎｅｗ）−Σａ］が負の値であり、修正画素値総和差分［ＳＵＢ（ｎｅｗ）＝Σｂ（ｎｅｗ）−Σａ］の絶対値｜ＳＵＢ（ｎｅｗ）｜が閾値［Ｔｈ］を超える場合は左領域画像の出力レベルを下げるために、左領域画像にオフセット量を減じる補正（マイナス補正）を行う。
（４）修正画素値総和差分［ＳＵＢ（ｎｅｗ）＝Σｂ（ｎｅｗ）−Σａ］が負の値であり、修正画素値総和差分［ＳＵＢ（ｎｅｗ）＝Σｂ（ｎｅｗ）−Σａ］の絶対値｜ＳＵＢ（ｎｅｗ）｜が閾値［Ｔｈ］よりも小さい場合は補正を行わない。
これらの４つのパターンのいずれかが実行される。
【００８７】
その後、ステップＳ２０９において演算部１２２に画素値総和値［Σａ］と，修正画素値総和［Σｂ］のリセット処理を実行させて処理を終了する。この図９に示すフローは、補正部１２１に入力される画像に対して、予め設定された処理タイミング毎、例えば各画像フレーム毎に繰り返し実行される。
【００８８】
なお、各画像について実行される補正の補正量は、先に説明したように、差分値に相当する値ではなく量子化最大値に比べて０．１％程度であり、たとえば、輝度レベルが１２ビットのデジタル信号（０（ｍｉｎ）〜４０９５（ｍａｘ））である場合、
４０９５×０．１％＝４
すなわち、１つの画像の画素に対して、輝度レベルとして−４〜＋４の範囲でレベル（輝度）の調整を行う。この調整処理によって発振を抑えた補正が可能となる。
【００８９】
［カラー画像に対応した処理例］
上述した処理例は、基本的に画像の各画素が輝度データのみを持つモノクロ画像に対する処理例として説明したが、本発明はカラー画像に対しても、上述したシーケンスに従った補正処理が可能である。以下、図１０〜図１２を参照してベイヤ配列カラーＣＣＤによって撮影した画像に対する処理例について説明する。ベイヤ配列カラーＣＣＤは、図１１に示すように、各ラインが
ＲＧＲＧＲＧ・・・
ＧＢＧＢＧＢ・・・
このように、
［Ｒ］と［Ｇ］の繰り返しパターンからなるラインと、
［Ｇ］と［Ｂ］の繰り返しパターンからなるラインと、
これらの２つのラインが繰り返されるパターンを有している。
【００９０】
このようなベイヤ配列画像を持つＣＣＤにおいても、左右２分割されたＣＤＤを用いると、左右のカラー画像の画素値レベルに差が発生し、輝度のみならず色調も異なる画像となる場合がある。本発明の処理を適用することで左右の画像がバランスされた境界の目立たない画像を生成することができる。
【００９１】
ベイヤ配列を持つ２分割ＣＣＤによって撮影された画像の表示画像は、図１１に示すような構成を有し、左右画像の境界５０１を境界にした左画像と右画像の輝度や色調が異なることがある。本発明に従った処理を行う場合、境界５０１に接する左画像および右画像各々の２画素を選択してその２画素を適用して、上述したと同様の画素値比較処理に基づく修正画素値［Σｂ（ｎｅｗ）］を算出し、２画素を適用して修正画素値総和差分［ＳＵＢ（ｎｅｗ）］を算出する。
【００９２】
左画像と右画像の境界部の１画素のみを取得すると、第１ラインから順に、
ＧとＲ、
ＢとＧ、
ＧとＲ、
上記のように異なる画素データの組み合わせとなってしまい、元々レベルが異なる画素データの組み合わせとなってしまう。そこで、左画像と右画像の境界部の２画素を取得する。この処理により、第１ラインから順に、
ＲＧとＲＧ、
ＧＢとＧＢ、
ＲＧとＲＧ、
上記のように同じ画素データの組み合わせとなり、この２画素の組に基づいて画素レベル調整を実行する。
【００９３】
具体的な処理例について図１２を参照して説明する。図３に示す演算部１２２は、まず、左画像の境界部５０１に隣接する２画素［ａｎ］と［ａｎ'］の各画素のレベル［Ｌａｎ］と［Ｌａｎ'］を加算して、加算画素値［Ｌａｎ（２）］を算出する。すなわち、
Ｌａｎ（２）＝Ｌａｎ＋Ｌａｎ'
である。
【００９４】
同様に、演算部１２２は、右画像の境界部５０１に隣接する２画素［ｂｎ］と［ｂｎ'］の各画素のレベル［Ｌｂｎ］と［Ｌｂｎ'］を加算して、加算画素値［Ｌｂｎ（２）］を算出する。すなわち、
Ｌｂｎ（２）＝Ｌｂｎ＋Ｌｂｎ'
である。
【００９５】
次に、図３に示す演算部１２２は、上記の境界部に隣接する２画素の加算画素値の差分絶対値をライン各々について算出する。ラインｎの加算画素値差分絶対値を［ＬＳＵＢｎ（２）］とすると、
ＬＳＵＢｎ（２）＝｜Ｌｂｎ（２）−Ｌａｎ（２）｜
である。
【００９６】
次に演算部１２２は、第１〜Ｎライン各々について算出した各ライン対応の加算画素値差分絶対値［ＬＳＵＢｎ（２）］と予め設定した差分閾値［ＤＩＦＦ（２）］との比較を行う。
加算画素値差分絶対値［ＬＳＵＢｎ（２）］が差分閾値［ＤＩＦＦ（２）］よりも大きい場合、すなわち、
ＬＳＵＢｎ（２）＞ＤＩＦＦ（２）
上記式が成立する場合は、境界部で接する左右画像の２画素［ａｎ］，［ａｎ'］と画素［ｂｎ］，［ｂｎ'］は相関性が低いと判断する。
【００９７】
このように相関性の低いと判断されたラインの一方の画像領域、本例では右側の画像領域の加算画素値［Ｌｂｎ（２）］を、修正加算画素値、すなわち、
［Ｌｂｎ（２）（ｎｅｗ）］＝［Ｌａｎ（２）］として設定する。
【００９８】
一方、加算画素値差分絶対値［ＬＳＵＢｎ（２）］が差分閾値［ＤＩＦＦ（２）］よりも大きくない場合、すなわち、
ＬＳＵＢｎ（２）＞ＤＩＦＦ（２）
上記式が成立しない場合は、境界部で接する左右画像の２画素［ａｎ］，［ａｎ'］と画素［ｂｎ］，［ｂｎ'］は相関性が高いと判断し、
［Ｌｂｎ（２）（ｎｅｗ）］＝［Ｌｂｎ（２）］として設定する。
【００９９】
このような画素値置き換え処理を行い、演算部１２２は、
（ａ）左画像の境界部５０１に隣接する２画素［ａｎ］と［ａｎ'］の各画素のレベル［Ｌａｎ］と［Ｌａｎ'］を加算した加算画素値［Ｌａｎ（２）］の第１ラインから最終Ｎラインの加算画素値総和、
Σａ（２）＝Ｌａ１（２）＋Ｌａ２（２）＋・・・＋ＬａＮ（２）
（ｂ）右画像の境界部５０１に隣接する２画素［ｂｎ］と［ｂｎ'］の各画素のレベル［Ｌｂｎ］と［Ｌｂｎ'］を加算した加算画素値［Ｌｂｎ（２）］の画素値の一部置き換えを行った修正加算画素値総和、
Σｂ（２）（ｎｅｗ）＝Ｌｂ１（２）（ｎｅｗ）＋Ｌｂ２（２）（ｎｅｗ）＋・・・＋ＬｂＮ（２）（ｎｅｗ）
これらの２つの画素値総和を算出する。
【０１００】
なお、予め設定した差分閾値［ＤＩＦＦ（２）］は、制御情報設定部１２３としての例えば外部ＰＣから設定可能である。例えば、各画素の画素値が８ビットの設定で０〜２５５までの画素値レベルに設定可能である場合、差分閾値［ＤＩＦＦ（２）］の値としては、２画素分の差分の最小値から最大値の範囲である０〜５１１のいずれかの値に設定可能である。具体的な例としては、例えば、各画素の画素値が８ビットの設定で０〜２５５までの画素値レベルに設定可能である場合、差分閾値［ＤＩＦＦ（２）］＝６４が利用される。
【０１０１】
次に、補正部１２１の処理について説明する。補正部１２１は、左右各画像領域の不連続性を減少させるためとしての画像補正を実行する。本発明の画像処理においては、左右各画像領域の不連続性を減少させるための処理として、上述した処理によって算出した以下の２つの修正加算画素値総和、すなわち、
（ａ）Σａ（２）＝Ｌａ１（２）＋Ｌａ２（２）＋・・・＋ＬａＮ（２）
（ｂ）Σｂ（２）（ｎｅｗ）＝Ｌｂ１（２）（ｎｅｗ）＋Ｌｂ２（２）（ｎｅｗ）＋・・・＋ＬｂＮ（２）（ｎｅｗ）
これら２つの加算画素値総和の差分である修正加算画素値総和差分［ＳＵＢ（２）（ｎｅｗ）］、すなわち、
ＳＵＢ（２）（ｎｅｗ）＝Σｂ（２）（ｎｅｗ）−Σａ（２）
この修正加算画素値総和差分［Ｓｕｂ（２）（ｎｅｗ）］をできるだけ小さくする補正を行なう。補正部１２１は、ある１つの画像データに基づいて算出した修正加算画素値総和差分［Ｓｕｂ（２）（ｎｅｗ）］に基づいて、その画像フレームに対する処理を行う。
【０１０２】
なお、処理態様としては、
（１）フレーム単位で修正加算画素値総和差分［ＳＵＢ（２）（ｎｅｗ）］を算出し、その算出データに基づく画像補正をフレーム単位で行う。
（２）１つのフレーム画像を利用して、修正加算画素値総和差分［ＳＵＢ（２）（ｎｅｗ）］を算出し、その算出データに基づく画像補正をそのフレームとその後継続する複数フレームに対して行う。
これらの（１），（２）のいずれの処理態様としてもよい。
【０１０３】
補正部１２１の実行する画像補正処理は、先に図９のフローを参照して説明した処理と同様の処理となる。すなわち、補正部１２１は、修正加算画素値総和差分［ＳＵＢ（２）（ｎｅｗ）＝Σｂ（２）（ｎｅｗ）−Σａ（２）］と予め設定された閾値［Ｔｈ］を比較し、比較結果に応じて、以下の処理を選択して実行する。
（１）修正加算画素値総和差分［ＳＵＢ（２）（ｎｅｗ）＝Σｂ（２）（ｎｅｗ）−Σａ（２）］が閾値［Ｔｈ］よりも大きい場合、左領域画像の出力レベルを上げるために、左領域画像にオフセット量を加える補正を行う（プラス補正）
（２）修正加算画素値総和差分［ＳＵＢ（２）（ｎｅｗ）＝Σｂ（２）（ｎｅｗ）−Σａ（２）］が閾値［Ｔｈ］以下であり負の値でもない場合は補正を行なわない。
（３）修正加算画素値総和差分［ＳＵＢ（２）（ｎｅｗ）＝Σｂ（２）（ｎｅｗ）−Σａ（２）］が負の値であり、修正加算画素値総和差分［ＳＵＢ（２）（ｎｅｗ）］の絶対値｜ＳＵＢ（２）（ｎｅｗ）｜が閾値［Ｔｈ］を超える場合は左領域画像の出力レベルを下げるために、左領域画像にオフセット量を減じる補正（マイナス補正）を行う。
（４）修正加算画素値総和差分［ＳＵＢ（２）（ｎｅｗ）＝Σｂ（２）（ｎｅｗ）−Σａ（２）］が負の値であり、修正加算画素値総和差分［ＳＵＢ（２）（ｎｅｗ）］の絶対値｜ＳＵＢ（２）（ｎｅｗ）｜が閾値［Ｔｈ］よりも小さい場合は補正を行わない。
これらの４つのパターンのいずれかを、修正加算画素値総和差分［ＳＵＢ（２）（ｎｅｗ）＝Σｂ（２）（ｎｅｗ）−Σａ（２）］と予め設定された閾値との比較結果に基づいて実行する。
【０１０４】
なお、閾値［Ｔｈ］および上記補正態様情報（１）〜（４）は例えばＰＣ等の制御情報設定部１２３から入力可能である。なお、補正部１２１内に閾値および上記補正態様情報（１）〜（４）を記録したメモリを設定し、記録情報を適用した処理構成としてもよい。なお、補正態様情報には、補正量（オフセット量）が含まれる。なお、先に、説明した処理と同様、画像に対する補正を緩やかに少しずつ補正を加えていく処理を行うことで発振現象を避けることが可能である。
【０１０５】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０１０６】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１０７】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０１０８】
以上、説明したように、本発明の一実施例の構成によれば、撮像素子の分割領域各々に対応する出力信号を入力して補正処理を実行する構成において、分割領域各々に対応する第１画像領域と第２画像領域の境界部に隣接する少なくとも１画素の画素列の各画素値を取得し、第１画像領域の境界部の各ラインｎ（ｎ＝１〜Ｎ）の画素値の加算値である第１画素値総和を算出し、第２画像領域の境界部の各ラインｎ（ｎ＝１〜Ｎ）の画素値と第１画像領域の境界部画素値との差分が予め設定した閾値［ＤＩＦＦ］より大きい場合に、画素値を第１画像領域の境界部画素の画素値に置き換えて修正第２画素値総和を算出し、第１画素値総和と修正第２画素値総和との差分値である修正画素値総和差分と予め定めた閾値［Ｔｈ］との比較を実行し、比較結果に応じて異なる態様で分割領域画像の補正処理を実行する。具体的には、差分値の絶対値が閾値［Ｔｈ］よりも大きい場合、分割領域画像の画素値を変更する処理を実行する。本構成によれば、各分割領域の相関検出といった処理を行なうことなく効率的な画素値補正、すなわち、分割画像領域における不連続性を解消する補正を行なうことができる。
【図面の簡単な説明】
【０１０９】
【図１】１チャネル出力型のＣＣＤおよび信号処理構成について説明する図である。
【図２】２チャネル出力型のＣＣＤおよび信号処理構成について説明する図である。
【図３】本発明の一実施例に係る撮像装置、画像信号処理装置の構成例について説明する図である。
【図４】ＣＣＤの詳細構成について説明する図である。
【図５】本発明における画像の補正処理例について説明する図である。
【図６】本発明における画像の補正処理例について説明する図である。
【図７】修正画素値総和［Σｂ（ｎｅｗ）］の算出処理シーケンスについて説明するフローチャートを示す図である。
【図８】１ラインの画素の画素値総和の差分［Ｓｕｂ＝Σｂ−Σａ］を適用して補正態様を決定するメリットについて説明する図である。
【図９】本発明の画像補正処理シーケンスについて説明するフローチャートを示す図である。
【図１０】ベイヤ配列について説明する図である。
【図１１】カラー画像に対する画像の補正処理例について説明する図である。
【図１２】カラー画像に対する画像の補正処理例について説明する図である。
【符号の説明】
【０１１０】
１０  ＣＣＤ
１１  垂直レジスタ
１２  水平レジスタ
１３  出力アンプ
２１  信号処理部
２２  ラインメモリ
２３  出力部
３０  出力画像
５０  ＣＣＤ
５１  垂直レジスタ
５２，５３  水平レジスタ
５４，５５  出力アンプ
６１，６２  信号処理部
６３，６４  ラインメモリ
６５  マルチプレクサ
６６  出力部
７０  出力画像
１００  ＣＣＤ
１０１  垂直レジスタ素
１０２，１０３  水平レジスタ
１０４，１０５  出力アンプ
１１１，１１３  信号処理部
１１２，１１４  ラインメモリ
１１５  マルチプレクサ
１２０  画像信号補正部
１２１  補正部
１２２  演算部
１２３  制御情報設定部
１３０  出力部
１５０  画像データ
２００  フォトディテクタ（ＰＤ）
３０１  画素領域
３０２  画素領域
５０１  境界部
【図１】
0004434250.tif 000002
【図３】
0004434250.tif 000003
【図７】
0004434250.tif 000004
【図８】
0004434250.tif 000005
【図９】
0004434250.tif 000006
【図１０】
0004434250.tif 000007
【図２】
0004434250.tif 000008
【図４】
0004434250.tif 000009
【図５】
0004434250.tif 000010
【図６】
0004434250.tif 000011
【図１１】
0004434250.tif 000012
【図１２】
0004434250.tif 000013