(57)【要約】【課題】複数に分割された撮像領域に対応した複数の出力端子から出力される画像信号を精度高く補正する画像処理方法など提供すること。【解決手段】撮像素子１１の撮像領域４０は境界線４３により２つの撮像領域４１、４２に分割され、各撮像領域４１、４２に対応する出力端子２５、２６から画像信号を出力する。アナログ信号処理部１２とＡ／Ｄ変換部１３は、２つの出力端子２５、２６に対応して２チャンネル分の回路が設けられている。このような回路構成で生成された画像データに対して、撮像領域４１、４３内における境界線４３に直交する方向の画像データ値の傾きと、撮像領域４１、４２間の画像データ値の傾きを求める。求めたこれらの傾きに基づき、撮像領域４１に対する撮像領域４２の画像データの補正値を求め、撮像領域４２内の全ての画像データの補正をする。【選択図】        図４
2004179737.tif 000002
【特許請求の範囲】
【請求項１】
境界線により複数の撮像領域に分割し、分割された複数の撮像領域に対応して画像信号を出力する撮像手段により出力された該画像信号を処理する画像処理方法であって、
前記画像信号の、前記分割された前記境界線を挟む２つの撮像領域内における前記境界線に実質的に直交する方向の傾きを第１の傾きと第２の傾きとして求め、前記分割された前記境界線を挟む２つの撮像領域間の傾きを第３の傾きとして求め、
前記求めた第１の傾き〜第３の傾きに基づき、前記分割された前記境界線を挟む２つの撮像領域間の前記画像信号の誤差を補正することを特徴とする画像処理方法。
【請求項２】
請求項１記載の画像処理方法において、
前記分割された前記境界線を挟む２つの撮像領域のそれぞれにおいて、前記境界線に沿った少なくとも２列の領域における前記画像信号に基づき、前記第１の傾きと前記第２の傾きとを求めることを特徴とする画像処理方法。
【請求項３】
請求項１〜２のいずれか１項記載の画像処理方法において、
前記画像信号を局所範囲において平均化し、
平均化した信号を使用して前記第１の傾きから前記第３の傾きを求めることを特徴とする画像処理方法。
【請求項４】
請求項１〜３のいずれか１項記載の画像処理方法において、
前記画像信号に基づき、周辺領域と類似性の強い領域を選択し、
類似性の強い領域として選択された領域における前記画像信号に基づき、前記第１の傾き〜前記第３の傾きを求めることを特徴とする画像処理方法。
【請求項５】
請求項１〜４のいずれか１項記載の画像処理方法において、
前記第１の傾きと前記第２の傾きの差分と、前記第１の傾きと前記第３の傾きの差分と、前記第２の傾きと前記第３の傾きの差分とが、すべて所定の値以下の領域を選択し、
前記差分がすべて所定の値以下として選択された領域の前記第１の傾き〜第３の傾きに基づき、前記分割された前記境界線を挟む２つの撮像領域間の前記画像信号の誤差を補正することを特徴とする画像処理方法。
【請求項６】
複数の画素により構成され、境界線により複数の撮像領域に分割され、分割された複数の撮像領域に対応して画素毎の画像信号を出力する撮像手段により出力された該画像信号を処理する画像処理方法であって、
前記境界線により分割された前記境界線を挟む２つの撮像領域のそれぞれの前記境界線近傍において、前記境界線に沿った方向に、前記画像信号を複数の画素毎に平均化して少なくとも２列の信号列を求め、
前記少なくとも２列の信号列において、前記境界線に沿った方向に類似性の強い信号を抽出し、
前記分割された前記境界線を挟む２つの撮像領域のそれぞれの前記少なくとも２列の信号列において、前記境界線に直交する方向に、前記類似性の強い信号がすべて抽出される横方向領域を抽出し、
前記抽出された横方向領域において、前記画像信号の、前記分割された前記境界線を挟む２つの撮像領域内における前記境界線に実質的に直交する方向の傾きを第１の傾きと第２の傾きとして求め、前記境界線を挟む前記分割された２つの撮像領域間の傾きを第３の傾きとして求め、
前記求めた第１の傾き〜第３の傾きに基づき、前記境界線を挟む前記分割された２つの撮像領域間の前記画像信号の誤差を補正することを特徴とする画像処理方法。
【請求項７】
請求項１〜６のいずれか１項記載の画像処理方法において、
前記画像信号の信号レベルが高い領域における、前記第１の傾き〜前記第３の傾きを求め、
前記画像信号の信号レベルが前記信号レベルが高い領域よりも低い領域における、前記第１の傾き〜前記第３の傾きを求め、
前記求められた少なくとも２組の第１の傾き〜前記第３の傾きに基づき、信号レベルにおける補正を行うことを特徴とする画像処理方法。
【請求項８】
請求項１〜７のいずれか１項記載の画像処理方法において、
前記第１の傾き〜前記第３の傾きに基づき、補正対象撮像領域の前記画像信号に対するゲインおよびオフセットの少なくとも１つを補正することを特徴とする画像処理方法。
【請求項９】
請求項１〜８のいずれか１項記載の画像処理方法において、
前記撮像手段から出力される画像信号は、複数の色成分の画像信号から構成され、
所定の領域においてどの色成分の画像信号の信号レベルが高いかを判断し、
信号レベルが高いと判断した色成分に関する前記画像信号に基づき、前記第１の傾き〜前記第３の傾きを求めることを特徴とする画像処理方法。
【請求項１０】
請求項１〜９のいずれか１項記載の画像処理方法において、
前記撮像手段が、３以上の撮像領域に分割される場合、１つの撮像領域を基準に、他の撮像領域の補正値を求めることを特徴とする画像処理方法。
【請求項１１】
請求項１〜１０のいずれか１項に記載の画像処理方法の手順をコンピュータに実行させるための画像処理プログラム。
【請求項１２】
請求項１１の画像処理プログラムを記録したコンピュータ読みとり可能な記録媒体。
【請求項１３】
請求項１１の画像処理プログラムを搭載した画像処理装置。
【請求項１４】
境界線により複数の撮像領域に分割し、分割された複数の撮像領域に対応して画像信号を出力する撮像手段と、
前記複数の撮像領域に対応して出力される画像信号をそれぞれ所定の信号処理する信号処理手段と、
前記信号処理された画像信号の、前記分割された前記境界線を挟む２つの撮像領域内のそれぞれにおける前記境界線に実質的に直交する方向の傾きを第１の傾きと第２の傾きとして求め、前記分割された前記境界線を挟む２つの撮像領域間の第３の傾きを求める傾き演算手段と、
前記傾き演算手段により求めた第１の傾き〜第３の傾きに基づき、前記分割された前記境界線を挟む２つの撮像領域間の前記信号処理された画像信号の誤差を補正する補正手段とを備えることを特徴とする画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、複数に分割された撮像領域に対応した複数の出力端子から出力される画像信号を適切に補正する画像処理方法などに関する。
【０００２】
【従来の技術】
ＣＣＤ等の撮像素子を利用して被写体を撮像する電子カメラが知られている。撮像素子の出力が単一の場合、処理速度が遅く、連写速度等に制限が生じる。そこで、処理速度を高める手段として、撮像素子の撮像領域を複数に分割し、複数の出力端子から画像信号を出力することが考えられている。このとき、複数の出力端子から出力される画像信号は、複数のアナログ処理回路で処理されるため、そのアンバランス（誤差）を自動的に補正する技術も知られている（例えば、特許文献１、２参照）
【０００３】
【特許文献１】
特開２０００−２５３３０５号公報
【特許文献２】
特開２００１−９４８８６号公報
【発明が解決しようとする課題】
しかし、従来の技術では、複数に分割された撮像領域の境界にグラデーション（緩やかな輝度変化等）がある場合などにおいて、必ずしも精度の高い補正がなされていない。
【０００４】
本発明は、複数に分割された撮像領域に対応した複数の出力端子から出力される画像信号を精度よく補正する画像処理方法など提供することにある。
【０００５】
【課題を解決するための手段】
請求項１の発明は、境界線により複数の撮像領域に分割し、分割された複数の撮像領域に対応して画像信号を出力する撮像手段により出力された該画像信号を処理する画像処理方法に適用され、画像信号の、分割された境界線を挟む２つの撮像領域内における境界線に実質的に直交する方向の傾きを第１の傾きと第２の傾きとして求め、分割された境界線を挟む２つの撮像領域間の傾きを第３の傾きとして求め、求めた第１の傾き〜第３の傾きに基づき、分割された境界線を挟む２つの撮像領域間の画像信号の誤差を補正するものである。
請求項２の発明は、請求項１記載の画像処理方法において、分割された境界線を挟む２つの撮像領域のそれぞれにおいて、境界線に沿った少なくとも２列の領域における画像信号に基づき、第１の傾きと第２の傾きとを求めることとするものである。
請求項３の発明は、請求項１〜２のいずれか１項記載の画像処理方法において、画像信号を局所範囲において平均化し、平均化した信号を使用して第１の傾きから第３の傾きを求めることとするものである。
請求項４の発明は、請求項１〜３のいずれか１項記載の画像処理方法において、画像信号に基づき、周辺領域と類似性の強い領域を選択し、類似性の強い領域として選択された領域における画像信号に基づき、第１の傾き〜第３の傾きを求めることとするものである。
請求項５の発明は、請求項１〜４のいずれか１項記載の画像処理方法において、第１の傾きと第２の傾きの差分と、第１の傾きと第３の傾きの差分と、第２の傾きと第３の傾きの差分とが、すべて所定の値以下の領域を選択し、差分がすべて所定の値以下として選択された領域の第１の傾き〜第３の傾きに基づき、分割された境界線を挟む２つの撮像領域間の画像信号の誤差を補正することとするものである。
請求項６の発明は、複数の画素により構成され、境界線により複数の撮像領域に分割され、分割された複数の撮像領域に対応して画素毎の画像信号を出力する撮像手段により出力された該画像信号を処理する画像処理方法に適用され、境界線により分割された境界線を挟む２つの撮像領域のそれぞれの境界線近傍において、境界線に沿った方向に、画像信号を複数の画素毎に平均化して少なくとも２列の信号列を求め、少なくとも２列の信号列において、境界線に沿った方向に類似性の強い信号を抽出し、分割された境界線を挟む２つの撮像領域のそれぞれの少なくとも２列の信号列において、境界線に直交する方向に、類似性の強い信号がすべて抽出される横方向領域を抽出し、抽出された横方向領域において、画像信号の、分割された境界線を挟む２つの撮像領域内における境界線に実質的に直交する方向の傾きを第１の傾きと第２の傾きとして求め、境界線を挟む分割された２つの撮像領域間の傾きを第３の傾きとして求め、求めた第１の傾き〜第３の傾きに基づき、境界線を挟む分割された２つの撮像領域間の画像信号の誤差を補正するものである。
請求項７の発明は、請求項１〜６のいずれか１項記載の画像処理方法において、画像信号の信号レベルが高い領域における、第１の傾き〜第３の傾きを求め、画像信号の信号レベルが信号レベルが高い領域よりも低い領域における、第１の傾き〜第３の傾きを求め、求められた少なくとも２組の第１の傾き〜第３の傾きに基づき、信号レベルにおける補正を行うこととするものである。
請求項８の発明は、請求項１〜７のいずれか１項記載の画像処理方法において、第１の傾き〜第３の傾きに基づき、補正対象撮像領域の画像信号に対するゲインおよびオフセットの少なくとも１つを補正することとするものである。
請求項９の発明は、請求項１〜８のいずれか１項記載の画像処理方法において、撮像手段から出力される画像信号は、複数の色成分の画像信号から構成され、所定の領域においてどの色成分の画像信号の信号レベルが高いかを判断し、信号レベルが高いと判断した色成分に関する画像信号に基づき、第１の傾き〜第３の傾きを求めることとするものである。
請求項１０の発明は、請求項１〜９のいずれか１項記載の画像処理方法において、撮像手段が、３以上の撮像領域に分割される場合、１つの撮像領域を基準に、他の撮像領域の補正値を求めることとするものである。
請求項１１の発明は、画像処理プログラムに適用され、請求項１〜１０のいずれか１項に記載の画像処理方法の手順をコンピュータに実行させものである。
請求項１２の発明は、コンピュータ読みとり可能な記録媒体に適用され、請求項１１の画像処理プログラムを記録したものである。
請求項１３の発明は、画像処理装置に適用され、請求項１１の画像処理プログラムを搭載したものである。
請求項１４の発明は、画像処理装置に適用され、境界線により複数の撮像領域に分割し、分割された複数の撮像領域に対応して画像信号を出力する撮像手段と、複数の撮像領域に対応して出力される画像信号をそれぞれ所定の信号処理する信号処理手段と、信号処理された画像信号の、分割された境界線を挟む２つの撮像領域内のそれぞれにおける境界線に実質的に直交する方向の傾きを第１の傾きと第２の傾きとして求め、分割された境界線を挟む２つの撮像領域間の第３の傾きを求める傾き演算手段と、傾き演算手段により求めた第１の傾き〜第３の傾きに基づき、分割された境界線を挟む２つの撮像領域間の信号処理された画像信号の誤差を補正する補正手段とを備えるものである。
【０００６】
【発明の実施の形態】
図１は、本発明の一実施の形態における電子スチルカメラ（以下、電子カメラと言う）のブロック図である。電子カメラ１は、撮影レンズ（不図示）などから構成される撮影光学系１０、撮像素子１１、アナログ信号処理部１２、Ａ／Ｄ変換部１３、タイミング制御部１４、画像処理部１５、操作部１６、制御部１７、メモリ１８、圧縮／伸長部１９、表示画像生成部２０、モニタ２１、メモリカード用インタフェース部２２、外部インタフェース部２３を備える。
【０００７】
撮像素子１１は、撮影光学系１０を通して被写体を撮像し、撮像された被写体像に対応する画像信号（撮像信号）を出力する。撮像素子１１は、複数の画素から構成される矩形形状の撮像領域を有し、各画素に蓄積された電荷に対応するアナログ信号である画像信号を、画素単位で順次、アナログ信号処理部１２に出力する。撮像素子１１は、例えばＣＣＤなどで構成される。アナログ信号処理部１２は、内部にＣＤＳ（相関２重サンプリング）回路や、ＡＧＣ（オートゲインコントロール）回路などを有し、入力された画像信号に対して所定のアナログ処理を行う。Ａ／Ｄ変換部１３は、アナログ信号処理部１２で処理されたアナログ信号をデジタル信号に変換する。タイミング制御部１４は、制御部１７により制御され、撮像素子１１、アナログ信号処理部１２、Ａ／Ｄ変換部１３、画像処理部１５の各動作のタイミングを制御する。
【０００８】
本実施の形態の撮像素子１１は、後述するように２個の撮像領域に分割され、それぞれの撮像領域に対応して２個の出力端子２５、２６を有する。また、２個の出力端子から出力される画像信号を同時に、並列に処理できるように、アナログ信号処理部１２およびＡ／Ｄ変換部１３は、それぞれ２チャンネル分の回路を有する。
【０００９】
メモリカード用インタフェース部２２は、メモリカード（カード状のリムーバブルメモリ）３０とのインタフェースをとる。外部インタフェース部２３は、所定のケーブルや無線伝送路を介してＰＣ（パーソナルコンピュータ）３１等の外部装置とのインタフェースをとる。操作部１６は、レリーズボタンやモード切り換え用の選択ボタン等に相当し、モニタ２１には各種メニューを表示したり、撮像素子１１で撮像した被写体像やメモリカードに格納された画像データに基づく再生画像を表示したりする。操作部１６の出力は制御部１７に接続され、モニタ２１には表示画像生成部２０の出力が接続される。画像処理部１５は、例えば、画像処理専用の１チップ・マイクロプロセッサで構成される。
【００１０】
Ａ／Ｄ変換部１３、画像処理部１５、制御部１７、メモリ１８、圧縮／伸長部１９、表示画像生成部２０、メモリカード用インタフェース部２２、外部インタフェース部２３は、バス２４を介して相互に接続されている。
【００１１】
ＰＣ３１には、モニタ３２やプリンタ３３等が接続されており、ＣＤ−ＲＯＭ３４に記録されたアプリケーションプログラムが予めインストールされている。また、ＰＣ３１は、不図示のＣＰＵ、メモリ、ハードディスクの他に、メモリカード３０とのインタフェースをとるメモリカード用インタフェース部（不図示）や所定のケーブルや無線伝送路を介して電子カメラ１等の外部装置とのインタフェースをとる外部インタフェース部（不図示）を備える。
【００１２】
図１のような構成の電子カメラ１において、操作部１６を介し、操作者によって撮影モードが選択されてレリーズボタンが押されると、制御部１７は、タイミング制御部１４を介して、撮像素子１１、アナログ信号処理部１２、Ａ／Ｄ変換部１３に対するタイミング制御を行う。撮像素子１１は、撮影光学系１０により撮像領域に結像された光学像に対応する画像信号を生成する。その画像信号は、アナログ信号処理部１２で所定のアナログ信号処理が行われ、アナログ処理後画像信号としてＡ／Ｄ変換部１３へ出力される。Ａ／Ｄ変換部１３では、アナログ処理後の画像信号をディジタル化し、画像データとして、画像処理部１５に供給する。
【００１３】
本実施の形態の電子カメラ１では、撮像素子１１において、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタがベイア配列されているので、画像処理部１５に供給される画像データはＲＧＢ表色系で示される。画像データを構成する各々の画素には、ＲＧＢの何れか１つの色成分の色情報が存在する。ここで、撮像素子１１を構成する１つの光電変換素子を画素と言うが、この画素に対応した画像データの１単位も画素と言う。
【００１４】
画像処理部１５は、このような画像データに対し、後述する画像データ補正処理を行う他に、補間、階調変換や輪郭強調などの画像処理を行う。このような画像処理が完了した画像データは、必要に応じて、圧縮／伸長部１９で所定の圧縮処理が施され、メモリカード用インタフェース部２２を介してメモリカード３０に記録される。
【００１５】
なお、画像処理が完了した画像データは、圧縮処理を施さずにメモリカード３０に記録したり、ＰＣ３１側のモニタ３２やプリンタ３３で採用されている表色系に変換して、外部インタフェース部２３を介してＰＣ３１に供給しても良い。また、操作部１６を介し、操作者によって再生モードが選択されると、メモリカード３０に記録されている画像データは、メモリカード用インタフェース部２２を介して読み出されて圧縮／伸長部１９で伸長処理が施され、表示画像生成部２０を介してモニタ２１に表示される。
【００１６】
（画像データの補正）
次に、撮像素子１１を介して取得したＲＧＢ表色系の画像データの補正処理について説明する。本実施の形態では、撮像素子１１からの出力処理のスピードを上げるため、撮像素子１１の撮像領域を２つに分割する。撮像素子１１は、分割された領域に対応して２つの出力端子２５、２６を有し、アナログ信号処理部１２とＡ／Ｄ変換部１３も２チャンネル分の回路を有する。このように、アナログ処理部１２が各出力に対応して別々の回路を有するため、各回路の特性の違いによる誤差（信号の強度ずれ）が画像データに生じる可能性がある。
【００１７】
電子カメラ１の製造時に、各回路の定数を調整することにより誤差をなくすことも考えられるが、製造後の経年変化や、温度ドリフトなど使用環境の違いによる誤差はどうしてもさけることができない。そのため、分割した領域の境界に目に見える境界線が現れてしまう。以下、この誤差を補正する処理について説明する。
【００１８】
図２は、以下の補正処理を説明するための撮像素子１１の画素の構成を示す図である。撮像素子１１の矩形形状の撮像領域４０は、境界（分割）線４３により左撮像領域４１と右撮像領域４２の２つに分割されている。撮像素子１１は、縦横格子状に複数の画素４４が配列されている。境界線４３は、画素４４の縦方向の配列に沿った直線である。撮像素子１１の横（水平）方向を、１行単位で行１、行２、．．．とする。縦（垂直）方向は、境界線４３を挟んで、画素４列単位で、列１、列２、列３、列４を定義する。撮像素子１１の縦横は、電子カメラを通常撮影位置に構えたときの縦横に対応する。
【００１９】
図３は、本実施の形態で採用されるベイア配列のフィルタを示す図である。図４は、画像処理部１５で実行される補正処理のフローチャートを示す図である。図４のフローチャートが開始される前提として、撮像素子１１で被写体像が撮像され、アナログ信号処理部１２のアナログ処理、Ａ／Ｄ変換部１３のデジタル変換処理を経て、メモリ１８に、図３のベイア配列に対応した撮像領域全体の画像データが格納されているものとする。画像データの各画素は、ＲＧＢの何れか１つの色成分の色情報が１２ビット（最大値４０９５）のデータで格納されている。すなわち、アナログ処理後の画像信号の信号レベルがデジタル化されて格納されている。
【００２０】
ステップＳ１では、ステップＳ２以降の平坦部判定処理においてどの色成分を使用するかの色成分決めを行う。この色成分決めは、図２において、撮像領域４０を縦方向に所定の数で分割して、分割した範囲内でどの色成分を使用するかを決める。例えば、縦方向に２０００画素配列されている撮像素子１１を８分割する場合、２０００／８＝２５０画素分を１つの単位として色成分決めを行う。
【００２１】
具体的には、まず、境界線４３を挟む８画素（列２と列３の画素）を、２行単位（最初の組は行１、行２に相当）で平均Ｒ値、Ｇ値、Ｂ値を求める。例えば、Ｒ画素の場合、８画素×２行にある４つのＲ画素の色情報値をすべて足して４で割る。Ｂ画素も同様である。Ｇ画素は８画素分の計算をする。求めた２行単位の平均Ｒ値、Ｇ値、Ｂ値を、縦方向に分割（例えば上記の通り８分割）された範囲内で、さらに平均して平均Ｒ値、Ｇ値，Ｂ値を求める。このように求めた平均Ｒ値，Ｇ値，Ｂ値を使用して、次の条件式により色成分決めを行う。
ｉｆ  Ｇ≧（Ｒ＋Ｂ）／２なら、Ｗ色と決定
ｅｌｓｅ  ｉｆ  Ｒ≧Ｂなら、Ｒ色と決定
ｅｌｓｅ  Ｂ色と決定
Ｗ色は、Ｗ＝（Ｒ＋２Ｇ＋Ｂ）／４で求められるものであり、輝度に相当する。ただし、Ｗ色の代わりにＧ色としてもよい。
【００２２】
なお、上記の通り２行単位で求めた平均Ｒ値、Ｇ値、Ｂ値をさらに分割した範囲内で平均値を求める代わりに、次のようにしてもよい。２行単位で求めた平均Ｒ値、Ｇ値、Ｂ値で、上述した条件式をあてはめて、２行単位の色成分決めを行う。このようにして決められた色成分をカウントして、分割した範囲内でどの色成分が最も多くカウントされるかを判断する。最も多くカウントされた色成分をその分割した範囲内の色成分として決めるようにしてもよい。
【００２３】
このように、Ｇ色が強ければＷ色またはＧ色を使い、Ｒ色が強ければＲ色を使い、Ｂ色が強ければＢ色を使う。これにより、Ｓ／Ｎ比が強い信号を使うこととなり、ノイズに強い平坦部判定を行うことができる。
【００２４】
ステップＳ２では、左右２列ずつの列１〜列４において、それぞれ列平均化処理を行う。例えば、図２の列２において説明する。まず、列２の縦４画素×横４画素の範囲４５において、ステップＳ１で決定された色成分の値（色情報）を使用してその範囲の平均値を求める。次に、１画素分下方向にずらして、同様に縦４画素×横４画素の範囲の平均値を求める。前述した縦方向に分割された範囲内では、同一の色成分を使用する。Ｗ色の場合は、縦４画素×横４画素のすべてのＲ値、Ｇ値、Ｂ値を足して１６で割る。このようにして、列１〜列４の、それぞれにおいて、縦４画素×横４画素範囲の平均化された値Ａ（ｉ，ｊ）が、縦方向に求まる。なお、Ａ（ｉ，ｊ）は、実際の画素に対応した値ではないが、図２では、便宜上縦４画素×横４画素範囲の真中に位置付けるように図示している。ここで、ｉは上記で説明した列１〜列４の列番号とし、ｊは図２の上から最初に求まったＡｉｊのｊを１とする行番号とする。
【００２５】
ステップＳ３では、縦平均化処理を行う。ステップＳ２において、列１〜列４単位で求まった縦方向の値Ａ（ｉ，ｊ）を使用して、さらに縦１６画素単位で平均化する。縦１６画素を１組として、１画素単位で下方向にずらしながら、縦１６画素分の平均値Ｂｉｊを求める。ここで、ｉは上記で説明した列１〜列４の列番号とし、ｊは図２の上から最初に求まったＢｉｊのｊを１とする行番号とする。例えば、Ａ（２，１）〜Ａ（２，１６）の１６個のＡ（２，ｊ）を平均化してＢ（２，１）を求め、Ａ（２，２）〜Ａ（２，１７）の１６個のＡ（２，ｊ）を平均化してＢ（２，２）を求め、順次Ｂ（２，ｊ）を求める。列１および列３、列４のＢ（ｉ，ｊ）も同様にして求める。言いかえると、ステップＳ２で求まった縦方向の値に、縦方向のローパスフィルタをかけることに相当する。
【００２６】
このようにステップＳ２やステップＳ３で平均化処理をするのは、画像の細かい構造の信号を排除し、低周波成分のみを取り出すためである。
【００２７】
ステップＳ４では、縦方向の平坦部を抽出する。平坦部とは、色信号の変化の少ない領域、周辺領域と類似性の強い領域のことである。具体的には、輝度が一定であるとか、色調が変化しないとか、空間周波数が低いとかの領域である。ステップＳ３で求めた値Ｂ（ｉ，ｊ）を使用し、その対象画素の値と対象画素を含む上下８画素（計１６画素）の平均値との差を次の式（１）により求める（分散を求める）。
【数１】
2004179737.tif 000003
この差が所定閾値以下の値のみを抽出する。さらに、列１〜列４すべてにおいて、差が所定閾値以下の値が抽出できた横方向領域を抽出する。
【００２８】
ステップＳ５では、ステップＳ４で抽出された横方向領域において、ステップＳ３で求められた値Ｂ（ｉ，ｊ）を使用してこれらの値の傾きを算出する。左撮像領域４１側の傾きｇ１＝列１（Ｂ（１，ｊ））−列２（Ｂ（２，ｊ））、右撮像領域４２側の傾きｇ２＝列３（Ｂ（３，ｊ））−列４（Ｂ（４，ｊ））、境界線４３にまたがる傾きｄｇ＝列２（Ｂ（２，ｊ））−列３（Ｂ（３，ｊ））を求める。例えば、雲のない青空の画像で、青空の色がグラデーション（緩やかな輝度変化等）を有する場合であっても、ステップＳ４では、画像の構造に変化がなく均一な色のため、分散が少ないとして抽出される。しかし、ステップＳ５の計算では、グラデーションによる一定の差が計算され、画像の構造を排除したアナログ処理後の信号レベルの傾きを検出することができる。この傾きは、境界線に対する直交方向の傾きと言える。
【００２９】
ステップＳ６では、横方向平坦部の抽出を行う。具体的には、横一列の傾きの変化の絶対値が所定値以下の領域を抽出する。式で表すと次のようになる。
｜ｇ１−ｇ２｜＜ｔｈ１（所定値）かつ、
｜ｇ１−ｄｇ｜＜ｔｈ２（所定値）かつ、
｜ｇ２−ｄｇ｜＜ｔｈ３（所定値）の場合である。
ｔｈ１〜ｔｈ３は同じ値であってもよく、異なる値であってもよい。これにより、グラデーションがあっても、その変化が一定の場合、平坦であるとして検出される。
【００３０】
縦方向に分割（例えば上記の８分割）された範囲すべてにおいて、上記ステップＳ１〜Ｓ６の処理を行い、撮像領域４０の境界線４３に沿ってすべての横方向平坦部の抽出を行う。
【００３１】
ステップＳ７では、補正値を求める。まず、ステップＳ６で求められた横方向平坦部の全てにおいて、平均Ｗ値を求める。具体的には、ステップＳ３で求められた列１〜列４の４個のＷ値（Ｂ（１，ｊ）〜Ｂ（４，ｊ））の平均を計算する。このうち、最もＷ値が高い領域（Ｗ値３０００以下を対象）の補正値ｄｆ１をステップＳ５で求めた傾きを使用して次の式（１）より求める。なお、最もＷ値が高い領域についてＷ値３０００以下を対象としているが、これは白とび部分を除外するためである。この値は、目安の値であり、他の値以下であってもよい。
ｄｆ１＝ｄｇＨ−（ｇＨ１＋ｇＨ２）／２  ．．．（１）
次に、最もＷ値が低い領域（Ｗ値０以上を対象）の補正値ｄｆ２を、同様にステップＳ５で求めた傾きを使用して次の式（２）より求める。
ｄｆ２＝ｄｇＬ−（ｇＬ１＋ｇＬ２）／２  ．．．（２）
【００３２】
ステップＳ８では、次の式（３）（４）より補正式のｏｆｆｓｅｔとＧａｉｎを決める。Ｗ１は、ステップＳ７における最も平均Ｗ値が高い領域の平均Ｗ値であり、Ｗ２は最も平均Ｗ値が低い領域の平均Ｗ値である。
ｏｆｆｓｅｔ＝（ｄｆ１×Ｗ１−ｄｆ２×Ｗ２）／（Ｗ１−Ｗ２）  ．．（３）
Ｇａｉｎ＝（ｄｆ１−ｄｆ２）／（Ｗ１−Ｗ２）  ．．．（４）
【００３３】
ステップＳ９では、ステップＳ８で求めたｏｆｆｓｅｔおよびＧａｉｎを使用して、次の式（５）より画像補正を行う。右撮像領域４２の各画素の色情報の値をｙとすると
ｙ’＝ｙ×Ｇａｉｎ＋ｏｆｆｓｅｔ  ．．．（５）
式（５）は、左撮像領域４１を基準に右撮像領域４２の補正式を求めているので、右撮像領域４２のみについて行えばよい。
【００３４】
ステップＳ７およびＳ８では、Ｗ値が最も高い領域と最も低い領域の２領域においてのみ補正値を求め、これらの値を使用してｏｆｆｓｅｔとＧａｉｎを求めた。このため、ｏｆｆｓｅｔとＧａｉｎを求める計算が簡単で迅速に行われる。これは、本実施の形態では、平坦部抽出の精度が高いため２領域の補正値を使用するだけでよい。しかし、求めた３つ以上の平坦領域において補正値を求め、最小二乗法などを使用して、ｏｆｆｓｅｔとＧａｉｎを求めるようにしてもよい。
【００３５】
また、ステップＳ８において、Ｗ１とＷ２の値が近い場合は、式（６）によりＧａｉｎのみを求めるか、式（７）によりｏｆｆｓｅｔのみ求めるかとしてもよい。
Ｇａｉｎ＝（ｄｆ１＋ｄｆ２）／（Ｗ１＋Ｗ２）  ．．．（６）
ｏｆｆｓｅｔ＝ｄｆ１−ｄｆ２  ．．（７）
Ｇａｉｎのみを求めるということは、式（５）においてｏｆｆｓｅｔをゼロとした式を求めることであり、ｏｆｆｓｅｔのみ求めるということは、Ｇａｉｎを１としてｏｆｆｓｅｔのみを求めることである。両方の値を求めると誤差が大きくなる可能性があるからである。
【００３６】
上記では、抽出された平坦部のＷ値を使用してｏｆｆｓｅｔとＧａｉｎを求め、Ｒ色、Ｇ色、Ｂ色のすべての補正式を共通とした。これは、領域を分割することにより画像データに生じる誤差は、どの色においても同様に表れると考えられるからである。
【００３７】
このようにして、本実施の形態では、境界線４３に接する列２および列３の平坦部のみならず、さらに隣接する列１および列４の平坦部をも考慮して補正値を求めるようにした（図２）。これにより、境界部において画像データの色情報にグラデーションなどの傾きがある場合も、その傾きを考慮して補正値が求められる。その結果、グラデーションがある場合も、適切に補正がなされる。
【００３８】
図５は、本実施の形態における精度の高い補正を説明する図である。図５の水平方向を撮像領域４０の水平方向の画素座標とし、垂直方向をＷ値（輝度）とする。符号５０は、図２の境界線４３の位置である。境界線４３に垂直な方向に画像がグラデーションを有するとする。例えば、均一な青空の画像が、明るい青空から暗い青空に変化しているとする。この場合、境界線に垂直な方向にＷ値（輝度値）が傾きを有することになる。左撮像領域４１では、列１の位置でＷ値Ｗ１１を有し、列２の位置でＷ値Ｗ１２を有する。この傾きを有するＷ値は、境界線４３の位置では、Ｗ値はＷ１３となる。
【００３９】
一方、右撮像領域４２では、同じ傾きで列３ではＷ値Ｗ１５を有し、列４ではＷ値Ｗ１６を有する。この場合、境界線４３の位置ではＷ値Ｗ１４を有する。この例では、左撮像領域４１と右撮像領域４２とでは、境界線４３の位置でＷ１４−Ｗ１３の誤差を有する。すなわち、右撮像領域４２の方がＷ１４−Ｗ１３分大きな値を呈しているため、その分差し引く補正を行う必要がある。
【００４０】
本実施の形態では、前述した通り、列１と列２、および列３と列４のＷ値の傾きを検出し、その傾きを考慮した補正を行う。すなわち、上記の誤差Ｗ１４−Ｗ１３を正確に補正することができる。列２と列３との比較のみで誤差の補正を行う場合は、左撮像領域４１の方が右撮像領域４２よりＷ１２−Ｗ１５分大きいと判断し、右撮像領域４２にＷ１２−Ｗ１５の値を足す補正をする。図５の例では、右撮像領域４２の画像データに対して、Ｗ１４−Ｗ１３の値を差し引く補正をしなければいけないところ、逆にＷ１２−Ｗ１５分足す補正をしてしまうことになる。
【００４１】
このように、本実施の形態では、境界線の垂直方向（実質的に垂直であればよい）に対する画像データの傾き、すなわちアナログ処理後の画像信号の信号レベルの傾き考慮して補正をするため、極めて精度の高い補正ができる。
【００４２】
なお、上記実施の形態では、ベイア配列のＲＧＢ表色系の例を説明したが、必ずしもこの内容に限定する必要はない。他の配列のカラーフィルタであってもよい。また、他の表色系（例えば補色表色系）であってもよい。
【００４３】
また、上記実施の形態では、撮像領域を縦方向の分割直線により横方向に２分割する例を説明したが、必ずしもこの内容に限定する必要はない。縦方向に２分割される場合であってもよい。また、縦方向あるいは横方向に２分割以上される場合であってもよい。さらに、縦横に組み合わされて分割される場合であってもよい。すなわち、撮像素子１１の撮像領域４０が複数の撮像領域に分割され、それぞれの領域に対応する出力を有し、その出力に対応してアナログ処理回路が設けられているようなあらゆる場合に適用できる。なお、分割数が３以上の場合、１つの分割撮像領域を基準にして、他の分割領域の補正値を求めるようにすればよい。基準の分割領域に隣接しない分割領域の補正値は、間に介在する分割領域の補正値を累計して求めるようにすればよい。
【００４４】
また、上記実施の形態では、ステップＳ１において、境界線に沿った縦方向に複数の範囲に分割してそれぞれの範囲で使用する色成分を決める例を説明したが、必ずしもこの内容に限定する必要はない。縦方向全体の色成分の平均を計算して、その値に基づいて、撮像素子１１の全体においてどの色成分を使用して平坦部を検出するかを決めるようにしてもよい。
【００４５】
また、上記実施の形態では、図２の列１と列２、列３と列４では、４列の画素列が重複しないように設定する例を説明したが、必ずしもこの内容に限定する必要はない。列１と列２、列３と列４において、複数の画素列が重複するように設定してもよい。また、少し間をあけて設定してもよい。
【００４６】
また、上記実施の形態では、電子スチルカメラの例を説明したが、必ずしもこの内容に限定する必要はない。本発明は、動画を扱うビデオカメラにも適用できる。また、カメラつき携帯電話やパソコンなどにも適用できる。すなわち、複数の撮像領域に分割され、複数の撮像領域に対応して複数の出力端子を有する撮像素子を有し、撮像素子の複数の出力端子に対応して複数のアナログ処理回路を有する画像処理装置すべてに適用できる。さらに、対応するアナログ処理回路が撮像素子に一体に組み込まれているような場合にも適用できる。
【００４７】
また、上記実施の形態では、図１のブロック図で構成される電子カメラの例を説明したが、必ずしもこの内容に限定する必要はない。電子カメラなどの画像処理装置の構成は、図１の構成に限定される必要はない。
【００４８】
また、上記実施の形態では、電子カメラ１の画像処理部１５が補正処理を行う例を説明したが、必ずしもこの内容に限定する必要はない。ＰＣ３１側のプログラムにおいて補正処理をするようにしてもよい。すなわち、複数の撮像領域に分割され、複数の撮像領域に対応して複数の出力端子を有する撮像素子に撮像され、撮像素子の複数の出力端子に対応して複数のアナログ処理回路による処理を経て生成された画像データをＰＣ３１が取り込み、ＰＣ３１にインストールされたプログラムが上記説明した補正処理をするようにしてもよい。
【００４９】
ＰＣ３１で処理される場合、上述したプログラムは、ＣＤ−ＲＯＭなどの記録媒体やインターネットなどのデータ信号を通じて提供することができる。図６はその様子を示す図である。ＰＣ３１は、ＣＤ−ＲＯＭ３４を介してプログラムの提供を受ける。また、ＰＣ３１は通信回線１０１との接続機能を有する。コンピュータ１０２は上記プログラムを提供するサーバーコンピュータであり、ハードディスク１０３などの記録媒体にプログラムを格納する。通信回線１０１は、インターネット、パソコン通信などの通信回線、あるいは専用通信回線などである。コンピュータ１０２はハードディスク１０３を使用してプログラムを読み出し、通信回線１０１を介してプログラムをＰＣ３１に送信する。すなわち、プログラムをデータ信号として搬送波にのせて、通信回線１０１を介して送信する。このように、プログラムは、記録媒体や搬送波などの種々の形態のコンピュータ読み込み可能なコンピュータプログラム製品として供給できる。
【００５０】
また、上記実施の形態では、生成されたデジタル画像データにおいてデータを補正する例を説明したが、必ずしもこの内容に限定する必要はない。上記で求めた補正値をアナログ信号処理部の増幅回路にフィードバックするようにしてもよい。例えば、増幅回路のＧａｉｎおよびｏｆｆｓｅｔを上記で求めたＧａｉｎおよびｏｆｆｓｅｔで調整するようにしてもよい。
【００５１】
また、上記実施の形態における図４のステップＳ７では、ステップＳ３で求められた列１〜列４の４個のＷ値（Ｂ（１，ｊ）〜Ｂ（４，ｊ））の平均を計算する例を説明したが、必ずしもこの内容に限定する必要はない。例えば、ある列に着目して、その列のＢ（ｉ，ｊ）が最も高い領域、最も低い領域を特定して、補正値ｄｆ１およびｄｆ２を求めるようにしてもよい。例えば、列２に着目した場合、Ｂ（２，ｊ）が最も高い領域および最も低い領域を特定する。このようにすることにより、列１〜列４の平均を計算する必要がなくなり、処理時間が短縮される。
【００５２】
さらに、図４のステップＳ４〜Ｓ７に代えて次のように処理をしてもよい。ステップＳ３でＢ（ｉ，ｊ）を求めた後、ある列に着目する。例えば列２に着目した場合、Ｂ（２，ｊ）が、２０００＜Ｂ（２，ｊ）≦３０００の条件を満足するいずれか１つの領域を抽出する。抽出した領域についてのみ、図４のステップＳ４〜Ｓ６と同様の処理をし、平坦部か否かを判断する。平坦部と判断すると、その領域をＢ（２，ｊ）の最も高い領域として簡易的に特定する。平坦部でないと判断すると、さらに他の１つの領域を抽出し処理を繰り返す。次に、Ｂ（２，ｊ）が、０≦Ｂ（２，ｊ）≦１０００の条件を満足するいずれか１つの領域を抽出する。抽出した領域についてのみ、図４のステップＳ４〜Ｓ６と同様の処理をし、平坦部か否かを判断する。平坦部と判断すると、その領域をＢ（２，ｊ）の最も低い領域として簡易的に特定する。平坦部でないと判断すると、さらに他の１つの領域を抽出し処理を繰り返す。このようにして、Ｂ（２，ｊ）の最も高い領域と最も低い領域が特定できると、上記と同様にして補正値ｄｆ１およびｄｆ２を求めればよい。このようにすることにより、必要最低限の領域においてのみ図４のステップＳ４〜Ｓ７の処理をすればよく、処理時間がさらに短縮される。
【００５３】
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
【００５４】
【発明の効果】
本発明は、以上説明したように、アナログ処理後画像信号の、分割された撮像領域内における境界線に実質的に直交する方向の傾きに基づき、分割された撮像領域間のアナログ処理後画像信号の誤差を補正するので、精度の高い補正を実現できる。特に、画像にグラデーションを有する場合にも、適切に補正される。
【図面の簡単な説明】
【図１】本発明の一実施の形態における電子スチルカメラのブロック図である。
【図２】補正処理を説明するための撮像素子の画素の構成を示す図である。
【図３】本実施の形態で採用されるベイア配列のフィルタを示す図である。
【図４】画像処理部で実行される補正処理のフローチャートを示す図である。
【図５】本実施の形態における精度の高い補正を説明する図である。
【図６】プログラムを、ＣＤ−ＲＯＭなどの記録媒体やインターネットなどのデータ信号を通じて提供する様子を示す図である。
【符号の説明】
１  電子カメラ
１０  撮影光学系
１１  撮像素子
１２  アナログ信号処理部
１３  Ａ／Ｄ変換部
１４  タイミング制御部
１５  画像処理部
１６  操作部
１７  制御部
１８  メモリ
１９  圧縮／伸長部
２０  表示画像生成部
２１、３２  モニタ
２２  メモリカード用インタフェース部
２３  外部インタフェース部
３０  メモリカード
３１  ＰＣ（パーソナルコンピュータ）
３３  プリンタ
３４  ＣＤ−ＲＯＭ
【図１】
2004179737.tif 000004
【図２】
2004179737.tif 000005
【図３】
2004179737.tif 000006
【図４】
2004179737.tif 000007
【図５】
2004179737.tif 000008
【図６】
2004179737.tif 000009