(57)【要約】【課題】撮像装置の手ぶれ等の動的な変動に迅速に対応できるようにして、複数の撮像領域間の不均一性をリアルタイムに補正できるようにする。【解決手段】複数の出力端子から出力される複数の撮像信号のレベルをそれぞれ独立に調整するための複数のレベル調整手段１１３，１１４と、前記複数のレベル調整手段の出力レベルを検出する出力レベル検出手段１１６と、前記撮像装置のぶれ量を検出するぶれ量検出手段１２１と、前記出力レベル検出手段１１６の検出結果及び前記ぶれ量検出手段１２１の検出結果に基づいて各撮像信号のレベル差が小さくなるような補正係数を決定する補正係数決定手段１１７とを備え、前記補正係数決定手段１１７により決定した補正係数を前記レベル調整手段１１３，１１４に与えて前記複数の撮像信号のレベル差が小さくなるような調整を行なうことにより、各撮像信号のレベル差が小さくなるような調整を行なうようにする。【選択図】        図１
2004336243.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子の複数の出力部からの複数の撮像信号を補正する補正装置であって、
前記複数の撮像信号のレベルを調整するためのレベル調整手段と、前記撮像素子を含む撮像装置のぶれ量の検出結果に基づいて前記複数の撮像信号のレベル差が小さくなるための補正係数を決定する補正係数決定手段とを備え、
前記補正係数決定手段により決定した補正係数を前記レベル調整手段に与えて前記複数の撮像信号のレベル差が小さくなるように調整を行なうことを特徴とする補正装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は補正装置に関し、特に、撮像面が複数の領域に分割され、それぞれの領域の撮像信号を増幅する増幅器と、この出力に接続された複数の撮像信号出力端子を備える固体撮像素子からの信号を補正する補正装置に用いて好適なものである。
【０００２】
【従来の技術】
近年、ディジタル信号処理技術及び半導体技術の進歩により、標準テレビ方式、例えばＮＴＳＣ方式やＰＡＬ方式の動画像信号をディジタル記録する民生用ディジタルビデオ規格が提案されており、その応用として、ディジタルビデオ記録再生装置と撮像装置とを一体化したディジタルビデオカメラが製品化されている。このようなディジタルビデオカメラでは、ディジタル記録という特徴を生かして、静止画記録機能を備えるものがある。
【０００３】
また、コンピュータ等と接続するためにディジタルＩ／Ｆを具備し、撮影した画像をコンピュータに取り込む機能を有するものもある。さらに、複数の記録媒体を具備し、画像の使用目的に応じて記録媒体を選択できるようになっている装置も実用化されている。
【０００４】
このような装置において、記録された画像をテレビに接続して再生する場合は、その画像サイズはディジタルビデオ規格で定められるもの、例えば７２０ｘ４８０画素でなんら問題は無いが、ディジタルＩ／Ｆを介して他のメディアに画像を転送する場合は、画質上の問題からより多くの画素数が要求される場合がある。
【０００５】
撮像素子の多画素化に伴い、撮像素子の全画素の情報を読み出すためにはより高い周波数で撮像素子を駆動する必要があり、全画素の情報を読み出すようにするとＳ／Ｎの劣化や消費電力の増大を招く問題があった。
【０００６】
そこで、撮像素子の駆動周波数を低く抑えたまま撮像情報のデータレートを上げる方法が考えられている。このような方法の一つとして、撮像面を複数の領域に分割し、それぞれの領域に独立した電荷転送部、増幅器及び出力端子を持たせ、撮像信号を並列に読み出す方法がある。
【０００７】
図９に、上記のような撮像素子を用いた撮像装置の例を示す。図９において、撮像素子９００の撮像面は左右の２領域に分割されている。また、９０１及び９０２は光電変換及び垂直転送部であり、９０３及び９０４は水平転送部、９０５及び９０６は増幅器、９０７及び９０８は出力端子である。このような構造の撮像素子を用いることにより、撮像素子の駆動周波数に対し２倍のデータレートの撮像情報が得られる利点がある。
【０００８】
一方、この方法の欠点として、各領域の増幅器及び外部周辺回路の特性の不均一性により、２つの領域を合成して画像を生成した場合に、領域間のレベル差による境界線が生じるなどの画質劣化が発生する問題があった。
【０００９】
これらの不均一性による画質劣化を軽減する方法として、あらかじめ各領域の黒レベル及び標準白レベルを測定して補正係数を求めておき、撮像時にこの補正係数により不均一性の補正を行なう方法が考えられている。
【００１０】
図９には、このような補正回路の構成例を示している。不図示の結像光学系により撮像素子９００上に結像した被写体像は、撮像素子９００により電気信号に変換され、不図示の駆動タイミング発生回路から供給される駆動パルスに応じて出力端子９０７及び９０８より出力される。
【００１１】
撮像素子９００から得られる２系統の画像信号は、アナログ信号処理部９０９、９１０によりアナログ信号処理を施された後でＡＤ変換され、黒レベル補正回路９１１、９１２及び黒レベル差検出回路９１３に供給される。黒レベル差検出回路９１３では、２系統の画像信号から黒レベルの差を検出し補正係数が計算される。
【００１２】
この補正係数は、黒レベル補正回路９１１及び９１２に供給され、上記補正係数に基づいて黒レベルの差が補正される。上記黒レベルの差の検出には、撮像素子９００のオプティカルブラック画素の信号が用いられる。検出と補正値計算は、所定の時期に一度だけ実施し、得られた補正係数をメモリ９２０に記憶することで、以後の撮影時には検出は行なわずにメモリ９２０に記憶された補正係数により黒レベル差の補正が行われる。
【００１３】
次に、各信号は白レベル補正回路９１４、９１５、及び白レベル差検出回路９１６に供給される。白レベル差検出回路９１４では、２系統の画像信号から白レベルの差を検出し補正係数が計算される。この補正係数は黒白レベル補正回路９１４、９１５に供給され、上記補正係数に基づいて白レベルの差が補正される。
【００１４】
白レベルの差の検出には、撮像素子９００に標準白レベルが得られるような一様な光を照射し、その時の画像信号が用いられる。検出と補正値計算は、所定の時期に一度だけ実施され、得られた補正係数をメモリ９２１に記憶することで、以後の撮影時には検出は行なわずにメモリ９２１に記憶された補正係数を用いて白レベル差の補正が行われる。
【００１５】
白レベル補正された信号は、画面合成回路９１７にて左右の画像が一枚の画像として合成された後、カメラ信号処理回路９１８にてγ補正処理、輪郭補正処理、色補正処理などを施され、輝度信号及び色差信号として出力端子９１９より出力される。
【００１６】
【発明が解決しようとする課題】
しかしながら、上記従来例では、標準白画像を撮像するなど、決められた条件の下でしか補正係数が算出されないため、リアルタイム性に欠ける問題があった。このため、撮像装置の手ぶれ等のような動的な変動に迅速に対応することができず、領域間の不均一性を十分に補正しきれない場合があった。
【００１７】
本発明は上述の問題点にかんがみてなされたもので、撮像装置の手ぶれ等の動的な変動に迅速に対応できるようにして、複数の撮像領域間の不均一性をリアルタイムに補正できるようにすることを目的とする。
【００１８】
【課題を解決するための手段】
本発明の補正装置は、撮像素子の複数の出力部からの複数の撮像信号を補正する補正装置であって、前記複数の撮像信号のレベルを調整するためのレベル調整手段と、前記撮像素子を含む撮像装置のぶれ量の検出結果に基づいて前記複数の撮像信号のレベル差が小さくなるための補正係数を決定する補正係数決定手段とを備え、前記補正係数決定手段により決定した補正係数を前記レベル調整手段に与えて前記複数の撮像信号のレベル差が小さくなるように調整を行なうことを特徴とする。
【００１９】
【発明の実施の形態】
次に、添付図面を参照しながら本発明の補正装置を撮像装置に適用した実施の形態について説明する。
（第１の実施の形態）
図１は、単板ビデオカメラに本発明を適用した実施の形態を概略的に示す図である。
図１において、１００は撮像領域が２分割され、それぞれに出力端子を持つＣＣＤエリアセンサ、１０１は光電変換部及び垂直転送部、１０３及び１０４は水平転送部であり、画面の中心を境にして左右方向に２分割されている。
【００２０】
１０５及び１０６は信号電荷を増幅する出力アンプであり、１０７及び１０８は撮像信号の出力端子である。また、１０９及び１１０は相関２重サンプルとＡＤ変換を行なうアナログフロントエンドである。１１１及び１１２は黒レベルの検出及び補正手段、１１３及び１１４はゲインを調整するゲイン調整手段、１１５は２系統の画像信号を合成して１枚の画像を生成する画面合成手段である。
【００２１】
また、１１６は２系統間の不均一性を検出するための段差評価値生成手段、１１７はシステムの制御を行なうマイコン、１１８はカメラ信号処理手段、１１９は出力端子、１２０は書き換え可能な不揮発性メモリである。１２１は結像光学系に設けられ手ぶれ量検出手段である。
【００２２】
前記結像光学系は、被写体像をＣＣＤ１００上に結像させるためのものであり、マイコン１１７によりフォーカス及び絞りの制御が行われる。結像光学系によりＣＣＤ１００上に結像した被写体像は、光電変換部１０１により電気信号に変換された後、水平転送路１０３、１０４により２系統に分割されて出力アンプ１０５、１０６に供給される。
本実施の形態及び後述の実施の形態では、ゲイン調整手段１１３、１１４、段差評価値生成手段１１６、及びマイコン１１７により、２系統間の不均一性を検出し、補正するための補正装置を構成している。
【００２３】
次に、上記構成における本実施の形態のビデオカメラの動作について説明する。
不図示の結像光学系によりＣＣＤ１００上に結像した被写体像は、光電変換部１０１により電気信号に変換された後、水平転送路１０３及び１０４により２系統に分割されて出力アンプ１０５及び１０６に供給される。
【００２４】
信号電荷は、出力アンプ１０５及び１０６で所定のレベルに増幅され、第１の出力端子１０７及び第２の出力端子１０８より出力される。以後、第１の出力端子１０７から得られる撮像信号を左チャンネル信号、第２の出力端子１０８から得られる撮像信号を右チャンネル信号と呼称することにする。
【００２５】
左右２系統の撮像信号は、アナログフロントエンド１０９、１１０により相関二重サンプル処理及びＡＤ変換された後、黒レベル検出及び補正手段１１１，１１２に供給される。黒レベル検出及び補正手段１１１，１１２では、撮像信号のうちダミー信号部分もしくはオプティカルブラック信号部分を用いて、２系統の撮像信号の黒レベルがそれぞれディジタルコードの「０」と一致するように黒レベル補正が行われる。これにより、２系統間のオフセット成分の誤差が除去されることになる。
【００２６】
黒レベルが補正された信号は、ゲイン調整手段１１３、１１４によりゲイン調整が施される。ゲイン調整時に適用されるゲインはマイコン１１７より供給される。従来の撮像装置では、低照度環境下での信号量のゲインアップを、アナログ回路により行なっていたが、本実施の形態のように２系統の撮像信号を取り扱う撮像装置では、アナログ回路によるゲイン調整は２系統間の不均一性の要因となりうる。よって、本実施の形態ではゲインの調整はゲイン調整手段１１３，１１４を用いてディジタル演算により行なうことで、回路のばらつきや経時変動、温度変動の影響を排除している。
【００２７】
また、画像の明るさのためのゲイン調整だけでなく、２系統間のゲイン誤差の補正もここで行なう。一般に、２系統間のゲインの差はＣＣＤエリアセンサ１００の出力レベルの大きさに依存する。
【００２８】
図３は、２系統間の出力レベルとチャンネル間におけるゲイン差の一例を示した特性図である。図３において、横軸はＣＣＤ１００の左チャンネル出力レベルであり、縦軸はゲイン調整手段１１４の入力信号（左チャンネル）とゲイン調整手段１１３の入力信号（右チャンネル）の信号との比、すなわち２系統間の信号レベルのゲイン差を表している。
【００２９】
例えば、ある明るさの被写体を撮像したときのＣＣＤ１００の左チャンネル出力レベルをＬ０、右チャンネル出力レベルをＬ０ｒｉｇｈｔとすると、このときのゲイン差Ｅ０は次式（１）で与えられる。
Ｅ０  ＝  Ｌ０ｒｉｇｈｔ  ／  Ｌ０・・・（１）式
【００３０】
この図で示されるように、信号レベルとゲイン差の関係が一定ではないので、ゲインの補正量は固定値ではなく、ゲインアップ量に応じて補正量を可変する必要がある。
【００３１】
本実施の形態では、ゲイン調整後の信号に対し基準レベルＬｒｅｆを設定し、ゲインアップ量にかかわらず常に基準レベルＬｒｅｆで２系統間のレベル差が０、すなわち各チャンネルの信号が基準レベルＬｒｅｆに一致するようにゲイン補正を行なう。基準レベルＬｒｅｆのレベルについては、基準白に対してγ補正後で７５％程度のグレーレベルが選ばれる。
【００３２】
例えば、ＣＣＤ１００の左チャンネル出力レベルがＬ０の時に、ゲイン調整手段１１４の出力レベルが基準レベルＬｒｅｆになるようなゲインアップ量のとき、左チャンネルのゲイン調整手段１１４に与えるゲインＡ０は次式で表せる。
Ａ０  ＝  基準レベルＬｒｅｆ  ／  Ｌ０・・・（２）式
【００３３】
また、このとき右チャンネルのゲイン調整手段１１３に与えるゲインＡ０ｒｉｇｈｔは、ゲイン補正量をＣ０として、次式で表せる。
Ａ０ｒｉｇｈｔ  ＝  Ａ０  ｘ  Ｃ０・・・（３）式
そして、Ｃ０は次式で求められる。
Ｃ０  ＝  １．０  ／  Ｅ０・・・（４）式
【００３４】
同様に、ＣＣＤ１００の左チャンネル出力レベルがＬ１の時に、ゲイン調整手段１１４の出力レベルが基準レベルＬｒｅｆになるようなゲインアップ量のときのゲイン補正量Ｃ１は次式で求められる。
Ｃ１  ＝  １．０  ／  Ｅ１・・・（５）式
【００３５】
ゲインアップ量に対するゲイン補正量の特性例を図４示す。この補正特性は、ＣＣＤ１００もしくはアナログフロントエンド１０９、１１０の部品ごとに異なる。
【００３６】
次に、ゲイン補正特性の測定について述べる。
段差評価値生成手段１１６は、分割領域の境界付近に指定した矩形領域内の画素値を元に画面段差の評価値を算出しマイコン１１７に出力する。
【００３７】
図２に、画面内の矩形領域の例を示す。図２に示すように、２分割された領域２０１、２０２の境界近傍に、矩形領域２０３、２０４が設定され、この領域内の画素値が画面段差の評価に用いられる。
【００３８】
ＣＣＤ１００は、単板でカラー画像を撮像するために、オンチップカラーフィルタが画素部に貼られている。上記オンチップカラーフィルタは、例えば図２の２０５に示すような配列である。段差評価値生成手段１１６では、このうちの一色の画素値を選択して領域内で平均値を計算し、これを画面段差の評価値としている。
【００３９】
ゲイン補正特性の測定時は、明るさが一様な被写体を撮像し、マイコン１１７よりゲイン調整手段１１３及び１１４に同一のゲイン乗数を設定して行なう。一方の矩形領域２０３内の画素の平均レベルを左チャンネルのレベルとするとともに、他方の矩形領域２０４内の画素の平均レベルを右チャンネルのレベルとして、マイコン１１７に出力する。
【００４０】
マイコン１１７では、左チャンネルのレベルを基準として右チャンネルのゲイン補正量を前述のように算出する。このような測定を、ＣＣＤ１００の出力レベルにおいて所定の間隔で行なうことにより、ゲイン補正特性を生成する。
【００４１】
マイコン１１７は、生成されたゲイン補正特性をＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）などの書き換え可能な不揮発メモリ１２０に格納する。ゲイン補正特性の生成は、例えば工場調整時などに実行される。したがって、経時変動や温度変動などの動的な変動に対しては対応できずにゲイン差が誤差として残留する。
【００４２】
次に、一般撮影時における残留ゲイン誤差の補正に関して説明する。
図５は、ビデオカメラのぶれ量の検出結果に基づいて、補正係数を決定するとともに、その決定した補正係数をゲイン調整手段に与えてＣＣＤエリアセンサの異なる出力端子から出力された各撮像信号のレベル差が小さくなるように調整を行なう補正係数決定手段であるマイコン１１７で実行される残留ゲイン誤差を補正するブロックの構成について示したものである。図５における信号Ａ，Ｂ，Ｃ，Ｄは、図１における信号Ａ，Ｂ，Ｃ，Ｄに対応しており、符号Ａは左チャンネルの段差評価値、符号Ｂは右チャンネルの段差評価値、符号Ｃは左チャンネルのゲイン調整値、符号Ｄは右チャンネルのゲイン調整値である。
【００４３】
マイコン１１７に入力された左チャンネル段差評価値Ａ及び右チャンネル段差評価値Ｂはゲイン誤差計算手段５０１に入力され、ゲイン誤差量Ｅが求められる。ゲイン誤差量Ｅは次式により得られる。
Ｅ  ＝  Ｂ／Ａ・・・（６）式
【００４４】
ゲイン誤差計算手段５０１で得られるゲイン誤差量Ｅは、単純に画素レベルの比であり、チャンネル間の不均一性のみならず、被写体そのものが持つレベル差にも影響をうける。したがって、正しいゲイン誤差補正を行なうためには、被写体依存のレベル差成分を排除する必要がある。本実施の形態では、被写体依存のレベル差成分をリミッタ手段５０２及び積分手段５０３により排除している。
【００４５】
リミッタ手段５０２の入出力特性を図６に示す。図６の原点はリミッタ入力＝リミッタ出力＝１．０の点を表す。チャンネル間のレベルの比なので、ゲイン誤差のないときの値は１．０になる。
【００４６】
図６に示すように、レベル差の比が閾値ＴＨを越える場合には、リミッタ出力は１．０になる。前記閾値ＴＨは残留ゲイン誤差量と対応付けて決定される。この処理により、レベル差が大きいものは被写体依存のレベル差とみなされて排除される。
【００４７】
図７に、積分手段５０３の内部構成を示す。入力信号Ｘ（０）は、引算手段７０２において所定時間遅延した信号Ｙ（−１）との差をとった後、係数器７０３にて係数ｋが乗ぜられる。係数器７０３の出力は、加算手段７０４にて遅延信号に加算され出力となる一方で遅延手段７０５に供給される。出力信号をＹ（０）として式で表すと次のようになる。
Ｙ（０）  ＝  ｋＸ（０）  ＋  （１−ｋ）Ｙ（−１）    （０  ＜  ｋ  ＜  １）  ・・・（７）式
【００４８】
遅延時間は、ＣＣＤの垂直走査期間と等しい時間である。この処理により、過去１／ｋフレーム分の誤差量の平均値が得られる。通常、被写体は画角の中で長時間固定されるものではないので、複数のフレームで平均を取ることにより、被写体依存のレベル差成分は相殺され排除される。
【００４９】
係数制御手段７０１には手ぶれ量の情報が入力され、これにより係数器７０３に与える係数ｋが制御される。係数制御に関して後述する。
【００５０】
以上のような処理により、被写体によるレベル差が排除され、チャンネル間の不均一性に起因するゲイン誤差が抽出される。ゲイン誤差量は、次に補正量制御手段５０４にて係数が乗ぜられる。この係数は、ゲイン誤差補正ループのフィードバックゲインに相当する。ゲインが大きい場合は、補正能力は高くなるが、誤検出等の外乱に対して不安定になり、ゲインが小さい場合は外乱に対しては安定するが、補正能力は低くなる。
【００５１】
補正量制御手段５０４の出力は、ゲイン補正量計算手段５０６に供給される。ゲイン補正量計算手段５０６には、ゲイン補正特性テーブル５０５の出力も供給される。ゲイン補正特性テーブル５０５は、既に説明したゲイン補正特性をテーブル化したものであり、図４に例示するように、ゲインアップ量に対応してゲイン補正量が得られるものである。
【００５２】
ゲイン補正量計算手段で５０６では、これら２つの入力信号とゲインアップ量とを掛け合わすことにより、右チャンネルに対するゲイン調整値が実際に計算される。そして、このように計算されたゲイン調整値は、図１に示すゲイン調整手段１１３に供給される。ゲイン調整手段１１４には、ゲインアップ量そのものが供給される。
【００５３】
ゲイン調整後の信号は画面合成手段１１５及び段差評価値生成手段１１６に供給される。画面合成手段１１５では、２系統の信号を合成し１画面の画像としてカメラ信号処理回路１１８及びＡＦ評価値生成手段１２２に出力する。カメラ信号処理回路１１８ではγ補正、色補正、輪郭補正などの信号処理が為され画像信号として端子１１９より出力される。
【００５４】
前記手ぶれ量検出手段１２１は、使用者が手持ちで撮影を行なう場合に発生する手ぶれの量を検出するものであり、検出結果はマイコン１１７に入力される。マイコン１１７ではその結果に基づいて手ぶれの補正量を算出する。
【００５５】
手ぶれ補正量はカメラ信号処理回路１１８に供給され、カメラ信号処理回路１１８にて、手ぶれの補正処理が行われる。なお、手ぶれ補正量の算出方法については、本発明において本質的なものではないので詳細な説明を割愛する。
【００５６】
先に述べたように、一般撮影画像から左右画面のレベル差を測定する場合、外乱要素として被写体そのものの持つレベル差が挙げられる。つまり、矩形領域２０３と２０４でレベル差のある被写体を撮影している場合、そのレベル差は領域間段差と区別がつかないため、誤った補正を行なうことが起こりうる。
【００５７】
前述のように、その要因を排除するために時間積分を行っているが、静止物を固定画角で撮影しているような状況では効果が得られない。このような状況に対応するために、本実施形態ではカメラのぶれ量（手ぶれ量）に応じて補正ループの特性の可変制御を行なうようにしている。
【００５８】
図８は、手ぶれ量に対する係数制御の特性を示したものであり、図７における係数制御手段７０１の動作を表している。図８において、横軸は手ぶれ量であり右に行くほどぶれ量が大きくなる。縦軸は出力される係数を表している。図８に示したように、ぶれのない状態での出力係数に対して、ぶれ量が大きくなるにつれて係数値は増加する特性である。
【００５９】
ぶれ量が大きいときは矩形領域と被写体の位置関係が大きく変動すると考えられ、その状況では平均化するフレーム数が少なくても被写体要因のレベル差は十分排除可能と考えられる。また反対に、ぶれ量が少ないか、もしくはぶれのない状況では、被写体要因のレベル差の影響を受けやすくなるので、平均化するフレーム数を多くとり、外乱（つまり、被写体そのものの持つレベル差）に対して安定するような制御が行われる。
【００６０】
さらに、ぶれが全く検出されず、撮像装置が三脚などに固定されているとみなされる場合には、係数ｋを０としてレベル差の評価値を使用しないといった動作も考えられる。
【００６１】
（本発明の他の実施の形態）
本発明は複数の機器から構成されるシステムに適用しても１つの機器からなる装置に適用しても良い。
【００６２】
また、上述した実施の形態の機能を実現するように各種のデバイスを動作させるように、上記各種デバイスと接続された装置あるいはシステム内のコンピュータに対し、記憶媒体から、またはインターネット等の伝送媒体を介して上記実施の形態の機能を実現するためのソフトウェアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）に格納されたプログラムに従って上記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。
【００６３】
また、この場合、上記ソフトウェアのプログラムコード自体が上述した実施の形態の機能を実現することになり、そのプログラムコード自体、およびそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記憶媒体は本発明を構成する。かかるプログラムコードを記憶する記憶媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００６４】
また、コンピュータが供給されたプログラムコードを実行することにより、上述の実施の形態で説明した機能が実現されるだけでなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）あるいは他のアプリケーションソフト等と共同して上述の実施の形態で示した機能が実現される場合にもかかるプログラムコードは本発明の実施の形態に含まれることは言うまでもない。
【００６５】
さらに、供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行ない、その処理によって上述した実施の形態の機能が実現される場合にも本発明に含まれる。
【００６６】
本発明の実施態様の例を以下に説明する。
〔実施態様１〕  撮像素子の複数の出力部からの複数の撮像信号を補正する補正装置であって、
前記複数の撮像信号のレベルを調整するためのレベル調整手段と、前記複数の撮像信号のレベル差が小さくするための補正係数を決定する補正係数決定手段とを備え、
前記補正係数決定手段は、被写体依存のレベル差成分を補正して前記補正係数を決定するとともに、前記決定した補正係数を前記レベル調整手段に与えて各撮像信号のレベル差が小さくなるように調整を行なうことを特徴とする補正装置。
〔実施態様２〕  前記複数の撮像信号の出力レベルを検出する出力レベル検出手段を有し、
前記補正係数決定手段は、前記レベル検出結果に基づいて前記複数の撮像信号のレベル差が小さくなるように補正係数を決定することを特徴とする実施態様１に記載の補正装置。
【００６７】
〔実施態様３〕  前記出力レベル検出手段は、前記複数の撮像信号のうち、所定の領域を選択するための領域選択手段と、前記領域選択手段により選択された領域内の平均レベルを算出する平均レベル算出手段とを含むことを特徴とする実施態様２に記載の補正装置。
【００６８】
〔実施態様４〕  前記出力レベル検出手段は、前記複数の撮像信号のうち、所定の色信号を選択する色信号選択手段を備え、前記色信号選択手段により選択された色信号を用いて検出結果を生成することを特徴とする実施態様２または３に記載の補正装置。
【００６９】
〔実施態様５〕  前記補正係数決定手段は、前記出力レベル検出手段から出力される複数の検出結果の中から前記複数の撮像信号間のゲイン誤差を算出するゲイン誤差算出手段と、前記複数の撮像信号中における被写体依存のレベル差成分を排除するための閾値を設定する閾値設定手段と、前記ゲイン誤差算出手段により算出された信号が入力された際に、前記複数の撮像信号間のゲイン誤差が前記閾値設定によって設定された閾値を超えた場合に所定の基準値を出力し、前記閾値を超えない場合には入力されたゲイン誤差をそのまま出力する非線形処理手段とを備え、
前記非線形処理手段の出力信号に基づいて補正係数を決定することを特徴とする実施態様２〜４の何れか１項に記載の補正装置。
【００７０】
〔実施態様６〕  前記補正係数決定手段は、前記出力レベル検出手段の検出結果から評価値を生成する評価値生成手段と、前記評価値生成手段により生成された評価値を複数のフレーム間で平均化する平均化手段と、前記平均化手段によって平均化するフレーム数を設定するフレーム数制御手段とを備え、
前記フレーム数制御手段により設定されたフレーム数分を平均化した評価値に基づいて前記補正係数を決定することを特徴とする実施態様２〜５の何れか１項に記載の補正装置。
【００７１】
〔実施態様７〕  前記平均化手段において平均化するフレーム数を前記補正装置のぶれ量に応じて可変制御するフレーム数制御手段を有することを特徴とする実施態様６に記載の補正装置。
【００７２】
〔実施態様８〕  撮像素子の複数の出力部からの複数の撮像信号を補正する補正方法であって、
前記複数の撮像信号のレベルを調整するためのレベル調整処理と、前記複数の撮像信号のレベル差が小さくするための補正係数を決定する補正係数決定処理とを有し、
前記補正係数決定処理は、被写体依存のレベル差成分を補正して前記補正係数を決定するとともに、前記決定した補正係数を前記レベル調整処理に与えて各撮像信号のレベル差が小さくなるように調整を行なうことを特徴とする補正方法。
〔実施態様９〕  前記複数の撮像信号の出力レベルを検出する出力レベル検出処理を有し、
前記補正係数決定処理は、前記レベル検出結果に基づいて前記複数の撮像信号のレベル差が小さくなるように補正係数を決定することを特徴とする実施態様８に記載の補正方法。
【００７３】
〔実施態様１０〕  前記出力レベル検出処理は、前記複数の撮像信号のうち、所定の領域を選択するための領域選択処理と、前記領域選択処理により選択された領域内の平均レベルを算出する平均レベル算出処理とを含むことを特徴とする実施態様９に記載の補正方法。
【００７４】
〔実施態様１１〕  前記出力レベル検出処理は、前記複数の撮像信号のうち、所定の色信号を選択する色信号選択処理を有し、前記色信号選択処理により選択された色信号を用いて検出結果を生成することを特徴とする実施態様９または１０に記載の補正方法。
【００７５】
〔実施態様１２〕  前記補正係数決定処理は、前記出力レベル検出処理から出力される複数の検出結果の中から前記複数の撮像信号間のゲイン誤差を算出するゲイン誤差算出処理と、前記複数の撮像信号中における被写体依存のレベル差成分を排除するための閾値を設定する閾値設定処理と、前記ゲイン誤差算出処理により算出された信号が入力された際に、前記複数の撮像信号間のゲイン誤差が前記閾値設定によって設定された閾値を超えた場合に所定の基準値を出力し、前記閾値を超えない場合には入力されたゲイン誤差をそのまま出力する非線形処理とを有し、
前記非線形処理の出力信号に基づいて補正係数を決定することを特徴とする実施態様９〜１１の何れか１項に記載の補正方法。
【００７６】
〔実施態様１３〕  前記補正係数決定処理は、前記出力レベル検出処理の検出結果から評価値を生成する評価値生成処理と、前記評価値生成処理により生成された評価値を複数のフレーム間で平均化する平均化処理と、前記平均化処理によって平均化するフレーム数を設定するフレーム数制御処理とを有し、
前記フレーム数制御処理により設定されたフレーム数分を平均化した評価値に基づいて前記補正係数を決定することを特徴とする実施態様９〜１２の何れか１項に記載の補正方法。
【００７７】
〔実施態様１４〕  前記平均化処理において平均化するフレーム数を前記補正方法のぶれ量に応じて可変制御するフレーム数制御処理を有することを特徴とする実施態様１３に記載の補正方法。
【００７８】
〔実施態様１５〕  撮像素子の複数の出力部からの複数の撮像信号を補正する補正方法をコンピュータに実行させるプログラムであって、
前記複数の撮像信号のレベルを調整するためのレベル調整処理と、前記複数の撮像信号のレベル差が小さくするための補正係数を決定する補正係数決定処理とを有し、
前記補正係数決定処理は、被写体依存のレベル差成分を補正して前記補正係数を決定するとともに、前記決定した補正係数を前記レベル調整処理に与えて各撮像信号のレベル差が小さくなるように調整を行なうことをコンピュータに実行させることを特徴とするコンピュータプログラム。
【００７９】
〔実施態様１６〕  前記実施態様１５に記載のコンピュータプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
【００８０】
【発明の効果】
以上説明してきたように、本発明によれば、ぶれ量検出結果に基づいて複数の撮像信号のレベルが等しくなるような補正係数を決定し、前記決定した補正係数を用いて複数の撮像信号のレベル差が小さくなるような調整を行なうようにしたので、複数の撮像領域間の不均一性をリアルタイムに補正することができる。
また、本発明の他の特徴によれば、撮像装置のぶれ量に応じて適応的な制御を行なうようにしたので、被写体依存のレベル差成分を効果的に除去することができ、動的な変動が発生した場合にも画像中に現れる段差を無くすことができる。
【図面の簡単な説明】
【図１】本発明の実施の形態を示し、本発明の補正装置を適用したビデオカメラにおける第１の実施の形態の構成を示すブロック図である。
【図２】分割画面境界部の矩形領域を示す図である。
【図３】ＣＣＤ出力レベルとチャンネル間のゲイン差を示す特性図である。
【図４】ゲインアップ量に対するゲイン補正特性を示す図である。
【図５】第１の実施の形態におけるゲイン調整値の計算手順を実行する手段の構成例を示すブロック図である。
【図６】第１の実施の形態におけるリミッタの入出力特性を示す図である。
【図７】第１の実施の形態における積分手段の構成例を示すブロック図である。
【図８】第１の実施の形態における積分手段の係数制御特性を示す特性図である。
【図９】従来例の撮像装置の一例を示すブロック図である。
【符号の説明】
１００  ＣＣＤエリアセンサ
１０１  光電変換部及び垂直転送部
１０３、１０４  水平転送部
１０５、１０６  出力アンプ
１０７、１０８  撮像信号の出力端子
１０９、１１０  アナログフロントエンド
１１１、１１２  黒レベルの検出及び補正手段
１１３、１１４  ゲイン調整手段
１１５  画面合成手段
１１６  段差評価値生成手段
１１７  システムの制御を行なうマイコン
１１８  カメラ信号処理手段
１１９  出力端子
１２０  書き換え可能な不揮発性メモリ
１２１  手ぶれ量検出手段
【図１】
2004336243.tif 000003
【図２】
2004336243.tif 000004
【図３】
2004336243.tif 000005
【図４】
2004336243.tif 000006
【図５】
2004336243.tif 000007
【図６】
2004336243.tif 000008
【図７】
2004336243.tif 000009
【図８】
2004336243.tif 000010
【図９】
2004336243.tif 000011