(57)【要約】【課題】  撮像信号の外部へ読み出しタイミングを決めるラインリセットのタイミングで露光時間が確定する、同時露光が不可能な撮像素子を用いた撮像手段において、撮像素子をライン間欠駆動させて信号処理を行ってもラインごとで輝度に斑が生じないようにする。【解決手段】  間欠読み出し動作を行う際に、各水平読み出しのリセット期間に発生する水平間引きの回数をカウントして、カウント結果と間引き読み出しなしの場合の設定露光時間を用いて間引き動作による露光時間の変動を定量化する。定量化した露光時間の変動量と設定露光時間を用いて各ラインに対する補正係数を算出し、撮像信号に掛け合わせて露光時間の変動がもたらす信号量の変動を補正する。【選択図】  図１
2007184675.tif 000002
【特許請求の範囲】
【請求項１】
ライン単位で露光する撮像素子と、該撮像素子から読み出される撮像信号を処理して画像信号を生成するカメラ信号処理からなる撮像手段において、
ライン間欠読み出しを行いつつ連続する任意のライン間の補間信号生成することで、画像の拡大処理行うような場合において、間欠読み出しを行うことにより生ずる露光時間の変動がもたらす信号量の変動を補正するゲイン調整を行う撮像方法。
【請求項２】
水平リセットパルスに基づいて、ライン単位で露光する撮像素子と、該撮像素子から読み出される撮像信号を処理して画像信号を生成するカメラ信号処理からなる撮像手段において、
水平リセットパルスを間欠動作させて、ライン間欠読み出しを行いつつ連続する任意のライン間の補間信号生成することで、画像の拡大処理行うような場合において、リセットパルスを間欠動作させることにより生ずる露光時間の変動がもたらす信号量の変動を補正するようにゲイン調整を行う撮像方法。
【請求項３】
請求項１又は２に記載された撮像手段及び撮像方法を用いて撮像された映像信号を記録する撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置およびその撮像方法に関する。
【背景技術】
【０００２】
従来技術として、「単一の撮像素子でＣＩＦ，ＱＣＩＦ両規格の映像信号を得、かつＱＣＩＦ規格の映像信号生成時には、その領域を上下左右にスクロール可能とする」（特許文献１の要約の課題）ため、「ＣＩＦフォーマットに準拠した映像信号を得る場合には、切替スイッチ８はａ端に接続され、駆動回路６から出力される駆動パルスがフレームパルスＶＤ，垂直駆動パルスＶＰ，水平駆動パルスＨＤとしてＣＣＤ撮像素子２に供給される。これにより、１フレーム当り２８８ラインの映像信号が得られる。また、ＱＣＩＦフォーマットに準拠した映像信号を得る場合には、切替スイッチ８はｂ端に接続され、垂直駆動パルスＶＰ，水平駆動パルスＨＤがｎ分周され、フレームパルスＶＤとともにＣＣＤ撮像素子２に供給される。この映像信号は１ライン当り２８８／ｎラインであり、ディジタル化された後、電子ズーム回路５で走査線数変換されて１フレーム当り１４４ラインの映像信号になる」（特許文献１の要約の解決手段）ことの開示がある。
【０００３】
【特許文献１】特開平８−１２５９３８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１の技術では、撮像素子として、同時シャッタ可能なＣＣＤ（Charge Coupled Device）撮像素子を用いており、ＣＣＤ撮像素子ではフォトダイオードに蓄積した電荷を、同時に垂直ＣＣＤに転送することで、すべての画素に対する露光時間を均一にする、すなわち同時シャッタを切ることが可能である。そのため、撮像信号の読み出し動作を間欠（引用文献では、映像出力の水平期間２回に対して撮像素子から1ライン分の撮像データを読み出して、垂直方向に２倍に拡大する例が記載）にして、補間信号を生成することで信号処理による映像信号の拡大処理を行うことが可能である。
【０００５】
一方、ＭＯＳ（Metal Oxide Semiconductor）センサなどの撮像素子では、いわゆる同時シャッタを切れない構造のものが多く、特に、ラインリセットのタイミングによりライン単位で露光時間が確定する構造を持つ方式が大多数を占めている。このようなライン単位で露光時間が確定するＭＯＳセンサに対して、ラインリセットを間引くことでライン間欠読み出しを行うと、ラインリセットのタイミングが不定期になるため、すべてのラインに対して露光時間を均一にすることが出来なくなるのでラインごとに信号レベルが変動してしまう。
【０００６】
このように、撮像信号の外部へ読み出しタイミングを決めるラインリセットのタイミングで露光時間が確定する、同時露光が不可能な撮像素子を用いた撮像手段において、ライン間欠読み出し動作を行うと、ラインごとの露光時間のばらつきによりラインごとに信号レベルが変動するので、そのまま信号処理を行ってしまうと生成される画像がラインごとに輝度のムラが出てしまう場合がある。本発明では撮像素子を間欠動作させることで、電子ズーム処理などの特殊な信号処理を行う場合でも、輝度にムラを出さないようにすることを課題とする。
【課題を解決するための手段】
【０００７】
間欠読み出し動作を行う際に、各水平読み出しのリセット期間に発生する水平間引きの回数をカウントして、カウント結果と間引き読み出しなしの場合の設定露光時間を用いて間引き動作による露光時間の変動を定量化する。定量化した露光時間の変動量と設定露光時間を用いて各ラインに対する補正係数を算出し、撮像信号に掛け合わせて露光時間の変動がもたらす信号量の変動を補正する。
【発明の効果】
【０００８】
本発明により、使い勝手を向上した撮像方法及び撮像装置を提供することができる。
【発明を実施するための最良の形態】
【０００９】
以下、図面を用いて本発明の実施の形態を説明する。
【実施例１】
【００１０】
図１は、本実施例における撮像手段の１実施例を示すブロック図である。同図において１０１は撮像レンズ、１０２は撮像素子、１０３はＡ／Ｄ（analog to digital）変換手段、１０４は信号処理手段を示している。
【００１１】
各ブロックの役割は、次の通りとなる。撮像レンズは被写体のより到来する光を撮像素子の撮像面に投影する。そして、撮像素子の撮像面に投影された被写体の像は撮像素子で電気的な信号に変換されて、撮像信号として撮像素子から読み出される。
ここで、撮像素子の動作を間単に説明すると次の通りとなる。図５は、撮像素子の構造をモデル化したもの一例で、５０１はフォトダイオード、５０２はタイミング発生回路、５０３は水平レジスタ、５０４は読み出し制御用の配線、５０５は電荷排出制御用の配線、５０６はライン読み出し制御用の配線、５０７は電荷読み出しのためのスイッチ（以降スイッチＡとする）、５０８は電荷排出のためのスイッチ（以降スイッチＢとする）を示している。撮像素子の撮像面には、光を電気的エネルギーに変換するフォトダイオードが碁盤目状に並べられており、それぞれ照射される光量に応じて電荷を発生し、それを蓄積する。各フォトダイオードには、スイッチＡおよびスイッチＢが接続されており、スイッチＢがオンの状態では、光エネルギーにより発生した電荷は、電荷排出用の配線を通して外部に排出される。スイッチＢがオフになるとフォトダイオードで電荷の蓄積が始まる。その後、スイッチＡがオンになると蓄積された電荷は水平レジスタに送られて、一旦水平レジスタに蓄えられる。水平レジスタに蓄えられた電荷は、スイッチＡがオフになった後に、タイミング発生回路から供給されるライン読み出し制御のパルスにしたがって、端から順番に電流として流れる。電流が流れることにより発生する電圧をトランジスタなどのアンプで増幅し、電気信号として撮像素子か出力する。以上の動作を、すべてのラインに対してタイムシフトしながらパイプライン的に実行することで、撮像素子は各画素に照射される光の強弱を電圧の強弱で表現した撮像信号を形成する。ここで、撮像素子において各水平ラインにおけるスイッチＡとスイッチＢのオン・オフ動作は撮像素子の水平読み出しのリセットを示す水平リセットタイミングと同期するものとし、各ラインのフォトダイオードの電荷蓄積時間を、水平リセットの回数で規定するようにすれば、タイミング発生回路の構成を簡単にすることができる。以上が本実施例における撮像素子の動作である。
撮像素子から読み出された撮像信号は、Ａ／Ｄ変換手段によりデジタルの撮像信号に変換されて、信号処理手段に供給され信号処理手段では、供給される撮像信号に演算処理を施して色と輝度を示すデジタル画像信号を生成する。このデジタル信号について簡単な説明をすると次の通りとなる。
図２は、該信号処理手段の概略構成の一例を示すブロック図である。同図において、２０１は掛け算器などからなるゲイン調整手段、２０２はＲＡＭなどのメモリで構成されるライン遅延手段、２０３は輝度信号や色差信号を生成する輝度・色差信号生成手段、２０４は信号の補間処理により画像の拡大処理を行う電子ズーム手段、２０５は撮像処理において、垂直・水平のリセット基準を示すタイミングパルスを発生させるタイミングジェネレータ手段を示している。
該信号処理手段の各部の働きを説明すると次の通りとなる。ゲイン調整手段は、画面全体の明るさを調整するグローバルなゲイン調整機能と水平リセットパルスを基準にしてラインごとにゲインを切り替えて、信号レベルを調整するローカルなゲイン調整機能を具備し、信号レベルの調整を行う。ライン遅延手段は少なくとも２ライン分の信号データを記憶できるメモリ手段を具備し、該メモリ手段においてはゲイン調整手段から供給される撮像信号から、少なくとも直近の２ライン分の撮像信号を記憶する。該メモリに記憶された撮像信号は、水平リセットパルスを基準として、ゲイン調整手段から供給される撮像信号を含めて、少なくとも連続する３ライン分の撮像信号を形成し、後段の輝度・色差信号生成手段に供給される。輝度・色差信号生成手段では、ライン遅延手段から供給される撮像信号に２次元のマトリックス演算を行って、輝度信号と色差信号を生成する。電子ズーム手段は、少なくとも２ライン分の輝度信号と色差信号を記憶するメモリ手段を具備し、該メモリ手段に記憶した連続する２ラインの輝度信号と色差信号から間のラインを補間する輝度信号と色差信号を生成することで、垂直方向に画像を拡大する。補間動作をするにあたっては、次に補間すべきラインの生成に新たなラインの輝度信号と色差信号が必要であるか否かを水平処理期間ごとに演算し、その結果新たなラインの輝度信号と色差信号が不要であると判断される場合に、次の水平期間のセンサ読み出しと、ライン遅延手段によるライン遅延処理と輝度・色差信号生成手段による輝度・色差信号生成処理を停止させるための間欠制御信号を出力する。そして、該間欠制御信号をもとに水平リセットパルスをマスクすることによって、センサからの撮像信号の読み出しや、輝度信号生成動作を間欠動作させる。
間欠動作についてさらに説明すると次のようになる。図３は、半撮像手段において、ライン遅延手段としては２ライン分のメモリを具備して、３ラインの撮像信号から輝度信号と色差信号を作る場合において、垂直方向の電子ズーム倍率を２倍とした場合の水平リセットタイミングと間欠動作タイミングの関係を示すタイミング図ある。垂直方向に２倍にする場合、撮像素子から読み出される元の信号のライン数に対して、電子ズーム後の画像信号のライン数は２倍になるため、電子ズーム後で１水平リセット期間に１ライン分の画像信号が生成されるとすると、同図に示すように撮像素子の駆動は１水平期間おきに停止する間欠動作をさせることになる。
【００１２】
ところで、本実施例における撮像素子のフォトダイオードへの電荷の蓄積時間は前述の通り、撮像素子に供給される水平リセットパルスの回数で規定されることから、図３に示すような駆動をした場合、通常の駆動、すなわち垂直方向に電子ズームを行わない場合に比べて水平のリセット周期が２倍になるため、電荷排出終了から水平レジスタへ電荷を転送するまでのリセット回数が同じであるとすると、露光時間は通常の倍になってしまう。そうした場合、電子ズームありのときと電子ズームなしのときで同じようなゲイン設定で信号処理をしてしまうと、同じ被写体を撮影しても露光時間の違いによって最終的に生成される画像の輝度レベルが異なることになる。そのため、ライン単位で露光時間を設定するタイプの撮像素子を用いた撮像手段において、本実施例に記載したような手法で電子ズームを行う場合では、電子ズーム設定時に輝度レベルが変動しないように露光時間設定を変更したり、ゲイン調整手段をもちいてゲイン調整をしたりすることが必要になる。例えば、電子ズーム無しのときの適正露光時間が５水平期間（＝５Ｔ）であった場合、図３の例のように電子ズームを２倍にするときは、撮像素子の露光時間を２水平リセット期間（＝４水平期間）とした上で、ゲイン調整手段のゲイン設定（グローバル）を４分の５倍すなわち１．２５倍に変更するなどの、信号レベル調整が必要になる。
また、電子ズーム倍率が整数倍にならないときには、ラインごとにゲインを変えて行く必要が生じることから、本実施例ではラインごとにゲインをダイナミックに変える機能をゲイン調整手段にローカルゲイン調整機能として具備するが、その動作について説明すると次の通りとなる。図４は、垂直方向に１．２倍に拡大する場合の露光時間の変動について説明する図である。垂直に１．２倍するということは、すなわち垂直方向に５分の６倍することになり、図に示したように露光時間を５水平期間（＝５Ｔ）とした場合、露光時間の変遷は、５水平期間（＝５Ｔ）が一回と６水平期間（＝６Ｔ）５回の繰り返し、すなわち、「５Ｔ−６Ｔ−６Ｔ−６Ｔ−６Ｔ−６Ｔ−５Ｔ−６Ｔ−６Ｔ−６Ｔ−６Ｔ−６Ｔ−５Ｔ・・・」という形になる。このときゲイン調整を行うには、露光時間が５Ｔのときを１倍とすると、露光時間が６Ｔのときは６分の５倍となり、露光時間に合わせてラインごとにゲイン調整をダイナミックに変えていく必要がある。ゲイン調整の設定の変更については、ラインごとに設定しなす方法でも良いが、それをプロセッサで逐次行おうとすると、処理の負担も重いので、本撮像手段では付加軽減のため次の手法を提案する。垂直リセットごとに補正値の初期値を分母と分子で与える。初期値の与え方は、撮像素子の露光時間の設定を基準にする。例えば、露光時間を５水平リセット期間（＝５Ｔ）とした場合、分子の値を５、分母の値も５とする。初期値を元にハードウェアでダイナミックに計算しラインごとに補正値を切り替える。計算方法は、分母の値を過去の間欠動作の発生回数の履歴をもとに逐次変更する。例えば、露光時間の設定が５Ｔであり、図４でいうところの（Line N）のところが信号の有効期間の始まりであったとすると、次のライン（Line N+1）での分母の値は、初期値の「５」に、新たに発生した間欠動作回数である「１」を加算し、露光時間設定が５であることから５回前の水平リセット時に発生した間欠動作回数「０」を減算することで求められる。次のラインについては、新たに求められた分母の値を初期値とし、同様の計算を行う。これらの計算をラインのリセットごとに繰り返し、それを用いてゲイン調整することで輝度および色差生成処理手段に供給される撮像信号の信号レベルが常に適正化されて、電子ズーム時にも安定した画像を生成することが出来る。
【００１３】
以上のように、実施例により、ライン単位で露光する撮像素子を間欠的にラインリセットさせながら駆動させた場合においても、ラインごとに映像信号レベルが変動することなく撮影することが可能である。
【００１４】
以上の実施例は、特に、フィールドメモリを持たない、低コストのＭＯＳカメラにおいて、電子ズーム処理を行う場合に利用できる。
【図面の簡単な説明】
【００１５】
【図１】本実施例における撮像手段の１実施例を示すブロック図
【図２】信号処理手段の概略構成の一例を示すブロック図
【図３】水平リセットタイミングと間欠動作タイミングの関係を示すタイミング図
【図４】垂直方向に１．２倍に拡大する場合の露光時間の変動について説明する図
【図５】撮像素子の構造をモデル化した図
【符号の説明】
【００１６】
１０１  撮像レンズ
１０２  撮像素子
１０３  Ａ／Ｄ（analog to digital）変換手段
１０４  信号処理手段
２０１  ゲイン調整手段
２０２  ライン遅延手段
２０３  輝度・色差信号生成手段
２０４  電子ズーム手段
２０５  タイミングジェネレータ手段
５０１  フォトダイオード
５０２  タイミング発生回路
５０３  水平レジスタ
５０４  読み出し制御用の配線
５０５  電荷排出制御用の配線
５０６  ライン読み出し制御用の配線
５０７  電荷読み出しのためのスイッチ
５０８  電荷排出のためのスイッチ
【図１】
2007184675.tif 000003
【図２】
2007184675.tif 000004
【図３】
2007184675.tif 000005
【図４】
2007184675.tif 000006
【図５】
2007184675.tif 000007