(57)【要約】  【課題】解像度を下げながら有効画像領域の変更を行う際に、本来の分解能を十分に活用した有効画像領域の設定ができる駆動ユニットを提供する。  【解決手段】入射光を光電変換して電荷を生成する単位セルが複数個配列され各単位セルから読み出された電荷を一時蓄積しつつ順に転送して出力する固体撮像素子１１に対して同一色同士の直近の単位セルの電荷をＮ画素毎に統合し画像情報として出力するように駆動する駆動ユニット１９であって、有効画像領域を１画素単位で決定しＮ画素毎に単位セルの電荷を統合する際に電荷を統合すべき単位セルの組み合わせかたを指示し、電荷を転送させながら適宜単位セルから電荷を読み出させることにより指示された組み合わせかたでＮ画素毎の単位セルの電荷を統合し、統合された電荷を順に転送させて画像情報として出力させる。  【選択図】  図１
2007096514.tif 000002
【特許請求の範囲】
【請求項１】
入射光を光電変換して電荷を生成する単位セルが複数個配列され、各単位セルから読み出された電荷を、転送部にて、一時蓄積しつつ、順に転送して出力する固体撮像素子に対して、同一色同士の直近の単位セルの電荷を、前記転送部においてＮ（Ｎは２以上の整数）画素分毎に混合又は間引きして統合し、画像情報として出力するように駆動する固体撮像素子の駆動装置であって、
有効画像領域を１画素単位で決定し、当該決定に基づいて、Ｎ画素毎に単位セルの電荷を統合する際に、電荷を統合すべき単位セルの組み合わせかたを指示する指示手段と、
前記転送部により電荷を転送させながら適宜単位セルから電荷を読み出させることにより、前記指示手段により指示された組み合わせかたで、Ｎ画素毎の単位セルの電荷を統合する統合駆動手段と、
前記統合駆動手段により統合された電荷を順に前記転送部により転送させて、画像情報として出力させる出力駆動手段と
を備えることを特徴とする駆動装置。
【請求項２】
前記指示手段は、単位セルの読み出し順序を指示することにより、混合する単位セルの組み合わせかたを指示し、
前記混合駆動手段は、前記指示手段により指示された読み出し順序で、単位セルから順に電荷を読み出させて、出力方向のみに転送させながら混合することにより、Ｎ画素毎の単位セルの電荷を混合すること
を特徴とする請求項１に記載の駆動装置。
【請求項３】
前記固体撮像素子には、３色のカラーフィルタがベイヤー配列されており、
前記混合駆動手段は、
１画素おきにＮ画素分の電荷を混合することにより、前記同一色同士の直近の単位セルの電荷を混合すること
を特徴とする請求項２に記載の駆動装置。
【請求項４】
前記指示手段は、
基準画像領域からの補正量Ａを、１画素単位で算出する補正量算出手段と、
前記補正量Ａを前記Ｎで除したときの余りＲを算出して、当該余りＲの値に応じて異なる読み出し順序を決定する決定手段と、
を備えることを特徴とする請求項３に記載の駆動装置。
【請求項５】
前記転送部は、６相の垂直転送部を含み、読み出しゲートが、Ｖ１、Ｖ３、Ｖ５の３種類で構成され、当該駆動装置は、垂直転送部において３画素混合を行い（すなわちＮ＝３）、
前記決定手段は、
前記余りＲの値が、０、１、２の３つのパターンに応じて、単位セルから電荷を読み出す順序を、
「Ｖ３、Ｖ１、Ｖ５」、「Ｖ１、Ｖ５、Ｖ３」、「Ｖ５、Ｖ３、Ｖ１」の３種類とすること
を特徴とする請求項４に記載の駆動装置。
【請求項６】
前記補正量算出手段は、
手ブレ補正によって生じる補正量Ａを算出し、
前記決定手段は、
フィールド毎に、動的に、読み出し順序を決定すること
を特徴とする請求項４に記載の駆動装置。
【請求項７】
請求項１〜６のいずれか１項に記載の駆動装置と前記固体撮像素子とを備えること
を特徴とするカメラ。
【請求項８】
入射光を光電変換して電荷を生成する単位セルが複数個配列され、各単位セルから読み出された電荷を、転送部にて、一時蓄積しつつ、順に転送して出力する固体撮像素子に対して、同一色同士の直近の単位セルの電荷を、前記転送部においてＮ（Ｎは２以上の整数）画素毎に混合又は間引きして統合し、画像情報として出力するように駆動する固体撮像素子の駆動方法であって、
有効画像領域を１画素単位で決定し、当該決定に基づいて、Ｎ画素毎に単位セルの電荷を統合する際に、電荷を統合すべき単位セルの組み合わせかたを指示する指示ステップと、
前記転送部により電荷を転送させながら適宜単位セルから電荷を読み出させることにより、前記指示ステップにより指示された組み合わせかたで、Ｎ画素毎の単位セルの電荷を統合する統合ステップと、
前記統合ステップにより統合された電荷を順に前記転送部により転送させて、画像情報として出力させる出力ステップと
を含むことを特徴とする駆動方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、固体撮像素子、固体撮像素子の駆動方法、及び、カメラに関し、特に、転送部において画素混合を行いながら手ブレ補正等の有効領域をダイナミックに変動する制御を行う際に、映像品質を向上させるための技術に関する。
【背景技術】
【０００２】
固体撮像素子において、近接する規定数の画素を画像全般に渡って混合したり、近接する規定数の画素から画像全般に渡って一部の画素を間引くことにより統合して、データ量が少ない画像データを出力させる機能（「画素混合機能」及び「画素間引き機能」という）がある。特許文献１に、画素混合機能と画素間引き機能とについて詳細に開示されている。
【０００３】
一方、ビデオカメラを手持ちで撮影する際に、手ブレを補正する機能（「手ブレ補正機能」という）が普及している。特許文献２に、光学系によらずにデータ処理によって手ブレを補正する電子手ブレ補正機能について詳細に開示されている。
【特許文献１】特開第２００４−４８７９９号公報
【特許文献２】特許第２８１９８５２号
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来の画素混合機能と電子手ブレ補正機能とを備えるカメラは、画素混合しながら手ブレ補正を行う際に、これら２つの機能をそれぞれ独立に制御しており、本来高い分解能を備えているにもかかわらず、その能力を十分に活用しているとは言い難い。このような課題は、画素混合機能と電子手ブレ補正機能とを同時に行う場合のみならず、画素間引き機能等の画素を統合し解像度を下げる機能とデジタルズーム機能等の有効画像領域の変更をともなう機能とを同時に行う場合において共通の課題である。
【０００５】
本発明は、画素混合等により画素を統合し解像度を下げながら、手ブレ補正等によって生じる有効画像領域の変更を行う際に、本来の分解能を十分に活用した高い精度で有効画像領域の設定ができる固体撮像素子の駆動装置、固体撮像素子の駆動方法、及び、カメラを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明に係る固体撮像素子の駆動装置は、入射光を光電変換して電荷を生成する単位セルが複数個配列され各単位セルから読み出された電荷を転送部にて一時蓄積しつつ順に転送して出力する固体撮像素子に対して同一色同士の直近の単位セルの電荷を前記転送部においてＮ（Ｎは２以上の整数）画素分毎に混合又は間引きして統合し画像情報として出力するように駆動する固体撮像素子の駆動装置であって、有効画像領域を１画素単位で決定し当該決定に基づいてＮ画素毎に単位セルの電荷を統合する際に電荷を統合すべき単位セルの組み合わせかたを指示する指示手段と、前記転送部により電荷を転送させながら適宜単位セルから電荷を読み出させることにより前記指示手段により指示された組み合わせかたでＮ画素毎の単位セルの電荷を統合する統合駆動手段と、前記統合駆動手段により統合された電荷を順に前記転送部により転送させて画像情報として出力させる出力駆動手段と備えることを特徴とする。
【０００７】
上記目的を達成するために、本発明に係るカメラは、上記記載の駆動装置と固体撮像素子とを備えることを特徴とする。
上記目的を達成するために、本発明に係る固体撮像素子の駆動方法は、入射光を光電変換して電荷を生成する単位セルが複数個配列され各単位セルから読み出された電荷を転送部にて一時蓄積しつつ順に転送して出力する固体撮像素子に対して同一色同士の直近の単位セルの電荷を前記転送部においてＮ（Ｎは２以上の整数）画素毎に混合又は間引きして統合し画像情報として出力するように駆動する固体撮像素子の駆動方法であって、有効画像領域を１画素単位で決定し当該決定に基づいてＮ画素毎に単位セルの電荷を統合する際に電荷を統合すべき単位セルの組み合わせかたを指示する指示ステップと、前記転送部により電荷を転送させながら適宜単位セルから電荷を読み出させることにより前記指示ステップにより指示された組み合わせかたで、Ｎ画素毎の単位セルの電荷を統合する統合ステップと、前記統合ステップにより統合された電荷を順に前記転送部により転送させて画像情報として出力させる出力ステップとを含むことを特徴とする。
【発明の効果】
【０００８】
課題を解決するための手段に記載した構成により、電荷を統合する際の組み合わせかたを変更することにより、有効画像領域を１画素単位で変更することができる。
従って、画素を統合する際にも本来の分解能を十分に活用した高い精度で有効画像領域の設定ができ、従来よりも自然な再生画像を得ることができる。
また、電荷を統合する際の組み合わせかたを変更することにより、従来と比べ、サンプリング点もＮ倍となり動解像度（動画の解像度）も向上する。
【０００９】
ここで、固体撮像素子の駆動装置において、前記指示手段は単位セルの読み出し順序を指示することにより混合する単位セルの組み合わせかたを指示し、前記混合駆動手段は前記指示手段により指示された読み出し順序で単位セルから順に電荷を読み出させて出力方向のみに転送させながら混合することによりＮ画素毎の単位セルの電荷を混合することを特徴とすることもできる。
【００１０】
これにより、電荷を混合する際の読み出し順序を変更し、出力方向のみに転送させながら混合することにより、有効画像領域を１画素単位で動的に変更することができる。
ここで、固体撮像素子の駆動装置、駆動方法、及びカメラにおいて、前記固体撮像素子には３色のカラーフィルタがベイヤー配列されており、前記混合駆動手段は、１画素おきにＮ画素分の電荷を混合することにより前記同一色同士の直近の単位セルの電荷を混合することを特徴とすることもできる。
【００１１】
これにより、ベイヤー配列された固体撮像素子において、１画素おきにＮ画素分の電荷を混合することにより、各色毎に電荷を混合することができる。
ここで、固体撮像素子の駆動装置、駆動方法、及びカメラにおいて、前記指示手段は、基準画像領域からの補正量Ａを１画素単位で算出する補正量算出手段と、前記補正量Ａを前記Ｎで除したときの余りＲを算出して当該余りＲの値に応じて異なる読み出し順序を決定する決定手段と、を備えることを特徴とすることもできる。
【００１２】
これにより、基準画像領域からの補正量に基づいて、計算によって読み出し順序を決定することができる。
ここで、固体撮像素子の駆動装置、駆動方法、及びカメラにおいて、前記転送部は６相の垂直転送部を含み読み出しゲートが、Ｖ１、Ｖ３、Ｖ５の３種類で構成され当該駆動装置は垂直転送部において３画素混合を行い（すなわちＮ＝３）、前記決定手段は、前記余りＲの値が、０、１、２の３つのパターンに応じて単位セルから電荷を読み出す順序を、「Ｖ３、Ｖ１、Ｖ５」、「Ｖ１、Ｖ５、Ｖ３」、「Ｖ５、Ｖ３、Ｖ１」の３種類とすることを特徴とすることもできる。
【００１３】
これにより、６相の垂直転送部を含み、読み出しゲートが、Ｖ１、Ｖ３、Ｖ５の３種類で構成された固体撮像素子において、単位セルから電荷を読み出す順序を「Ｖ３、Ｖ１、Ｖ５」、「Ｖ１、Ｖ５、Ｖ３」、「Ｖ５、Ｖ３、Ｖ１」の３種類のうちから、基準画像領域からの補正量に基づいて計算した値に応じて選択することにより、有効画像領域を１画素単位で変更することができる。
【００１４】
ここで、固体撮像素子の駆動装置、駆動方法、及びカメラにおいて、前記補正量算出手段は、手ブレ補正によって生じる補正量Ａを算出し、前記決定手段は、フィールド毎に動的に読み出し順序を決定することを特徴とすることもできる。
これにより、画素混合しながら１画素単位で手ブレ補正ができる。
【発明を実施するための最良の形態】
【００１５】
（実施の形態１）
＜概要＞
本発明の実施の形態１は、画素混合機能と手ブレ補正機能とを同時に行うカメラにおいて、混合する前の１画素の精度で手ブレ補正の補正量を計算し、この補正量に基づいて、混合した後の１画素の精度の補正を従来通り行いつつ、混合すべき画素の組み合わせかたを変えることにより、端数の補正を混合する前の１画素の精度で行うものであり、複数の画素を混合しているにもかかわらず、手ブレ補正を混合する前の１画素の精度で行うことができる。
【００１６】
従来のカメラでは、画素混合機能と手ブレ補正機能とをそれぞれ独立に制御しており、混合すべき画素の組み合わせかたが固定的であり、手ブレ補正を画素を混合した後の１画素の精度でしか行うことができないので、本発明のカメラは従来の同程度の基本スペックのカメラと比べて、手ブレ補正の精度が数倍高いことになる。
＜構成＞
図１は、本発明の実施の形態１におけるカメラの概要を示す図である。
【００１７】
図１に示すように、本発明の実施の形態１におけるカメラ１０は、画素混合機能と手ブレ補正機能とを備える画像処理装置であり、固体撮像素子１１、前処理ＩＣ１２、デジタル信号処理回路１３、動きベクトル検出回路１４、システム制御回路１５、タイミングジェネレータ１６、クロックドライバ１７、及び光学系部品群１８を備える。
ここで、固体撮像素子１１、タイミングジェネレータ１６、及びクロックドライバ１７の部分は独立してユニット化されカメラ１０本体に組み込まれており、本実施の形態では駆動ユニット１９と定義する。
【００１８】
固体撮像素子１１は、赤、青、緑の３色のカラーフィルタがベイヤー配列された複数の単位セルが、例えば垂直方向に１８００個、水平方向に２７００個程度が行列状に配列され、光学系部品群１８を介して入射した被写体からの入射光が、各単位セル内のフォトダイオードにより光電変換されてそれぞれ電荷が生成され、クロックドライバ１７からのφＶ１〜φＶ６クロック信号を受けて、縦列毎の垂直転送部が各フォトダイオードからの電荷をそれぞれ独立して読み出してそれぞれ垂直方向に転送し、タイミングジェネレータ１６からのφＨ１、φＨ２クロック信号とを受けて、水平転送部が各垂直転送部からの電荷を水平方向に転送して出力するものである。
【００１９】
なお、垂直方向にて混合する画素数をＮ（Ｎは２以上の整数）とし、本実施の形態では「Ｎ＝３」の場合の具体例を示すこととする。
また、本実施の形態では３×３の画素混合と手ブレ補正とを同時に行うものとし、水平方向の画素混合については、垂直方向と同様の方法か、又は固体撮像素子１１においては画素混合をせずに読み出した後で演算する方法であってもよいので、その説明を簡略化し、垂直方向の画素混合について重点的に説明する。
【００２０】
図２は、固体撮像素子１１の内部構成の概略を示す図である。
図２に示すように、固体撮像素子１１は、フォトダイオード１、Ｖ１、Ｖ３、Ｖ５の３種類の読み出しゲート、Ｖ１からＶ６の６相からなる垂直転送部２、Ｈ１、Ｈ２の２相からなる水平転送部３、及び電荷検出部４より構成されている。
なお図２においては、説明の簡単化のために、フォトダイオード１と垂直転送部２とを簡略化して記載しているが、実際の固体撮像素子では、フォトダイオード１と垂直転送部２との組み合わせが水平画素数分だけ並んでいる。
【００２１】
また、固体撮像素子１１における信号の読み出し方法の詳細は、Ｖ１、Ｖ３、Ｖ５の各読み出しゲートに高電圧（約１５Ｖ）を印可して、フォトダイオード１から垂直転送部２へ電荷を読み出し、垂直転送部２のＶ１〜Ｖ６の各転送ゲートに垂直転送部駆動パルスを入力することにより、垂直転送部２へ読み出した電荷を水平走査期間に水平転送部３へ転送し、水平転送部３へ転送された電荷を、水平転送部３のＨ１、Ｈ２の各ゲートに数十ＭＨｚのクロックを印可して、電荷検出部４より信号を出力するものである。
【００２２】
ここで、読み出しゲートと垂直転送部２の転送ゲートとは信号入力端子が共通化されており、この共通端子にハイ、ミドル、ローの３レベルからなる３値パルス信号を入力して駆動されるものであり、ハイレベルを印加することによってフォトダイオード１から垂直転送部２へ電荷が読み出され、ミドルレベル、ローレベルの６相駆動によって垂直転送部２における垂直転送が行われる。
【００２３】
なお固体撮像素子１１の基本的な構成は、一般的なＣＣＤ(Charge Coupled Device)と同様である。
また本実施の形態においては、読み出しゲートの読み出し順序が、「Ｖ１、Ｖ５、Ｖ３」、「Ｖ３、Ｖ１、Ｖ５」、「Ｖ５、Ｖ３、Ｖ１」の３種類あり、これらは手ブレによる被写体の動きに応じた動きベクトルによって選択される。
【００２４】
前処理ＩＣ１２は固体撮像素子１１から出力されたアナログ信号を従来と同様にアナログ処理した後、デジタル信号に変換する。
デジタル信号処理回路１３は前処理ＩＣ１２からのデジタル信号を従来と同様にデジタル処理して映像信号を外部へ出力し、またデジタル処理により輪郭信号を生成して動きベクトル検出回路１４へ出力する。
【００２５】
動きベクトル検出回路１４は、デジタル信号処理回路１３からの輪郭信号に基づいて、前々フィールドの輪郭信号と前フィールドの輪郭信号とを比較して、手ブレによる被写体の動きに応じた動きベクトルを、画素を混合する前の１画素の単位で、又はそれ以上の精度で検出する。
システム制御回路１５は、前フィールドの有効画像領域及び混合すべき画素の組み合わせかたと、動きベクトル検出回路１４の出力する動きベクトルとに基づいて、対象フィールドの有効画像領域及び混合すべき画素の組み合わせかたを決定して、決定した有効画像領域に対する制御及び混合すべき画素の組み合わせかたを実現するようにタイミングジェネレータ１６を制御する。
【００２６】
ここで、動きベクトル検出回路１４により、画素を混合する前の１画素の単位で上方向にＰ画素分だけ前フィールドから有効画像領域をずらす必要があると検出されたとすると、システム制御回路１５はＰを、垂直方向にて混合する画素数Ｎで除して、商Ａと余りＲを算出し、商Ａは有効画像領域の変動分に相当し、余りＲによって読み出しゲートの読み出し順序が選択される。本実施の形態では、画素数Ｎ＝３の場合には、余りＲ＝０のときは「Ｖ３、Ｖ１、Ｖ５」、余りＲ＝１のときは「Ｖ１、Ｖ５、Ｖ３」、余りＲ＝２のときは「Ｖ５、Ｖ３、Ｖ１」の順となる。
【００２７】
例えば１０画素分だけ前フィールドから有効画像領域をずらす必要があると検出され（Ｐ＝１０）、前フィールドが基準画像領域（垂直方向の領域は掃き出し側下方向が基準でＸ＝５０〜５４９）であって読み出し順序が「Ｖ３、Ｖ１、Ｖ５」であるものとすると、Ｘ＝１０をＮ＝３で除した商Ａ＝３、余りＲ＝１であるので、基準画像領域は混合後の画素の３画素分だけ上方向にずれて対象フィールドの有効画像領域の垂直方向の領域はＸ＝５３〜５５２となり、読み出し順序は、「Ｖ３、Ｖ１、Ｖ５」よりも混合前の１画素分だけ上方向にずれたことに相当する「Ｖ１、Ｖ５、Ｖ３」となる。
【００２８】
タイミングジェネレータ１６は、固体撮像素子１１を駆動するためのパルスを発生し、システム制御回路１５による制御により、固体撮像素子１１を駆動するための各種駆動信号を発生する。
クロックドライバ１７は、タイミングジェネレータ１６から出力された各種駆動信号のうちの、読み出し用と垂直転送用とを、それぞれ固体撮像素子１１を駆動するための電圧に変換して３値パルス信号を生成する。
【００２９】
図３〜５は、クロックドライバ１７が出力する３値パルス信号であるφＶ１〜φＶ６クロック信号の画素混合時のパターンを示す図であり、図３は読み出し順序が「Ｖ３、Ｖ１、Ｖ５」のときに対応し、図４は読み出し順序が「Ｖ１、Ｖ５、Ｖ３」のときに対応し、図５は読み出し順序が「Ｖ５、Ｖ３、Ｖ１」のときに対応する。
光学系部品群１８は、レンズ、絞り、シャッター等の光学部品からなり、被写体像を単位セルが配列された領域に映し出すものである。
【００３０】
＜動作＞
図６は、本実施の形態のカメラ１０による、前フィールドに対応する電荷が固体撮像素子１１から出力された直後から、対象フィールドの映像信号を出力するまでの対象フィールドに関する処理の手順を示す図である。
（１）前処理ＩＣ１２、及びデジタル信号処理回路１３が前フィールドに対応する電荷を処理して、前フィールドの輪郭信号を生成する（ステップＳ１）。
【００３１】
（２）動きベクトル検出回路１４が、前々フィールドの輪郭信号と前フィールドの輪郭信号とを比較して、手ブレによる被写体の動きに応じた動きベクトルを検出する（ステップＳ２）。
（３）システム制御回路１５が、前フィールドの有効画像領域及び混合すべき画素の組み合わせかたと、動きベクトルとに基づいて、対象フィールドの有効画像領域及び混合すべき画素の組み合わせかたを決定する。（ステップＳ３）。
【００３２】
（４）一方、全てのフォトダイオード１の電荷が掃き出されたり読み出されてクリアされた後、被写体像が単位セルに映し出され、各フォトダイオード１に、被写体像に対応する電荷が生成される（ステップＳ４）。
（５）システム制御回路１５による制御により、タイミングジェネレータ１６が各種駆動信号を発生し、クロックドライバ１７が３値パルス信号を生成して、３画素混合が行なわれる（ステップＳ５）。ここでは決定された画素の組み合わせかたに応じて、読み出し順序が、「Ｖ３、Ｖ１、Ｖ５」、「Ｖ１、Ｖ５、Ｖ３」、「Ｖ５、Ｖ３、Ｖ１」のいずれかとなる。
【００３３】
読み出し順序が「Ｖ３、Ｖ１、Ｖ５」のときには、図３のφＶ１〜φＶ６クロック信号のパターンが選択され、まず各Ｖ３に繋がっているフォトダイオード１の電荷を読み出し、８ステップ分の転送動作を行って１画素分の電荷を同色のＶ１の位置に移動し、続いてＶ１に繋がっているフォトダイオード１の電荷を読み出して色別に２画素分の電荷を混合し、再び８ステップ分の転送動作を行って２画素分の電荷を同色のＶ５の位置に移動し、さらにＶ５に繋がっているフォトダイオード１の電荷を読み出して色別に３画素分の電荷を混合する。
【００３４】
読み出し順序が「Ｖ１、Ｖ５、Ｖ３」のときには、図４のφＶ１〜φＶ６クロック信号のパターンが選択され、まず各Ｖ１に繋がっているフォトダイオード１の電荷を読み出し、８ステップ分の転送動作を行って１画素分の電荷を同色のＶ５の位置に移動し、続いてＶ５に繋がっているフォトダイオード１の電荷を読み出して色別に２画素分の電荷を混合し、再び８ステップ分の転送動作を行って２画素分の電荷を同色のＶ３の位置に移動し、さらにＶ３に繋がっているフォトダイオード１の電荷を読み出して色別に３画素分の電荷を混合する。
【００３５】
読み出し順序が「Ｖ５、Ｖ３、Ｖ１」のときには、図５のφＶ１〜φＶ６クロック信号のパターンが選択され、まず各Ｖ５に繋がっているフォトダイオード１の電荷を読み出し、８ステップ分の転送動作を行って１画素分の電荷を同色のＶ３の位置に移動し、続いてＶ３に繋がっているフォトダイオード１の電荷を読み出して色別に２画素分の電荷を混合し、再び８ステップ分の転送動作を行って２画素分の電荷を同色のＶ１の位置に移動し、さらにＶ１に繋がっているフォトダイオード１の電荷を読み出して色別に３画素分の電荷を混合する（ステップＳ６）。
【００３６】
（６）システム制御回路１５による制御により高速転送が行われ、有効画像領域外の不要な部分の電荷を掃き出す（ステップＳ６）。
（７）固体撮像素子１１が、３画素分が混合された各電荷を、タイミングジェネレータ１６からのφＶ１〜φＶ６クロック信号により駆動されて垂直方向に転送し、クロックドライバ１７からのφＨ１、φＨ２クロック信号により駆動されて水平方向に転送して、対象フィールドに対応する有効画像領域の部分の電荷を電荷検出部４を介して出力する（ステップＳ７）。
【００３７】
（８）システム制御回路１５による制御により高速転送を行ない、有効画像領域外の不要な部分の電荷を掃き出す（ステップＳ８）。
（９）前処理ＩＣ１２、及びデジタル信号処理回路１３が、対象フィールドに対応する電荷を処理して、対象フィールドの映像信号を外部へ出力する（ステップＳ９）。
＜まとめ＞
以上のように、本発明の実施の形態１によれば、電荷を統合する際の組み合わせかたを変更することにより、有効画像領域を電荷を統合する前の１画素の分解能で設定することができる。
【００３８】
従って、画素を統合する際にも本来の分解能を十分に活用した高い精度で有効画像領域の設定ができ、従来よりも自然な再生画像を得ることができる。
また、電荷を統合する際の組み合わせかたを変更することにより、従来と比べ、サンプリング点もＮ倍となり動解像度（動画の解像度）も向上する。
（実施の形態２）
＜概要＞
本発明の実施の形態２は、実施の形態１のように、固体撮像素子から有効画像領域の部分の電荷のみ出力させるのではなく、有効画像領域外の部分も一緒に、全部の画素の電荷を出力させて処理し、一旦画像メモリに蓄積した後で、有効画像領域の部分のみを読み出すものであり、その他の詳細な部分は実施の形態１に準ずる。
【００３９】
＜構成＞
図７は、本発明の実施の形態２におけるカメラ２０の概要を示す図である。
図７に示すように、本発明の実施の形態２におけるカメラ２０は、画素混合機能と手ブレ補正機能とを備える画像処理装置であり、固体撮像素子１１、前処理ＩＣ１２、デジタル信号処理回路２１、動きベクトル検出回路１４、システム制御回路２２、画像メモリ２３、タイミングジェネレータ２４、クロックドライバ２５、及び光学系部品群１８を備える。
【００４０】
ここで、固体撮像素子１１、タイミングジェネレータ２４、及びクロックドライバ２５の部分は独立してユニット化されカメラ２０本体に組み込まれており、本実施の形態では駆動ユニット２６と定義する。
ここで実施の形態１と同様の構成要素には同一番号を付し、その説明を省略する。
デジタル信号処理回路２１は前処理ＩＣ１２からのデジタル信号を従来と同様にデジタル処理して、有効画像領域外を含む全ての映像信号を一旦画像メモリ２３に記憶した後、デジタル処理により画像メモリ２３に記憶した映像信号の輪郭信号の輪郭信号を生成して動きベクトル検出回路１４へ出力し、画像メモリ２３に記憶された対象フィールドの輪郭信号と前フィールドの輪郭信号とから検出された動きベクトルに基づいて決定される有効画像領域の部分のみを読み出して外部へ出力する。
【００４１】
システム制御回路２２は、実施の形態１のシステム制御回路１５と同様に、前フィールドの有効画像領域及び混合すべき画素の組み合わせかたと、動きベクトル検出回路１４の出力する動きベクトルとに基づいて、対象フィールドの有効画像領域及び混合すべき画素の組み合わせかたを決定し、決定した混合すべき画素の組み合わせかたを実現するようにタイミングジェネレータ２４を制御するが、決定した有効画像領域についてのタイミングジェネレータ２４に対する制御は行わず、決定した有効画像領域をデジタル信号処理回路２１に知らせる。
【００４２】
画像メモリ２３は、有効画像領域外を含む全ての映像信号を記憶することができるだけの記憶容量をもつ半導体メモリである。
タイミングジェネレータ２４は、固体撮像素子１１を駆動するためのパルスを発生し、システム制御回路２２による制御により、固体撮像素子１１を駆動するための各種駆動信号を発生する。
【００４３】
クロックドライバ２５は、タイミングジェネレータ２４から出力された各種駆動信号のうちの、読み出し用と垂直転送用とを、それぞれ固体撮像素子１１を駆動するための電圧に変換して３値パルス信号を生成する。
ここでφＶ１〜φＶ６クロック信号の画素混合時のパターンは、実施の形態１と同様である。
【００４４】
＜動作＞
図８は、本実施の形態のカメラ２０による、前フィールドに対応する電荷が固体撮像素子１１から出力された直後から、対象フィールドの映像信号を出力するまでの対象フィールドに関する処理の手順を示す図である。
ここで実施の形態１の図７と同様の処理ステップには同一番号を付し、その説明を省略する。
【００４５】
（１）前処理ＩＣ１２、及びデジタル信号処理回路２１が前フィールドに対応する電荷を処理して、一旦画像メモリ２３に記憶した後、有効画像領域の部分のみを読み出して、前フィールドの輪郭信号を生成する（ステップＳ２１）。
（２）図６の（２）と同様（ステップＳ２）。
（３）システム制御回路２２が、前フィールドの有効画像領域及び混合すべき画素の組み合わせかたと、動きベクトルとに基づいて、対象フィールドの混合すべき画素の組み合わせかたを決定する（ステップＳ２２）。
【００４６】
（４）図６の（４）と同様（ステップＳ４）。
（５）システム制御回路２２による制御により、タイミングジェネレータ２４が各種駆動信号を発生し、クロックドライバ２５が３値パルス信号を生成して、３画素混合が行なわれる（ステップＳ２３）。実施の形態１と同様に、決定された画素の組み合わせかたに応じて、読み出し順序が、「Ｖ３、Ｖ１、Ｖ５」、「Ｖ１、Ｖ５、Ｖ３」、「Ｖ５、Ｖ３、Ｖ１」のいずれかとなる。
【００４７】
（６）固体撮像素子１１が、３画素分が混合された各電荷を、タイミングジェネレータ２４からのφＶ１〜φＶ６クロック信号により駆動されて垂直方向に転送し、クロックドライバ２５からのφＨ１、φＨ２クロック信号により駆動されて水平方向に転送して、有効画像領域外の部分も一緒に、全部の画素の電荷を電荷検出部４を介して出力する（ステップＳ２４）。
【００４８】
（７）前処理ＩＣ１２、及びデジタル信号処理回路２１が、対象フィールドに対応する電荷を処理して、有効画像領域外を含む全ての映像信号を一旦画像メモリ２３に記憶し、また対象フィールドの輪郭信号を生成する（ステップＳ２５）。
（８）動きベクトル検出回路１４が、前フィールドの輪郭信号と対象フィールドの輪郭信号とを比較して、手ブレによる被写体の動きに応じた動きベクトルを検出する（ステップＳ２６）。
【００４９】
（９）システム制御回路２２が、前フィールドの有効画像領域及び混合すべき画素の組み合わせかたと、動きベクトルとに基づいて、対象フィールドの有効画像領域を決定する（ステップＳ２７）。
（１０）デジタル信号処理回路２１が、画像メモリ２３から、前フィールドの輪郭信号と対象フィールドの輪郭信号とから検出された動きベクトルに基づいて決定された有効画像領域の部分のみを読み出して、対象フィールドの映像信号として外部へ出力する（ステップＳ２８）。
【００５０】
＜まとめ＞
以上のように、本発明の実施の形態２によれば、実施の形態１と同様に、電荷を統合する際の組み合わせかたを変更することにより、有効画像領域を電荷を統合する前の１画素の分解能で設定することができる。
従って、画素を統合する際にも本来の分解能を十分に活用した高い精度で有効画像領域の設定ができ、従来よりも自然な再生画像を得ることができる。
【００５１】
また、実施の形態１と同様に、電荷を統合する際の組み合わせかたを変更することにより、従来と比べ、サンプリング点もＮ倍となり動解像度（動画の解像度）も向上する。
また、有効画像領域の切り出しを、電荷の読み出し時だけでなく電荷を読み出した後で、対象フィールドと前フィールドとを参照して画像メモリからの読み出し時に行うことができるので、さらに手ブレの精度を向上させることができる。
（実施の形態３）
＜概要＞
本発明の実施の形態３は、実施の形態１のように、固体撮像素子から有効画像領域の部分の電荷のみ出力させるのではなく、また実施の形態２のように、全部の画素の電荷を出力させるのでもなく、固体撮像素子から有効画像領域よりも広い領域の電荷のみ出力させて処理し、一旦画像メモリに蓄積した後で、有効画像領域の部分のみを読み出すものであり、その他の詳細部分は実施の形態１及び２に準ずる。
【００５２】
＜構成＞
図９は、本発明の実施の形態２におけるカメラ３０の概要を示す図である。
図９に示すように、本発明の実施の形態３におけるカメラ３０は、画素混合機能と手ブレ補正機能とを備える画像処理装置であり、固体撮像素子１１、前処理ＩＣ１２、デジタル信号処理回路３１、動きベクトル検出回路１４、システム制御回路３２、画像メモリ３３、タイミングジェネレータ３４、クロックドライバ３５、及び光学系部品群１８を備える。
【００５３】
ここで、固体撮像素子１１、タイミングジェネレータ３４、及びクロックドライバ３５の部分は独立してユニット化されカメラ３０本体に組み込まれており、本実施の形態では駆動ユニット３６と定義する。
ここで実施の形態１と同様の構成要素には同一番号を付し、その説明を省略する。
デジタル信号処理回路３１は前処理ＩＣ１２からのデジタル信号を従来と同様にデジタル処理して、有効画像領域外の一部を含む有効画像領域よりも広い領域の映像信号を一旦画像メモリ２３に記憶した後、デジタル処理により画像メモリ２３に記憶した映像信号の輪郭信号の輪郭信号を生成して動きベクトル検出回路１４へ出力し、画像メモリ２３に記憶された対象フィールドの輪郭信号と前フィールドの輪郭信号とから検出された動きベクトルに基づいて決定される有効画像領域の部分のみを読み出して外部へ出力する。
【００５４】
システム制御回路３２は、前フィールドの有効画像領域及び混合すべき画素の組み合わせかたと、動きベクトル検出回路１４の出力する動きベクトルとに基づいて、対象フィールドの有効画像領域及び混合すべき画素の組み合わせかたを決定して、決定した有効画像領域よりも上下両方向に５％程度広い領域に対する制御及び混合すべき画素の組み合わせかたを実現するようにタイミングジェネレータ３４を制御し、決定した有効画像領域をデジタル信号処理回路３１に知らせる。
【００５５】
画像メモリ３３は、有効画像領域よりも５％程度広い領域の映像信号を記憶することができるだけの記憶容量をもつ半導体メモリである。
タイミングジェネレータ３４は、固体撮像素子１１を駆動するためのパルスを発生し、システム制御回路３２による制御により、固体撮像素子１１を駆動するための各種駆動信号を発生する。
【００５６】
クロックドライバ３５は、タイミングジェネレータ３４から出力された各種駆動信号のうちの、読み出し用と垂直転送用とを、それぞれ固体撮像素子１１を駆動するための電圧に変換して３値パルス信号を生成する。
ここでφＶ１〜φＶ６クロック信号の画素混合時のパターンは、実施の形態１と同様である。
【００５７】
＜動作＞
図１０は、本実施の形態のカメラ３０による、前フィールドに対応する電荷が固体撮像素子１１から出力された直後から、対象フィールドの映像信号を出力するまでの対象フィールドに関する処理の手順を示す図である。
ここで実施の形態１の図７と同様の処理ステップには同一番号を付し、その説明を省略する。
【００５８】
（１）前処理ＩＣ１２、及びデジタル信号処理回路３１が前フィールドに対応する電荷を処理して、一旦画像メモリ２３に記憶した後、有効画像領域の部分のみを読み出して、前フィールドの輪郭信号を生成する（ステップＳ３１）。
（２）図６の（２）と同様（ステップＳ２）。
（３）システム制御回路３２が、前フィールドの有効画像領域及び混合すべき画素の組み合わせかたと、動きベクトルとに基づいて、対象フィールドの有効画像領域及び混合すべき画素の組み合わせかたを決定する。（ステップＳ３２）。
【００５９】
（４）図６の（４）と同様（ステップＳ４）。
（５）システム制御回路３２による制御により、タイミングジェネレータ３４が各種駆動信号を発生し、クロックドライバ３５が３値パルス信号を生成して、３画素混合が行なわれる（ステップＳ３３）。実施の形態１と同様に、決定された画素の組み合わせかたに応じて、読み出し順序が、「Ｖ３、Ｖ１、Ｖ５」、「Ｖ１、Ｖ５、Ｖ３」、「Ｖ５、Ｖ３、Ｖ１」のいずれかとなる。
【００６０】
（６）固体撮像素子１１が、３画素分が混合された各電荷を、タイミングジェネレータ３４からのφＶ１〜φＶ６クロック信号により駆動されて垂直方向に転送し、クロックドライバ３５からのφＨ１、φＨ２クロック信号により駆動されて水平方向に転送して、有効画像領域よりも上下両方向に５％程度広い領域の画素の電荷を出力バッファ４を介して出力する（ステップＳ３４）。
【００６１】
（７）前処理ＩＣ１２、及びデジタル信号処理回路３１が、対象フィールドに対応する電荷を処理して、有効画像領域よりも上下両方向に５％程度広い領域の映像信号を一旦画像メモリ３３に記憶し、また対象フィールドの輪郭信号を生成する（ステップＳ３５）。
（８）動きベクトル検出回路１４が、前フィールドの輪郭信号と対象フィールドの輪郭信号とを比較して、手ブレによる被写体の動きに応じた動きベクトルを検出する（ステップＳ３６）。
【００６２】
（９）システム制御回路３２が、前フィールドの有効画像領域及び混合すべき画素の組み合わせかたと、動きベクトルとに基づいて、対象フィールドの有効画像領域を決定する（ステップＳ３７）。
（１０）デジタル信号処理回路３１が、画像メモリ３３から、前フィールドの輪郭信号と対象フィールドの輪郭信号とから検出された動きベクトルに基づいて決定された有効画像領域の部分のみを読み出して、対象フィールドの映像信号として外部へ出力する（ステップＳ３８）。
【００６３】
＜まとめ＞
以上のように、本発明の実施の形態３によれば、実施の形態１と同様に、電荷を統合する際の組み合わせかたを変更することにより、有効画像領域を電荷を統合する前の１画素の分解能で設定することができる。
従って、画素を統合する際にも本来の分解能を十分に活用した高い精度で有効画像領域の設定ができ、従来よりも自然な再生画像を得ることができる。
【００６４】
また、実施の形態１と同様に、電荷を統合する際の組み合わせかたを変更することにより、従来と比べ、サンプリング点もＮ倍となり動解像度（動画の解像度）も向上する。
また、実施の形態２と同様に、有効画像領域の切り出しを、電荷の読み出し時だけでなく電荷を読み出した後で、対象フィールドと前フィールドとを参照して画像メモリからの読み出し時に行うことができるので、さらに手ブレの精度を向上させることができ、実施の形態２よりも画像メモリのサイズを小さくすることができる。
（変形例１）
本明細書では、ノンインターレース制御を例に発明の特徴を説明したが、インターレース制御であっても同様に適用できる。
【００６５】
インターレース制御では、ＯＤＤフィールドとＥＶＥＮフィールドとを交互に読み出すことになるので、画素混合時のφＶ１〜φＶ６クロック信号のパターンが少し異なり、その他の詳細部分は各実施の形態、及び一般的な従来のインターレース制御に準ずる。
図１１〜１３は、ノンインターレース制御におけるφＶ１〜φＶ６クロック信号の画素混合時のパターンを示す図であり、図１１は読み出し順序が「Ｖ３、Ｖ１、Ｖ５」のときに対応し、図１２は読み出し順序が「Ｖ１、Ｖ５、Ｖ３」のときに対応し、図１３は読み出し順序が「Ｖ５、Ｖ３、Ｖ１」のときに対応する。
（変形例２）
本明細書では画素混合機能と手ブレ補正機能とを同時に行う場合について説明したが、画素混合の代わりに画素間引きしても同様に適用できる。例えば、３画素に対して２画素を間引きして１画素にする場合には、各実施の形態において読み出し順序を「Ｖ３、Ｖ１、Ｖ５」とするときには「Ｖ３、Ｖ１」を間引きし、各実施の形態において読み出し順序を「Ｖ１、Ｖ５、Ｖ３」とするときには「Ｖ１、Ｖ５」を間引きし、各実施の形態において読み出し順序を「Ｖ５、Ｖ３、Ｖ１」とするときには「Ｖ５、Ｖ３」を間引きすればよい。
（変形例３）
本明細書では画素混合機能と手ブレ補正機能とを同時に行う場合について説明したが、画素混合の代わりに、一部を混合し一部を間引きしても同様に適用できる。例えば、３画素に対して１画素を間引きして２画素を混合する場合には、各実施の形態において読み出し順序を「Ｖ３、Ｖ１、Ｖ５」とするときには「Ｖ３」を間引きして「Ｖ１、Ｖ５」の順に混合し、各実施の形態において読み出し順序を「Ｖ１、Ｖ５、Ｖ３」とするときには「Ｖ１」を間引きして「Ｖ５、Ｖ３」の順に混合し、各実施の形態において読み出し順序を「Ｖ５、Ｖ３、Ｖ１」とするときには「Ｖ５」を間引きして「Ｖ３、Ｖ１」の順にを混合すればよい。
【００６６】
なお、変形例２及び３ではＶ１、Ｖ３、Ｖ５のうちから読み出さないゲートを設けることにより間引きを行うこととしたが、例えばＶ１の代わりにＶ１Ａ及びＶ１Ｂ、Ｖ３の代わりにＶ３Ａ及びＶ３Ｂ、Ｖ５の代わりにＶ５Ａ及びＶ５Ｂというように各ゲート毎に読出しゲートと間引きゲートとを設けてもよい。
【産業上の利用可能性】
【００６７】
本発明は、撮影に関する技術分野に広く適用することができる。本発明によって、家庭用及び業務用のビデオカメラにおける手ブレ補正等の有効画像領域の変更をともなう機能における分解能を数倍に高めることができるので、手ブレ補正時の画質向上に寄与することができその産業的利用価値は極めて高い。
【図面の簡単な説明】
【００６８】
【図１】本発明の実施の形態１におけるカメラの概要を示す図である。
【図２】固体撮像素子１１の内部構成の概略を示す図である。
【図３】φＶ１〜φＶ６クロック信号のパターンを示す図であり、読み出し順序が「Ｖ３、Ｖ１、Ｖ５」のときに対応する。
【図４】φＶ１〜φＶ６クロック信号のパターンを示す図であり、読み出し順序が「Ｖ１、Ｖ５、Ｖ３」のときに対応する。
【図５】φＶ１〜φＶ６クロック信号のパターンを示す図であり、読み出し順序が「Ｖ５、Ｖ３、Ｖ１」のときに対応する。
【図６】本発明の実施の形態１のカメラによる、現フィールドの映像情報がフォトダイオード１から出力された直後から、次フィールドの映像情報を出力するまでの処理の手順を示す図である。
【図７】本>発明の実施の形態２におけるカメラ２０の概要を示す図である。
【図８】本発明の実施の形態２>のカメラ２０による、前フィールドに対応する電荷が固体撮像素子１１から出力された直後から、対象フィールドの映像信号を出力するまでの対象フィールドに関する処理の手順を示す図である。
【図９】本発明の実施の形態３におけるカメラ３０の概要を示す図である。
【図１０】本発明の実施の形態３のカメラ３０による、前フィールドに対応する電荷が固体撮像素子１１から出力された直後から、対象フィールドの映像信号を出力するまでの対象フィールドに関する処理の手順を示す図である。
【図１１】ノンインターレース制御におけるφＶ１〜φＶ６クロック信号の画素混合時のパターンを示す図であり、読み出し順序が「Ｖ３、Ｖ１、Ｖ５」のときに対応する。
【図１２】ノンインターレース制御におけるφＶ１〜φＶ６クロック信号の画素混合時のパターンを示す図であり、読み出し順序が「Ｖ１、Ｖ５、Ｖ３」のときに対応する。
【図１３】ノンインターレース制御におけるφＶ１〜φＶ６クロック信号の画素混合時のパターンを示す図であり、読み出し順序が「Ｖ５、Ｖ３、Ｖ１」のときに対応する。
【符号の説明】
【００６９】
１    フォトダイオード
２    垂直転送部
３    水平転送部
４    電荷検出部
１０    カメラ
１１    固体撮像素子
１２    前処理ＩＣ
１３    デジタル信号処理回路
１４    ベクトル検出回路
１５    システム制御回路
１６    タイミングジェネレータ
１７    クロックドライバ
１８    光学系部品群
１９    駆動ユニット
２０    カメラ
２１    デジタル信号処理回路
２２    システム制御回路
２３    画像メモリ
２４    タイミングジェネレータ
２５    クロックドライバ
２６    駆動ユニット
３０    カメラ
３１    デジタル信号処理回路
３２    システム制御回路
３３    画像メモリ
３４    タイミングジェネレータ
３５    クロックドライバ
３６    駆動ユニット
【図１】
2007096514.tif 000003
【図２】
2007096514.tif 000004
【図３】
2007096514.tif 000005
【図４】
2007096514.tif 000006
【図５】
2007096514.tif 000007
【図６】
2007096514.tif 000008
【図７】
2007096514.tif 000009
【図８】
2007096514.tif 000010
【図９】
2007096514.tif 000011
【図１０】
2007096514.tif 000012
【図１１】
2007096514.tif 000013
【図１２】
2007096514.tif 000014
【図１３】
2007096514.tif 000015