(57)【要約】【課題】１つの固体撮像装置を用いて、動被写体の高速追尾と観賞用の高品位な撮像を行なうことが可能なカメラシステムを実現する。【解決手段】固体撮像装置１とカメラ信号処理装置２とを備えるカメラシステムの構成として、固体撮像装置１は、複数の画素８を行列状が２次元配置された画素アレイ部６、画素アレイ部６から間引きモードで画素信号をｎ回（ｎは２以上の整数）読み出すごとに、画素アレイ部６から全画素読み出しモードで画素信号を１回読み出すように制御する制御手段とを備え、カメラ信号処理装置２は、ｎ回の間引き読み出しによって得られる画像を用いて、被写体の動き検出を行なう信号処理部を備える。【選択図】図１
2008172606.tif 000002
【特許請求の範囲】
【請求項１】
複数の画素が行列状に２次元配置された画素アレイ部と、
前記画素アレイ部から第１の画素数をもって画素信号を読み出す第１の読み出しモードと、前記画素アレイ部から前記第１の画素数よりも少ない第２の画素数をもって画素信号を読み出す第２の読み出しモードとを有し、前記第２の読み出しモードで画素信号をｎ回（ｎは２以上の整数）読み出すごとに、前記第１の読み出しモードで画素信号を１回読み出すように制御する制御手段と
を備えることを特徴とする固体撮像装置。
【請求項２】
前記第１の読み出しモードは全画素読み出しモードであり、前記第２の読み出しモードは間引き読み出しモードである
ことを特徴とする請求項１記載の固体撮像装置。
【請求項３】
複数の画素を行列状が２次元配置された画素アレイ部と、前記画素アレイ部から第１の画素数をもって画素信号を読み出す第１の読み出しモードと、前記画素アレイ部から前記第１の画素数よりも少ない第２の画素数をもって画素信号を読み出す第２の読み出しモードとを有し、前記第２の読み出しモードで画素信号をｎ回（ｎは２以上の整数）読み出すごとに、前記第１の読み出しモードで画素信号を１回読み出すように制御する制御手段とを備える固体撮像装置と、
前記ｎ回の読み出しによって得られる画像を用いて、被写体の動き検出を行なう信号処理装置と
を具備することを特徴とするカメラシステム。
【請求項４】
前記信号処理装置は、前記ｎ回の読み出しによって得られる画像の差分を二値化するとともに、前記二値化した画像の重心をモーメント計算により求め、その重心の移動を画像内で追跡することにより、前記被写体の動き検出を行なう
ことを特徴とする請求項３記載のカメラシステム。
【請求項５】
前記被写体の動き検出に基づいて、前記固体撮像装置の画素アレイ部の読み出し開始画素を変化させる
ことを特徴とする請求項３記載のカメラシステム。
【請求項６】
前記固体撮像装置を搭載する雲台を具備し、
前記被写体の動き検出に基づいて、前記雲台の方向を変化させる
ことを特徴とする請求項３記載のカメラシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、固体撮像装置とこれを用いたカメラシステムに関する。
【背景技術】
【０００２】
動いている被写体（以下、「動被写体」とも記す）を常に画角の中心に収めたい場合、例えば運動会などで我が子の撮影を行ないたい場合に、現状の固体撮像装置を用いたカメラシステムでは、撮影者が被写体を常に画角に収めるように意識して撮影しなければならない。このため、撮影に不自由を強いられることが多い。
【０００３】
また近年では、セキュリティ用途で固体撮像装置を用いた監視カメラが注目されている。例えば、港湾施設や空港施設では、テロなどの犯罪行為や自然災害などを監視する目的で、複数の監視カメラを用いた多点監視が一般的である。しかし、この場合、複数の監視カメラが必要であり、その設置コストが膨大になり、また多数の画像を監視することが難しい場合がある。そのため、これらの用途で、動いている被写体を動き検出し、それを画角に収める自動追尾カメラが用いられている。
【０００４】
このような自動追尾カメラに関する従来技術として、例えば特許文献１に記載された技術が知られている。この技術は、カメラで撮影される２フレーム分の画像を画像メモリに記憶し、そのフレーム画像から差画像を求めて、動被写体の移動量及び移動範囲を算出し、それに基づいて画像プロセッサ及びＣＰＵを介して雲台駆動コントローラに指示を送り、カメラの撮影方向を動被写体の移動方向に追尾させるものである。
【０００５】
【特許文献１】特開２０００−１７５１０１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記従来技術においては、２フレーム分の画像を取得するにあたって、例えば、カメラのフレームレートが３０（フレーム／秒）であるとすると、１／３０秒に１枚の画像しか得られないため、高速に移動する動被写体に対しては自動追尾が困難であるという欠点がある。さらには、差画像を求める際に必要な演算量は画像の画素数に比例して増大するため、高解像度の画像を取得しようとすると、フレーム間隔での演算処理が困難である場合や、演算に要する消費電力が増大する欠点がある。また、これらの欠点を解消するために、例えば、画素数を少なくして高速撮像を可能にし、演算量を少なくすると、通常の観賞用の撮像に対して、画素数が少なくなることによる解像度の低下など画質の劣化が生じてしまう。
【０００７】
本発明は、上記課題を解決するためになされたもので、その目的とするところは、１つの固体撮像装置を用いて、動被写体の高速追尾と観賞用の高品位な撮像を行なうことが可能なカメラシステムを実現することにある。
【課題を解決するための手段】
【０００８】
本発明に係る固体撮像装置は、複数の画素が行列状に２次元配置された画素アレイ部と、前記画素アレイ部から第１の画素数をもって画素信号を読み出す第１の読み出しモードと、前記画素アレイ部から前記第１の画素数よりも少ない第２の画素数をもって画素信号を読み出す第２の読み出しモードとを有し、前記第２の読み出しモードで画素信号をｎ回（ｎは２以上の整数）読み出すごとに、前記第１の読み出しモードで画素信号を１回読み出すように制御する制御手段とを備えるものである。また、本発明に係るカメラシステムは、上記構成の固体撮像装置と、前記ｎ回の読み出しによって得られる画像を用いて、被写体の動き検出を行なう信号処理装置とを具備するものである。
【０００９】
本発明に係る固体撮像装置とこれを用いたカメラシステムにおいては、固体撮像装置を駆動するにあたって、第２の読み出しモードで画素信号をｎ回読み出すごとに、第１の読み出しモードで画素信号を１回読み出すことにより、第１の読み出しモードに基づく画素信号の読み出しと第２の読み出しモードに基づくｎ回の画素信号の読み出しを無間欠に行なえるようになる。このため、第２の読み出しモードで読み出したｎ回分の画素信号に基づく画像を用いて被写体の動き検出を行ないながら、第１の読み出しモードで読み出した１回の画素信号に基づく画像を観賞用の画像として取り込むことが可能となる。
【発明の効果】
【００１０】
本発明によれば、１つの固体撮像装置を用いて、動被写体の高速追尾と観賞用の高品位な撮像を行なうことが可能なカメラシステムを実現することができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の具体的な実施の形態について図面を参照しつつ詳細に説明する。
【００１２】
図１は本発明の実施形態に係るカメラシステムの全体構成図である。このカメラシステムは、大きくは、固体撮像装置１と、カメラ信号処理装置２と、画像メモリ３と、表示装置４と、雲台５とを備えた構成となっている。
【００１３】
固体撮像装置１は、例えば、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサを用いて構成されるものである。固体撮像装置１は、画素アレイ部６と、垂直走査回路７と、カラムアンプ８と、水平走査回路９と、画素駆動コントローラ１０とを備えた構成となっている。
【００１４】
画素アレイ部６には、複数の単位画素（以下、単に「画素」と記す）が行列状に２次元配置されている。垂直走査回路７は、画素アレイ部６の各画素を行単位で順に選択走査し、その選択行の各画素を駆動するものである。カラムアンプ８は、画素アレイ部６内の各画素から出力される信号に対して、画素固有の固定パターンノイズを除去するためのＣＤＳ(Correlated Double Sampling;相関二重サンプリング)や信号増幅などの処理を行なうものである。
【００１５】
水平走査回路９は、カラムアンプ８で処理された１行分の画素信号を、水平走査によって順に水平信号線に出力させるものである。水平信号線に出力された画素信号は、映像信号としてカメラ信号処理装置２に出力される。画素駆動コントローラ１０は、カメラ信号処理装置２から入力される画素駆動信号に応じて、垂直走査回路７及び水平走査回路９に、それぞれ画素を駆動するための制御信号を送るものである。
【００１６】
カメラ信号処理装置２は、マイクロプロセッサ１１と、Ａ／Ｄコンバータ１２と、カメラ信号処理部１３と、駆動処理部１４と、観賞用信号処理部１５とを備えた構成となっている。このうち、カメラ信号処理部１３、駆動処理部１４及び観賞用信号処理部１５は、それぞれＤＳＰ(Digital signal processor)によって構成されている。
【００１７】
マイクロプロセッサ１１は、カメラ信号処理装置２全体の処理を制御するものである。Ａ／Ｄコンバータ１２は、固体撮像装置１からカメラ信号処理装置２に入力される映像信号の形態を、アナログ信号からデジタル信号に変換するものである。
【００１８】
カメラ信号処理部１３は、Ａ／Ｄコンバータ１２で変換された映像信号に対して、例えばオフセット(クランプ)調整、ホワイトバランス、デモザイクなどのカメラ信号処理を行なうものである。カメラ信号処理を行なった撮像データは、画像データとして画像メモリ３に記憶される。間引き読み出しモードの場合は、画像メモリ３に記憶された画像データがカメラ信号処理部１３や駆動処理部１４に読み出される。カメラ信号処理部１３では、画像メモリ３から読み出した画像データを用いて、被写体の動き検出にかかる処理を行なう。また、駆動処理部１４では、画像メモリ３から読み出した画像データを用いて、画素駆動信号又は雲台駆動信号を生成する処理を行なう。全画素読み出しモードの場合は、画像メモリ３に記憶された画像データが観賞用信号処理部１５に読み出される。観賞用信号処理部１５では、画像メモリ３から読み出した画像データを、例えば表示装置４などに出力する処理を行なう。表示装置４は、カメラシステムとは別に外部の装置としてカメラ信号処理装置２に接続されてもよい。
【００１９】
駆動処理部１４で生成された画素駆動信号は、固体撮像装置１の画素駆動コントローラ１０に入力される。また、駆動処理部１４で生成された雲台駆動信号は、雲台５に入力される。
【００２０】
雲台５は、固体撮像装置１を搭載するとともに、固体撮像装置１の撮像方向を変えるべく駆動するものである。雲台５は、雲台駆動装置１６と、雲台駆動コントローラ１７とを備えた構成となっている。雲台駆動コントローラ１７には、上記雲台駆動信号が入力される。雲台駆動コントローラ１７は、雲台駆動信号に基づいて雲台駆動装置１６を駆動するものである。雲台駆動装置１６は、固体撮像装置１の撮像方向を変えるために駆動されるものである。
【００２１】
図２は固体撮像装置の内部回路の構成例を示す概略図である。画素アレイ部６に行列状に２次元配置された各々の画素（単位画素）１８は、光電変換素子となるフォトダイオードＰＤに加えて、転送トランジスタＴｒ１、リセットトランジスタＴｒ２、増幅トランジスタＴｒ３及び選択トランジスタＴｒ４といった４つのＭＯＳ(Metal Oxide Semiconductor)トランジスタを有する画素回路となっている。また、各々の画素１８には、転送配線Ｌ１、リセット配線Ｌ２及び行選択配線Ｌ３が同一行の画素に対して共通に配線されている。また、各々の画素１８には、垂直信号線Ｌ４が同一列の画素に対して共通に配線されている。
【００２２】
画素アレイ部６の各画素１８を駆動する場合は、垂直走査回路７からリセット信号rst、転送信号trg及び行選択信号selが出力される一方、水平走査回路９から列選択信号hが出力される。図２においては、i行目の単位画素１８に対して垂直走査回路７から出力されるリセット信号rst、転送信号trg及び行選択信号selには添え字iを、j列目の単位画素１８に対して水平走査回路９から出力される列選択信号ｈには添え字jを付している。このため、例えば、画素アレイ部６の画素配列がＶＧＡ（６４０画素×４８０画素）であるとすると、i＝１，２，…，４８０、j＝１，２，…，６４０までの値をとることになる。
【００２３】
固体撮像装置１は、画素アレイ部６の各画素から画素信号を読み出す場合の読み出しモードとして、第１の読み出しモードと第２の読み出しモードとを有している。第１の読み出しモードは、画素アレイ部６から第１の画素数をもって画素信号を読み出す読み出しモードであり、第２の読み出しモードは、画素アレイ部６から第１の画素数よりも少ない第２の画素数をもって画素信号を読み出す読み出しモードである。本実施形態においては、第１の読み出しモードとして全画素読み出しモードを適用するとともに、第２の読み出しモードとして間引き読み出しモードを適用することとする。全画素読み出しモードは、観賞用の読み出しモードとなり、間引き読み出しモードは、高速追尾用の読み出しモードとなる。読み出しモードの切り替えは、画素駆動コントローラ１０によって行なわれる。
【００２４】
図３は画素アレイ部の各画素を全画素読み出しモードで駆動する場合のタイミングチャートである。全画素読み出しの場合は、信号XHSの立ち下がりをトリガとして、画素アレイ部６のi行目の画素の駆動が開始される。i行目の画素行においては、まず、行選択信号seliが立ち上がることで、i行目の画素出力が有効になる。次に、画素のリセット信号rstiが立ち上がることで、i行目の画素からリセット信号rstiが読み出される。次に、転送信号trgiが立ち上がることで、i行目の画素から画素信号が読み出される。
【００２５】
次に、画素信号とリセット信号の差分をＣＤＳ処理した後の画素信号をサンプリング/ホールドし、この状態で列選択信号hjが立ち上がることで、j列目の画素信号が映像信号として出力される。こうした画素の駆動動作をi+1、i+2、…、と順に行ない、それぞれにj、j+1、j+2、…、と列方向に選択することで、画素アレイ部６の全画素に対応する映像信号が出力される。
【００２６】
図４は画素アレイ部の各画素を間引き読み出しモードで駆動する場合のタイミングチャートである。間引き読み出しの場合は、信号XHSの立ち下がりをトリガとして、画素アレイ部６のi行目の画素の駆動が開始される。そして、全画素読み出しの場合と同様にして、j列目の画素信号が映像信号として出力される。その際、列選択信号hj+1を立ち上げないことで、j+1列目の画素信号を映像信号として出力させないようにする。さらに次の信号XHSの立ち下がりのときに、i+1行目の行選択信号seli+1、リセット信号rsti+1及び転送信号trgi+1を立ち上げないことで、i+1行目の画素を選択しないようにする。これにより、間引き読み出しが実現される。
【００２７】
間引き読み出しの場合は、固体撮像装置１から出力される映像信号の画素数が全画素読み出しの場合よりも少なくなる。このため、間引き読み出しでは、全画素読み出しよりも高速な撮像が行なえることになる。例えばi、i+2、i+4、…、のように偶数行選択をした間引き駆動を行なった場合は、全画素読み出しよりも２倍高速な撮像を実現できることになる。
【００２８】
図５（Ａ）は画素アレイ部の画素配列に対応した色フィルタ配列の一例を示す図である。図示した色フィルタの配列は、固体撮像装置１でよく用いられるベイヤー配列と呼ばれるもので、光の３原色であるＲ（赤）、Ｇ（緑）、Ｂ（青）の原色フィルタを用いて、ある行ではＢ，Ｇ，Ｂ，Ｇ，…の配列とし、次の行ではＲ，Ｂ，Ｒ，Ｂ，…の配列としている。全画素読み出しの場合は、もともとの色フィルタと同様のベイヤー配列で画素信号が読み出される。
【００２９】
一般に、間引き読み出しを行なう場合は、間引き後の画素信号の色配列も、全画素読み出しの場合と同様のベイヤー配列を保つようにすることが多い。これは色信号処理を同一のアルゴリズムで行えるようにするためである。そこで、間引きを行う場合は、例えば図５（Ｂ）に示すように、垂直方向では画素信号の読み出し行が２画素おきとなるように３行に１行を読み出し、水平方向でも画素信号の読み出し列が２画素おきとなるように３列に１列を読み出すことにより、間引き後の画素信号の色配列を全画素読み出しの場合と同様のベイヤー配列に保つことができる。なお、図５（Ｂ）においては、間引きモードで信号の読み出しが行なわれる画素部分を網掛け模様で表示している。
【００３０】
このような間引き読み出しを行なった場合は、実際に駆動する画素数が全画素読み出しに比較して少なくなるため、その分、フレームレートを高めることができる。図５（Ｂ）の例では、３行に１行を読み出しているため、全画素読み出しに比較してフレームレートが３倍高速になる。この図５（Ｂ）の例以外にも、例えば、信号の間引き動作と加算動作を組み合わせることで、間引き動作を行いつつ感度を向上させた読み出しも可能である。
【００３１】
図６は固体撮像装置の信号読み出し動作を示すタイミングチャートである。ここでは、一例として、画素アレイ部の画素行が８行で構成された固体撮像装置を想定している。まず、画素信号の読み出しは、信号XVSの立ち下がりをトリガとして開始される。すなわち、信号XVSが立ち下がると、信号XHSが立ち下がるたびに偶数番目(i=2,4,6,8)の画素行から順に画素信号が読み出される。この場合は、奇数番目(i=1,3,5,7)の画素行を間引くことになる。こうした間引き読み出しを信号XVSが立ち下がるたびに４回続けて繰り返すことにより、追尾用の間引き読み出しをフレーム１〜フレーム４まで４回行なう。
【００３２】
次に、第１のリセット動作として、４回の間引き読み出し後の信号XVSの立ち下がりをトリガとして、信号XHSが立ち下がるたびに全ての画素行から順に画素信号が読み出される。固体撮像装置１にＣＭＯＳイメージセンサを用いた場合は、同時読み出しが行えないため、フレームレートが異なるフレーム間の読み出しでは、露光時間の異なる行が存在してしまう。そのため、ここでは追尾用の間引き読み出しフレームと観賞用の全画素読み出しフレームとの間にリセット動作として、一旦全ての画素行から画素信号を読み出すようにしている。
【００３３】
次に、第１のリセット動作後の信号XVSの立ち下がりをトリガとして、信号XHSが立ち下がるたびに全ての画素行から順に画素信号が読み出される。これにより、観賞用の全画素読み出しを１回行なう。
【００３４】
次に、第２のリセット動作として、全画素読み出し後の信号XVSの立ち下がりをトリガとして、信号XHSが立ち下がるたびに偶数番目(i=2,4,6,8)の画素行から順に画素信号が読み出される。以降は、上述した４フレーム分の追尾用の間引き読み出し、第１のリセット動作、１フレーム分の観賞用の全画素読み出し、第２のリセット動作を順に繰り返すことになる。
【００３５】
こうして画素アレイ部６の各画素から読み出された画素信号は、上述した４回の間引き読み出しや１回の全画素読み出しに対応する各フレームの画像を表す映像信号として固体撮像装置１からカメラ信号処理装置２に転送される。その際、固体撮像装置１は、図７に示すように、追尾用に間引き読み出しを行ないながら、カメラ信号処理装置２に映像信号を転送する。一方、カメラ信号処理装置２では、固体撮像装置１から送られた映像信号が表す画像のうち、上述した４回の間引き読み出しによって得られる画像を用いて、被写体の動き検出を行なう。これにより、固体撮像装置１とカメラ信号処理装置２とを含むカメラシステムにおいては、追尾用の間引き読み出しと被写体の動き検出を同時に行なっている。
【００３６】
図８は本発明の実施形態に係るカメラシステムに適用される処理手順を示すフローチャートである。まず、固体撮像装置１で４回のうちの１回目の間引き読み出しを行なうことにより、間引き読み出しフレーム１の画像信号を生成するとともに、この画像信号をカメラ信号処理装置２に転送することにより、間引き読み出しフレーム１の画像信号（以下、「フレーム画像１」と記す）を画像メモリ３に取り込む（ステップＳ１）。
【００３７】
次に、固体撮像装置１で４回のうちの２回目の間引き読み出しを行なうことにより、間引き読み出しフレーム２の画像信号を生成するとともに、この画像信号をカメラ信号処理装置２に転送することにより、間引き読み出しフレーム２の画像信号（以下、「フレーム画像２」と記す）を画像メモリ３に取り込む（ステップＳ２）。
【００３８】
次に、カメラ信号処理装置２では、画像メモリ３に格納したフレーム画像１とフレーム画像２の差分をカメラ信号処理部１３で演算し、その演算結果を二値化する（ステップＳ３）。これにより、フレーム画像１，２に動被写体が含まれる場合は、この動被写体の画像が二値化によって抽出される。その際に、カメラ信号処理部１３の演算処理方法によっては、内部レジスタに被写体の座標を書き込みなどして、フレーム画像２を画像メモリ３に取り込む場合と取り込まない場合がある。
【００３９】
次に、カメラ信号処理装置２では、上記ステップＳ３で二値化した画像の重心１をカメラ信号処理部１３で計算し、この計算結果を画像メモリ３に取り込む（ステップＳ４）。
【００４０】
図９は重心計算の原理を説明する図である。重心の計算では、２つのフレーム画像の差分演算と二値化によって得られる動被写体の画像データを、ある間隔のメッシュに分割し、そのメッシュの座標を（Ｘm，Ｙn）とする（m,nは共に整数）。そして、メッシュ座標（Ｘm，Ｙn）上に動被写体の画像データが存在する場合は、ａmn＝１とし、存在しない場合は、ａmn＝０とする。このようにすると、二値化した動被写体の重心の座標（Ｘ，Ｙ）は、次の（数１）式によって計算することができる。
【００４１】
【数１】
2008172606.tif 000003
【００４２】
次に、固体撮像装置１で４回のうちの３回目の間引き読み出しを行なうことにより、間引き読み出しフレーム３の画像信号を生成するとともに、この画像信号をカメラ信号処理装置２に転送することにより、間引き読み出しフレーム３の画像信号（以下、「フレーム画像３」と記す）を画像メモリ３に取り込む（ステップＳ５）。
【００４３】
次に、固体撮像装置１で４回のうちの４回目の間引き読み出しを行なうことにより、間引き読み出しフレーム４の画像信号を生成するとともに、この画像信号をカメラ信号処理装置２に転送することにより、間引き読み出しフレーム４の画像信号（以下、「フレーム画像４」と記す）を画像メモリ３に取り込む（ステップＳ６）。
【００４４】
次に、カメラ信号処理装置２では、画像メモリ３に格納したフレーム画像３とフレーム画像４の差分をカメラ信号処理部１３で演算し、その演算結果を二値化する（ステップＳ７）。これにより、フレーム画像３，４に動被写体が含まれる場合は、この動被写体の画像が二値化によって抽出される。
【００４５】
次に、カメラ信号処理装置２では、上記ステップＳ７で二値化した画像の重心２を、前述した重心計算の原理にしたがってカメラ信号処理部１３で計算し、この計算結果を画像メモリ３に取り込む（ステップＳ８）。
【００４６】
次に、カメラ信号処理装置２では、上記ステップＳ４で画像メモリ３に取り込んだ画像の重心１と上記ステップＳ８で画像メモリ３に取り込んだ画像の重心２とに基づいて、重心１から重心２への重心移動ベルトをカメラ信号処理部１３で計算する（ステップＳ９）。
【００４７】
次に、カメラ信号処理装置２では、上記ステップＳ９で求めた重心移動ベクトルに基づいて、次のフレームで推定される移動ベクトルをカメラ信号処理部１３で計算する（ステップＳ１０）。具体的には、上記ステップＳ９で求めた重心移動ベルトを、当該重心移動ベクトルのベクトル方向に２倍したところが、次のフレームで推定される重心の移動位置（次のフレームの移動ベクトル）となる。
【００４８】
図１０は動き検出の処理内容を模式的に示す図である。図１０においては、フレーム間の演算により、動いている被写体の重心を求め、この重心の動きから次のフレームにおける被写体の移動を予測する原理を示している。具体的には、フレーム画像１とフレーム画像２との差分演算と二値化により、動被写体の画像を抽出した後、重心計算によって動被写体の画像の重心１を計算する。次に、フレーム画像３とフレーム画像４との差分演算と二値化により、動被写体の画像を抽出した後、重心計算によって動被写体の画像の重心２を計算する。その後、重心１から重心２への移動ベクトルを計算した後、次のフレームで推定される重心の移動ベクトルを求める。なお、図１０においては、フレーム画像２とフレーム画像３を共通の画像であるように示しているが、実際には異なるタイミングで撮像された画像となる。
【００４９】
その後、カメラ信号処理装置２では、上記ステップＳ１０で推定した次のフレームでの重心移動位置が、間引き読み出しを行なった画素（以下、「間引き画素」と記す）の画角内に収まるかどうかをカメラ信号処理部１３で判定する（ステップＳ１１）。そして、次のフレームの重心移動位置が間引き画素の画角内に収まる場合は、上記ステップＳ１０で推定した移動ベクトルと同じだけ画角を変化させるために必要な画素駆動信号を計算するとともに、この画素駆動信号を固体撮像装置１に転送する（ステップＳ１２）。
【００５０】
これにより、次のフレーム（全画素読み出しのフレーム）では、動被写体が画角の中心にくるように、固体撮像装置１の画素アレイ部６で画素信号の読み出しが開始される画素（以下、「読み出し開始画素」と記す）を変化させることができる。具体的には、画素アレイ部６のすべての画素のうち、ある１つの画素を読み出し開始画素として画素アレイ部６内に所定の大きさで矩形の撮像領域を設定し、この撮像領域の大きさで画角を規定する場合、図１１に示すように、あるタイミングで全画素読み出しにより撮像されるフレーム画像Ａでは、画素アレイ部６上の座標（Ｈａ，Ｖａ）で示す画素を読み出し画素として撮像するのに対して、次のタイミングで全画素読み出しにより撮像されるフレーム画像Ｂでは、読み出し開始画素の位置を行方向と列方向で変化させることにより、画素アレイ部６上の座標（Ｈｂ，Ｖｂ）で示す画素を読み出し開始画素として撮像する。この読み出し開始画素の変化は、前述の動き検出の結果を用いて行なうため、被写体が動いている場合でも、読み出し開始画素を変化させることで、簡単に被写体を画角内に収めることができる。
【００５１】
一方、次のフレームの重心移動位置が間引き画素の画角内に収まらない場合は、上記ステップＳ１０で推定した移動ベクトルと同じだけ画角を変化させるために必要な雲台駆動信号を計算するとともに、この雲台駆動信号を雲台５に転送することにより、雲台５を駆動する（ステップＳ１３，Ｓ１４）。
【００５２】
これにより、次のフレーム（全画素読み出しのフレーム）では、動被写体が画角の中心にくるように、雲台５の方向を変化させることができる。具体的には、図１２に示すように、固体撮像装置１を搭載した雲台５の方向を、パン方向及びチルト方向に適宜変化させることで、簡単に被写体を画角内に収めることができる。
【００５３】
このように画角を変化させた後は、ユーザからの撮像指示を受けて固体撮像装置１が１回の全画素読み出しを行なうことにより、全画素読み出しフレームの画像信号を生成するとともに、この画像信号をカメラ信号処理装置２に転送する（ステップＳ１５，Ｓ１６）。その後は、上記ステップＳ１に戻って同様の処理を繰り返す。また、ユーザからの撮像指示がない場合は、全画素読み出しを行なわずに、上記ステップＳ１に戻る。
【００５４】
以上の処理により、常に動被写体が画角内に収まるように制御することができる。したがって、例えば、シャッターオンなどのユーザからの撮像要求や、あるフレーム数の追尾用の間引き読み出しを行なった後に、観賞用の全画素読み出しを行なうことにより、常に動被写体が画角中に存在している良質な画像を得ることができる。
【００５５】
また、本発明により、動被写体が常に全画素読み出しの画角内に収まるような撮像が可能なカメラシステムを実現することができる。また、追尾用の撮像は間引き読み出しで行なうため、高速なフレームの撮像を実現することができる。このため、高速に移動する動被写体の追尾が可能である。また、動被写体の追尾に対して演算量を減少させることができるため、信号処理の負担(回路規模、消費電力など)を減らすことができる。また、演算で使用する外部メモリの容量を低減することができる。
【００５６】
さらに、観賞用の撮像は全画素読み出しで行なうため、解像度の高い良質な画像を得ることができる。また、追尾の演算結果に応じて、画素アレイ部６の読み出し開始画素を変化させるか、雲台５を駆動するかを切り替えるようにしているため、常に雲台５の駆動によって画角を変化させる場合に比較して、雲台５の駆動にかかる消費電力を低減することができる。また、追尾の演算結果により、全画素読み出しの際に、全画素読み出しによって得られるフレーム画像のなかで動被写体がいずれの位置にあるかを認識することができるため、ユーザーの好みの画像が得られる。
【図面の簡単な説明】
【００５７】
【図１】本発明の実施形態に係るカメラシステムの全体構成図である。
【図２】固体撮像装置の内部回路の構成例を示す概略図である。
【図３】画素アレイ部の各画素を全画素読み出しモードで駆動する場合のタイミングチャートである。
【図４】画素アレイ部の各画素を間引き読み出しモードで駆動する場合のタイミングチャートである。
【図５】画素アレイ部の画素配列に対応した色フィルタ配列の一例と間引き読み出しを行なう画素配列の一例を示す図である。
【図６】固体撮像装置の信号読み出し動作を示すタイミングチャートである。
【図７】固体撮像装置とカメラ信号処理装置の動作例を示す図である。
【図８】本発明の実施形態に係るカメラシステムに適用される処理手順を示すフローチャートである。
【図９】重心計算の原理を説明する図である。
【図１０】動き検出の処理内容を模式的に示す図である。
【図１１】読み出し開始画素を変化させて、画角を変化させる例を示す図である。
【図１２】雲台の方向を変化させて、画角を変化させる例を示す図である。
【符号の説明】
【００５８】
１…固体撮像装置、２…カメラ信号処理装置、５…雲台、６…画素アレイ部、８…画素、１０…画素駆動コントローラ
【図１】
2008172606.tif 000004
【図２】
2008172606.tif 000005
【図３】
2008172606.tif 000006
【図４】
2008172606.tif 000007
【図５】
2008172606.tif 000008
【図６】
2008172606.tif 000009
【図７】
2008172606.tif 000010
【図８】
2008172606.tif 000011
【図９】
2008172606.tif 000012
【図１０】
2008172606.tif 000013
【図１１】
2008172606.tif 000014
【図１２】
2008172606.tif 000015