(57)【要約】【課題】従来の撮像装置はビデオのフレームレートが一定であり被写体の動きや変化が速い場合に、動きブレや動きの予測に誤差が発生する。被写体追尾やブレ補正のために、シャッタ時間を短くすると光量不足によりＳ／Ｎ比が悪くなり、画質が劣化する。【解決手段】本発明は、被写体の移動速度が閾値と比較して、閾値以下であれば、タイミングジェネレータ９を読み出しタイミングを通常の読み出しモードで駆動し、閾値以上であれば、画素値加算読み出しモードに切り換えて、シャッタ速度を速く且つ同色の画素値を加算して露光量を補うことにより、被写体１が移動し且つ露光量が十分取れる撮像条件下ではシャッタ速度の制御により撮像を行い、被写体が移動し且つ露光量が不十分な撮像条件下では、画素値加算読み出しモード及びシャッタ速度の制御により撮像を行う撮像装置である。【選択図】    図１
2006217355.tif 000002
【特許請求の範囲】
【請求項１】
動きのある被写体を撮像する撮像装置であって、
前記被写体を結像した被写体像を受光し、光電変換して撮像信号を出力する撮像手段と、
前記被写体の移動状態を示す特徴量を検出する移動検出手段と、
前記移動検出手段から得られた前記被写体像の特徴量に基づく前記被写体の移動速度、又は加速度に応じて、前記撮像手段からの撮像信号の読み出しモードを変更する手段と、
を有することを特徴とする撮像装置。
【請求項２】
前記被写体に装着された固有の被写体信号又は被写体位置情報を発信するタグを有し、
前記移動検出手段は、前記タグによる前記被写体信号又は前記被写体位置情報に基づき検出された被写体の位置を前記被写体の特徴量とすることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記被写体の移動速度又は加速度は、前記画像特徴のフレーム間での差異によるオプチカルフローにより算出されることを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記撮像手段は、少なくとも３色の色信号を出力する複数の画素がベイヤー配列された受光面を有する撮像素子を備え、
前記読み出しモード変更手段は、前記撮像素子の１画素の画素値を１クロックで読み出すフレームレートからなる第１の読み出しモードと、前記撮像素子における１つの画素と、該１つの画素の周辺に位置された少なくとも１つの同色の画素の撮像信号を加算して露光量を高め且つ、前記第１の読み出しモードにおける前記フレームレートよりも速いフレームレートで撮像信号を読み出す第２の読み出しモードを備え、
前記第１，第２の読み出しモードは、前記オプチカルフローの大きさ及び加速度によって切り換えられることを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記移動検出手段から得られた前記被写体像の特徴量に基づく被写体の位置を随時、検出して、前記被写体が前記撮像手段の画角内に存在するように、該被写体の移動を追尾するパン・チルト機能を有するカメラ方向制御手段を有することを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記読み出しモード変更手段は、前記第２の読み出しモードにおける水平走査読み出しの際に、前記ベイヤー配列された画素と、該画素と最も近い同色画素との２つの画素の撮像信号を加算して１つの撮像信号を生成することを特徴とする請求項４に記載の撮像装置。
【請求項７】
前記読み出しモード変更手段は、前記第２の読み出しモードにおける水平走査読み出しに加えて、垂直走査読み出しを行う際に、前記ベイヤー配列された画素と、該画素と最も近い同色画素との４つの画素の撮像信号を加算して１つの撮像信号を生成することを特徴とする請求項６に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動する被写体を撮像フレーム内に納めるように追従し、動きが滑らかで鮮明な画像を撮像する撮像装置に関する。
【背景技術】
【０００２】
一般に、被写体が移動する写真を撮像する場合に、その被写体を常に撮像カメラのフレーム内に納めるように追従して撮像したいという要望がある。従来、このような要望に対して、様々な被写体追従（追尾）技術が提案されている。
【０００３】
例えば、特許文献１には、カメラに備えられた撮像レンズが捉える被写界において、撮像者が注目している被写体を認識し、この被写体を追尾する技術が開示されている。これは、撮像者の眼球の動きに対応して変化する視線位置から、カメラの被写界内において撮像者が注視している位置を被写体の位置として検出し、この位置を追尾することで被写体の位置を安定して得るようにしたものである。
【０００４】
また、特許文献２には、被写体を常に画面の中央に位置させるようにビデオカメラを制御するビデオカメラの被写体追尾装置が開示されている。これは、撮像信号から輝度信号及びクロマ信号を形成し、これらの信号に所定の処理を施す。さらに、処理された信号を用いて被写体の特徴値を抽出し、この被写体特徴値から被写体の画面中心からの位置ずれ量を検出する。このずれ量に応じてパン・チルト機構を用いて、ビデオカメラを被写体の動きに追尾して動かし、被写体が常時表示画面の中央に位置するように制御するものである。
【０００５】
また、特許文献３においては、被写体の動きに追従しながら被写体の撮像を行う撮像カメラの被写体自動追従装置であって、被写体が保有する発信器からの信号を受信する受信器と、前記撮像手段をパン及びチルトさせる手段と、を有し、前記受信器が受信した信号及び前記被写体を認識する手段の認識結果に応じて前記撮像手段をパン及びチルトさせて被写体を自動的に追従するようにしたことを特徴とする撮像カメラの被写体自動追従装置を提供している。  
また、特許文献４においては、被写体の画像的な特徴を用いて被写体の追尾を行うと共に、画角からはずれないように、カメラのズームを連動させる機構を有している。
【特許文献１】特開平０５−５３０４３号公報
【特許文献２】特開平０８−１１６４８７号公報
【特許文献３】特開２００３−６９８８４
【特許文献４】登録第２６２２２３７号
【発明の開示】
【発明が解決しようとする課題】
【０００６】
前述した各特許文献に開示される撮像装置においては、被写体の動きを追従するに当たって、被写体が画角からはずれないようにするために、発信器の方向に応じて、カメラが運動したり、被写体の画像的な特徴の動きや加速度を測定し、予測によりカメラの運動方向を制御したり、ユーザにカメラの運動方向を指示したりするが、ビデオのフレームレートが一定であって被写体の動きや変化が速い場合に、動きブレが生じたり、動きの予測に誤差が出る場合がある。
【０００７】
一方、被写体の動きに追従して、撮影のフレームレートを上げる場合に、画素のサンプリングクロックを変更する方法が考えられるが、この場合、画素のサンプリングクロックの変更に伴い、カメラ内のアナログ信号処理の帯域、デジタル信号処理のクロックの変更などを対応させなければならず、ＬＳＩの規模の増加を伴う。
【０００８】
また、被写体を追尾するに当たり、ブレ補正のためにシャッタ速度を速くした場合には、光量不足によってＳ／Ｎ比が悪くなるという問題もある。
【０００９】
そこで本発明は、被写体追尾機構を備え、被写体の動きに合わせて撮像素子の動作モードを切り換えノイズの増加を抑えつつ、光電変換のゲインを増加し、高速シャッタ撮影を行い、さらに動きが滑らかで高品質な画像を撮像する撮像装置を提供する、また、本発明のもう一つの課題は、被写体の動きに合わせて撮像素子の動作モードを変更し高速連写撮影を提供することを目的とする。また本発明のさらなる課題は、前述の高速連写撮影モードでの撮影を行うに際して、画素のサンプリングのクロックレートを一定に保つ特徴を持つ撮像装置を提供する。
【課題を解決するための手段】
【００１０】
本発明は上記目的を達成するために、動きのある被写体を撮像する撮像装置であって、前記被写体を結像した被写体像を受光し、光電変換して撮像信号を出力する撮像手段と、前記被写体の移動状態を示す特徴量を検出する移動検出手段と、前記移動検出手段から得られた前記被写体像の特徴量に基づく前記被写体の移動速度、又は加速度に応じて、前記撮像手段からの撮像信号の読み出しモードを変更する手段とを有する撮像装置を提供する。
【００１１】
さらに、前記撮像手段は少なくとも３色の色信号を出力する複数の画素がベイヤー配列された受光面を有する撮像素子を備え、前記読み出しモード変更手段は、前記撮像素子の１画素の画素値を１クロックで読み出すフレームレートからなる第１の読み出しモードと、前記撮像素子における１つの画素と、該１つの画素の周辺に位置された少なくとも１つの同色の画素の撮像信号を加算して露光量を高め且つ、前記第１の読み出しモードにおける前記フレームレートよりも速いフレームレートで撮像信号を読み出す第２の読み出しモードを備え、前記第１，第２の読み出しモードは、前記オプチカルフローの大きさ及び加速度によって切り換えられる。
【００１２】
以上のような構成の撮像装置は、被写体の移動が閾値以上であれば、前記第１の読み出しモードよりも速い読み出しである第２の読み出しモードによる画素値加算読み出しモードに切り換えて、高速で移動する被写体に対して、フレームレートを上げて撮像し且つ画素値（撮像信号値）を高めて画像を撮像する。
【発明の効果】
【００１３】
本発明によれば、被写体追尾機構を備え、被写体の動きに合わせて撮像素子の動作モードを切り換え、動きが滑らかで高品質な画像を撮像する撮像装置を提供することができる。この撮像装置は、高速に移動する被写体に対応して、動きブレを補償する様に高速の電子シャッタを動作させ、且つ光量の不足を補い且つ動きブレが少なく動きが滑らかな画像を得ることができる。または画素値加算読み出しにより、高速に移動する被写体に対応して撮影のフレームレートが向上する。
【発明を実施するための最良の形態】
【００１４】
以下、図面を参照して本発明の実施形態について詳細に説明する。  
図１は、本発明の撮像装置に係る第１の実施形態の構成例を示し、図２は、撮像装置により撮像される被写体の概念を示す図である。図２に示す被写体１が装着しているタグ２は、無線例えば、異なるマイクロ波又は超音波による固有（ＩＤ）の被写体信号を発信する機能、又はＧＰＳ等を用いた位置検出装置を備えて位置情報信号を発信する機能等の発信機能を有している。尚、撮像装置と被写体との間に遮蔽するものが無ければ、赤外光等からなる光信号を用いてもよい。また、本実施形態では、画角内に１つのタグのみが存在するのであれば固有な被写体信号で無くともよいが、画角内に複数のタグが存在する場合には、ＩＤや識別機能を含む固有な被写体信号を利用して撮像すべき被写体を選択するように構成する。
【００１５】
本実施形態の撮像装置は、タグ２からの被写体信号又は位置情報信号を受信して被写体位置を検出する被写体位置検出部３と、被写体１の移動速度又は加速度を算出する移動速度・加速度演算部４と、光学系７と撮像デバイス８からなり被写体１を撮像するカメラ５と、移動速度・加速度からカメラ撮像時の被写体の位置を推定し、追尾するようにカメラ５の方向を制御するカメラ方向制御部６と、ズーミング機能及びオートフォーカス（ＡＦ）機能を有する撮像レンズからなる光学系７と、光学系７が結像した被写体光像を光電変換により撮像信号を生成する撮像デバイス８と、撮像デバイス８から後述する様態で撮像信号を画素値加算読み出しするタイミングジェネレータ９とで構成される。
【００１６】
上記移動速度・加速度演算部４は、被写体位置検出部３から出力された位置検出信号に基づき、被写体１の位置の時間的な変化から移動速度あるいは加速度を算出する。移動速度及び、加速度の計算に関しては、一般的な位置情報の時系列データからどちらも求めることができる。尚、被写体１の位置検出を行う際に被写体１の移動方向を予測する機能を付加してもよい。
【００１７】
カメラ方向制御部６は、カメラを載置する載置台（図示せず）と、その載置台をパン・チルト（水平方向及び垂直方向）に移動させるパン・チルト機構（図示せず）を備えている。このパン・チルト機構は、ベアリング等を用いて滑らかに載置台が動くように工夫されており、モータ等の駆動源により載置台の角度が変化される。検出した移動速度・加速度からカメラ撮像時の被写体の位置を推定し、追尾するように載置台を動作させてカメラ５の光学系７の光軸が被写体１を向くように制御する。
【００１８】
他にも、撮影者がカメラを構えて被写体を追尾しようとする場合に、被写体の移動方向を使用者に対して指示するような機構であっても良い。例えば、ファインダ表示部等の表示部に被写体を追従させるような矢印を表示させて、例え、画角外に被写体が出てしまっても、その矢印方向にカメラを振ることにより、再度画角内に被写体を取り込み、留めておくことができるようにする。
【００１９】
本実施形態における撮像デバイス８は、後述する様態でタイミングジェネレータ９により画素値加算読み出しが可能である。  
このタイミングジェネレータ９は、通常の読み出しモード又は、通常よりもフレームレートを上げて、且つ近傍に配置された同じ色の画素値（撮像信号）を加算して撮像信号値を高くして読み出す画素値加算読み出しモードのいずれかに切り換え可能に設けられている。また内部には、この切り換えを行う判断を行うために、移動速度・加速度演算部４により算出された移動速度又は加速度と、予め設定された閾値とを比較する比較部が設けられている。
【００２０】
カメラ５においては、図１には、光学系７と撮像デバイス８とで構成されるように示している。しかし実際には、レリーズスイッチ、撮像信号処理部、表示部及び記録部等の通常の構成部位を備えているが、これらの構成部位は本発明の主要な構成ではないので省略している。
【００２１】
このように構成された本実施形態によれば、移動速度・加速度演算部４の出力信号を受けて、タイミングジェネレータ９が通常の１クロック１画素の読み出しよりも高速な読み出しを行う画素値加算読み出しモードを有しており、その画素値加算読み出しモードに切り換えることにより、高速で移動する被写体に対して、フレームレートを上げて撮像し且つ画素値（撮像信号値）を高めて、動きが滑らかな画像を撮像する。または、画素加算によって高速シャッタの露光量の不足を補償し、高速シャッタ動作を行い、動きによるブレを低減する。
【００２２】
図３に示すフローチャートを参照して、被写体の移動速度によってタイミングジェネレータ９における読み出しモードを切り換え操作について説明する。  
まず、撮像装置の図示しない電源スイッチをオンすることにより、各構成部位が起動して初期化され、撮像準備が行われる（ステップＳ１）。この初期化において、タイミングジェネレータ９は、通常の読み出しモードに設定される。
【００２３】
撮像者が撮像を行うために、レリーズスイッチをオンする（ステップＳ２）と、側距測光が行われる（ステップＳ３）。この時、フレーム（撮像範囲）内の撮像すべき被写体が移動しているか否かを判定する（ステップＳ４）。この判定において、被写体が移動すると判定されたならば（ＹＥＳ）、移動速度・加速度演算部４から被写体位置検出部３の検出結果に基づく、被写体の移動速度Ｒｉ、または加速度から予測した移動速度Ｒｉ’が算出される（ステップＳ５）。尚、この移動判定をせずに、移動速度・加速度演算部４から常に主要被写体の移動速度（加速度）を検出させてもよい。一方、上記ステップＳ４の判定において、撮像すべき被写体が移動していなければ、後述するステップＳ９に移行して、通常の撮像モードによる撮像が行われる。
【００２４】
次に、タイミングジェネレータ９は、得られた移動速度Ｒｉ（又は予測移動速度Ｒｉ’）と予め設定される移動速度の閾値Ｒｔと比較判定する（ステップＳ６）。この比較判定において、移動速度Ｒｉが閾値Ｒｔよりも同じ又は小さければ（ＹＥＳ）、タイミングジェネレータ９は通常読み出しモードを維持する（ステップＳ７）。一方、この比較判定で移動速度Ｒｉが閾値Ｒｔよりも大きければ（ＮＯ）、タイミングジェネレータ９は、通常読み出しモードから画素値加算読み出しモードに切り換える（ステップＳ８）。この閾値Ｒｔは、被写体の移動速度や露光量（昼光や夜光）の明暗により定められる。この切り換えは、例えば、被写体が移動し且つ露光量が十分取れる撮像条件下では、シャッタ速度の制御により撮像を行い、他方、被写体が移動し且つ露光量が不十分な撮像条件下では、画素値加算読み出し（後述する画素値加算）及びシャッタ速度の制御により撮像を行うように閾値Ｒｔを設定する。尚、閾値Ｒｔは、工場出荷時に１つ又は複数を設定しておき、ユーザ自身で変更や設定ができるようにしてもよい。また、被写体の移動から加速度を求めるようにして、加速度に対して閾値処理をしてもよい。
【００２５】
次に撮像する。このとき、タイミングジェネレータ９は、それぞれに設定された通常読み出しモード又は画素値加算読み出しモードに従い、撮像デバイス８から撮像信号を読み出し（ステップＳ９）、ハードディスクや記録媒体に記録させる（ステップＳ１０）。
【００２６】
ここで、タイミングジェネレータ９を用いた、画素加算読み出しの詳細をＣＭＯＳの撮像素子の回路構成を使って説明する。図４は、光電変換素子からの電荷を蓄積するコンデンサＣの容量をトランジスタでスイッチングして読み出す画素回路２７-1〜２７-4とトランジスタをスイッチングするシフトレジスタ（ＳＲ）２６-1〜２６-4とＳＲを構成するフリップフロップ（ＦＦ）を動作させる信号を与えるクロック線ＨＣＫｌＡ，ＨＣＫ１Ｂから構成される。図４に示す状態では、Ｈ状態のＳＴＢ信号が２６-1，２６-3に与えられており、このときにＦＦを動作させると２７-1，２７-3のトランジスタが動作し、画素信号の電荷容量を開放し信号線２８に電流を発生する。タイミングジェネレータはＳＴＢ信号とＨＣＫ１Ａ，ＨＣＫ１Ｂの信号に相当する。ＣＭＯＳの撮像素子は、各ＳＲ部２６-1〜２６-nの出力端に接続するトランジスタ及び図示しない光電変換素子からの画像信号値（画素値）となる電荷を蓄えるコンデンサＣとで構成される画素２７-1〜２７-nとで構成される。
【００２７】
例えば図５に示すように、スタート位置のレジスタが「ＨＬＨＬＬＬＬＬ」レベルとする。クロックパルスＨＣＬＫ１，２が交互にパルスが入力された場合には、最初は、ＨＣＬＫ２のパルスが入力し、ＳＲ部２６-1とＳＲ部２６-3のＦＦ２がＨとなったため、画素２７-1と画素２７-3により読み出されて、それぞれの出力信号が加算されて、出力端子に出力される。以下、図５に示すように２画素の加算信号が、出力される。
【００２８】
例えば、図６に示すようなベイヤー（Bayer）配列のカラーフィルタアレイであれば、例えば水平方向にＲＧＲＧＲＧＲＧの色順で配列されていた場合には、１番目の画素Ｒと第３番目の画素Ｒが読み出されて、同色の信号の加算混合が行われる。従って、サンプリング前は、図６（ａ）に示す配列であったものが、前述したサンプリング（スイッチング）により図６（ｂ）に示すような配列となり、且つ信号レベルが図５に示すよう２倍の出力信号となっている。つまり、左端より１画素目のＲと３画素目のＲが加算され、次に２画素目のＧと４画素目のＧとが加算される。さらに、５画素目のＲと７画素目のＲ、６画素目のＧと８画素のＧが順次加算処理される。従って、２画素混合の読み出し、１画素横移動−２画素読み出し−３画素横移動の動作が繰り返し行われ、画素信号を加算して出力している。実際に同色同士を加算した読み出しを実現するためには、ＳＲ部２６-1、ＳＲ部２６-2を読み出した後に、次のＳＲ部２６-3、ＳＲ部２６-4を飛び越して、ＳＲ部２６-5から読み出す様にすればよい。
【００２９】
このような出力を得るためには、図７に示すように、図４と同様な構造のＳＲ部２６-1〜２６-nと画素２７-1〜２７-nとの間に、離れた位置のＳＲ部の信号を有効にさせるために、ＦＦ部（ＦＦ３）２９-1〜２９-nとＦＦ部（ＦＦ４）３０-1〜３０-nとを付加する。図７に示す構成においては、ＣＭＯＳ型トランジスタを含むＣＭＯＳ画素２７-1〜２７-nは省略している。
【００３０】
この例では、ＦＦ部２９-1〜２９-nは、クロックＨＣＬＫ２により駆動される。これらのうち、ＦＦ部２９-1は、レジスタ（ＳＴＢ）のＨ又はＬレベルが入力され、クロックＨＣＬＫ２により駆動され、その出力が１画素先のＳＲ部２６-2のＦＦ２の入力側に出力される。同様に、ＦＦ部２９-2，２９-3においても１画素先のＳＲ部２６-3，２６-4へ出力するように構成されている。次に、ＦＦ部２９-4は、ＳＲ部２６-5へ１つあけて接続する。以後、ＦＦ部２９は、ＳＲ部２６に対して、１つおきに繰り返し配置される。
【００３１】
また、ＦＦ部３０-1〜３０-nは、クロックＨＣＬＫ３により駆動される。これらのうち、ＦＦ部３０-1は、レジスタ（ＳＴＢ）のＨ又はＬレベルが入力され、クロックＨＣＬＫ３により駆動され、その出力が１画素先のＦＦ部２９-2の出力側に出力される。同様に、ＦＦ部３０-2においても１画素先のＦＦ部２９-3の出力側へ出力するように構成されている。また次のＦＦ部３０-3は、ＳＲ部２６-5のＦＦ２の入力端に接続される。以後、ＦＦ部３０は、ＦＦ部２９の入力端への接続、ＳＲ部２６への接続を交互に繰り返すように配置される。
【００３２】
図７の構成による読み出しの動作について説明する。  
図８に示すように、スタート位置のレジスタを「ＨＬＨＬＬＬＬＬＬＬＬＬ」とする。クロックＨＣＬＫ１Ａ、ＨＣＬＫ１Ｂは、初回を除き、ＨＣＬＫ１Ａのパルス間に、ＨＣＬＫ１Ｂの２つのパルスが入るように設定される。さらに、ＨＣＬＫ３は、ＨＣＬＫ１Ｂのパルス間に、ＨＣＬＫ３の２つのパルスが入るように設定される。
【００３３】
これらのクロックにより、図７におけるＦＦ部３０の入力と、ＨＣＬＫ３が両方ともＨの場合、出力がＨになる。従って、順番としては、ＳＲ部２６-1，２６-3の出力Ｈにより、画素２７-1，２７-3の読み出しが行われる。次に、ＳＲ部２６-2，２６-4の出力Ｈにより、画素２７-2，２７-4の読み出しが行われる。さらに、ＳＲ部２６-2の出力ＨがＦＦ部３０-3を経て、ＳＲ部２６-5のＦＦ２に入力される。同様に、ＳＲ部２６-4の出力Ｈは、ＳＲ部２６-7のＦＦ部３０-5を経て、ＳＲ部２６-7のＦＦ２に入力され、画素２７-5，２７-7の読み出しが行われる。以後同様に、画素２７-6，２７-8、画素２７-9，２７-11、画素２７-10，２７-12の順次、読み出しが行われる。このような撮像信号の読み出しにより、バイヤー配列における同色２画素の加算読み出しが行われる。
【００３４】
さらに、このような読み出しの方式を水平、垂直の走査に使用することで、図９に示すように、水平、垂直方向に１画素おきに配置される４画素のＲを混合して、１個のＲ信号を生成する。以下同様に、４画素からなる１個のＧ信号、Ｂ信号による読み出し行われる。
【００３５】
このような、Ｘ−Ｙアドレス方式で水平、垂直４画素加算読み出しを行うことで、全領域の信号を読み出すときには、通常の１：１読み出しに比べ、４倍の速度で読み出すことができる。また、一つの光電変換信号は加算平均の効果によりノイズの抑制が図られている。
【００３６】
以上説明したように、第１の実施形態による撮像装置は、被写体の移動速度が閾値と比較して、閾値以下であれば、タイミングジェネレータを読み出しタイミングを通常の読み出しモードで行い、閾値以上であれば、画素値加算読み出しモードに切り換えることができる。従って、被写体が移動し且つ露光量が十分取れる撮像条件下では、シャッタ速度の制御により撮像を行い、他方、被写体が移動し且つ露光量が不十分な撮像条件下では、画素値加算読み出しモード及びシャッタ速度の制御により撮像を行うことができる。
【００３７】
画素値加算読み出しモードでは、近傍に配置される同色画素の読み出し信号を混合して１つの高い信号値（露光量）を生成する。結果として１フレームの領域を走査する時間が短くなるため、高速で移動する被写体に対して、フレームレートを上げて撮像し且つ画素値（撮像信号値）を高めて、動きが滑らかな画像を撮像する。さらに画素加算読み出しにより、高速シャッタによる光量の不足を補い、被写体の移動速度が速く露光量が少ないシーンでも、明瞭で動きが滑らかな画像を得ることができる。
【００３８】
次に、本発明の第２の実施形態について説明する。  
図１０は、動きのある被写体の一例を示し、図１１は第２の実施形態における構成例を示している。尚、前述した第１の実施形態における構成部位と同等のものには同じ参照符号を付して、その説明を省略する。
【００３９】
この被写体１には前述したタグ２は装着されていない。本実施形態では、被写体１の移動速度・加速度は、被写体１を撮像した画像情報から得るため、第１の実施形態の被写体位置検出部３に換わって、フレーム差分検出部１０を有している。
【００４０】
このフレーム差分検出部１０は、撮像デバイス８で得られた画像のフレーム間の差分を検出し、移動速度加速度演算部１１は移動速度・加速度を算出する。ここで、移動速度は２フレームの差分のデータに基づいて、オプチカルフロー（連続的な動画像から正則化の枠組みを用いて算出された画像上の見かけの速度場）を算出する。また、加速度は３フレーム以上の差分のデータに基づき、オプチカルフローの変化量を求めればよい。尚、より複雑な被写体の運動の予測には、加速度の計算による追尾が望ましい。
【００４１】
被写体の移動速度が高速であると判断された場合には、第１の実施形態と同様にタイミングジェネレータ９に対して、高速な読み出しを行うモードに切り換えるような制御を行う。
【００４２】
図１２に示すフローチャートを参照して、第２の実施形態で示したフレーム間の差分から算出した被写体の移動速度によって、タイミングジェネレータ９の読み出しモードを切り換える操作について説明する。
【００４３】
まず、撮像装置の図示しない電源スイッチをオンすることにより、各構成部位が起動して初期化され、撮像準備が行われる（ステップＳ１１）。この初期化において、タイミングジェネレータ９は、通常の読み出しモードに設定される。
【００４４】
撮像者が撮像を行うために、レリーズスイッチをオンする（ステップＳ１２）と、側距測光が行われる（ステップＳ１３）。この時、フレーム（撮像範囲）内の撮像すべき被写体が移動しているか否かを判定する（ステップＳ１４）。この判定において、被写体が移動すると判定されたならば（ＹＥＳ）、移動速度・加速度演算部４からフレーム差分検出部１０からフレーム間の差分から移動ベクトルＲｉ（Ｉ＝１，Ｎ）を計算する（ステップＳ１５）。移動ベクトルＲｉに基づく二乗平均値ＲiNを求める（ステップＳ１６）。二乗平均値：ＲiN＝１／ＮΣＲｉ^２  ここで、二乗平均の代わりに平均値としても良い。一方、上記ステップＳ１４の判定において、撮像すべき被写体（但し、主要被写体のみに限定されない）が移動していなければ、後述するステップＳ２０に移行して、通常の読み出しモードにより撮像が行われる。
【００４５】
次に、得られた二乗平均値ＲiNと予め設定される移動速度の閾値Ｒｔと比較判定（Ｒｔ＞ＲiN）する（ステップＳ１７）。この比較判定において、二乗平均値ＲiNが閾値Ｒｔよりも同じ又は小さければ（ＹＥＳ）、タイミングジェネレータ９は切り換えなしで通常読み出しモードを維持する（ステップＳ１８）。一方、この比較判定で二乗平均値ＲiNが閾値Ｒｔよりも大きければ（ＮＯ）、タイミングジェネレータ９は、通常読み出しモードから画素値加算読み出しモードに切り換える（ステップＳ１９）。この閾値Ｒｔは、第１の実施形態と同様に、被写体の移動速度や露光量（昼光や夜光）の明暗により定められる。
【００４６】
一方、この比較判定で二乗平均値ＲiNが閾値Ｒｔよりも大きければ（ＮＯ）、タイミングジェネレータ９は、通常読み出しモードから画素値加算読み出しモードに切り換える（ステップＳ１９）。この閾値Ｒｔは、被写体の移動速度や露光量（昼光や夜光）の明暗により定められる。次に撮像する、即ち、タイミングジェネレータ９は、それぞれに設定された通常読み出しモード又は画素値加算読み出しモードに従い、撮像デバイス８から撮像信号を読み出し（ステップＳ２０）、ハードディスクや記録媒体に記録させる（ステップＳ２１）。
【００４７】
以上説明したように、本実施形態によれば、移動する主要被写体に位置を検出するためのタグを取り付けなくとも画角内にあれば、フレーム間の移動ベクトルをオプチカルフローにより算出して被写体の移動状態を検出し、撮像素子から撮像信号を読み出す際に、通常の読み出しモード又は画素値加算読み出しモードを選択して、被写体の移動速度と露光量に応じた撮像を行い、好適な画像を得ることができる。
【図面の簡単な説明】
【００４８】
【図１】本発明の撮像装置に係る第１の実施形態の構成例を示す図である。
【図２】第１の実施形態の撮像装置により撮像される被写体の概念を示す図である。
【図３】第１の実施形態の撮像装置の読み出しモードを切り換え操作について説明するフローチャートである。
【図４】撮像信号の読み出し回路の一例を概念的に示す図である。
【図５】２画素混合読み出しについて説明するための図である。
【図６】２画素混合読み出しにおけるサンプリング前とサンプリング後について説明するための図である。
【図７】同色２画素を加算して読み出すための回路の一例を示す図である。
【図８】同色２画素加算読み出しについて説明するための図である。
【図９】同色２画素加算読み出しにおけるサンプリング前とサンプリング後について説明するための図である。
【図１０】第２の実施形態の撮像装置により撮像される被写体の概念を示す図である。
【図１１】本発明の撮像装置に係る第２の実施形態の構成例を示す図である。
【図１２】第２の実施形態の撮像装置の読み出しモードを切り換え操作について説明するフローチャートである。
【符号の説明】
【００４９】
１…被写体、２…タグ、３…被写体位置検出部、４…移動速度・加速度演算部、５…カメラ、６…カメラ方向制御部、７…光学系、８…撮像デバイス、９…タイミングジェネレータ。
【図１】
2006217355.tif 000003
【図２】
2006217355.tif 000004
【図３】
2006217355.tif 000005
【図４】
2006217355.tif 000006
【図５】
2006217355.tif 000007
【図６】
2006217355.tif 000008
【図７】
2006217355.tif 000009
【図８】
2006217355.tif 000010
【図９】
2006217355.tif 000011
【図１０】
2006217355.tif 000012
【図１１】
2006217355.tif 000013
【図１２】
2006217355.tif 000014