(57)【特許請求の範囲】
【請求項１】
撮像面に画像揺れに対応するための補正領域が設けられている撮像素子と、前記撮像素子から読出されている現フィールド又は現フレームの画像と前フィールド又は前フレームの画像の位置データの差を微分することにより現フィールド又は現フレームに係る読出し領域を基準とした画像の動きベクトルデータ(以下、「相対動きベクトルデータ」という)を検出する動きベクトル検出手段と、前記動きベクトル検出手段が検出する相対動きベクトルデータを用いて撮像面上での次フィールド又は次フレームの予測画像位置データを求める画像位置予測部と、前記画像位置予測部が求める予測画像位置データに基づいて次フィールド又は次フレームの画像揺れを打ち消すように前記撮像素子の読出し領域を補正制御する読出し制御手段とを具備した撮像装置において、
前記画像位置予測部が、
前記動きベクトル検出手段が求める現フィールド又は現フレームの相対動きベクトルデータと後記微分手段が求めている現フィールド又は現フレームに係る読出し領域の動きベクトルデータとを加算して現フィールド又は現フレームに係る撮像面を基準とした画像の動きベクトルデータ(以下、「絶対動きベクトルデータ」という)を求める加算手段と、
前記加算手段が求める現フィールド又は現フレームに係る絶対動きベクトルデータと直前に求められている１又は２以上のフィールド又はフレームの絶対動きベクトルデータに基づいて次フィールド又は次フレームの予測絶対動きベクトルデータを求める動きベクトル予測手段と、
前記動きベクトル予測手段が求める予測絶対動きベクトルデータを積分して予測画像位置データを求める画像位置予測機能及びその予測画像位置データが前記撮像素子の補正領域を超えないように制限を施す制限機能を備え、求めた画像位置データを前記読出し制御手段へ出力する積分手段と、
前記積分手段が求める画像位置データを１フィールド分又は１フレーム分だけ遅延させて出力する遅延手段と、
前記遅延手段が出力する画像位置データを微分して現フィールド又は現フレームに係る読出し領域の動きベクトルデータを求め、それを前記加算手段へ出力する微分手段と
からなることを特徴とした撮像装置における画像揺れ防止装置。
【請求項２】
請求項１における遅延手段と微分手段からなる帰還部を逆の構成とし、積分手段が求める画像位置データを微分して次フィールド又は次フレームに係る読出し領域の動きベクトルデータを求める微分手段と、前記微分手段が求める読出し領域の動きベクトルデータを１フィールド分又は１フレーム分だけ遅延させて加算手段へ出力する遅延手段とで構成した撮像装置における画像揺れ防止装置。
【請求項３】
撮像面に画像揺れに対応するための補正領域が設けられている撮像素子と、前記撮像素子から読出されている現フィールド又は現フレームの画像と前フィールド又は前フレームの画像の位置データの差を微分することにより現フィールド又は現フレームに係る相対動きベクトルデータを検出する動きベクトル検出手段と、前記動きベクトル検出手段が検出する相対動きベクトルデータを用いて撮像面上での次フィールド又は次フレームの予測画像位置データを求める画像位置予測部と、前記画像位置予測部が求める予測画像位置データに基づいて次フィールド又は次フレームの画像揺れを打ち消すように前記撮像素子の読出し領域を補正制御する読出し制御手段とを具備した撮像装置において、
前記画像位置予測部が、
前記動きベクトル検出手段が求める現フィールド又は現フレームの相対動きベクトルデータと後記遅延手段の出力とを加算して現フィールド又は現フレームに係る絶対動きベクトルデータを求める加算手段と、
前記加算手段が求める現フィールド又は現フレームに係る絶対動きベクトルデータと直前に求められている１又は２以上のフィールド又はフレームの絶対動きベクトルデータを用いて次フィールド又は次フレームに係る絶対動きベクトルデータを予測する予測ベクトル演算手段と、
前記予測ベクトル演算手段が予測した次フィールド又は次フレームに係る絶対動きベクトルデータを積分して次フィールド又は次フレームの予測画像位置データを求めると共に、その予測画像位置データが前記撮像素子の補正領域を超えるものである場合に前記撮像素子の補正領域内に制限するリミッタを備え、そのリミッタを経た画像位置データを前記読出し制御手段へ出力する積分手段と、
前記予測ベクトル演算手段から次フィールド又は次フレームに係る絶対動きベクトルデータが入力されており、前記リミッタが実効動作していない場合にはその入力に１を乗算し、前記リミッタが実効動作した場合にはその入力に１より十分に小さい値又は０を乗算する乗算手段と、
前記乗算手段の出力を１フィールド分又は１フレーム分だけ遅延させて前記加算手段へ出力する遅延手段と
からなることを特徴とした撮像装置における画像揺れ防止装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は画像揺れ防止装置に係り、撮像装置で被写体を撮影する際に、手ブレや振動等によって発生する画像揺れを防止するための装置に関する。
【０００２】
【従来の技術】
撮像装置で被写体を撮影する際に、装置を手で保持したり、車両等の振動の影響を受ける場所に搭載していると、不可避的にその再生映像に画像揺れが発生する。
そのため、従来から撮像装置には画像揺れ防止装置を内蔵させていることが多く、予め撮像素子に補正領域を設けておくと共に、撮像素子が出力する画像信号から画面の揺れを検出し、その検出情報に基づいて画面の切出し領域を制御することにより画像揺れを防止している。
【０００３】
そして、従来からの補正装置ではフィールド毎の画像データを一旦フィールドメモリに展開し、そのメモリ上での画面の揺れを検出することによって切出し領域を制御する方式を採用していたが、最近では、回路構成の簡素化とコストダウンを図る目的でフィールドメモリを用いない方式が提案されている(特開平4-361484号)。
そのフィールドメモリを用いない方式では、撮像素子に基準撮像領域と共に画像揺れを考慮した補正領域を設けておくことは従前の方式と同様であるが、撮像素子の出力する画像信号の代表点から現フィールドとその直前の１又は２のフィールドとの間の動きベクトルを求めて次フィールドの動きを予測し、その予測情報に基づいて撮像素子に対する読出しアドレスを移動させることによって適応的に画像揺れを防止する。
【０００４】
前記の撮像装置の機能ブロック回路図は図６に示される。
同図において、1は撮像面をＣＣＤ(Charge Coupled Dvice)で構成すると共に基準撮像領域の周囲に補正領域を設けた撮像素子、2は撮像素子1の出力アナログ信号に所定の処理を施すアナログ信号処理回路、3は処理後のアナログ映像信号をディジタル信号へ変換するＡ/Ｄ変換器、4は変換後のディジタル映像信号に所定の処理を施して出力するディジタル信号処理回路であり、これらは通常の撮像装置が有する映像信号の出力系である。
【０００５】
一方、画像揺れ防止装置は、動きベクトル検出回路5と、加算器6と、予測ベクトル演算回路7と、1フィールド遅延回路8と、積分器9と、撮像素子1の駆動制御回路10及びドライバ11とから構成されており、次にそれらの構成ブロックの機能を解説しながらこの各画像揺れ防止装置の動作を詳細に説明する。
今、撮像素子1に入力されたフィールド(n)の映像信号について代表点をとり、その代表点が撮像面上の座標で位置データＸ(n)として与えられ、画像揺れに伴って撮像素子1に対する読出し領域の補正アドレスがＡ(n)として与えられた結果、読出し領域上の座標で前記代表点の位置データがＸ(n)−Ａ(n)になったと仮定する。
その場合、フィールド(n)に係る読出し領域の画像信号が撮像素子1から読出された時点で、動きベクトル検出回路5は前回のフィールド(n-1)に係る読出し領域上の座標における代表点位置データＸ(n-1)−Ａ(n-1)を記憶しており、同回路5は{Ｘ(n)−Ａ(n)}−{Ｘ(n-1)−Ａ(n-1)}＝{Ｘ(n)−Ｘ(n-1)}−{Ａ(n)−Ａ(n-1)}＝Ｖ(n)−Ｖa(n)の演算によってフィールド(n)に係る読出し領域を基準とした画像の動きベクトルデータ(以下、「相対動きベクトルデータ」という)Ｖ(n)−Ｖa(n)を求める。尚、Ｖ(n)は撮像面上の座標を基準とした画像の動きベクトルデータ(以下、「絶対動きベクトルデータ」という)に、Ｖa(n)は撮像面上における画像の読出し領域の動きベクトルデータに相当する。
【０００６】
次に、前記の相対動きベクトルデータＶ(n)−Ｖa(n)は加算器6に入力されるが、その時点では１フィールド遅延回路8が自身の遅延機能によって前フィールドで予測ベクトル演算回路7が予測した現フィールドに係る絶対動きベクトルデータ(読出し領域の動きベクトルデータに相当)Ｖa(n)を保持しており、加算器6はそのＶa(n)と入力された相対動きベクトルデータＶ(n)−Ｖa(n)を加算して現フィールド(n)に係る絶対動きベクトルデータＶ(n)を求める。
即ち、加算器6は、相対動きベクトルデータＶ(n)−Ｖa(n)から読出し領域の動きベクトルデータＶa(n)をキャンセルさせることにより予測ベクトル演算回路7へ絶対動きベクトルデータＶ(n)のみを出力する役割を果たしている。
尚、図６において＊Ｖa(n)で示されている１フィールド遅延回路8の出力は、それが前フィールド(n+1)で求められていることを示す。
その結果、予測ベクトル演算回路7から次フィールド(n+1)に係る予測された絶対動きベクトルデータＶa(n+1)が出力されるが、それは前記のように次フィールドに係る予測された読出し領域の動きベクトルデータに相当する。
【０００７】
次に、前記の予測ベクトル演算回路7が予測した絶対動きベクトルデータＶa(n+1)は積分器9へ入力されており、積分器9はそのベクトルデータＶa(n+1)を積分することによって撮像素子1に対する読出し領域の補正アドレスＡ(n+1)を求め、それを駆動制御回路10へ出力する。
一方、その時点では撮像素子1に次フィールド(n+1)の画像信号[代表点位置:Ｘ(n+1)]が入力されている。
そこで、駆動制御回路10はドライバ11を介して前記の補正アドレスＡ(n+1)に基づいた次フィールド(n+1)に係る読出し領域の補正を行い、その補正後の領域の画像信号を読出して次フィールド(n+1)の画像信号とする。
その場合、前記代表点の位置データは次フィールドに係る読出し領域上の座標でＸ(n+1)−Ａ(n+1)として与えられる。
【０００８】
そして、以上の制御において、一般に積分器9が出力するフィールド(n)に係る読出し領域の補正アドレスＡ(n)はＡ(n)＝Ａ(0)＋ΣＶ(n)＝Ａ(0)＋Ｘ(1)−Ｘ(0)＋Ｘ(2)−Ｘ(1)＋・・・＋Ｘ(n)−Ｘ(n-1)＝Ａ(0)−Ｘ(0)＋Ｘ(n)[但し、Ａ(0)は初期値]となり、同式に基づけば補正後の読出し領域上の座標における代表点の位置データはＸ(n)−Ａ(n)＝Ｘ(0)−Ａ(0)で与えられ、手振れ等があっても適応的に読出し領域を補正制御して出力画像を一定位置に保てることになる。
【０００９】
ところで、図６の回路構成をフィールド単位の画像データを対象として伝達関数を用いた回路図に表現し直すと図７のようになる。但し、図７おける各伝達関数と図６の各機能ブロックとは符号によって対応付けられている。
また、図７において予測ベクトル演算回路7の伝達関数はＰ(Z)で示されているが、具体的には図８の(Ａ)又は(Ｂ)に示すような回路構成が採用され得る。
(Ａ)の回路は、１フィールド遅延回路21と、２つの乗算回路(乗算係数は２と−１)22,23と、加算器24とからなり、Ｖnを入力としてＶa(n+1)＝２Ｖn−Ｖn-1の演算を実行する。その演算式は、Ｖa(n+1)が［Ｖa(n+1)＝Ｖn＋(dＶn/dt)・Δｔ≒Ｖn＋(Ｖn−Ｖn-1)＝２Ｖn−Ｖn-1］で与えられることに基づく。
(Ｂ)の回路は、２つの１フィールド遅延回路25,26と、３つの乗算回路(乗算係数は３と−３と１)27,28,29と、２つの加算器30,31とからなり、Ｖnを入力としてＶa(n+1)＝３Ｖn−３Ｖn-1＋Ｖn-2の演算を実行する。この回路は、Ｖnを一回微分した結果と二回微分した結果を用いるものであり、その演算式は、Ｖa(n+1)が［Ｖa(n+1)＝Ｖn＋(dＶn/dt)・Δｔ＋(d2Ｖn/dt2)・Δｔ≒Ｖn＋(Ｖn−Ｖn-1)＋Ｖn−{Ｖn＋(Ｖn−Ｖn-2)}＝３Ｖn−３Ｖn-1＋Ｖn-2］で与えられることに基づく。
【００１０】
そして、図６及び図７に示すように、予測ベクトル演算回路7の出力は２系統に分かれて加算器6へ入力されているが、その一方は１フィールド遅延回路8のみを経たルートＲaであり、そのルートＲaの伝達関数は次の数式１で示される。
【００１１】
【数１】
0003541560.tif 000002
【００１２】
また、他方は、積分器9による積分と、駆動制御回路10,ドライバ11,撮像素子1による符号反転及び１フィールド遅延と、動きベクトル検出回路5による微分とを経由するルートＲbであり、そのルートＲbの伝達関数は次の数式２で示されるものになる。
【００１３】
【数２】
0003541560.tif 000003
【００１４】
ここで、予測ベクトル演算回路7の出力は前記の各ルートＲa,Ｒbを経て加算器6で加算されているため、加算器6の出力には予測ベクトル演算回路7の出力は現れず、加算器6の出力は現フィールド(n)の絶対動きベクトルデータＶ(n)となり、また予測ベクトル演算回路7の出力は次フィールド(n+1)の絶対動きベクトルデータＶa(n+1)を与えることになる。
【００１５】
【発明が解決しようとする課題】
ところで、大きな手振れ等が生じた場合には、それに対応して予測ベクトル演算回路7が出力する次フィールド(n+1)の絶対動きベクトルデータＶa(n+1)が大きくなり、それを積分器9で積分した結果である撮像素子1に対する読出し領域の補正アドレスＡ(n+1)が撮像素子1の補正領域を超えることがある。
そのために、通常の撮像装置では積分器9を図９の(Ａ)又は(Ｂ)に示すようなリミッタ32を内蔵させた構成とし、リミッタ32の実効動作によって補正アドレスを限度内に押さえるようにしている。
即ち、撮像素子1の補正領域でカバーできないような大きな画像揺れが生じる場合には、撮像素子1の読出しアドレスを補正領域でカバーできる限度内の一定値として補正を行わないようにする方式である。
【００１６】
しかし、積分器9にリミッタ32を内蔵させていると次のような問題が生じる。先ず、図６の回路構成で積分器9にリミッタ32を内蔵させた場合に、その回路構成を伝達関数を用いた回路図に表現し直すと図１０のようになる。
ここで、前フィールド(n+1)以前に大きな手振れ等があってリミッタ32が実効動作した場合、ルートＲb側では、積分器9からリミッタ32を経た補正アドレスＡ(n)が一定になり、撮像素子1が出力するＸ(n)−Ａ(n)のＡ(n)が一定になることから、動きベクトル検出回路5が出力する相対動きベクトルデータＶ(n)−Ｖa(n)はその回路5の微分機能によってＶa(n)が０になるために絶対動きベクトルデータＶ(n)のみになる。
一方、ルートＲaは積分器9とリミッタ32とは関係のないルートであり、前記の状態で予測ベクトル演算回路7が予測した絶対動きベクトルデータＶa(n+1)を１フィールド遅延回路8で遅延させたＶa(n)をそのまま出力させる。
従って、加算器6の出力はＶ(n)＋Ｖa(n)となってしまい、通常の補正制御がかかっている状態とは異なった値に基づいた異常な制御状態になる。
【００１７】
そして、この撮像装置のシステムでは予測ベクトル演算回路7とルートＲa,Ｒbから構成されている２つのループによる演算で制御を実行しているため、その異常な制御状態に移行したことに伴う影響は、画像揺れが小さくなってリミッタ32の実効動作が終了した後も暫くの時間帯で継続して出力画像に不安定化を招く。
【００１８】
実際に、リミッタ32を内蔵した積分器9を用いた撮像装置(図１０)において、撮像素子1に対する入力画像[撮像面上の座標における代表点位置:Ｘ(n)]にリミッタ32が実効動作するような動きがあった場合の各ユニットの出力[Ｘ(n)−Ａ(n),Ｖ(n)−Ｖa(n),Ｖ(n),Ｖ(n+1),Ａ(n+1)]をシュミレーション演算して求めると図１１のようになる。
そのシュミレーション結果に見られるように、リミッタ32が実効動作した場合には各出力にその影響が通常の補正制御とは大きく異なった不安定状態として現れ、その状態が収束するまでに相当の時間を要している。
従って、手振れ等によって撮像素子1の補正許容範囲を超えた大きな入力画像の動きがあると、その度に不安定動作状態が介在して出力画像も不安定化し、その結果、再生映像が乱れて見難いものになる。
【００１９】
そこで、本発明は、積分器にリミッタを内蔵させておき、撮像素子の補正領域でカバーできないような大きな入力画像の動きがあった場合に、撮像素子に対する読出しアドレスの制限を行う方式の撮像装置において、リミッタが実効動作しても不安定化を招かず、また画像揺れが小さくなった場合の通常制御への復帰が迅速に行える画像揺れ防止装置を提供することを目的として創作された。
【００２０】
【課題を解決するための手段】
本発明は、撮像面に画像揺れに対応するための補正領域が設けられている撮像素子と、前記撮像素子から読出されている現フィールド又は現フレームの画像と前フィールド又は前フレームの画像の位置データの差を微分することにより現フィールド又は現フレームに係る相対動きベクトルデータを検出する動きベクトル検出手段と、前記動きベクトル検出手段が検出する相対動きベクトルデータを用いて撮像面上での次フィールド又は次フレームの予測画像位置データを求める画像位置予測部と、前記画像位置予測部が求める予測画像位置データに基づいて次フィールド又は次フレームの画像揺れを打ち消すように前記撮像素子の読出し領域を補正制御する読出し制御手段とを具備した撮像装置に適用され、その画像位置予測部の構成に特徴がある。
【００２１】
第１の発明は、前記の画像位置予測部が、前記動きベクトル検出手段が求める現フィールド又は現フレームの相対動きベクトルデータと後記微分手段が求めている現フィールド又は現フレームに係る読出し領域の動きベクトルデータとを加算して現フィールド又は現フレームに係る撮像面を基準とした画像の動きベクトルデータ(以下、「絶対動きベクトルデータ」という)を求める加算手段と、前記加算手段が求める現フィールド又は現フレームに係る絶対動きベクトルデータと直前に求められている１又は２以上のフィールド又はフレームの絶対動きベクトルデータに基づいて次フィールド又は次フレームの予測絶対動きベクトルデータを求める動きベクトル予測手段と、前記動きベクトル予測手段が求める予測絶対動きベクトルデータを積分して予測画像位置データを求める画像位置予測機能及びその予測画像位置データが前記撮像素子の補正領域を超えないように制限を施す制限機能を備え、求めた画像位置データを前記読出し制御手段へ出力する積分手段と、前記積分手段が求める画像位置データを１フィールド分又は１フレーム分だけ遅延させて出力する遅延手段と、前記遅延手段が出力する画像位置データを微分して現フィールド又は現フレームに係る読出し領域の動きベクトルデータを求め、それを前記加算手段へ出力する微分手段とからなることを特徴とした撮像装置における画像揺れ防止装置に係る。
【００２２】
この第１の発明においては、積分手段の出力側から加算手段へ至るルートは２系統に分かれており、一方のルートは遅延手段→微分手段であり、他方のルートは撮像素子・読出し制御手段→動きベクトル検出手段であり、加算手段と動きベクトル予測手段と積分手段を共通にして２つのループが構成されている。
そして、前記の各ルートに係る伝達関数を積算すると、後者のルートにおいて読出し制御手段で撮像素子の読出しアドレスが補正制御されることに基づく減算機能によって正負符号が逆になるが、関数部分の表現は同一になる。
従って、積分手段の出力は加算手段の出力には現れない。
【００２３】
ところで、この第１の発明では、積分手段が制限機能を備えているが、双方のループは加算手段の出力側からみると積分手段を共通に含んでいるため、積分手段の制限機能が動作した場合には、前記の２系統のルートに制限された画像位置データが出力される。
【００２４】
従って、動きベクトル検出手段の出力はその微分機能によって絶対動きベクトルデータのみとなり、一方、微分手段の出力は、１フィールド遅延の介在によってリミッタの実効動作後の初期値こそ前フレームから求められたものになるが、その後は自身の微分機能によってほぼ０となり、画像揺れが継続していても加算手段は絶対動きベクトルデータのみを出力し続ける。
そして、出力される絶対動きベクトルデータに基づいて、動きベクトル予測手段と積分手段が次フレームの予測画像位置データを求めるが、積分手段の制限機能が実効動作しているために出力が一定に制限されたままになる。
即ち、制限機能が実効動作している時間帯では、不安定化を招くことなく予測画像位置データを撮像素子領域の補正領域を超えない範囲に制限した状態が継続し、制限機能の実効動作がなくなった場合には直ちに通常の補正制御状態へ復帰する。
尚、この発明の積分手段としては、従来技術で示したように予測ベクトル演算回路→積分器(リミッタ内蔵)の構成を採用できるが、積分器がリミッタを内蔵せずにリミッタを独立に設けた構成であってもよい。また、加算器の出力を先に積分器で積分しておき、その積分結果に基づいて予測演算回路で次フレームの予測画像位置データを求めるようにし、制限機能を予測演算回路に内蔵させるか又はその出力側に設けるような構成を採用してもよい。
【００２５】
また、第１の発明においては、遅延手段と微分手段からなる帰還部を逆の構成としてもよい。
そして、その場合には、微分手段で積分手段が求める予測画像位置データを微分して予測された次フィールド又は次フレームに係る読出し領域の動きベクトルデータを求め、遅延手段で前記微分手段が求める読出し領域の動きベクトルデータを１フィールド分又は１フレーム分だけ遅延させて加算手段へ出力させることになる。
即ち、第１の発明における前記帰還部は、結果的に現フィールド又は現フレームに係る読出し領域の動きベクトルデータが求められればよく、微分手段と遅延手段の機能を前記のようにすれば第１の発明と同様の動作が実現できる。
【００２６】
第２の発明は、前記画像位置予測部が、前記動きベクトル検出手段が求める現フィールド又は現フレームの相対動きベクトルデータと後記遅延手段の出力とを加算して現フィールド又は現フレームに係る絶対動きベクトルデータを求める加算手段と、前記加算手段が求める現フィールド又は現フレームに係る絶対動きベクトルデータと直前に求められている１又は２以上のフィールド又はフレームの絶対動きベクトルデータを用いて次フィールド又は次フレームに係る絶対動きベクトルデータを予測する予測ベクトル演算手段と、前記予測ベクトル演算手段が予測した次フィールド又は次フレームに係る絶対動きベクトルデータを積分して次フィールド又は次フレームの予測画像位置データを求めると共に、その予測画像位置データが前記撮像素子の補正領域を超えるものである場合に前記撮像素子の補正領域内に制限するリミッタを備え、そのリミッタを経た画像位置データを前記読出し制御手段へ出力する積分手段と、前記予測ベクトル演算手段から次フィールド又は次フレームに係る絶対動きベクトルデータが入力されており、前記リミッタが実効動作していない場合にはその入力に１を乗算し、前記リミッタが実効動作した場合にはその入力に１より十分に小さい値又は０を乗算する乗算手段と、前記乗算手段の出力を１フィールド分又は１フレーム分だけ遅延させて前記加算手段へ出力する遅延手段とからなることを特徴とした撮像装置における画像揺れ防止装置に係る。
【００２７】
この発明に係る撮像装置は、基本的には従来の撮像装置(図６)の積分器にリミッタを内蔵させた構成(図１０の伝達関数を用いた回路図)と同様であるが、予測ベクトル演算手段と遅延手段の間に乗算手段が介在せしめられ、乗算手段がリミッタの実効動作の有無によって乗算係数を変化させる点に特徴がある。
積分手段のリミッタが実効動作した場合、乗算手段がその乗算係数を１より十分に小さい値又は０に設定するため、加算手段の出力に動きベクトル検出手段の出力がほぼそのままの現れることになる。
そして、リミッタが実効動作すると撮像素子へ出力される予測画像位置データが一定になるため、動きベクトル検出手段の微分機能によって動きベクトル検出手段の出力は絶対動きベクトルデータのみになる。
従って、リミッタが実効動作した際の制御条件が前記の第１の発明と同様になり、同様の効果が得られる。
また、リミッタの実効動作がなくなった場合には、乗算手段の乗算係数が１になるために、直ちに通常の補正制御状態へ復帰する。
【００２８】
【発明の実施の形態】
以下、本発明の「撮像装置における画像揺れ防止装置」の実施形態を図１から図５を用いて詳細に説明する。
《実施形態１》
この実施形態に係る撮像装置の機能ブロック回路図は図１に示される。
同図において、撮像素子1→アナログ信号処理回路2→Ａ/Ｄ変換器3→動きベクトル検出回路5→加算器6→予測ベクトル演算回路7→積分器9→駆動制御回路10→ドライバ11で構成されるループ回路は、図６の撮像装置における積分器9にリミッタ32を内蔵させた場合と同様であり、そのループ回路の伝達関数を用いた表現は図１０と同一になる。
【００２９】
この撮像装置の特徴は、前記のように積分器9がリミッタ32を内蔵させていると共に、その積分器9の出力側と加算器6が１フィールド遅延回路8と微分器12を介して接続されている点にある。
即ち、図６及び図１０では予測ベクトル演算回路7の出力を１フィールド遅延回路8を介して加算器6へ入力させていたのに対し、積分器9の出力側から加算器6への帰還部を設け、その帰還部を１フィールド遅延回路8と微分器12で構成している。
そして、この撮像装置の回路構成全体をフィールド単位の画像データを対象として伝達関数を用いた回路図に表現し直すと図２のようになる。
【００３０】
この撮像装置は、以上の回路構成に基づいて、通常の画像揺れ防止のための補正制御状態では次のように動作する。
先ず、図６の場合と同様に、撮像素子1に入力されたフィールド(n)の映像信号の代表点が撮像面上の座標で位置データがＸ(n)として、撮像素子1に対する読出し領域の補正アドレスがＡ(n)として与えられ、撮像素子1から読出された画像の代表点が読出し領域上の座標でＸ(n)−Ａ(n)の位置データになっているとする。
【００３１】
その状態で、この撮像装置では、動きベクトル検出回路5が相対動きベクトルデータＶ(n)−Ｖa(n)を出力するが、１フィールド遅延回路8は前フィールド(n-1)において加算器6→予測ベクトル演算回路7→積分器9(32)のルートで求められた補正アドレスＡ(n)を保持しており、また微分器12がその補正アドレスＡ(n)とその直前のフィールド(n-2)の補正アドレスＡ(n-1)を用いた微分演算によって読出し領域の動きベクトルデータＶa(n)を出力している。
従って、加算器6の出力として現フィールドに係る絶対動きベクトルデータＶ(n)[＝Ｖ(n)−Ｖa(n)＋Ｖa(n)]が得られる。
【００３２】
そして、予測ベクトル演算回路7が加算器6で求められた絶対動きベクトルデータＶ(n)に基づいて次フィールド(n+1)に係る絶対動きベクトルデータＶa(n+1)を予測し、積分器9(32)が次フィールド(n+1)に係る補正アドレスＡ(n+1)を求め、それが駆動制御回路10へ入力されること、また、その時点で撮像素子1に次フィールド(n+1)の画像信号[代表点位置:Ｘ(n+1)]が入力されており、駆動制御回路10がドライバ11を介して前記の補正アドレスＡ(n+1)に基づいた次フィールド(n+1)に係る読出し領域の補正を行い、その補正後の領域の画像信号を読出して次フィールド(n+1)の画像信号とすることは図６の場合と同様である。
【００３３】
ところで、本実施形態の撮像装置では、前記の帰還部において、積分器9(32)が求めた補正アドレスＡ(n+1)を１フィールド遅延回路8で1フィールド遅延させ、微分器12を介して加算器6へ戻すようになっている。
その帰還部では、１フィールド遅延回路8は前フィールドで積分器9(32)が求めた現フィールド(n)に係る補正アドレスＡ(n)を保持しているが、積分器9(32)が次フィールド(n+1)の補正アドレスＡ(n+1)を求めるた時点でＡ(n)をＡ(n+1)へ書換える。
また、微分器12はその補正アドレスＡ(n+1)とその直前のフィールド(n)の補正アドレスＡ(n)を用いた微分演算によって読出し領域の動きベクトルデータＶa(n+1)を出力させる。
そして、次フィールド(n+1)の画像信号[読出し領域上の座標での代表点位置:Ｘ(n+1)−Ａ(n+1)]が読出され、動きベクトル検出回路5で相対動きベクトルデータＶ(n+1)−Ｖa(n+1)が求められると、加算器6が前回と同様に微分器12の出力を加算して次フィールド(n+1)に係る絶対動きベクトルデータＶ(n+1)を求める。
【００３４】
従って、本実施形態の撮像装置は、積分器9(32)の積分出力から読出し領域の動きベクトルデータを求めて加算器6へ入力させる回路構成を採用したために１フィールド遅延回路8と加算器6の間に微分回路12を介在させているだけであり、前記の制御の繰返しによって図６や図１０の撮像装置と同様に画像揺れを防止させることができる。
また、図２の伝達関数を用いた回路図をみても、予測ベクトル演算回路7から加算器6へ至るルートは、積分器9→1フィールド遅延回路8→微分器12からなるルートＲaと、積分器9→駆動制御回路10,ドライバ11,撮像素子1→動きベクトル検出回路5からなるルートＲbであり、ルートＲaの伝達関数は上記の数式１で、ルートＲbの伝達関数は上記の数式２で与えられるため、加算器6の出力には予測ベクトル演算回路7の出力は現れず、予測ベクトル演算回路7は現フィールド(n)の絶対動きベクトルデータＶ(n)を用いて次フィールド(n+1)の絶対動きベクトルデータＶa(n+1)を予測することになる。
【００３５】
ところで、この実施形態の撮像装置では、積分器9が図９の(Ａ)又は(Ｂ)に示すような回路構成でリミッタ32を内蔵しており、図１０の場合と同様に、前フィールド以前に大きな手振れ等が発生して予測ベクトル演算回路7が求めた現フィールド(n)の絶対動きベクトルデータＶ(n)が大きくなり、積分した補正アドレスＡ(n)が撮像素子1の補正領域を超えて大きくなった場合に、リミッタ32が実効動作して補正アドレスＡ(n)を限度内に制限するようになっている。
従来の撮像装置に係る図１０の構成では、リミッタ32が実効動作した時に、ルートＲbを経た動きベクトル検出回路5の出力(相対動きベクトルデータ)が絶対動きベクトルデータとなり、ルートＲaを経た１フレーム遅延回路8は逐次予測された読出し領域の動きベクトルデータを出力し続けるため、加算器6の出力が通常の補正制御状態と異なったものになって不安定化を招いていた。
【００３６】
しかし、本実施形態の撮像装置では、予測ベクトル演算回路7から加算器6へ至るルートＲa,Ｒbがそれぞれ積分器9(32)を初段に介在させているため、その積分器9のリミッタ32が実効動作すると、各ルートＲa,Ｒbに対する入力がそれぞれ一定になる。
従って、ルートＲbを経た動きベクトル検出回路5の出力は図１０の場合と同様にそれ自身の微分機能によって絶対動きベクトルデータＶ(n)のみとなり、一方、ルートＲaを経た微分回路12の出力は、１フィールド遅延回路8の遅延機能によってリミッタ32の実効動作後の初期値こそ前フレーム(n-1)から求められた読出し領域の動きベクトルデータＶa(n)となるが、その後は自身の微分機能によって０となり、手振れ等が継続していても加算回路6は以降にルートＲbから得られる絶対動きベクトルデータのみを出力し続ける。
また、予測ベクトル演算回路7は加算器6が順次出力する絶対動きベクトルデータに基づいて次フレームに係る絶対動きベクトルデータを予測してゆくが、積分器9(32)のリミッタ32が実効動作しているために次フレームに係る補正アドレスは一定のままである。
従って、制御系全体は不安定化を招かず、また手振れ等が収まった際には、前記の状態から直ちに通常の補正制御状態へ復帰することが可能であり、再生映像に不自然なフィールドが介在してしまうことを防止できる。
【００３７】
実際に、本実施形態の撮像装置において、撮像素子1に対する入力画像[代表点位置:Ｘ(n)]にリミッタ32が実効動作するような動きがあった場合の各ユニットの出力[Ｘ(n)−Ａ(n),Ｖ(n)−Ｖa(n),Ｖ(n),Ｖa(n+1),Ａ(n+1)]をシュミレーション演算して求めると図３のようになる。
同図の状態を図１１を比較すると明らかなように、本実施形態の撮像装置ではリミッタ32が実効動作しても各出力が不安定化せず、リミッタ32が実効動作しなくなった時点での通常の補正制御状態へ移行も迅速且つ円滑に実行されていることが確認できる。
【００３８】
尚、本実施形態ではルートＲaを積分器9→１フィールド遅延回路8→微分器12で構成したが、１フィールド遅延回路8と微分器12の順序は逆になっていてもそのルートＲaの伝達関数は変化せず、また結果的に加算器6へ現フレーム(n)に係る読出し領域の動きベクトルデータＶa(n)が出力されるため、そのような構成も採用し得る。
【００３９】
《実施形態２》
この実施形態に係る撮像装置の機能ブロック回路図は図４に、またフィールド単位の画像データを対象として伝達関数を用いた回路図は図５に示される。
同図から明らかなように、予測ベクトル演算回路7の出力を１フィールド遅延回路8を介して加算器6へ帰還させる基本的な回路構成は図６及び図１０に示した従来の撮像装置と同様であるが、予測ベクトル演算回路7と１フィールド遅延回路8の間に積分器9(32)のリミッタ32の動作信号Ｌによってその乗算係数が制御される乗算器13が介在せしめられている点のみが異なる。
尚、ここでは、積分器9(32)からリミッタ32のＯＮ動作信号Ｌonが得られた場合に乗算係数が０に制御され、リミッタ32のＯＦＦ動作信号Ｌoffが得られた場合に乗算係数が１に制御されるようになっている。
【００４０】
この実施形態の撮像装置は、積分器9(32)のリミッタ32が実効動作していない場合には、信号Ｌoffに基づいて乗算器13が乗算係数を１に設定するため、図６及び図１０の撮像装置における通常の画像揺れ補正制御状態と同様になる。
【００４１】
一方、大きな手振れ等によって積分器9(32)のリミッタ32が実効動作した場合には、信号Ｌonに基づいて乗算器13の乗算係数が０に設定され、ルートＲaを経た１フィールド遅延回路8の出力が０となり、リミッタ32の実効動作中はその状態が継続する。
その場合、ルートＲbを経て動きベクトル検出回路5が出力する相対動きベクトルデータＶ(n)−Ｖa(n)は、上記で説明したように、リミッタ32の実効動作に基づいて補正アドレスＡ(n)が一定になり、動きベクトル検出回路5の微分機能によってＶa(n)が０になるため、絶対動きベクトルデータのみが継続的に出力されるようになる。
【００４２】
従って、加算器6が各フィールドで絶対動きベクトルデータを継続的に出力させることになり、結果的に実施形態１の撮像装置でリミッタ32が実効動作した場合と同様の動作状態となる。
また、大きな手振れ等が収まって積分器9(32)のリミッタ32が実効動作しなくなると、リミッタ32の動作信号ＬがＬonからＬoffへ変化し、それに基づいて直ちに乗算器13の乗算係数が１に戻るため、円滑に通常の補正制御状態へ復帰する。
即ち、本実施形態の撮像装置においても実施形態１の撮像装置と同様の効果が得られる。
【００４３】
尚、上記の各実施形態では画像信号をフィールド単位で取扱う構成になっているが、フレーム単位で画像信号を取扱う制御系である場合には、各機能ブロックをフレーム単位で信号処理するブロックとするだけで、同様の原理に基づいて安定した補正制御が実現できる。
【００４４】
【発明の効果】
本発明の「撮像装置における画像揺れ防止装置」は、以上の構成を有していることにより、次のような効果を奏する。
撮像素子に手振れ等による画像揺れを補正するための補正領域を設けておき、動きベクトル検出手段で現フィールドまたは現フレームに係る相対動きベクトルデータを求め、画像位置予測部がそのデータに基づいて次フィールド又は次フレームの予測画像位置を求め、読出し制御手段が画像揺れを打ち消すように撮像素子の読出し領域を補正制御する撮像装置において、その画像位置予測部がリミッタ等の制限機能を備え、予測画像位置データが前記補正領域を超える時にその制限機能を実効動作させて撮像素子の補正領域内に制限する方式を採用した場合に、制限機能の実効動作によって補正制御系が不安定化して不自然なフィールド又はフレームの画像が介在してしまうことを防止する。
また、従来の画像揺れ防止装置の回路構成を殆ど変更せずに、微分手段又は乗算手段を付加する程度で実現できるという利点も有している。
【図面の簡単な説明】
【図１】本発明の「撮像装置における画像揺れ防止装置」の実施形態１に係る撮像装置の機能ブロック回路図である。
【図２】実施形態１の撮像装置を伝達関数を用いて表現した回路図である。
【図３】実施形態１の撮像装置で積分器のリミッタが実効動作した場合における各ユニットの出力をシュミレーション演算して求めたグラフである。
【図４】実施形態２の撮像装置の機能ブロック回路図である。
【図５】実施形態２の撮像装置を伝達関数を用いて表現した回路図である。
【図６】従来の撮像装置(積分器がリミッタを内蔵していない場合)の機能ブロック回路図である。
【図７】従来の撮像装置(積分器がリミッタを内蔵していない場合)を伝達関数を用いて表現した回路図である。
【図８】予測ベクトル演算回路を伝達関数を用いて表現した２種類の回路図(A),(B)である。
【図９】リミッタを内蔵した積分器を伝達関数を用いて表現した２種類の回路図(A),(B)である。
【図１０】従来の撮像装置(積分器がリミッタを内蔵している場合)を伝達関数を用いて表現した回路図である。
【図１１】従来の撮像装置で積分器のリミッタが実効動作した場合における各ユニットの出力をシュミレーション演算して求めたグラフである。
【符号の説明】
1…撮像素子、2…アナログ信号処理回路、3…Ａ/Ｄ変換器、4…ディジタル信号処理回路、5…動きベクトル検出回路(動きベクトル検出手段)、6,24,30,31…加算器(6;加算手段)、7…予測ベクトル演算回路(動きベクトル予測手段)、8,21,25,26…１フィールド遅延回路(8;遅延手段)、9…積分器(積分手段)、10…駆動制御回路(読出し制御手段)、11…ドライバ(読出し制御手段)、12…微分器(微分手段)、13,22,23,27,28,29…乗算器(13;乗算手段)、32…リミッタ(積分手段の制限機能)、Ａ(n-1),Ａ(n),Ａ(n+1)…読出し領域の補正アドレス、Ｌ…リミッタ動作信号、Ｒa,Ｒb…ルート、Ｖ(n),Ｖa(n),Ｖa(n+1)…絶対動きベクトルデータ[Ｖa(n),Ｖa(n+1)は読出し領域の動きベクトルデータに相当する]、Ｖ(n)−Ｖa(n)…相対動きベクトルデータ、Ｘ(n-1),Ｘ(n),Ｘ(n+1)…撮像面上の座標における画像信号の代表点の位置データ。
【図１】
0003541560.tif 000004
【図２】
0003541560.tif 000005
【図３】
0003541560.tif 000006
【図４】
0003541560.tif 000007
【図５】
0003541560.tif 000008
【図６】
0003541560.tif 000009
【図７】
0003541560.tif 000010
【図８】
0003541560.tif 000011
【図９】
0003541560.tif 000012
【図１０】
0003541560.tif 000013
【図１１】
0003541560.tif 000014