(57)【要約】【課題】画像間の移動ベクトルの予測結果が適正か否かを高速且つ的確に判断する。【解決手段】Ｎフレーム目の画像データに対するＮ＋１フレーム目の画像データの今回の移動ベクトルを相関性演算処理により求め該移動ベクトルを含む過去の移動ベクトルに基づき前記Ｎ＋１フレーム目の画像データに対するＮ＋２フレーム目の画像データの移動ベクトルを予測する移動ベクトル予測方法において、前記過去の移動ベクトルの予測誤差の標準偏差σ０を求めると共に前記今回の移動ベクトルの予測誤差αを求め、該予測誤差αが標準偏差σ０の所定数倍以上の誤差になっているとき、前記予測の結果が不適正である判定する。【選択図】図３
2007267241.tif 000002
【特許請求の範囲】
【請求項１】
Ｎフレーム目の画像データに対するＮ＋１フレーム目の画像データの今回の移動ベクトルを相関性演算処理により求め該移動ベクトルを含む過去の移動ベクトルに基づき前記Ｎ＋１フレーム目の画像データに対するＮ＋２フレーム目の画像データの移動ベクトルを予測する移動ベクトル予測方法において、前記過去の移動ベクトルの予測誤差の標準偏差σ０を求めると共に前記今回の移動ベクトルの予測誤差αを求め、該予測誤差αが標準偏差σ０の所定数倍以上の誤差になっているとき、前記予測の結果が不適正である判定することを特徴とする移動ベクトル予測方法。
【請求項２】
Ｎフレーム目の画像データに対するＮ＋１フレーム目の画像データの今回の移動ベクトルを相関性演算処理により求め該移動ベクトルを含む過去の移動ベクトルのデータにより予測モデルの係数を更新し前記Ｎ＋１フレーム目の画像データに対するＮ＋２フレーム目の画像データの移動ベクトルを予測する移動ベクトル予測方法において、前記今回の移動ベクトルのデータを反映した前記係数の変化程度を判定し、該変化程度が所要判定基準を超えて変化したとき前記予測の結果が不適正である判定することを特徴とする移動ベクトル予測方法。
【請求項３】
前記予測モデルが、時間軸での画像ブレを表す予測モデルまたは周波数軸での画像ブレを表す予測モデルであることを特徴とする請求項２に記載の移動ベクトル予測方法。
【請求項４】
前記予測の結果が不適正であると判定したとき、前記過去の移動ベクトルのデータをクリアして新たな予測を開始することを特徴とする請求項１乃至請求項３のいずれかに記載の移動ベクトル予測方法。
【請求項５】
Ｎフレーム目の画像データに対するＮ＋１フレーム目の画像データの今回の移動ベクトルを相関性演算処理により求め該移動ベクトルを含む過去の移動ベクトルに基づき前記Ｎ＋１フレーム目の画像データに対するＮ＋２フレーム目の画像データの移動ベクトルを予測する移動ベクトル予測装置において、前記過去の移動ベクトルの予測誤差の標準偏差σ０を求めると共に前記今回の移動ベクトルの予測誤差αを求める手段と、該予測誤差αが標準偏差σ０の所定数倍以上の誤差になっているとき前記予測の結果が不適正である判定する手段とを備えることを特徴とする移動ベクトル予測装置。
【請求項６】
Ｎフレーム目の画像データに対するＮ＋１フレーム目の画像データの今回の移動ベクトルを相関性演算処理により求め該移動ベクトルを含む過去の移動ベクトルのデータにより予測モデルの係数を更新し前記Ｎ＋１フレーム目の画像データに対するＮ＋２フレーム目の画像データの移動ベクトルを予測する移動ベクトル予測装置において、前記今回の移動ベクトルのデータを反映した前記係数の変化程度を判定する手段と、該変化程度が所要判定基準を超えて変化したとき前記予測の結果が不適正である判定する手段とを備えることを特徴とする移動ベクトル予測装置。
【請求項７】
前記予測モデルが、時間軸での画像ブレを表す予測モデルまたは周波数軸での画像ブレを表す予測モデルであることを特徴とする請求項２に記載の移動ベクトル予測装置。
【請求項８】
前記予測の結果が不適正であると判定したとき、前記過去の移動ベクトルのデータをクリアして新たな予測を開始することを特徴とする請求項５乃至請求項７のいずれかに記載の移動ベクトル予測装置。
【請求項９】
撮像素子と、該撮像素子の受光面全面のうち画像データを読み出す出力範囲を移動制御する駆動手段と、撮像素子から出力される画像データを取り込み画像間の移動ベクトルを算出し次回の移動ベクトルを予測して前記駆動手段に出力する請求項５乃至請求項８のいずれかに記載の移動ベクトル予測装置とを備えることを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像間の移動ベクトル予測方法及びその装置並びに撮像装置に関する。
【背景技術】
【０００２】
例えば動画撮影機能付デジタルスチルカメラやデジタルビデオカメラには、固体撮像素子から出力される撮像画像の手振れを電子的に補正するものがある。この原理を図６（ａ）で説明する。
【０００３】
固体撮像素子の受光面１で撮像された画像データを切り出し出力する範囲２は、受光面１より一回り狭い範囲になっており、撮像素子駆動部の駆動制御によって出力範囲２の画像が固体撮像素子から読み出される。
【０００４】
今、この範囲２の画像データが出力された後、後続する画像を撮像したとき、手振れによって画像データが矢印Ｋで示す分だけ受光面１上で画像ブレを起こしたとする。この画像ブレを起こした画像データを同じ範囲２で切り出し読み出すと、静止していた被写体画像であっても移動した様に見えてしまい、見づらい画像になってしまう。
【０００５】
そこで、画像間のブレすなわち移動ベクトルＫを検出し、受光面１から画像データを切り出し出力する範囲３を範囲２から移動ベクトルＫだけずらした位置に移動させる。これにより、手振れが補正される。
【０００６】
図６（ｂ）（ｃ）は、移動ベクトルの検出原理を説明する図である。図６（ｂ）に示すＮフレーム目の画像４中の所定アドレスで示されるブロック５内の画像を基準画像とすると、図６（ｃ）に示す（Ｎ＋１）フレーム目の画像６中の同一所定アドレスで示されるブロック７によって切り出された画像が基準画像と同一であれば、画像４に対して画像６は振れていないことになる。
【０００７】
しかし、手振れが発生していれば、ブロック５内の基準画像とブロック７で切り出された画像は一致しない。そこで、画像６中のブロック７を、７ａ，７ｂ，７ｃ，…と、Ｘ方向（水平方向），Ｙ方向（垂直方向）にずらしながら、各ブロック７ａ，７ｂ，７ｃ，…内の夫々の画像を基準画像と比較し、基準画像と最も相関性が高い比較画像を切り出したブロック位置を求める。
【０００８】
基準画像と比較画像の相関性を求める演算は、基準画像と比較画像の１画素１画素を比較することで行う。即ち、各画素データの各差分絶対値をブロック内総画素で積算し、その積算値が最小値を示す比較画像が基準画像に対して相関性が最も高い（＝不一致量が最も少ない）と判断する。
【０００９】
図６（ｃ）に示す例で、ブロック５の基準画像に対し最も相関性が高い比較画像がブロック７ｃで切り出されたとすると、画像４に対する画像６の差は「Ｋ」となる。
【００１０】
ここで問題となるのは、固体撮像素子の現在フレームの撮像画像から出力範囲の画像データを切り出すとき、現在フレームの画像は未だ読み出されていないため移動ベクトルの検出に利用できず、１フレーム前の画像と２フレーム前の画像とを比較して検出した過去の移動ベクトルを使用しなければならないことである。即ち、時間遅れが生じた移動ベクトルを使用せざるを得ないことである。そこで、過去の移動ベクトルから現在の移動ベクトルを精度良く予測する必要が生じる。
【００１１】
移動ベクトルの予測を行う場合、過去の移動ベクトルを統計的処理することで予測値と実際値との予測誤差をある程度の許容範囲内に収めることができる。しかし、過去の移動ベクトルと全く異なる不測の画像ブレが発生することがあり、このとき、上記の統計的処理結果をそのまま使い続けると予測誤差が大きくなってしまう。
【００１２】
尚、移動ベクトルの予測に関連する従来技術として、例えば下記の特許文献１がある。
【００１３】
【特許文献１】特開平９―１３０６６３号公報
【発明の開示】
【発明が解決しようとする課題】
【００１４】
デジタルカメラ等の撮像装置では、大型で高性能な演算処理装置を搭載することができない。このため、上記の様な不測の画像ブレが発生したか否かの判断処理を、低コストの装置構成で如何にして高速且つ的確に行うかが問題となる。
【００１５】
本発明の目的は、移動ベクトルの予測結果が適正か否かを高速且つ的確に判断することができる移動ベクトル予測方法及びその装置並びに撮像装置を提供することにある。
【課題を解決するための手段】
【００１６】
本発明の移動ベクトル予測方法及びその装置は、Ｎフレーム目の画像データに対するＮ＋１フレーム目の画像データの今回の移動ベクトルを相関性演算処理により求め該移動ベクトルを含む過去の移動ベクトルに基づき前記Ｎ＋１フレーム目の画像データに対するＮ＋２フレーム目の画像データの移動ベクトルを予測するに際し、前記過去の移動ベクトルの予測誤差の標準偏差σ０を求めると共に前記今回の移動ベクトルの予測誤差αを求め、該予測誤差αが標準偏差σ０の所定数倍以上の誤差になっているとき、前記予測の結果が不適正である判定することを特徴とする。
【００１７】
本発明の移動ベクトル予測方法及びその装置は、Ｎフレーム目の画像データに対するＮ＋１フレーム目の画像データの今回の移動ベクトルを相関性演算処理により求め該移動ベクトルを含む過去の移動ベクトルのデータにより予測モデルの係数を更新し前記Ｎ＋１フレーム目の画像データに対するＮ＋２フレーム目の画像データの移動ベクトルを予測するに際し、前記今回の移動ベクトルのデータを反映した前記係数の変化程度を判定し、該変化程度が所要判定基準を超えて変化したとき前記予測の結果が不適正である判定することを特徴とする。
【００１８】
本発明の移動ベクトル予測方法及びその装置は、前記予測モデルが、時間軸での画像ブレを表す予測モデルまたは周波数軸での画像ブレを表す予測モデルであることを特徴とする。
【００１９】
本発明の移動ベクトル予測方法及びその装置は、前記予測の結果が不適正であると判定したとき、前記過去の移動ベクトルのデータをクリアして新たな予測を開始することを特徴とする。
【００２０】
本発明の撮像装置は、撮像素子と、該撮像素子の受光面全面のうち画像データを読み出す出力範囲を移動制御する駆動手段と、撮像素子から出力される画像データを取り込み画像間の移動ベクトルを算出し次回の移動ベクトルを予測して前記駆動手段に出力する上記のいずれかに記載の移動ベクトル予測装置とを備えることを特徴とする。
【発明の効果】
【００２１】
本発明によれば、移動ベクトルの予測結果が適正か否かを高速且つ的確に判断することが可能となる。
【発明を実施するための最良の形態】
【００２２】
以下、本発明の一実施形態について、図面を参照して説明する。
【００２３】
図１は、本発明の一実施形態に係る撮像装置、例えば動画撮影機能付デジタルスチルカメラの要部構成図である。この撮像装置は、撮像部本体１０と、電子的手振れ補正部（移動ベクトル予測装置）２０とでなる。
【００２４】
撮像部本体１０は、被写体画像を撮像する固体撮像素子１１と、固体撮像素子１１を駆動制御し予測移動ベクトルに従って図６（ａ）で説明した出力範囲２，３の制御を行いながら該出力範囲の画像データを固体撮像素子１１から出力させる撮像素子駆動部１２と、固体撮像素子１１から出力された画像データに対してホワイトバランス補正処理やガンマ補正処理，ＲＧＢ／ＹＣ変換処理等の各種信号処理を施す画像処理部１３と、信号処理後の画像データたとえばＪＰＥＧ圧縮された画像データやＭＰＥＧ圧縮された画像データを記録メディアに格納したりモニタ表示する画像出力部１４とを備えてなる。
【００２５】
電子的手振れ補正部２０は、固体撮像素子１１から出力される画像データを取り込み間引き処理する前処理部２１と、前処理部２１で間引き処理され生成された縮小画像データを保存する２つのメモリ２２，２３と、２つのメモリ２２，２３の一方を前処理部２１に切替接続するスイッチ２４とを備える。
【００２６】
この電子的手振れ補正部２０は更に、基準画像切出回路２６と、比較画像切出回路２７と、基準画像切出回路２６及び比較画像切出回路２７とメモリ２２，２３との間に設けられメモリ２２，２３の一方を基準画像切出回路２６に接続したときメモリ２２，２３の他方を比較画像切出回路２７に接続する接続切替回路２８と、両切出回路２６，２７の出力画像データを比較して相関性の演算処理等を行い移動ベクトルを求める比較演算処理部２９と、比較演算処理部２９が求めた移動ベクトルを蓄積し現在（次回）の移動ベクトルを予測して撮像素子駆動部１２に出力する移動ベクトル予測部３０とを備える。
【００２７】
斯かる撮像装置では、…，Ｎ−１フレーム目の画像データ，Ｎフレーム目の画像データ，Ｎ＋１フレーム目の画像データが次々と入力してくる。前処理部２１は、各フレームの画像データを次々と間引き処理して縮小画像データを生成して出力し、スイッチ２４はフレーム切替信号によって切り替え制御される。
【００２８】
これにより、Ｎ−１フレーム目の縮小画像データがメモリ２２に格納され、Ｎフレーム目の縮小画像データがメモリ２３に格納されると、メモリ２２の格納画像データ（今回の基準画像データ）に対するメモリ２３の格納画像データ（今回の比較画像データ）の移動ベクトルが算出される。
【００２９】
次にＮ＋１フレーム目の縮小画像データがメモリ２２に上書きされると、メモリ２３の格納画像データ（Ｎフレーム目の縮小画像データ：次回の基準画像データ）に対するメモリ２２の格納画像データ（次回の比較画像データ）の移動ベクトルが算出され、以後、同様の処理が繰り返される。
【００３０】
この様に、移動ベクトルを算出する場合、比較演算処理部２９の処理負荷の軽減と処理速度の高速化を図るために縮小画像データを用いて行うのが好ましく、メモリ容量の削減も図れるが、縮小画像データを用いずに元画像データを用いて移動ベクトルを算出する構成とすることも可能である。
【００３１】
接続切換回路２８は、フレーム切替信号により、基準画像とする方の縮小画像データを格納したメモリ２２，２３の一方を選択して基準画像切出回路２６に接続し、メモリ２２，２３の他方を比較画像切出回路２７に接続する。
【００３２】
基準画像切出回路２６は、例えば基準画像側とするＮフレームの縮小画像データの中からブロック５（図６参照）によって基準画像を切り出し、比較演算処理部２９に出力する。同様に、比較画像切出回路２７は、比較画像側とするＮ＋１フレームの縮小画像データの中からブロック５と同一大きさの比較画像切出ブロックによって比較画像を切り出し、比較演算処理部２９に出力する。
【００３３】
比較演算処理部２９は、切出回路２６，２７から取り込んだ両画像を１画素単位に比較して各画素毎の差分（輝度の差分，色差の差分，原色系フィルタの場合はＲＧＢ色毎の差分，補色系フィルタの場合は補色毎の差分等）を求め、各差分の絶対値のブロック内総画素の積算値（この値が大きいほど、不一致量が大きいことを意味する。）を算出し、自身内の内部メモリ（図示せず）に保存しておく。
【００３４】
積算値が算出された後、比較演算処理部２９は比較画像切出回路２７に移動指令を出力する。これにより、比較画像切出ブロックが同一探索範囲内で次位置に移動し（縮小画像データを用いているため、移動は、縮小画像上の１画素単位となる。）、次の比較画像が切り出され、比較演算処理部２９はこの比較画像と基準画像との比較演算を行い、各画素の差分の上記積算値を同様にして求める。
【００３５】
以下同様にして、次々と探索範囲内の比較画像を切り出し、各比較画像毎の積算値を求め、各積算値のうちの最小値（相関性の最高値）を求める。そして、最小値を示す比較画像を切り出したブロック位置と基準画像を切り出したブロック位置との差を移動ベクトルとして移動ベクトル予測部３０に出力する。
【００３６】
図２は、移動ベクトル予測部３０の詳細構成図である。この移動ベクトル予測部３０は、比較演算処理部２９から出力される移動ベクトルを記憶しておく記憶手段３１と、記憶手段３１に格納されている今回及び過去の移動ベクトルから次回の移動ベクトルを予測する予測手段３２と、予測手段３２が予測した次回の移動ベクトルが適正であるか否かを過去の移動ベクトル及び今回の移動ベクトルから判定し予測手段３２の出力を制限する適正判定手段３３とを備える。
【００３７】
予測手段３２が行う移動ベクトル予測方法には種々のものがあり、本実施形態ではその予測方法は問わない。例えば、今回及び過去の移動ベクトルを統計処理し移動ベクトル間の相関性から次回の移動ベクトルを予測する方法でも、また、数式を用いた予測モデルを設定し、この予測モデルの係数を今回及び過去の移動ベクトルに基づいて更新し、次回の移動ベクトルを予測する方法を採用してもよい。
【００３８】
予測モデルとしては、例えば、
Ｐ（Ｎ＋１）＝ｋ０＊Ｖ（Ｎ）＋ｋ１＊Ｖ（Ｎ−１）＋ｋ２＊Ｖ（Ｎ−２）＋…
ここで、Ｐ（Ｎ）：Ｎ番目の予測値
Ｖ（Ｎ）：Ｎ番目の移動ベクトル値
ｋ０，ｋ１，ｋ２：係数
とする時間軸での画像ブレを表す線形予測モデルや、フーリエ級数を用いた
ｆ（ｔ）＝ΣＢｉ＊ｃｏｓ（ｎωｔ）＋ΣＡｉ＊ｓｉｎ（ｎωｔ）
ここで、Ａｉ，Ｂｉ：係数
等の周波数軸で画像ブレを表す予測モデルがある。この他にも、高速フーリエ変換（ＦＦＴ）や離散コサイン変換（ＤＣＴ）を用いた予測モデル等がある。
【００３９】
予測モデルの係数決定方法としては、係数の個数と同じデータ数から連立方程式を用いて算出する方法や、係数の個数とデータ個数とが異なる場合にも適用可能な最小二乗（ＬＭＳ）適応フィルタ、リカーシブな最小二乗（ＲＬＳ）フィルタ、カルマンフィルタ等の適応型フィルタを利用することができる。
【００４０】
図３は、適正判定手段３３が行う処理手順を示すフローチャートである。適正判定手段は、先ず、最新の予測誤差αを算出する。予測誤差とは、移動ベクトルの予測値Ｐと、この予測した画像データに対しその予測後に固体撮像素子から出力された画像データに基づき比較演算処理部２９が実際に算出した真の移動ベクトル値ａとの間の誤差α＝｜Ｐ−ａ｜である（ステップＳ１）。
【００４１】
次のステップＳ２では、図４に示す様に、過去の予測誤差Ｐ−ａの標準偏差σ０を求める。予測が許容範囲内で的中している場合には、予測誤差Ｐ−ａは正規分布する。
【００４２】
次のステップＳ３では、最新の予測誤差αが標準偏差σ０のｍ倍（例えば、２．５倍とか４倍）以下であるか否かを判定する。撮影者がカメラを手に持って撮像しているときの通常の手振れは、上記の標準偏差σ０内に収まる。
【００４３】
しかしこの手振れ中に予測不能な画像ブレが発生したときには、例えば中心となる被写体が急に移動方向を変えたときには、予測誤差は標準偏差σ０を超えて変化することになる。この場合、過去の移動ベクトルをそのまま参照して次回の移動ベクトルを予測すると、予測が大きく外れることになる。
【００４４】
そこで、ステップＳ３の判定の結果、最新の予測誤差αが標準偏差σ０のｍ倍以下のときは、ステップＳ４に進んで予測手段３２の予測結果を撮像素子駆動部１２に出力させる。
【００４５】
α≧ｍ・σ０の場合には、記憶手段３１内の格納データを、今回算出された移動ベクトルだけを残して、あるいは、今回と前回など限られた直近の個数の移動ベクトルだけを残してクリアし（ステップＳ５）、この処理を終了する。
【００４６】
このとき撮像素子駆動部１２には、予測移動ベクトルをそのまま出力させる構成でも、何も出力させない構成でも、あるいは、今回比較演算処理部２９が算出した移動ベクトルをそのまま出力させる構成でも良い。記憶手段３１をクリアすることで、それ以後の予測は、過去の移動ベクトルに依存しない移動ベクトルに基づき行われることになる。
【００４７】
図５は、適正判定手段３３が行う別実施形態に係る処理手順を示すフローチャートである。本実施形態では、予測手段３２が数式による予測モデルを用いて移動ベクトルの予測を行っていることが前提になっている。
【００４８】
先ず、比較演算処理部２９が今回算出した移動ベクトルを反映した最新の予測モデルの係数を取得する（ステップＳ１１）。次のステップＳ１２では、この係数が大幅に変化したか否かを判定する。
【００４９】
「大幅に変化」とは、例えば上記の係数ｋ０やＡｉ，Ｂｉの値がｋ０，Ａｉ，Ｂｉ＞所定閾値βになったとかの他、例えば、上記の係数ｋ０＞ｋ１＞ｋ２という大小関係が、ｋ０＜ｋ１に変化したとかである。
【００５０】
予測モデルが時間軸の画像ブレを表している場合、「係数の大幅な変化」は時間軸上の画像ブレの不連続が検出されたことを意味し、予測モデルが周波数軸での画像ブレを表している場合には、周波数軸での画像ブレの不連続が検出されたことを意味する。
【００５１】
係数が大幅に変化していない場合には、ステップＳ１５に進み、予測手段３２が予測した移動ベクトルを撮像素子駆動部１２に出力させる。
【００５２】
係数が大幅に変換した場合には、ステップＳ１３に進み、図４のステップＳ５と同様の処理を行う。即ち、記憶手段３１をクリアする。そして、過去の移動ベクトルに依存しない新しい予測モデルを構築させる（ステップＳ１４）。
【００５３】
以上述べた実施形態によれば、移動ベクトルを予測している最中に過去の移動ベクトルと異なる予期しない画像ブレが発生したとき直ちに過去の移動ベクトルによる予測を停止し、新しい移動ベクトル以後に得られる移動ベクトルに基づく予測を開始するため、移動ベクトルの追随性が向上する。
【００５４】
尚、実施形態では、電子的手振れ補正で用いる移動ベクトルの適正判断について説明したが、手振れ補正に限ることなく、予測した移動ベクトルの適正判断一般に実施形態を適用することができる。
【産業上の利用可能性】
【００５５】
本発明に係る移動ベクトル予測方法等は、移動ベクトルの予測結果が適正か否かを高速且つ的確に判断することができるため、デジタルカメラ等の撮像装置に適用すると有用である。
【図面の簡単な説明】
【００５６】
【図１】本発明の一実施形態に係る撮像装置の機能ブロック図である。
【図２】図１に示す移動ベクトル予測部の詳細構成図である。
【図３】図２に示す適正判定手段が行う処理手順を示すフローチャートである。
【図４】予測誤差の分布例を示す図である。
【図５】図２に示す適正判定手段が行う別実施形態に係る処理手順を示すフローチャートである。
【図６】手振れ補正時の移動ベクトル説明図である。
【符号の説明】
【００５７】
１０  撮像部本体
１１  撮像素子
１２  撮像素子駆動部
１３  画像処理部
１４  画像出力部
２０  電子的手振れ補正部
２１  前処理部
２２，２３  縮小画像格納用のメモリ
２６  基準画像切出回路
２７  比較画像切出回路
２８  接続切換回路
２９  比較演算処理部
３０  移動ベクトル予測部
【図１】
2007267241.tif 000003
【図２】
2007267241.tif 000004
【図３】
2007267241.tif 000005
【図４】
2007267241.tif 000006
【図５】
2007267241.tif 000007
【図６】
2007267241.tif 000008