(57)【特許請求の範囲】
【請求項１】
カメラの撮影時、振動による画像の動きを補正するためのカムコーダの動き補正装置において、
前記画像の全体領域に対する第１方向性情報を抽出し、前記第１方向性情報の時間的な差から第１方向性動き成分を検出する第１動き検出手段と、
前記画像の一部領域に対する第２方向性情報を抽出して空間的に拡張し、前記第２方向性情報の時間的な差から第２方向性動き成分を検出する第２動き検出手段と、
前記第１及び第２方向性動き成分を入力し、前記第２方向性動き成分に第１所定値を乗算した値と前記第１方向性動き成分との間の方向性差値を計算する差値計算手段と、
前記方向性差値と第２所定値とを比較し、比較された結果に応答して、前記第１方向性動き成分に前記第１所定値の逆数を乗算した値叉は前記第２方向性動き成分を用いて前記振動を補正する補正手段と
を具備することを特徴とするカムコーダの動き補正装置。
【請求項２】
前記第１及び前記第２動き検出手段は前記画像を水平及び垂直方向に累積して前記第１及び第２方向性情報を抽出することを特徴とする請求項１に記載のカムコーダの動き補正装置。
【請求項３】
前記第１動き検出手段は、
前記画像の全体領域に対する前記第１方向性情報を抽出する第１累積手段と、
前記抽出された第１方向性情報の時間的な差から第１方向性動き成分を検出する第１動き成分検出手段と、
を具備することを特徴とする請求項１に記載のカムコーダの動き補正装置。
【請求項４】
前記第２動き検出手段は、
前記画像の一部に対する前記第２方向性情報を抽出する第２累積手段と、
抽出された前記第２方向性情報を空間的に拡張して出力する拡張手段と、
前記拡張された第２方向性情報の時間的な差から第２方向性動き成分を検出する第２動き成分検出手段と
を具備することを特徴とする請求項１に記載のカムコーダの動き補正装置。
【請求項５】
カメラの撮影時、振動による画像の動きを補正するためのカムコーダの動き補正装置において、
前記画像の全体領域に対する第１方向性情報を抽出し、前記第１方向性情報の時間的な差から第１方向性動き成分を検出する第１動き検出手段と、
前記画像の拡大領域に対する第２方向性情報を抽出して空間的に拡張し、前記第２方向性情報の時間的な差から第２方向性動き成分を検出する第２動き検出手段と、
前記第１及び第２方向性動き成分を入力し、前記第２方向性動き成分に第１所定値を乗算した値と前記第１方向性動き成分との間の方向性差値を計算する差値計算手段と、
前記方向性差値と第２所定値とを比較し、比較された結果に応答して、前記第１方向性動き成分に前記第１所定値の逆数を乗算した値叉は前記第２方向性動き成分を用いて振動を補正する補正手段と
を具備することを特徴とするカムコーダの動き補正装置。
【請求項６】
前記第１及び前記第２動き検出手段は前記画像を水平及び垂直方向に累積して前記第１及び前記第２方向性情報を抽出することを特徴とする請求項５に記載のカムコーダの動き補正装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明はカムコーダに係り、特に、カムコーダの撮影時、手ぶれによる振動のために発生する画像の動きを安定化させるためのカムコーダの動き補正装置及びその方法に関する。
【０００２】
【従来の技術】
動画像信号から動きベクトルを検出することは画像圧縮、画像認識及び画像安定化に要求される基本的な技術である。VCR一体型カメラ(以下、カムコーダという)を用いて画像を撮影する時、特に、歩きながら又は車の移動中に画像を撮影する時には手ぶれによるカメラの振動のために画像が不安定になりがちである。このような振動による不安定化はズームによる画像の倍率増加に応じて更に深刻になる。
【０００３】
従って、従来では振動による動きを正確に補正するために、その動きをピクセルのみならずサブピクセル単位で検出する必要があった。ところが、これには演算量を増加させ、複雑な補間回路が必要になるという問題点があると共に、電子的に画像を拡大するとき、拡大倍率の増加に比例して拡大領域に対する動き情報が振動と無関係に検出される確率が高い。
【０００４】
以下、従来の振動による動きを補正する方法を、添付した図面に基づき説明する。
【０００５】
図３に示した動きベクトル検出方式では画面の全体又は一部に対する画像情報を入力する(第10段階)。次に、１フィールド又は１フレーム以前の画像情報と現在入力した画像情報とを比較して、最適化された水平及び垂直動きベクトルを検出する(第12段階)。この際、全体画像に対する情報を用いて動きベクトルを検出する場合には、画像内の多くのパターン情報を用いるので正確に検出することができるが、動き成分の分解能には限界がある。
【０００６】
次に、検出された水平及び垂直動きベクトルを用いてフィールドメモリの画像を補正する(第14段階)。そして、引き続き画像を所定の倍率で拡大する(第16段階)。
【０００７】
図３に示した動き補正方法は安定的に動きを補正することができるが、動きベクトルを正確に検出できない問題点がある。
【０００８】
図４に示した更に別の従来の動き補正方法は、まず、画面の全体又は一部の画像を入力する(第20段階)。次に、画像の動きを更に正確に検出するために入力した画像を電子的に拡大する(第22段階)。次いで、拡大された画像の水平動きベクトル(Vx)及び垂直動きベクトル(Vy)を下記式(1)及び(2)のように検出する(第24段階)。
【０００９】
【数１】
0004001979.tif 000002
【数２】
0004001979.tif 000003
式(1)と式(2)において、Pは画像の輝度成分を１次元で累積した値であり画像の１次元的パターン情報を示し、Corrは現在の累積値Pnと過去の累積値Pn-1との相関値を示し、Wは画像の幅を、Hは画像の高さを、xは水平方向の画素を、yは垂直方向の画素をそれぞれ示す。
【００１０】
画像の最適動き量は相関値が最小になる値における水平及び垂直位置に推定される。この際、出力される動きベクトルの単位は整数値を取る。さらに、より高精度の動きベクトルを有するためには、相関値を補間してその極点を探したり、Pn及びPn-1の値を補間してサブピクセル化した後、相関値を計算する方法を用いる。
【００１１】
第24段階の後、水平及び垂直動きベクトルを用いてフィールドメモリの画像を補正する(第26段階)。
【００１２】
【発明が解決しようとする課題】
しかしながら、第22段階で、サブピクセルの正確な動きベクトルを検出するためには、抽出され拡大された画像の情報が多量の動き情報を含まなければならないが、画像の動き情報は電子的画像拡大の拡大比に反比例するので、その動きベクトルの安定性には限界がある。特に、画像の拡大部分で独立的な動きがたくさん存在すると、振動による画像の動きではなく物体の動きを補正する。従って、安定化の対象が全体画像と物体との間で頻繁に変化し、これにより画像の安定性が著しく低下する問題点がある。
【００１３】
本発明は前記のような問題点を解決するために案出されたものであり、カムコーダシステムにおいて、入力画像の全体領域に対する方向性情報及び画像拡大のための対象領域における方向性情報から検出された動きベクトルを選択して振動による画像の動きを補正するカムコーダの動き補正装置を提供することを第一の目的とする。
【００１４】
また、本発明の第二の目的はカムコーダシステムにおいて、入力画像の全体領域に対する方向性情報及び入力画像の一部領域に対する方向性情報から検出された動きベクトルを選択して振動による画像の動きを補正するカムコーダの動き補正装置を提供することにある。
【００１５】
本発明の第三の目的は前記第一の目的に応じたカムコーダの動き補正装置で行われる補正方法を提供することである。
【００１６】
さらに、本発明の第四の目的は前記第二の目的に応じたカムコーダの動き補正装置で行われる補正方法を提供することである。
【００１７】
【課題を解決するための手段】
前記第一の目的を達成するために、カメラの撮影時、振動による画像の動きを補正するための本発明のカムコーダの動き補正装置は、前記画像の全体領域に対する第１方向性情報を抽出し、前記第１方向性情報の時間的な差から第１方向性動き成分を検出する第１動き検出手段と、前記画像の一部領域に対する第２方向性情報を抽出して空間的に拡張し、前記第２方向性情報の時間的な差から第２方向性動き成分を検出する第２動き検出手段と、前記第１及び第２方向性動き成分を入力し、前記第２方向性動き成分に第１所定値を乗算した値と前記第１方向性動き成分との間の方向性差値を計算する差値計算手段と、前記方向性差値と第２所定値とを比較し、比較された結果に応答して、前記第１方向性動き成分に前記第１所定値の逆数を乗算した値又は前記第２方向性動き成分を用いて前記振動を補正する補正手段とを具備することを特徴とする。
【００１８】
前記第二の目的を達成するために、カメラの撮影時、振動による画像の動きを補正するための本発明によるカムコーダの動き補正装置は、前記画像の全体領域に対する第１方向性情報を抽出し、前記第１方向性情報の時間的な差から第１方向性動き成分を検出する第１動き検出手段と、前記画像の拡大領域に対する第２方向性情報を抽出して空間的に拡張し、前記第２方向性情報の時間的な差から第２方向性動き成分を検出する第２動き検出手段と、前記第１及び第２方向性動き成分を入力し、前記第２方向性動き成分に第１所定値を乗算した値と前記第１方向性動き成分との間の方向性差値を計算する差値計算手段と、前記方向性差値と第２所定値とを比較し、比較された結果に応答して、前記第１方向性動き成分に前記第１所定値の逆数を乗算した値又は前記第２方向性動き成分を用いて振動を補正する補正手段とから構成されることが望ましい。
【００１９】
前記第三の目的を達成するために、カメラの撮影時、振動による画像の動きを補正するための本発明によるカムコーダの動き補正方法は、前記画像の全体又は一部を入力する段階と、前記画像の全体領域に対して抽出した第１方向性情報及び前記画像の一部領域に対して抽出した第２方向性情報のそれぞれの時間的な差から第１及び第２方向性動き成分をそれぞれ検出する段階と、前記第２方向性動き成分に第１所定値を乗算した値と前記第１方向性動き成分との間の方向性差値を求める段階と、前記方向性差値が第２所定値より大きいかどうかを判断する段階と、前記方向性差値が前記第２所定値より大きいときには、前記第１方向性動き成分に前記第１所定値の逆数を乗算した値を用いて前記振動を補正する段階と、前記方向性差値が前記第２所定値以下であるときには、前記第２方向性動き成分を用いて振動を補正する段階とを具備することが望ましい。
【００２０】
前記第四の目的を達成するために、カメラの撮影時、振動による画像の動きを補正するためのカムコーダの動き補正方法は、前記画像の全体又は一部を入力する段階と、前記画像の全体領域に対して抽出した第１方向性情報及び前記画像の全領域に対して抽出した第２方向性情報のそれぞれの時間的な差から第１及び第２方向性動き成分をそれぞれ検出する段階と、前記第２方向性動き成分に第１所定値を乗算した値と前記第１方向性動き成分との間の方向性差値を求める段階と、前記方向性差値が第２所定値より大きいかどうかを判断する段階と、前記方向性差値が前記第２所定値より大きいときには、前記第１方向性動き成分に前記第１所定値の逆数を乗算した値を用いて振動を補正する段階と、前記方向性差値が前記第２所定値以下であるときには、前記第２方向性動き成分を用いて振動を補正する段階とからなることが望ましい。
【００２１】
【発明の実施の形態】
以下、本発明の実施形態を添付した図面に基づき更に詳細に説明する。
【００２２】
図１は本発明によるカムコーダ動き補正装置のブロック図であり、累積部30、拡張部32、第１動き検出部34、第２動き検出部36、差値計算部38及び補正部40から構成される。
【００２３】
図２は図１に示した装置で行われる本発明による補正方法を説明するためのフローチャートであり、入力された画像から求めた第１及び第２方向性動きベクトルを用いて方向性差値を求める段階(第40〜第44段階)、方向性差値に対応して振動を補正する段階(第46〜48段階)とからなる。
【００２４】
図１に示した装置の累積部30は入力端子(IN)を通してカムコーダにより撮影された画像の全体、一部又は拡大された画像を入力する(第40段階)。
【００２５】
次に、入力された画像から第１及び第２方向性動き成分を求める(第42段階)。即ち、累積部30は入力端子(IN)を通して入力された画像を水平及び垂直方向に累積して、全体領域に対する第１方向性情報(又は第１特徴情報)、即ち第１水平情報(Px)と第１垂直情報(Py)を抽出する。
【００２６】
第１動き検出部34は第１方向性情報の時間的な差から第１方向性動き成分を検出する。そして、第１動き検出部34は第１水平及び第１垂直情報の相関値を式（１）及び式（２）に代入して第１方向性動きベクトル、即ち第１水平動きベクトル(Vx)と第１垂直動きベクトル(Vy)とを検出する。
【００２７】
また、累積部30は入力端子(IN)を通して画像を入力し、入力された画像を水平及び垂直方向に累積して第２方向性情報(又は第２特徴情報)、即ち第２水平情報(Rx)と第２垂直情報(Ry)を抽出する。
【００２８】
拡張部32は第２方向性情報を空間的に特定倍率だけ拡張して第２動き検出部36に出力する。
【００２９】
第２動き検出部36は拡張された第２方向性情報の時間的な差から第２方向性動き成分を検出する。そして、第２動き検出部36は第２水平情報及び第２垂直情報の相関値を下記の式(3)及び式(4)に代入して第２方向性動きベクトル、即ち第２水平動きベクトル(Ux)及び第２垂直動きベクトル(Uy)を検出する。
【００３０】
【数３】
0004001979.tif 000004
【数４】
0004001979.tif 000005
であり、Rは累積値をK倍拡張したものを示す。
【００３１】
即ち、所定数(K)倍で拡大された一部の画像に基づいた画像の動き量が整数量として出力される。このように検出された画像の第２方向性動きベクトルを再びKで割ると、サブピクセル単位の高精度の動きを検出することができる。ところが、このような動き成分は拡大対象領域を代表するので、全体画像で独立的な動きが存在する場合に全体領域から検出された結果と異なることになる。実際に拡大倍率(K)が大きいほど累積された画像の情報量が減少するので、検出された結果にエラーが発生する可能性が高い。即ち、拡大された領域における動きを検出すると、正確度(動き検出の分解能)は増加するが、動きの信頼度が低下するので、検出された動きを適宜に評価して動きを補う必要がある。
【００３２】
このために、第42段階の後、下記の式(5)及び式(6)のように、図１に示した差値計算部38は方向性差値(E)、即ち水平差値(Ex)と垂直差値(Ey)の絶対値を求める(第44段階)。
【００３３】
【数５】
0004001979.tif 000006
【数６】
0004001979.tif 000007
この際、評価した動きの差が大きいと、全体画像の第１方向性動きベクトル(Vx及びVy)に対して拡大領域における第２方向性動きベクトル(Ux及びUy)は前記のような理由のために信頼性が低下することになる。
【００３４】
第44段階の後、補正部40は差値計算部38で計算された水平及び垂直差値(Ex及びEy)を入力して、"１"より大きいかどうかを判断する(第46段階)。もし、"１"以下であると、第２水平及び第２垂直動きベクトルを選択し、選択された動きベクトルを用いて振動による画像の動きを補正する(第50段階)。ところが、"１"より大きいと、第１水平及び第１垂直動きベクトルを選択し、選択された動きベクトルを用いて振動による画像の動きを補正する(第48段階)。この際、通常的にKの値は２〜４の範囲内で取られる。
【００３５】
画像をK倍に拡大するディジタル画像拡大時にも、拡大された画像に対する動きベクトル(Ux及びUy)をそのまま用いることができる。もし、差値(Ex及びEy)が"１"以上になると、第１水平及び第１垂直動きベクトルに所定の倍率(K)を乗算した値を用いて振動による動きを補正する。結局、動きの分解能は低下するが、極端なエラーを減少させ得る。
【００３６】
相関値を同時に計算するためには、現在と以前、水平と垂直、全体領域と一部の拡大領域におけるそれぞれの累積値が必要になる。入力画像が完全に走査されてから、前記推定された動きにより画像が補正され出力されるので、一応前記入力画像をフィールドメモリに格納してから、検出された動きベクトルを用いて補正する。
【００３７】
【発明の効果】
以上、本発明によるカムコーダの動き補正装置及び方法はカムコーダの撮影時に振動による動きを高精度かつ安定に補正することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係るカムコーダの動き補正装置のブロック図である。
【図２】図１に示した装置で行われる本発明による補正方法を説明するためのフローチャートである。
【図３】従来の動き補正方法を説明するためのフローチャートである。
【図４】従来の別の動き補正方法を説明するためのフローチャートである。
【符号の説明】
３０  累積部
３２  拡張部
３４  第１動き検出部
３６  第２動き検出部
３８  差値計算部
４０  補正部
【図１】
0004001979.tif 000008
【図２】
0004001979.tif 000009
【図３】
0004001979.tif 000010
【図４】
0004001979.tif 000011