【手続補正書】
【提出日】平成19年9月13日(2007.9.13)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
１画面の画像の水平方向および／または垂直方向の歪みを補正する方法であって、
前記画像の１画面区間を複数個の分割画像区間に分割し、
前記分割画像区間のそれぞれにおける画像の動きベクトルを、２画面間の前記分割画像区間の画像情報から検出し、
検出された前記分割画像区間の前記動きベクトルの隣接する分割画像区間のものの差分ベクトルを求め、求められた前記差分ベクトルに基づいて、前記画像の歪みを補正する
ことを特徴とする画像信号の歪み補正方法。
【請求項２】
請求項１に記載の画像信号の歪み補正方法において、
前記差分ベクトルを求めることにより、前記分割画像区間のそれぞれごとに、当該分割画像区間の画像の歪み速度を検出し、
前記各分割画像区間内においては、当該各分割画像区間について検出された前記画像の歪み速度の時間積分値を前記画像の歪み補正対象部位の歪み変位量とし、前記時間積分値を用いて前記画像の歪みを補正する
ことを特徴とする画像信号の歪み補正方法。
【請求項３】
前記画像の歪みは、撮影時の撮像素子の、撮像画像の水平方向および／または垂直方向の位置的変化による撮像画像の歪みである
ことを特徴とする請求項２に記載の画像信号の歪み補正方法。
【請求項４】
請求項３に記載の画像信号の歪み補正方法において、
前記撮像素子は、前記撮像画像のデータを画素単位で読み出しが可能のものであって、
前記各分割画像区間内においては、当該各分割画像区間の先頭部位に対する歪み補正対象部位の読み出し遅れ時間を用いて、前記画像の歪み速度を時間積分して得られる変位量を、前記歪み補正対象部位の変位量として前記撮像画像の歪みを補正する
ことを特徴とする画像信号の歪み補正方法。
【請求項５】
請求項３に記載の撮像信号の歪み補正方法において、
前記撮像素子からは前記撮像画像のデータをライン単位で読み出しするものであると共に、前記分割は、前記各分割画像区間が複数ラインからなるように行ない、
前記各分割画像区間内においては、それぞれの前記分割画像区間について検出された前記画像の歪み速度を前記ライン単位に時間積分して得られる変位量を各ライン位置の変位量として前記撮像画像の歪みを補正する
ことを特徴とする撮像画像信号の歪み補正方法。
【請求項６】
請求項３に記載の撮像信号の歪み補正方法において、
前記画像の歪み速度を、水平方向の成分と垂直方向の成分とに分け、
前記画像の歪み速度の水平方向成分を用いて、前記画像の水平方向の歪みを補正し、前記画像の歪み速度の垂直方向成分を用いて、前記画像の垂直方向の歪みを補正する
ことを特徴とする撮像信号の歪み補正方法。
【請求項７】
請求項５に記載の画像信号の歪み補正方法において、
前記画像の歪み速度を、水平方向の成分と垂直方向の成分とに分け、
前記各分割画像区間内においては、前記画像の歪み速度の水平方向の成分を、前記ライン単位に時間積分して得られる前記水平方向の変位量を各ラインの水平方向の変位量として前記画像の水平方向の歪みを補正すると共に、前記画像の歪み速度の垂直方向の成分を、前記ライン単位に時間積分して得られる前記垂直方向の変位量を各ラインの垂直方向の変位量として前記画像の垂直方向の歪みを補正する
ことを特徴とする画像信号の歪み補正方法。
【請求項８】
請求項７に記載の画像信号の歪み補正方法において、
前記画像の水平方向の歪みの補正処理と、前記画像の垂直方向の歪みの補正処理とを並行して行なうようにすると共に、前記画像の水平方向の歪みの補正処理の進捗度合いを参照しながら前記垂直方向の変位量の時間積分処理をする
ことを特徴とする画像信号の歪み補正方法。
【請求項９】
請求項１に記載の画像信号の歪み補正方法において、
前記分割画像区間のそれぞれにおける画像の動きベクトルを検出する方法は、
前記動きベクトルを検出する２画面は、注目画面である参照画面と当該参照画面よりも前の元画面であり、
前記元画面中の前記各分割画像区間において、所定の位置に複数の画素からなる所定の大きさの少なくとも１個のターゲットブロックを設定し、
前記ターゲットブロックと同じ大きさの参照ブロックを、前記参照画面に設定されたサーチ範囲において複数個設定し、
前記複数個の参照ブロックの内から、前記ターゲットブロックと相関の強い前記参照ブロックを検出し、
当該検出した参照ブロックの前記ターゲットブロックに対する画面上の位置ずれ量に基づいて、前記動きベクトルを検出する
ものであることを特徴とする画像信号の歪み補正方法。
【請求項１０】
請求項９に記載の画像信号の歪み補正方法において、
前記分割画像区間のそれぞれにおける画像の動きベクトルを検出する方法は、
前記参照ブロックのそれぞれにおいて、当該参照ブロック内の各画素の画素値と、前記ターゲットブロック内で対応する位置の各画素の画素値との差分の絶対値の総和を求める差分絶対値和算出工程と、
前記参照ブロックのそれぞれの前記参照画面上の位置の、前記ターゲットブロックの画面上の位置との位置ずれ量を、方向成分も含む参照ベクトルとし、当該参照ベクトルを所定の縮小率で縮小した参照縮小ベクトルを得る参照縮小ベクトル取得工程と、
前記参照縮小ベクトルに応じた大きさの前記参照ベクトルを前記位置ずれ量とする、前記所定の縮小率に応じて削減された数の複数個の前記参照ブロックのそれぞれについての差分絶対値和を記憶する縮小差分絶対値和テーブルを生成するテーブル生成工程と、
前記縮小差分絶対値和テーブルにおける前記差分絶対値和の最小値に対応する前記参照ベクトルを少なくとも用いて、前記参照画面と前記元画面との間の前記分割画像区間のそれぞれについての動きベクトルを算出する動きベクトル算出工程と、
を備え、
前記テーブル生成工程は、
前記参照縮小ベクトル取得手段で取得された前記参照縮小ベクトルの近傍値となる複数の前記参照ベクトルを検出する近傍参照ベクトル検出工程と、
前記差分絶対値和算出工程で算出された前記参照ブロックのそれぞれについての前記差分の絶対値の総和から、前記近傍参照ベクトル検出工程で検出された前記近傍の複数の前記参照ベクトルのそれぞれに対応する差分絶対値和のそれぞれを算出する分散差分絶対値和算出工程と、
前記分散差分絶対値和算出工程で算出された前記近傍の複数の前記参照ベクトルのそれぞれに対応する前記差分絶対値和を、それまでの前記近傍の複数の前記参照ベクトルのそれぞれに対応する前記差分絶対値和に加算する分散加算工程と、
を備えることを特徴とする画像信号の歪み補正方法。
【請求項１１】
請求項９または請求項１０に記載の画像信号の歪み補正方法において、
前記各分割画像区間は、さらに再分割されると共に、当該再分割画像区間毎に前記ターゲットブロックが設定されて、それぞれのターゲットブロックに対する前記動きベクトルが検出され、
前記各分割画像区間について得られる複数のターゲットブロックに対する複数の前記動きベクトルから、前記各分割画像区間についての前記動きベクトルを検出する
ことを特徴とする画像信号の歪み補正方法。
【請求項１２】
請求項１１に記載の画像信号の歪み補正方法において、
前記各分割画像区間についての前記複数のターゲットブロックに対する複数の前記動きベクトルの平均値を、前記各分割画像区間についての前記動きベクトルとして検出する
ことを特徴とする画像信号の歪み補正方法。
【請求項１３】
請求項１２に記載の画像信号の歪み補正方法において、
前記複数のターゲットブロックに対する前記動きベクトルの平均値を求める際に、それぞれの前記ターゲットブロックについての前記動きベクトルが例外となる動きベクトルかどうかを判定し、例外であると判定された前記ターゲットブロックについての前記動きベクトルは、前記平均値を求める演算から排除する
ことを特徴とする画像信号の歪み補正方法。
【請求項１４】
注目画面の画像の１画面区間を複数個の分割画像区間に分割し、
前記分割画像区間のそれぞれにおける画像の動きベクトルを、前記注目画面と当該注目画面よりも前の元画面との間の前記分割画像区間の画像情報から検出し、
検出された前記分割画像区間の前記動きベクトルの隣接する分割画像区間のものの差分ベクトルを求め、求められた前記差分ベクトルに基づいて、前記注目画面の水平方向および／または垂直方向の画像の歪みを補正する方法において、
前記分割画像区間のそれぞれにおける画像の動きベクトルを検出する方法は、
前記元画面中の前記各分割画像区間において、所定の位置に複数の画素からなる所定の大きさの少なくとも１個のターゲットブロックを設定し、
前記ターゲットブロックと同じ大きさの参照ブロックを、前記注目画面に設定されたサーチ範囲において複数個設定し、
前記複数個の参照ブロックの内から、前記ターゲットブロックと相関の強い前記参照ブロックを検出し、
当該検出した参照ブロックの前記ターゲットブロックに対する画面上の位置ずれ量に基づいて、前記動きベクトルを検出する
ものであって、
前記参照ブロックのそれぞれにおいて、当該参照ブロック内の各画素の画素値と、前記ターゲットブロック内で対応する位置の各画素の画素値との差分の絶対値の総和を求める差分絶対値和算出工程と、
前記参照ブロックのそれぞれの前記参照画面上の位置の、前記ターゲットブロックの画面上の位置との位置ずれ量を、方向成分も含む参照ベクトルとし、当該参照ベクトルを所定の縮小率で縮小した参照縮小ベクトルを得る参照縮小ベクトル取得工程と、
前記参照縮小ベクトルに応じた大きさの前記参照ベクトルを前記位置ずれ量とする、前記所定の縮小率に応じて削減された数の複数個の前記参照ブロックのそれぞれについての差分絶対値和を記憶する縮小差分絶対値和テーブルを生成するテーブル生成工程と、
前記縮小差分絶対値和テーブルにおける前記差分絶対値和の最小値に対応する前記参照ベクトルを少なくとも用いて、前記参照画面と前記元画面との間の前記分割画像区間のそれぞれについての動きベクトルを算出する動きベクトル算出工程と、
を備え、
前記テーブル生成工程は、
前記参照縮小ベクトル取得工程で取得された前記参照縮小ベクトルの近傍値となる複数の前記参照ベクトルを検出する近傍参照ベクトル検出工程と、
前記差分絶対値和算出工程で算出された前記参照ブロックのそれぞれについての前記差分の絶対値の総和から、前記近傍参照ベクトル検出工程で検出された前記近傍の複数の前記参照ベクトルのそれぞれに対応する差分絶対値和のそれぞれを算出する分散差分絶対値和算出工程と、
前記分散差分絶対値和算出工程で算出された前記近傍の複数の前記参照ベクトルのそれぞれに対応する前記差分絶対値和を、それまでの前記近傍の複数の前記参照ベクトルのそれぞれに対応する前記差分絶対値和に加算する分散加算工程と、
を備えることを特徴とする画像信号の歪み補正方法。
【請求項１５】
撮影時の手ぶれによる撮像素子の位置的変化による撮像画像の歪を補正し、補正後の撮像画像の情報を記録するようにする撮像方法であって、
前記撮像画像の１画面区間を複数個の分割画像区間に分割し、
前記分割画像区間のそれぞれにおける前記撮像画像の動きベクトルを、２画面間の前記分割画像区間の撮像画像情報から検出し、
検出された前記分割画像区間の前記動きベクトルの隣接する分割画像区間のものの差分ベクトルを求め、求められた前記差分ベクトルに基づいて、前記撮像画像の歪みを補正し、
前記補正した前記撮像画像の画像情報を記録媒体に記録する
ことを特徴とする撮像方法。
【請求項１６】
１画面の画像の水平方向および／または垂直方向の歪みを補正する装置であって、
前記１画面の画像領域が複数個に分割された各分割画像区間ごとに、注目画面と当該注目画面よりも前の元画面との間の前記分割画像区間の画像情報から動きベクトルを検出する動きベクトル検出手段と、
前記動きベクトル検出手段で検出された前記分割画像区間の前記動きベクトルの隣接する分割画像区間のものの差分ベクトルを求める差分ベクトル検出手段と、
前記各分割画像区間内で、前記各分割画像区間について前記差分ベクトル検出手段で検出された前記差分ベクトルに基づいて、前記画像の歪みを補正する歪み補正処理手段と、
を備えることを特徴とする画像信号の歪み補正装置。
【請求項１７】
請求項１６に記載の画像信号の歪み補正装置において、
前記歪み補正処理手段は、
前記差分ベクトルにより、前記分割画像区間のそれぞれごとに、当該分割画像区間の画像の歪み速度を検出し、前記各分割画像区間内においては、前記各分割画像区間について検出された前記画像の歪み速度の時間積分値を前記画像の歪み補正対象部位の歪み変化量として求める変位量積分手段と、
前記変位量積分手段で求められた前記時間積分値を用いて前記画像の歪みを補正する補正手段と
を備えることを特徴とする撮像画像信号の歪み補正装置。
【請求項１８】
請求項１７に記載の画像信号の歪み補正装置において、
前記画像の歪みは、撮影時の撮像素子の、撮像画像の水平方向および／または垂直方向の位置的変化による撮像画像の歪みである
ことを特徴とする画像信号の歪み補正装置。
【請求項１９】
請求項１８に記載の画像信号の歪み補正装置において、
前記撮像素子は、前記撮像画像のデータを画素単位で読み出しが可能のものであって、
前記歪み補正処理手段は、
前記各分割画像区間内においては、当該各分割画像区間の先頭部位に対する歪み補正対象部位の読み出し遅れ時間を用いて、前記画像の歪み速度を時間積分し、その時間積分値を前記歪み補正対象部位の変位量として求める変位量積分手段と、
前記変位量積分手段で得た前記変位量を用いて前記撮像画像の歪みを補正する補正手段と
を備えることを特徴とする画像信号の歪み補正装置。
【請求項２０】
請求項１８に記載の画像信号の歪み補正装置において、
前記撮像素子からは前記撮像画像のデータをライン単位で読み出しするものであると共に、前記分割は、前記各分割画像区間が複数ラインからなるように行なうものであって、
前記歪み補正処理手段は、
前記各分割画像区間内において、前記各分割画像区間について検出された前記画像の歪み速度を、前記ライン単位に時間積分し、その時間積分値を前記歪み補正対象ラインの変位量として求める変位量積分手段と、
前記変位量積分手段で得た前記変位量を各ラインの変位量として前記撮像画像の歪みを補正する補正手段と
を備えることを特徴とする画像信号の歪み補正装置。
【請求項２１】
請求項１８に記載の画像信号の歪み補正装置において、
前記歪み補正処理手段は、
前記画像の歪み速度検出手段で検出された前記画像の歪み速度の水平方向成分を用いて、前記画像の水平方向の歪みを補正する水平補正処理手段と、
前記画像の歪み速度の垂直方向成分を用いて、前記画像の垂直方向の歪みを補正する垂直補正処理手段と
を備えることを特徴とする画像信号の歪み補正装置。
【請求項２２】
請求項２０に記載の画像信号の歪み補正装置において、
前記歪み補正処理手段の前記変位量積分手段は、
前記各分割画像区間内において、前記画像の歪み速度の水平方向の成分を、前記ライン単位に時間積分して、その時間積分値を前記歪み補正対象ラインの水平方向の変位量として求める水平方向変位量算出手段と、
前記各分割画像区間内において、前記画像の歪み速度の垂直方向の成分を、前記ライン単位に時間積分して、その時間積分値を前記歪み補正対象ラインの垂直方向の変位量として求める垂直方向変位量算出手段と、
を備え、
前記歪み補正処理手段の前記補正手段は、
前記各分割画像区間内において、前記水平方向変位量算出手段で得た前記水平方向の変位量を各ラインの水平方向の変位量として前記画像の水平方向の歪みを補正する水平補正処理手段と、
前記各分割画像区間内において、前記垂直方向変位量算出手段で得た前記垂直方向の変位量を各ラインの垂直方向の変位量として前記画像の垂直方向の歪みを補正する垂直補正処理手段と
を備えることを特徴とする画像信号の歪み補正装置。
【請求項２３】
請求項１６に記載の画像信号の歪み補正装置において、
前記動きベクトル検出手段は、前記分割画像区間のそれぞれにおいて、注目画面である参照画面と、当該参照画面よりも前の元画面との間での動きベクトルを算出する手段であって、
前記元画面中の前記各分割画像区間において、所定の位置に複数の画素からなる所定の大きさの少なくとも１個のターゲットブロックが設定されると共に、前記ターゲットブロックと同じ大きさの参照ブロックが、前記注目画面に設定されたサーチ範囲において複数個設定され、
前記複数個の参照ブロックの内から、前記ターゲットブロックと相関の強い前記参照ブロックを検出し、
当該検出した参照ブロックの前記ターゲットブロックに対する画面上の位置ずれ量に基づいて、前記動きベクトルを検出する
ことを特徴とする画像信号の歪み補正装置。
【請求項２４】
請求項２３に記載の画像信号の歪み補正装置において、
前記動きベクトル検出手段は、
前記参照ブロックのそれぞれにおいて、当該参照ブロック内の各画素の画素値と、前記ターゲットブロック内で対応する位置の各画素の画素値との差分の絶対値の総和を求める差分絶対値和算出手段と、
前記参照ブロックのそれぞれの前記参照画面上の位置の、前記ターゲットブロックの画面上の位置との位置ずれ量を、方向成分も含む参照ベクトルとし、当該参照ベクトルを所定の縮小率で縮小した参照縮小ベクトルを得る参照縮小ベクトル取得手段と、
前記参照縮小ベクトルに応じた大きさの前記参照ベクトルを前記位置ずれ量とする、前記所定の縮小率に応じて削減された数の複数個の前記参照ブロックのそれぞれについての差分絶対値和を記憶する縮小差分絶対値和テーブルを生成するテーブル生成手段と、
前記縮小差分絶対値和テーブルにおける前記差分絶対値和の最小値に対応する前記参照ベクトルを少なくとも用いて、前記参照画面と前記元画面との間の前記分割画像区間のそれぞれについての動きベクトルを算出する動きベクトル算出手段と、
を備え、
前記テーブル生成手段は、
前記参照縮小ベクトル取得手段で取得された前記参照縮小ベクトルの近傍値となる複数の前記参照ベクトルを検出する近傍参照ベクトル検出手段と、
前記差分絶対値和算出手段で算出された前記参照ブロックのそれぞれについての前記差分の絶対値の総和から、前記近傍参照ベクトル検出工程で検出された前記近傍の複数の前記参照ベクトルのそれぞれに対応する差分絶対値和のそれぞれを算出する分散差分絶対値和算出手段と、
前記分散差分絶対値和算出手段で算出した前記近傍の複数の前記参照ベクトルのそれぞれに対応する前記差分絶対値和を、それまでの前記近傍の複数の前記参照ベクトルのそれぞれに対応する前記差分絶対値和に加算する分散加算手段と、
を備えることを特徴とする画像信号の歪み補正装置。
【請求項２５】
請求項２２または請求項２３に記載の画像信号の歪み補正装置において、
前記動きベクトル検出手段は、
前記各分割画像区間を、さらに再分割すると共に、当該再分割画像区間毎に前記ターゲットブロックを設定して、それぞれのターゲットブロックに対する前記動きベクトルを検出し、
前記各分割画像区間について得られる複数のターゲットブロックに対する複数の前記動きベクトルから、前記各分割画像区間についての前記動きベクトルを検出する
ことを特徴とする画像信号の歪み補正装置。
【請求項２６】
請求項２５に記載の画像信号の歪み補正装置において、
前記動きベクトル検出手段は、
前記各分割画像区間についての前記複数のターゲットブロックに対する複数の前記動きベクトルの平均値を、前記各分割画像区間についての前記動きベクトルとして検出する
ことを特徴とする画像信号の歪み補正装置。
【請求項２７】
請求項２６に記載の画像信号の歪み補正装置において、
前記動きベクトル検出手段は、
前記複数のターゲットブロックに対する前記動きベクトルの平均値を求める際に、それぞれの前記ターゲットブロックについての前記動きベクトルが例外となる動きベクトルかどうかを判定し、例外であると判定された前記ターゲットブロックについての前記動きベクトルは、前記平均値を求める演算から排除する
ことを特徴とする画像信号の歪み補正装置。
【請求項２８】
１画面の画像の１画面区間を複数個の分割画像区間に分割し、前記分割画像区間のそれぞれにおける画像の動きベクトルを、前記注目画面である参照画面と当該参照よりも前の元画面との間の前記分割画像区間の画像情報から検出し、検出された前記分割画像区間の前記動きベクトルの隣接する分割画像区間のものの差分ベクトルを求め、求められた前記差分ベクトルに基づいて、前記注目画面の水平方向および／または垂直方向の画像の歪みを補正する装置であって、
前記分割画像区間のそれぞれにおける画像の動きベクトルを検出する動きベクトル検出手段は、前記元画面中の前記各分割画像区間において、所定の位置に複数の画素からなる所定の大きさの少なくとも１個のターゲットブロックを設定すると共に、前記ターゲットブロックと同じ大きさの参照ブロックを、前記注目画面に設定されたサーチ範囲において複数個設定し、前記複数個の参照ブロックの内から、前記ターゲットブロックと相関の強い前記参照ブロックを検出し、当該検出した参照ブロックの前記ターゲットブロックに対する画面上の位置ずれ量に基づいて、前記動きベクトルを検出するものである画像信号の歪み補正装置において、
前記動きベクトル検出手段は、
前記参照ブロックのそれぞれにおいて、当該参照ブロック内の各画素の画素値と、前記ターゲットブロック内で対応する位置の各画素の画素値との差分の絶対値の総和を求める差分絶対値和算出手段と、
前記参照ブロックのそれぞれの前記参照画面上の位置の、前記ターゲットブロックの画面上の位置との位置ずれ量を、方向成分も含む参照ベクトルとし、当該参照ベクトルを所定の縮小率で縮小した参照縮小ベクトルを得る参照縮小ベクトル取得手段と、
前記参照縮小ベクトルに応じた大きさの前記参照ベクトルを前記位置ずれ量とする、前記所定の縮小率に応じて削減された数の複数個の前記参照ブロックのそれぞれについての差分絶対値和を記憶する縮小差分絶対値和テーブルを生成するテーブル生成手段と、
前記縮小差分絶対値和テーブルにおける前記差分絶対値和の最小値に対応する前記参照ベクトルを少なくとも用いて、前記参照画面と前記元画面との間の前記分割画像区間のそれぞれについての動きベクトルを算出する動きベクトル算出手段と、
を備え、
前記テーブル生成手段は、
前記参照縮小ベクトル取得手段で取得された前記参照縮小ベクトルの近傍値となる複数の前記参照ベクトルを検出する近傍参照ベクトル検出手段と、
前記差分絶対値和算出工程で算出された前記参照ブロックのそれぞれについての前記差分の絶対値の総和から、前記近傍参照ベクトル検出工程で検出された前記近傍の複数の前記参照ベクトルのそれぞれに対応する差分絶対値和のそれぞれを算出する分散差分絶対値和算出手段と、
前記分散差分絶対値和算出手段で算出した前記近傍の複数の前記参照ベクトルのそれぞれに対応する前記差分絶対値和を、それまでの前記近傍の複数の前記参照ベクトルのそれぞれに対応する前記差分絶対値和に加算する分散加算手段と、
を備えることを特徴とする画像信号の歪み補正装置。
【請求項２９】
撮影時の手ぶれによる撮像素子の位置的変化による撮像画像の歪を補正し、補正後の撮像画像の情報を記録するようにする撮像装置であって、
前記撮像画像の１画面領域が複数個に分割された各分割画像区間ごとに、２画面間の前記分割画像区間の撮像画像情報から動きベクトルを検出する動きベクトル検出手段と、
前記動きベクトル検出手段で検出された前記分割画像区間の前記動きベクトルの隣接する分割画像区間のものの差分ベクトルを求める差分ベクトル検出手段と、
前記各分割画像区間内で、前記各分割画像区間について前記差分ベクトル検出手段で検出された前記差分ベクトルに基づいて、前記撮像画像の歪みを補正する歪み補正処理手段と、
前記歪み補正手段で補正された前記撮像画像の画像情報を記録媒体に記録する記録手段と、
を備えることを特徴とする撮像装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００３７
【補正方法】変更
【補正の内容】
【００３７】
上記の課題を解決するために、請求項１の発明は、
１画面の画像の水平方向および／または垂直方向の歪みを補正する方法であって、
前記画像の１画面区間を複数個の分割画像区間に分割し、
前記分割画像区間のそれぞれにおける画像の動きベクトルを、２画面間の前記分割画像区間の画像情報から検出し、
検出された前記分割画像区間の前記動きベクトルの隣接する分割画像区間のものの差分ベクトルを求め、求められた前記差分ベクトルに基づいて、前記画像の歪みを補正する
ことを特徴とする画像信号の歪み補正方法を提供する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００３９
【補正方法】変更
【補正の内容】
【００３９】
そして、検出された動きベクトルの、隣接する分割画像区間のものの差分ベクトルを求めることにより、分割画像区間のそれぞれごとの画像の歪み速度に対応する動き速度ベクトルが検出される。そして、当該分割画像区間について検出された差分ベクトルに基づいて、画像の歪みが補正され、例えばフォーカルプレーン現象を含む画像の歪みを補正することができる。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００４０
【補正方法】変更
【補正の内容】
【００４０】
また、請求項２の発明は、請求項１に記載の画像信号の歪み補正方法において、
前記差分ベクトルを求めることにより、前記分割画像区間のそれぞれごとに、当該分割画像区間の画像の歪み速度を検出し、
前記各分割画像区間内においては、当該各分割画像区間について検出された前記画像の歪み速度の時間積分値を前記画像の歪み補正対象部位の歪み変位量とし、前記時間積分値を用いて前記画像の歪みを補正する
ことを特徴とする画像信号の歪み補正方法を提供する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００４１
【補正方法】変更
【補正の内容】
【００４１】
上述の構成の請求項２の発明によれば、分割画像区間のそれぞれ内においては、当該分割画像区間について検出された画像の歪み速度（動き速度ベクトル）の時間積分値を画像の歪み補正対象部位の変位量として求め、当該求めた時間積分値を用いて前記画像の歪みを補正するので、少ない処理遅延で、例えばフォーカルプレーン現象を含む画像の歪みを補正することができると共に、時間積分値を用いるので、画像の歪み速度が変わる他の分割画像区間の画像との境界においても、画像にずれを生じることはない。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００４２
【補正方法】変更
【補正の内容】
【００４２】
また、請求項１４の発明は、
注目画面の画像の１画面区間を複数個の分割画像区間に分割し、
前記分割画像区間のそれぞれにおける画像の動きベクトルを、前記注目画面と当該注目画面よりも前の元画面との間の前記分割画像区間の画像情報から検出し、
検出された前記分割画像区間の前記動きベクトルの隣接する分割画像区間のものの差分ベクトルを求め、求められた前記差分ベクトルに基づいて、前記注目画面の水平方向および／または垂直方向の画像の歪みを補正する方法において、
前記分割画像区間のそれぞれにおける画像の動きベクトルを検出する方法は、
前記元画面中の前記各分割画像区間において、所定の位置に複数の画素からなる所定の大きさの少なくとも１個のターゲットブロックを設定し、
前記ターゲットブロックと同じ大きさの参照ブロックを、前記注目画面に設定されたサーチ範囲において複数個設定し、
前記複数個の参照ブロックの内から、前記ターゲットブロックと相関の強い前記参照ブロックを検出し、
当該検出した参照ブロックの前記ターゲットブロックに対する画面上の位置ずれ量に基づいて、前記動きベクトルを検出する
ものであって、
前記参照ブロックのそれぞれにおいて、当該参照ブロック内の各画素の画素値と、前記ターゲットブロック内で対応する位置の各画素の画素値との差分の絶対値の総和を求める差分絶対値和算出工程と、
前記参照ブロックのそれぞれの前記参照画面上の位置の、前記ターゲットブロックの画面上の位置との位置ずれ量を、方向成分も含む参照ベクトルとし、当該参照ベクトルを所定の縮小率で縮小した参照縮小ベクトルを得る参照縮小ベクトル取得工程と、
前記参照縮小ベクトルに応じた大きさの前記参照ベクトルを前記位置ずれ量とする、前記所定の縮小率に応じて削減された数の複数個の前記参照ブロックのそれぞれについての差分絶対値和を記憶する縮小差分絶対値和テーブルを生成するテーブル生成工程と、
前記縮小差分絶対値和テーブルにおける前記差分絶対値和の最小値に対応する前記参照ベクトルを少なくとも用いて、前記参照画面と前記元画面との間の前記分割画像区間のそれぞれについての動きベクトルを算出する動きベクトル算出工程と、
を備え、
前記テーブル生成工程は、
前記参照縮小ベクトル取得工程で取得された前記参照縮小ベクトルの近傍値となる複数の前記参照ベクトルを検出する近傍参照ベクトル検出工程と、
前記差分絶対値和算出工程で算出された前記参照ブロックのそれぞれについての前記差分の絶対値の総和から、前記近傍参照ベクトル検出工程で検出された前記近傍の複数の前記参照ベクトルのそれぞれに対応する差分絶対値和のそれぞれを算出する分散差分絶対値和算出工程と、
前記分散差分絶対値和算出工程で算出された前記近傍の複数の前記参照ベクトルのそれぞれに対応する前記差分絶対値和を、それまでの前記近傍の複数の前記参照ベクトルのそれぞれに対応する前記差分絶対値和に加算する分散加算工程と、
を備えることを特徴とする画像信号の歪み補正方法を提供する。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００９６
【補正方法】変更
【補正の内容】
【００９６】
ここで、ターゲットブロック１０３と、サーチ範囲１０５内を移動する各参照ブロック１０６との相関は、ターゲットブロック１０３内の各画素の輝度値と、参照ブロック１０６内の対応する各画素の輝度値との差分の絶対値の、ブロック内の全画素についての総和（この差分の絶対値の総和を差分絶対値和と呼ぶ。以下、この差分絶対値和をＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）と記載することとする）を求めることにより検出する。すなわち、ＳＡＤ値が最小となる位置の参照ブロック１０６が最も相関が強い参照ブロックとして検出され、その検出された参照ブロック１０６のターゲットブロック１０３の位置に対する位置ずれ量が動きベクトルとして検出される。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】０１７０
【補正方法】変更
【補正の内容】
【０１７０】
適切な複数近傍テーブル要素の数からなる矩形領域のテーブル要素の例として、この実施形態では、整数精度最小値テーブル要素ｔｍを中心として、その周囲の水平方向×垂直方向＝３×３個の矩形領域のテーブル要素を用いるようにする例と、整数精度最小値テーブル要素ｔｍを中心として、その周囲の水平方向×垂直方向＝４×４個の矩形領域のテーブル要素を用いるようにする例とについて説明する。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】０２０５
【補正方法】変更
【補正の内容】
【０２０５】
ここで、ＳＡＤ値の３次曲線２０６および２０７の最小値２０２に対応する位置２０８の算出方法は、次のようになる。すなわち、水平方向または垂直方向のいずれかの方向における３次曲線において、最小値の近傍の４点のＳＡＤ値を、前記水平方向または垂直方向のいずれかの方向に沿った順番に、Ｓ０、Ｓ１、Ｓ２、Ｓ３としたとき、小数精度の最小値が、図２１に示す３つの区間Ｒａ，Ｒｂ，Ｒｃのいずれにあるかにより、最小値を取る小数成分ｕを算出する式が異なる。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】０２４４
【補正方法】変更
【補正の内容】
【０２４４】
そして、この実施の形態では、分割画像区間Ｐｄｉｖ＿０〜Ｐｄｉｖのそれぞれの手ぶれ速度ベクトルＶｅｃ＿０〜Ｖｅｃ＿７は、自分割画像区間の手ぶれ動きベクトルと、一つ後の隣接する分割画像区間の手ぶれ動きベクトルとの差分ベクトル（変化分）として検出する。すなわち、
Ｖｅｃ＿０＝ＶＣｄｉｖ＿１−ＶＣｄｉｖ＿０
Ｖｅｃ＿１＝ＶＣｄｉｖ＿２−ＶＣｄｉｖ＿１
Ｖｅｃ＿２＝ＶＣｄｉｖ＿３−ＶＣｄｉｖ＿２
Ｖｅｃ＿３＝ＶＣｄｉｖ＿４−ＶＣｄｉｖ＿３
Ｖｅｃ＿４＝ＶＣｄｉｖ＿５−ＶＣｄｉｖ＿４
Ｖｅｃ＿５＝ＶＣｄｉｖ＿６−ＶＣｄｉｖ＿５
Ｖｅｃ＿６＝ＶＣｄｉｖ＿７−ＶＣｄｉｖ＿６
・・・（式３）
として手ぶれ速度ベクトルＶｅｃ＿０〜Ｖｅｃ＿６を算出する。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】０２８０
【補正方法】変更
【補正の内容】
【０２８０】
以上で、１つのターゲットブロックに対する、この実施形態におけるブロックマッチングによる動きベクトルの検出処理は、終了となる。図２８に示したような、１フレームについて分割した領域において、複数個の動きベクトルを検出する場合には、サーチ範囲および縮小倍率１／ｎを再設定して、上述の図３１および図３２に示した処理を、各分割領域のターゲットブロックについて繰り返すものである。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】０２９２
【補正方法】変更
【補正の内容】
【０２９２】
そして、ステップＳ１３１で、上記の演算処理を完了していない参照ベクトル（ｖｘ，ｖｙ）はサーチ範囲内になくなったと判別すると、縮小ＳＡＤテーブルが完成したとして、当該完成した縮小ＳＡＤテーブルにおいて、最小値となっているＳＡＤ値を検出する（ステップＳ１３２）。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】０３３２
【補正方法】変更
【補正の内容】
【０３３２】
なお、前述したように、信号処理部５０では、電子ズーム（画像拡大・縮小）処理を行なうと共に、標準精細度、高精細度などに応じた解像度変換処理なども行なう。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】０３５９
【補正方法】変更
【補正の内容】
【０３５９】
まず、初期ｙ座標（水平ライン位置に対応）ＳＹに、水平同期信号Ｈ−ＳＹＮＣ（ここでは、水平同期信号Ｈ−ＳＹＮＣは、一般的な水平走査信号のうち、有効画像領域以外をマスクしたタイミング信号を意味するものとする）毎に「ｓｔｅｐ」という値を加算して行く（ステップＳ２０１）。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】０３７０
【補正方法】変更
【補正の内容】
【０３７０】
この例では、分割画像区間分のライン数の加算値ｈｓｔｂ＿ｇｒｉｄが定義される（ステップＳ２０７）。この加算値ｈｓｔｂ＿ｇｒｉｄの初期値は、１分割画像区間のライン数ＤＩＶである。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】０３７１
【補正方法】変更
【補正の内容】
【０３７１】
そして、この加算値ｈｓｔｂ＿ｇｒｉｄと、積分回数ｈｓｔｂ＿ｃｎｔとを比較し、積分回数ｈｓｔｂ＿ｃｎｔが加算値ｈｓｔｂ＿ｇｒｉｄを超える毎に、トリガＴＧ２を発生する（ステップＳ２０８）。そして、トリガＴＧ２が発生するごとに、積分回数ｈｓｔｂ＿ｃｎｔに、１分割画像区間のライン数ＤＩＶを加算する（ステップＳ２０９）。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】０３７２
【補正方法】変更
【補正の内容】
【０３７２】
以上の処理により、現処理ラインが次の分割画像区間に移る毎に、トリガＴＧ２が発生する。したがって、現処理ラインが各分割画像区間Ｐｄｉｖ＿０〜Ｐｄｉｖ＿７の何れに存在するかの分割区間値ＨＤＩＶ＿ＣＮＴを定義し（ステップＳ２１０）、この分割区間値ＨＤＩＶ＿ＣＮＴを、トリガＴＧ２が発生する毎に、１づつインクリメントする（ステップＳ２１１）。すると、分割区間値ＨＤＩＶ＿ＣＮＴは、現処理ラインが所在する各分割画像区間Ｐｄｉｖ＿０〜Ｐｄｉｖ＿７のそれぞれに対応して「０」〜「７」の値を取る。すなわち、分割区間値ＨＤＩＶ＿ＣＮＴは、水平処理の進捗度合いを示すものとなる。ステップＳ２０６では、この分割区間値ＨＤＩＶ＿ＣＮＴを参照して、「ｓｔｂ＿ｘ」を決定する。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】０４０９
【補正方法】変更
【補正の内容】
【０４０９】
ステップＳ３０１で、初期ｙ座標値をＳＹとして、１水平同期信号Ｈ−ＳＹＮＣ毎に、値ｖｍａｇを加算することにより、現在処理している水平ラインの絶対座標が求まり、当該絶対座標の整数成分ｖｐ＿ｉ（ステップＳ３０２）が、垂直補正速度成分Ｙ＿ＳＴＢ＿＊（Ｙ＿ＳＴＢ＿０〜Ｙ＿ＳＴＢ＿７のいずれか）を、現時点までに積分すべき積分回数に対応する。ここで、この積分回数は、１画面内における積算値である。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】０４１３
【補正方法】変更
【補正の内容】
【０４１３】
ステップＳ３０１で、１水平同期信号Ｈ−ＳＹＮＣ毎に加算される値「ｖｍａｇ」＝１であって、画像の拡大などではない通常の画像出力の場合には、トリガＴＧ３は、１水平同期信号Ｈ−ＳＹＮＣ毎に発生するため、ステップＳ３０６では、１水平ライン毎に「ｓｔｂ＿ｙ」を加算（積分）するものである。
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】０４２４
【補正方法】変更
【補正の内容】
【０４２４】
垂直画像処理部５２２では、加算部５２０２において、各水平ラインの先頭で一回だけ、垂直手ぶれ補正量積分部５２１からの垂直手ぶれ補正量ＳＹ＿ＡＤＤを、初期ｙ座標ＳＹに加算する。この加算部５２０２の出力値Ｙ＿ＡＤＤは、小数部抽出部５２０３および整数部抽出部５２０４に供給される。
【手続補正２１】
【補正対象書類名】明細書
【補正対象項目名】０４２９
【補正方法】変更
【補正の内容】
【０４２９】
メモリコントローラ５２０５は、その入力画像データＤＨｏｕｔを垂直処理用小規模ラインメモリ６２に一時保存すると共に、前記整数部の値Ｙ＿ＰＯＳを用いて、出力画像データＤＹｏｕｔ＿０、ＤＹｏｕｔ＿１、・・・、ＤＹｏｕｔ＿ｎとして出力する複数の水平ラインのデータを決める。そして、メモリコントローラ５２０５は、以上のようにして決定した複数水平ラインの画素データＤＹｏｕｔ＿０、ＤＹｏｕｔ＿１、・・・、ＤＹｏｕｔ＿ｎを、小規模ラインメモリ６２から読み出して垂直補間処理部５２０６に供給する。
【手続補正２２】
【補正対象書類名】明細書
【補正対象項目名】０４６０
【補正方法】変更
【補正の内容】
【０４６０】
例えば、入力画素Ｄｉｎが参照ブロック１０６１に属するとした場合における、ターゲットブロック１０３の画素Ｄ１と入力画素Ｄｉｎとの差分絶対値は、図５５に示すように、ＳＡＤテーブル１０８の参照ベクトル１０７１が対応するＳＡＤテーブル要素１０９１のＳＡＤ値に加算して書き込むようにする。また、入力画素Ｄｉｎが参照ブロック１０６２に属するとした場合における、ターゲットブロック１０３の画素Ｄ２と入力画素Ｄｉｎとの差分絶対値は、図５５に示すように、ＳＡＤテーブル１０８の参照ベクトル１０７２が対応するＳＡＤテーブル要素１０９２のＳＡＤ値に加算して書き込むようにする。