【手続補正書】
【提出日】平成19年3月19日(2007.3.19)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
動画を構成するフレーム画像において複数の局所領域を設け、該複数の局所領域における複数の前記フレーム画像間での動きをそれぞれ示す複数の第１の情報を得る第１のステップと、
該複数の第１の情報を用いて画像の変形を表現する複数の第２の情報を得る第２のステップと、
複数の選択規則を用意し、該選択規則ごとに複数の前記第２の情報を選択し、さらに該選択された複数の第２の情報を代表する第２の代表情報を前記選択規則ごとに得る第３のステップと、
前記複数の選択規則に対して得られた複数の前記第２の代表情報を用いて、画像全体の変形を表現する第３の情報を得る第４のステップとを有することを特徴とする画像変形推定方法。
【請求項２】
前記第１の情報が動きベクトルであり、
前記第２および第３の情報が座標変換パラメータであることを特徴とする請求項１に記載の画像変形推定方法。
【請求項３】
前記動きは、前記動画を撮影する撮像装置の動きにより生ずるものであることを特徴とする請求項１又は２に記載の画像変形推定方法。
【請求項４】
前記第３のステップにおいて、前記選択規則ごとに前記第２の情報の大きさに応じた該第２の情報の頻度分布を求め、該頻度分布に基づいて前記第３の情報を得ることを特徴とする請求項１から３のいずれか１つに記載の画像変形推定方法。
【請求項５】
前記第３のステップにおいて、前記頻度分布に対して単一のピークを有する関数をコンボリューションし、該コンボリューションにより得られた最大の前記第２の情報を前記第２の代表情報とすることを特徴とする請求項４に記載の画像変形推定方法。
【請求項６】
前記第４のステップにおいて、前記複数の第２の代表情報間において各第２の代表情報を得るために用いた前記局所領域の数および画像中の基準位置からの距離のうち少なくとも一方に基づいて算出した重み付き誤差が最小となるように前記第３の情報を得ることを特徴とする請求項１から５のいずれか１つに記載の画像変形推定方法。
【請求項７】
前記第１のステップにおいて、前記複数の局所領域が所定の配置条件に従って設けられ、
前記各選択規則は、同一の前記配置条件に従って設けられた前記局所領域に対応する前記第２の情報を選択する規則であることを特徴とする請求項１から６のいずれか１つに記載の画像変形推定方法。
【請求項８】
前記フレーム画像が魚眼画像であり、
前記第１の情報に対して魚眼歪成分の補正処理を行う第５のステップを有し、
前記第２のステップにおいて、該補正処理された前記第１の情報を用いて前記第２の情報を得ることを特徴とする請求項１から７のいずれか１つに記載の画像変形推定方法。
【請求項９】
動画を構成するフレーム画像において複数の局所領域を設け、該複数の局所領域における複数の前記フレーム画像間での動きをそれぞれ示す複数の第１の情報を得る第１のステップと、
前記各第１の情報を、それぞれ異なる複数の画像変形成分を表す複数の第２の情報に分離する第２のステップと、
複数の選択規則を用意し、前記画像変形成分ごとおよび前記選択規則ごとに前記第２の情報を複数選択し、さらに該選択された前記複数の第２の情報を代表する第２の代表情報を、前記画像変形成分ごとおよび前記選択規則ごとに得る第３のステップと、
前記複数の画像変形成分および前記複数の選択規則に対して得られた複数の前記第２の代表情報を用いて、画像全体の変形を表現する第３の情報を得る第４のステップとを有することを特徴とする画像変形推定方法。
【請求項１０】
前記第１の情報が動きベクトルであり、
前記第２および第３の情報が座標変換パラメータであることを特徴とする請求項９に記載の画像変形推定方法。
【請求項１１】
前記動きは、前記動画を撮影する撮像装置の動きにより生ずるものであることを特徴とする請求項９又は１０に記載の画像変形推定方法。
【請求項１２】
前記複数の画像変形成分は、平行移動成分、拡大縮小成分および回転成分のうち少なくとも１つを含むことを特徴とする請求項９から１１のいずれか１つに記載の画像変形推定方法。
【請求項１３】
前記第３のステップにおいて、前記画像変形成分ごとおよび前記選択規則ごとに前記第２の情報の大きさに応じた該第２の情報の頻度分布を求め、該頻度分布に基づいて前記第２の代表情報を得ることを特徴とする請求項９から１２のいずれか１つに記載の画像変形推定方法。
【請求項１４】
前記第３のステップにおいて、前記頻度分布に対して単一のピークを有する関数をコンボリューションし、該コンボリューションにより得られた最大の前記第２の情報を前記第２の代表情報とすることを特徴とする請求項１３に記載の画像変形推定方法。
【請求項１５】
前記第４のステップにおいて、前記複数の第２の代表情報間において各第２の代表情報を得るために用いた前記局所領域の数および画像中の基準位置からの距離のうち少なくとも一方に基づいて算出した重み付き誤差が最小となるように前記第３の情報を得ることを特徴とする請求項９から１４のいずれか１つに記載の画像変形推定方法。
【請求項１６】
前記第１のステップにおいて、前記複数の局所領域が所定の配置条件に従って設けられ、
前記各選択規則は、同一の前記配置条件に従って設けられた前記局所領域に対応する前記第２の情報を選択する規則であることを特徴とする請求項９から１５のいずれか１つに記載の画像変形推定方法。
【請求項１７】
前記フレーム画像が魚眼画像であり、
前記第１の情報に対して魚眼歪成分の補正処理を行う第５のステップを有し、
前記第２のステップにおいて、該補正処理された前記各第１の情報を前記複数の第２の情報に分離することを特徴とする請求項９から１６のいずれか１つに記載の画像変形推定方法。
【請求項１８】
前記フレーム画像が魚眼画像であり、
前記第２の情報に対して魚眼歪成分の補正処理を行う第５のステップを有し、
前記第３のステップにおいて、該補正処理された前記第２の情報を用いて前記第２の代表情報を得ることを特徴とする請求項９から１６のいずれか１つに記載の画像変形推定方法。
【請求項１９】
請求項１から１８のいずれか１つに記載の画像変形推定方法をコンピュータに実行させるためのプログラムであることを特徴とする画像変形推定プログラム。
【請求項２０】
動画を構成するフレーム画像において複数の局所領域を設け、該複数の局所領域における複数の前記フレーム画像間での動きをそれぞれ示す複数の第１の情報を得る第１の手段と、
該複数の第１の情報のうち少なくとも一部を用いて画像の変形を表現する複数の第２の情報を得る第２の手段と、
複数の選択規則を有し、該選択規則ごとに複数の前記第２の情報を選択し、さらに該選択された複数の第２の情報を代表する第２の代表情報を前記選択規則ごとに得る第３の手段と、
前記複数の選択規則に対して得られた複数の前記第２の代表情報を用いて、画像全体の変形を表現する第３の情報を得る第４の手段とを有することを特徴とする画像変形推定装置。
【請求項２１】
動画を構成するフレーム画像において複数の局所領域を設け、該複数の局所領域における複数の前記フレーム画像間での動きをそれぞれ示す複数の第１の情報を得る第１の手段と、
前記各第１の情報を、それぞれ異なる複数の画像変形成分を表す複数の第２の情報に分離する第２の手段と、
複数の選択規則を有し、前記画像変形成分ごとおよび前記選択規則ごとに前記第２の情報を複数選択し、さらに該選択された前記複数の第２の情報を代表する第２の代表情報を、前記画像変形成分ごとおよび前記選択規則ごとに得る第３の手段と、
前記複数の画像変形成分および前記複数の選択規則に対して得られた複数の前記第２の代表情報を用いて、画像全体の変形を表現する第３の情報を得る第４の手段とを有することを特徴とする画像変形推定装置。
【請求項２２】
請求項２０又は２１に記載の画像変形推定装置と、
動画撮影を行う撮像系とを有することを特徴とする撮像装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
この特許文献２の方法では、変換係数を用いて展開された動きベクトルと、検出された動きベクトルとの差をもとに同一の動きであるか否かを繰り返し判定しているため、計算量が多い。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】変更
【補正の内容】
【００３１】
１０１−２は動き検出回路であり、動き検出点選択回路１０１−１により指定された座標においてブロックマッチングを行い、各検出点における動きベクトル（第１の情報）１００−２を算出する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００３２
【補正方法】変更
【補正の内容】
【００３２】
１０２は局所演算により座標変換パラメータ（第２の情報）１００−３を算出する局所パラメータ算出部であり、入力された動きベクトル１００−２のうち所定数の局所的な動きベクトルから（１）式中のａ，ｂ，ｃ，ｄである４つの座標変換パラメータを算出する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００３３
【補正方法】変更
【補正の内容】
【００３３】
動きベクトル選択回路１０２−１は、点対称の位置関係にある２つの検出点の動きベクトルを選択する。局所パラメータ算出回路１０２−２は、選択された２つの検出点の動きベクトルから座標変換パラメータを算出する。ここで算出される座標変換パラメータは、局所的に検出された動きベクトルを２つ用いて算出されたものであり、以下これらの座標変換パラメータを局所座標変換パラメータ１００−３という。局所座標変換パラメータは、それぞれ異なる２つの検出点の動きベクトルを用いて複数算出される。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００３４
【補正方法】変更
【補正の内容】
【００３４】
１０３は後述する選択規則を代表する座標変換パラメータを算出する規則代表パラメータ算出部であり、局所座標変換パラメータを所定の選択規則に従って複数選択し、さらにそれらの代表値としての座標変換パラメータ（第２の代表情報）１００−４を算出する。具体的には、局所パラメータ選択回路１０３−１において、各選択規則に対して複数の局所座標変換パラメータが選択される。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００３６
【補正方法】変更
【補正の内容】
【００３６】
また、頻度分布作成回路１０３−２は、作成した頻度分布に対してガウシアン関数をコンボリューションする。そして、同心円ごと（つまりは選択規則ごと）の局所座標変換パラメータの頻度分布は規則代表パラメータ算出回路１０３−３により評価され、その評価に基づいて、各選択規則を代表する座標変換パラメータを算出する。選択規則を代表する座標変換パラメータとは、該選択規則に従って選択された複数の局所座標変換パラメータから算出される、それらを代表する座標変換パラメータである。本実施例では、これを以下、規則代表座標変換パラメータ１００−４という。これにより、同心円毎に１つの規則代表座標変換パラメータが算出される。図４に示す場合においては、４つの選択規則をそれぞれ代表する４つの規則代表座標変換パラメータが算出される。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００４８
【補正方法】変更
【補正の内容】
【００４８】
図５（Ａ）は、1つの同心円上から選択された局所座標変換パラメータの頻度分布５１を示しており、図５（Ｂ）は、この頻度分布５１に対してガウシアン関数５３をコンボリューションした後の頻度分布５２をそれぞれ模式的に示している。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００７４
【補正方法】変更
【補正の内容】
【００７４】
２０２は動き成分分離部であり、検出点において検出された動きベクトル（第１の情報）２００−２を拡大縮小、回転、水平および垂直移動の各動き成分（画像変形成分：第２の情報）２００−３に分離する。具体的には、まず選択回路２０２−１によって、画像中心に関して点対称の位置関係にある２つの検出点の動きベクトルが選択され、動き成分分離回路２０２−２において、指定された動きベクトルに対して、これを拡大縮小成分、回転成分、水平移動成分、垂直移動成分に分離する演算を行う。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００７５
【補正方法】変更
【補正の内容】
【００７５】
２０３は代表動き成分算出部であり、分離された各動き成分２００−３から複数の選択規則のそれぞれに従って、選択規則ごとに複数の動き成分を選択し、さらに各選択規則の代表値である規則代表動き成分（第２の代表情報）２００−４を算出する。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００８０
【補正方法】変更
【補正の内容】
【００８０】
２０４は全体代表パラメータ算出部であり、入力された各選択規則の規則代表動き成分２００−４から、カメラ振れにより生じる画面全体の変形を代表して表現する座標変換パラメータ（全体代表座標変換パラメータ）２００−５を算出する。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００９９
【補正方法】変更
【補正の内容】
【００９９】
３０３は局所パラメータ算出部であり、魚眼歪みが補正された動きベクトル３００−３から局所演算による座標変換パラメータ（局所座標変換パラメータ：第２の情報）３００−４を算出する。具体的には、動きベクトル選択回路３０３−１により、画像中心に関して点対称の位置関係にある２つの検出点における魚眼歪補正がされた動きベクトルが選択され、局所パラメータ算出回路３０３−２において、選択された２つの動きベクトルから局所座標変化パラメータが算出される。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】０１００
【補正方法】変更
【補正の内容】
【０１００】
３０４は規則代表パラメータ算出部であり、算出された局所座標変換パラメータ３００−４を、実施例１と同様に設定された複数の選択規則のそれぞれに従って選択し、さらに選択規則ごとの代表値である規則代表座標変換パラメータ３００−５を算出する。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】０１０２
【補正方法】変更
【補正の内容】
【０１０２】
そして、規則代表パラメータ算出回路３０４−３は、コンボリューションされた頻度分布のうち最大の値をとるパラメータ値を、該選択規則を代表する座標変換パラメータ（規則代表座標変換パラメータ：第２の代表情報）３００−５として決定する。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】０１２５
【補正方法】変更
【補正の内容】
【０１２５】
魚眼歪みの補正が行われた動きベクトル４００−３は、動き成分分離部４０３により拡大縮小、回転、水平および垂直移動成分の各動き成分（画像変形成分：第２の情報）４００−４に分離される。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】０１２７
【補正方法】変更
【補正の内容】
【０１２７】
４０４は動き成分算出部であり、分離された各動き成分４００−４から、複数の選択規則のそれぞれに従って、同一種類の動き成分を選択規則ごとに複数ずつ選択し、さらに選択規則ごとおよび動き成分の種類ごとに、動き成分の代表値としての代表動き成分（第２の代表情報）４００−５を算出する。なお、本実施例では、実施例１と同様に、複数の選択規則はそれぞれ、同一の同心円上の動き成分を選択する規則として設定している。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】０１２９
【補正方法】変更
【補正の内容】
【０１２９】
４０５は全体代表パラメータ算出部であり、複数の選択規則および複数種類の動き成分に対して算出された規則代表動き成分４００−５を用いて、画面全体の変形を代表して表現する座標変換パラメータ（全体代表座標変換パラメータ：第３の情報）４００−６を算出する。具体的には、規則代表パラメータ算出回路４０５−１において、入力された規則代表動き成分は、当該選択規則を代表する座標変換パラメータ（規則代表座標変換パラメータ）に変換される。そして、重み付き誤差算出回路４０５−２は、選択規則ごとに生成された各規則代表座標変換パラメータに対して、他の規則代表座標変換パラメータとの重み付き誤差を算出する。さらに、全体代表パラメータ算出回路４０５−３は、この重み付き誤差が最小となる規則代表座標変換パラメータを、画面全体の変形を代表して表現する全体代表座標変換パラメータ４００−６として算出する。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】０１４１
【補正方法】変更
【補正の内容】
【０１４１】
５０１は局所的動き検出部であり、魚眼光学系を用いて撮影された動画像データ５００−１のフレーム画像間において動きベクトル（第１の情報）５００−２を検出する。具体的には、動き検出点選択回路５０１−１は、動き検出を行う検出点の座標を指定する。検出点は、実施例１と同様に複数の同心円上に配置される。また、検出点は、画像中心に関して各検出点と点対称の位置関係となる位置に他の検出点が存在するよう配置される。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】０１４５
【補正方法】変更
【補正の内容】
【０１４５】
５０３は規則代表動き成分算出部であり、複数の選択規則のそれぞれに従って、魚眼画像上の同一種類の動き成分５００−３を複数ずつ選択し、選択規則ごとおよび動き成分の種類ごとに代表値としての規則代表動き成分（第２の代表情報）５００−４を算出する。具体的には、動き成分選択回路５０３−１において、各選択規則に従って同一種類の動き成分が複数ずつ選択され、該選択された複数の動き成分の大きさに基づく頻度分布が、頻度分布作成回路５０３−２で作成される。本実施例では、各選択規則として、同一の同心円上の検出点での動き成分を選択する規則が設定されている。なお、同一の同心円上の動きベクトルが有する魚眼歪みはほぼ同じであると考えられるため、検出点を同心円上に配置することで、魚眼歪みの補正を行わずに多数の動き成分について頻度分布の作成が可能である。
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】０１４７
【補正方法】変更
【補正の内容】
【０１４７】
具体的には、規則代表動き成分算出回路５０３−３は、ガウシアン関数がコンボリューションされた頻度分布において最大となる動き成分値を、該選択規則および該動き成分の種類を代表する動き成分（規則代表動き成分）５００−４として算出する。
【手続補正２１】
【補正対象書類名】明細書
【補正対象項目名】０１５０
【補正方法】変更
【補正の内容】
【０１５０】
５０５は全体代表パラメータ算出部であり、魚眼歪みが補正された規則代表動き成分５００−５から画面全体の変形を代表して表現する座標変換パラメータ（全体代表座標変換パラメータ：第３の情報）５００−６を算出する。具体的には、規則代表パラメータ算出回路５０５−１は、魚眼歪みが補正された各規則代表動き成分から選択規則を代表する座標変換パラメータ（規則代表座標変換パラメータ）を算出する。これは実施例２と同様の処理で行われる。次に、重み付き誤差算出回路５０５−２は、規則代表座標変換パラメータ間の重み付き誤差、すなわち各規則代表座標変換パラメータに対する他の規則代表座標変換パラメータとの重み付き誤差を算出する。そして、この重み付き誤差は、全体代表パラメータ算出回路５０５−３で評価され、誤差が最も小さい規則代表座標変換パラメータが、画面全体の変形を代表して表現する全体代表座標変換パラメータ５００−６として算出される。全体代表パラメータ算出部５０５では、実施例２と同様の処理が行われる。