(57)【要約】      【課題】  簡易な処理で精度良く、かつ撮影条件にほとんど影響を受けずに、カメラ振れによって生じるフレーム画像間の画像の変形を表現する情報を得る。      【解決手段】  まず動画を構成するフレーム画像において複数の局所領域を設け、該複数の局所領域における複数のフレーム画像間での動きをそれぞれ示す複数の第１の情報１００−２を得る。次に、該複数の第１の情報のうち少なくとも一部を用いて画像の変形を表現する複数の第２の情報１００−３を得る。次に、複数の選択規則を用意し、該選択規則ごとに複数の第２の情報を選択し、さらに該選択された複数の第２の情報を代表する第２の代表情報１００−４を選択規則ごとに得る。そして、複数の選択規則に対して得られた複数の第２の代表情報を用いて、画像全体の変形を表現する第３の情報１００−５を得る。      【選択図】  図１ 
2005269419.tif 000002
【特許請求の範囲】
【請求項１】
動画を構成するフレーム画像において複数の局所領域を設け、該複数の局所領域における複数の前記フレーム画像間での動きをそれぞれ示す複数の第１の情報を得る第１のステップと、
該複数の第１の情報を用いて画像の変形を表現する複数の第２の情報を得る第２のステップと、
複数の選択規則を用意し、該選択規則ごとに複数の前記第２の情報を選択し、さらに該選択された複数の第２の情報を代表する第２の代表情報を前記選択規則ごとに得る第３のステップと、
前記複数の選択規則に対して得られた複数の前記第２の代表情報を用いて、画像全体の変形を表現する第３の情報を得る第４のステップとを有することを特徴とする画像変形推定方法。
【請求項２】
前記第１の情報が動きベクトルであり、
前記第２および第３の情報が座標変換パラメータであることを特徴とする請求項１に記載の画像変形推定方法。
【請求項３】
前記動きは、前記動画を撮影する撮像装置の動きにより生ずるものであることを特徴とする請求項１又は２に記載の画像変形推定方法。
【請求項４】
前記第３のステップにおいて、前記選択規則ごとに前記第２の情報の大きさに応じた該第２の情報の頻度分布を求め、該頻度分布に基づいて前記第３の情報を得ることを特徴とする請求項１から３のいずれか１つに記載の画像変形推定方法。
【請求項５】
前記第３のステップにおいて、前記頻度分布に対して単一のピークを有する関数をコンボリューションし、該コンボリューションにより得られた最大の前記第２の情報を前記第２の代表情報とすることを特徴とする請求項４に記載の画像変形推定方法。
【請求項６】
前記第４のステップにおいて、前記複数の第２の代表情報間において各第２の代表情報を得るために用いた前記局所領域の数および画像中の基準位置からの距離のうち少なくとも一方に基づいて算出した重み付き誤差が最小となるように前記第３の情報を得ることを特徴とする請求項１から５のいずれか１つに記載の画像変形推定方法。
【請求項７】
前記第１のステップにおいて、前記複数の局所領域が所定の配置条件に従って設けられ、
前記各選択規則は、同一の前記配置条件に従って設けられた前記局所領域に対応する前記第２の情報を選択する規則であることを特徴とする請求項１から６のいずれか１つに記載の画像変形推定方法。
【請求項８】
前記フレーム画像が魚眼画像であり、
前記第１の情報に対して魚眼歪成分の補正処理を行う第５のステップを有し、
前記第２のステップにおいて、該補正処理された前記第１の情報を用いて前記第２の情報を得ることを特徴とする請求項１から７のいずれか１つに記載の画像変形推定方法。
【請求項９】
請求項１から８のいずれか１つに記載の画像変形推定方法をコンピュータに実行させるためのプログラムであることを特徴とする画像変形推定プログラム。
【請求項１０】
動画を構成するフレーム画像において複数の局所領域を設け、該複数の局所領域における複数の前記フレーム画像間での動きをそれぞれ示す複数の第１の情報を得る第１のステップと、
前記各第１の情報を、それぞれ異なる複数の画像変形成分を表す複数の第２の情報に分離する第２のステップと、
複数の選択規則を用意し、前記画像変形成分ごとおよび前記選択規則ごとに前記第２の情報を複数選択し、さらに該選択された前記複数の第２の情報を代表する第２の代表情報を、前記画像変形成分ごとおよび前記選択規則ごとに得る第３のステップと、
前記複数の画像変形成分および前記複数の選択規則に対して得られた複数の前記第２の代表情報を用いて、画像全体の変形を表現する第３の情報を得る第４のステップとを有することを特徴とする画像変形推定方法。
【請求項１１】
前記第１の情報が動きベクトルであり、
前記第２および第３の情報が座標変換パラメータであることを特徴とする請求項１０に記載の画像変形推定方法。
【請求項１２】
前記動きは、前記動画を撮影する撮像装置の動きにより生ずるものであることを特徴とする請求項１０又は１１に記載の画像変形推定方法。
【請求項１３】
前記複数の画像変形成分は、平行移動成分、拡大縮小成分および回転成分のうち少なくとも１つを含むことを特徴とする請求項１０から１２のいずれか１つに記載の画像変形推定方法。
【請求項１４】
前記第３のステップにおいて、前記画像変形成分ごとおよび前記選択規則ごとに前記第２の情報の大きさに応じた該第２の情報の頻度分布を求め、該頻度分布に基づいて前記第２の代表情報を得ることを特徴とする請求項１０から１３のいずれか１つに記載の画像変形推定方法。
【請求項１５】
前記第３のステップにおいて、前記頻度分布に対して単一のピークを有する関数をコンボリューションし、該コンボリューションにより得られた最大の前記第２の情報を前記第２の代表情報とすることを特徴とする請求項１４に記載の画像変形推定方法。
【請求項１６】
前記第４のステップにおいて、前記複数の第２の代表情報間において各第２の代表情報を得るために用いた前記局所領域の数および画像中の基準位置からの距離のうち少なくとも一方に基づいて算出した重み付き誤差が最小となるように前記第３の情報を得ることを特徴とする請求項１０から１５のいずれか１つに記載の画像変形推定方法。
【請求項１７】
前記第１のステップにおいて、前記複数の局所領域が所定の配置条件に従って設けられ、
前記各選択規則は、同一の前記配置条件に従って設けられた前記局所領域に対応する前記第２の情報を選択する規則であることを特徴とする請求項１０から１６のいずれか１つに記載の画像変形推定方法。
【請求項１８】
前記フレーム画像が魚眼画像であり、
前記第１の情報に対して魚眼歪成分の補正処理を行う第５のステップを有し、
前記第２のステップにおいて、該補正処理された前記各第１の情報を前記複数の第２の情報に分離することを特徴とする請求項１０から１７のいずれか１つに記載の画像変形推定方法。
【請求項１９】
前記フレーム画像が魚眼画像であり、
前記第２の情報に対して魚眼歪成分の補正処理を行う第５のステップを有し、
前記第３のステップにおいて、該補正処理された前記第２の情報を用いて前記第２の代表情報を得ることを特徴とする請求項１０から１７のいずれか１つに記載の画像変形推定方法。
【請求項２０】
請求項１０から１９のいずれか１つに記載の画像変形推定方法をコンピュータに実行させるためのプログラムであることを特徴とする画像変形推定プログラム。
【請求項２１】
動画を構成するフレーム画像において複数の局所領域を設け、該複数の局所領域における複数の前記フレーム画像間での動きをそれぞれ示す複数の第１の情報を得る第１の手段と、
該複数の第１の情報のうち少なくとも一部を用いて画像の変形を表現する複数の第２の情報を得る第２の手段と、
複数の選択規則を有し、該選択規則ごとに複数の前記第２の情報を選択し、さらに該選択された複数の第２の情報を代表する第２の代表情報を前記選択規則ごとに得る第３の手段と、
前記複数の選択規則に対して得られた複数の前記第２の代表情報を用いて、画像全体の変形を表現する第３の情報を得る第４の手段とを有することを特徴とする画像変形推定装置。
【請求項２２】
前記第１の情報が動きベクトルであり、
前記第２および第３の情報が座標変換パラメータであることを特徴とする請求項２１に記載の画像変形推定装置。
【請求項２３】
前記動きは、前記動画を撮影する撮像装置の動きにより生ずるものであることを特徴とする請求項２１又は２２に記載の画像変形推定装置。
【請求項２４】
前記第３の手段は、前記選択規則ごとに前記第２の情報の大きさに応じた該第２の情報の頻度分布を求め、該頻度分布に基づいて前記第３の情報を得ることを特徴とする請求項２１から２３のいずれか１つに記載の画像変形推定装置。
【請求項２５】
前記第３の手段は、前記頻度分布に対して単一のピークを有する関数をコンボリューションし、該コンボリューションにより得られた最大の前記第２の情報を前記第２の代表情報とすることを特徴とする請求項２４に記載の画像変形推定装置。
【請求項２６】
前記第４の手段は、前記複数の第２の代表情報間において各第２の代表情報を得るために用いた前記局所領域の数および画像中の基準位置からの距離のうち少なくとも一方に基づいて算出した重み付き誤差が最小となるように前記第３の情報を得ることを特徴とする請求項２１から２５のいずれか１つに記載の画像変形推定装置。
【請求項２７】
前記第１の手段は、前記複数の局所領域を所定の配置条件に従って設け、
前記各選択規則は、同一の前記配置条件に従って設けられた前記局所領域に対応する前記第２の情報を選択する規則であることを特徴とする請求項２１から２６のいずれか１つに記載の画像変形推定装置。
【請求項２８】
前記フレーム画像が魚眼画像であり、
前記第１の情報に対して魚眼歪成分の補正処理を行う第５の手段を有し、
前記第２の手段は、該補正処理された前記第１の情報を用いて前記第２の情報を得ることを特徴とする請求項２１から２７のいずれか１つに記載の画像変形推定装置。
【請求項２９】
請求項２１から２８のいずれか１つに記載の画像変形推定装置と、
動画撮影を行う撮像系とを有することを特徴とする撮像装置。
【請求項３０】
動画を構成するフレーム画像において複数の局所領域を設け、該複数の局所領域における複数の前記フレーム画像間での動きをそれぞれ示す複数の第１の情報を得る第１の手段と、
前記各第１の情報を、それぞれ異なる複数の画像変形成分を表す複数の第２の情報に分離する第２の手段と、
複数の選択規則を有し、前記画像変形成分ごとおよび前記選択規則ごとに前記第２の情報を複数選択し、さらに該選択された前記複数の第２の情報を代表する第２の代表情報を、前記画像変形成分ごとおよび前記選択規則ごとに得る第３の手段と、
前記複数の画像変形成分および前記複数の選択規則に対して得られた複数の前記第２の代表情報を用いて、画像全体の変形を表現する第３の情報を得る第４の手段とを有することを特徴とする画像変形推定装置。
【請求項３１】
前記第１の情報が動きベクトルであり、
前記第２および第３の情報が座標変換パラメータであることを特徴とする請求項３０に記載の画像変形推定装置。
【請求項３２】
前記動きは、前記動画を撮影する撮像装置の動きにより生ずるものであることを特徴とする請求項３０又は３１に記載の画像変形推定装置。
【請求項３３】
前記複数の画像変形成分は、平行移動成分、拡大縮小成分および回転成分のうち少なくとも１つを含むことを特徴とする請求項３０から３２のいずれか１つに記載の画像変形推定装置。
【請求項３４】
前記第３の手段は、前記画像変形成分ごとおよび前記選択規則ごとに前記第２の情報の大きさに応じた該第２の情報の頻度分布を求め、該頻度分布に基づいて前記第２の代表情報を得ることを特徴とする請求項３０から３３のいずれか１つに記載の画像変形推定装置。
【請求項３５】
前記第３の手段は、前記頻度分布に対して単一のピークを有する関数をコンボリューションし、該コンボリューションにより得られた最大の前記第２の情報を前記第２の代表情報とすることを特徴とする請求項３４に記載の画像変形推定装置。
【請求項３６】
前記第４の手段は、前記複数の第２の代表情報間において各第２の代表情報を得るために用いた前記局所領域の数および画像中の基準位置からの距離のうち少なくとも一方に基づいて算出した重み付き誤差が最小となるように前記第３の情報を得ることを特徴とする請求項３０から３５のいずれか１つに記載の画像変形推定装置。
【請求項３７】
前記第１の手段は、前記複数の局所領域を所定の配置条件に従って設け、
前記各選択規則は、同一の前記配置条件に従って設けられた前記局所領域に対応する前記第２の情報を選択する規則であることを特徴とする請求項３０から３６のいずれか１つに記載の画像変形推定装置。
【請求項３８】
前記フレーム画像が魚眼画像であり、
前記第１の情報に対して魚眼歪成分の補正処理を行う第５の手段を有し、
前記第２の手段は、該補正処理された前記各第１の情報を前記複数の第２の情報に分離することを特徴とする請求項３０から３７のいずれか１つに記載の画像変形推定装置。
【請求項３９】
前記フレーム画像が魚眼画像であり、
前記第２の情報に対して魚眼歪成分の補正処理を行う第５の手段を有し、
前記第３の手段は、該補正処理された前記第２の情報を用いて前記第２の代表情報を得ることを特徴とする請求項３０から３７のいずれか１つに記載の画像変形推定装置。
【請求項４０】
請求項３０から３９のいずれか１つに記載の画像変形推定装置と、
動画撮影を行う撮像系とを有することを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画撮影時でのカメラの振れ等により生じる動画のフレーム画像間における画像の変形を表現する情報を得る方法および装置に関する。
【背景技術】
【０００２】
従来、ビデオカメラなどの撮像装置において手振れなどのカメラ振れによる画像の振れを補正する技術に関して種々の方式が提案されている。また、画像振れ補正技術を構成する画像の動き検出技術に関しても様々な方式が存在する。そのうちの一つとして、動画像を構成するフレーム画像間において複数の動きベクトルを検出し、それらの動きベクトルから画面全体を代表する動きベクトルを求めることで、画像の動きを検出する技術がある。しかし、一般に画像振れ補正のために用いられている画像の動き検出方法および装置は、水平および垂直方向における画像の動きのみを検出するものであり、撮影装置の回転などを含む複雑な画像の振れが発生する場合には正確な振れの検出を行うことができず、撮影画像に振れが残るという問題がある。
【０００３】
また、カメラ振れによって生じる動きベクトルは画像の拡大縮小、回転、水平および垂直移動の動き成分の和であるため、水平および垂直移動の動きを正確に検出するためには、拡大縮小、回転などの他の振れの影響を除去しなければならない。このため、水平および垂直方向の動きに加え、回転などの動きの検出が可能な、あるいは個々の振れの成分が正確に検出できる画像の動き検出技術の開発が望まれている。
【０００４】
カメラ振れによって、フレーム画像間においては、拡大縮小、回転、水平および垂直移動といった画像の変形（幾何学的変形）が生じるが、これを表現するモデルの一つにアフィン変換がある。カメラ振れにより生じる画像の変形は次式のように行列の形で表現できる。
【０００５】
【数１】
2005269419.tif 000003
また、カメラ振れにより生じる動きベクトルは次式のモデルで表現できる。
【０００６】
【数２】
2005269419.tif 000004
ここで、（ｘ，ｙ）は画像上の任意の座標であり、（ｘ’，ｙ’）は座標（ｘ，ｙ）がカメラ振れによって移動した座標である。（νｘ，νｙ）は、座標（ｘ，ｙ）における動きベクトルのｘ成分、ｙ成分である。ａ，ｂ，ｃ，ｄはカメラ振れによって生じる画像の変形を表現する座標変換パラメータであり、ａ’，ｂ’，ｃ’，ｄ’はカメラ振れによって生じる画像の動きを表現する動きパラメータである。
【０００７】
このアフィン変換を用いると、カメラ振れにより生じる画像上の任意の座標における画像の変形や動きベクトルを４つのパラメータで表現でき、画像の変形に着目する場合はａ，ｂ，ｃ，ｄ、画像の動きに着目する場合にはａ’，ｂ’，ｃ’，ｄ’を求めることで画像全体の変形または動きの検出が可能である。
【０００８】
上述したモデルを用いて画像の動きを検出する技術は、特許文献１〜４などに開示されている。
【特許文献１】特許第２５８６６８６号（特許請求の範囲等）
【特許文献２】特許第２５０６５００号（３頁左上欄１行〜４頁左上欄１１行等）
【特許文献３】特開平９−２１２６４９号（段落０００８〜００４１等）
【特許文献４】特開平１０−２３３９５８号（段落００１５〜００５３等）
【発明の開示】
【発明が解決しようとする課題】
【０００９】
特許文献１の方法においては、画素毎または小領域毎に検出された動きベクトルとカメラ振れにより生じる動きのモデルに対して最小二乗誤差法を適用し、画像全体の動きを表現する動きパラメータを検出している。また、フィルタを用いることで、動きベクトル検出の誤差を除去し、精度の向上を図っている。
【００１０】
しかしながら、特許文献１の方法では、被写体の動きなどある程度の大きさの領域でカメラ振れと異なる動きが存在する場合にはその動きをフィルタでは完全に除去することはできず、カメラ振れにより生じる動きの検出という観点では精度が十分ではない。
【００１１】
また、特許文献２の方法においては、複数の動きベクトルを用いて算出された変換係数により画像の他の位置の動き量を予測し、その予測値と実際に検出された動きベクトルとの差がしきい値以下となる領域の数が最大となる領域の動きベクトルのみを用いて画像全体の動きを推定している。
【００１２】
この特許文献２の方法では、変換係数を用いて展開された動きベクトルと、検出された動きベクトルとの差をもとに同一の動きであるかを否かを繰り返し判定しているため、計算量が多い。
【００１３】
また、特許文献３の方法では、局所的に検出された動きベクトルのうちの一部の複数の動きベクトルを用いて動きパラメータの算出を行い、これを繰り返すことにより複数の動きパラメータを求める。そして、それらのうち頻度の高い動きパラメータ値を画像全体を代表する動きパラメータ値として推定している。
【００１４】
この特許文献３の方法では、頻度の高い動きパラメータを画面全体のパラメータとしているが、複数のピークが発生したり、明確なピークが存在しない場合に間違ったパラメータを画面全体に対するパラメータ値として決定したりしてしまう可能性がある。
【００１５】
さらに、特許文献４の方法では、動きベクトルの特徴空間内での分布を考慮することで、基本的なカメラ操作に対するパラメータ値を求めている。この特許文献４の方法では、カメラ振れそれぞれのパラメータ値を算出することが可能であるが、クラスタリングなどの複雑な処理が必要である。
【００１６】
ビデオカメラなどの撮影装置における画像振れ補正に対しては、カメラ振れによる画像の動きを様々な条件下で、高速、かつ精度良く検出する必要がある。このため、上述の技術の課題を改善し、被写体の動きや動き検出の誤差に影響されずにカメラ振れによる画像の動きを高速に、精度良く、かつ撮影条件に影響を受けずに検出できる画像の動き検出方法および装置の開発が必要である。また、画像の振れを補正することを考慮した場合、検出するパラメータは画像中の動きベクトルを表現する動きパラメータよりも、画像の変形を表現する座標変換パラメータが有利である。
【００１７】
また、拡大縮小や回転による動きの大きさは画像中心からの距離に比例するため、拡大縮小や回転による微小な動きは画像の周辺部にしか現われない場合が多い。しかし上述した方法では、画像全体の動きを表現するパラメータを算出する際に用いられる画像上の動きベクトルを均一に扱っているため、画像の周辺部にしか現われない微小な動きを検出できない場合がある。これらの誤差は微小ではあるが、隣接フレーム画像間におけるパラメータを積算することで離れたフレーム画像間におけるパラメータを算出する際には、この誤差が蓄積され、不都合を生じさせる。
【００１８】
さらに、上述した方法はいずれも魚眼レンズなどの歪みのある動画像までは考慮されていない。
【００１９】
そこで、本発明は、簡易な処理で精度良く、かつ撮影条件にほとんど影響を受けずに、カメラ振れによって生じるフレーム画像間の画像の変形を表現する情報を得ることができる画像変形推定方法および装置を提供することを目的としている。
【００２０】
また、本発明は、魚眼画像などの歪みのある動画像のフレーム画像間での動きを検出する方法および装置を提供することを目的としている。
【課題を解決するための手段】
【００２１】
上記の目的を達成するために、本発明の画像変形推定方法および装置では、まず動画を構成するフレーム画像において複数の局所領域を設け、該複数の局所領域における複数のフレーム画像間での動きをそれぞれ示す複数の第１の情報を得る。次に、該複数の第１の情報を用いて画像の変形を表現する複数の第２の情報を得る。次に、複数の選択規則を用意し、該選択規則ごとに複数の第２の情報を選択し、さらに該選択された複数の第２の情報を代表する第２の代表情報を選択規則ごとに得る。そして、複数の選択規則に対して得られた複数の第２の代表情報を用いて、画像全体の変形を表現する第３の情報を得る。
【００２２】
ここで、フレーム画像が魚眼画像である場合は、第１の情報に対して魚眼歪成分の補正処理を行い、該補正処理された第１の情報を用いて第２の情報を得る。
【００２３】
また、本発明の画像変形推定方法および装置では、まず動画を構成するフレーム画像において複数の局所領域を設け、該複数の局所領域における複数のフレーム画像間での動きをそれぞれ示す複数の第１の情報を得る。次に、各第１の情報を、それぞれ異なる複数の画像変形成分を表す複数の第２の情報に分離する。次に、複数の選択規則を用意し、画像変形成分ごとおよび選択規則ごとに第２の情報を複数選択し、さらに該選択された複数の第２の情報を代表する第２の代表情報を、画像変形成分ごとおよび選択規則ごとに得る。そして、複数の画像変形成分および複数の選択規則に対して得られた複数の第２の代表情報を用いて、画像全体の変形を表現する第３の情報を得る。
【００２４】
ここで、フレーム画像が魚眼画像である場合には、第１の情報に対して魚眼歪成分の補正処理を行い、該補正処理された各第１の情報を複数の第２の情報に分離する。又は、第２の情報に対して魚眼歪成分の補正処理を行い、該補正処理された第２の情報を用いて第２の代表情報を得る。
【発明の効果】
【００２５】
上記発明によれば、簡易な処理で精度良く、かつ撮影条件にほとんど影響を受けずに、カメラ振れによって生じるフレーム画像間の画像の変形を表現する情報を得ることができる。
【００２６】
さらに、魚眼画像などの歪みのある動画像のフレーム画像間での動きも簡易かつ精度良く検出することができる。
【発明を実施するための最良の形態】
【００２７】
以下、本発明の実施例について図面を参照しながら説明する。
【実施例１】
【００２８】
図１は、本発明の実施例１である座標変換パラメータ推定装置（画像変形推定装置、以下の実施例でも同じ）の構成を示すブロック図である。なお、図１７に示すように、本実施例の座標変換パラメータ推定装置６１０は、デジタルカメラやビデオカメラ等の動画撮影が可能な撮像装置６００に搭載され、該撮像装置６００のいわゆる手振れ補正システム６０２の振れ検出部として使用される。撮像装置６００には、動画撮影を行う撮像系が搭載されている。該撮像系は、撮影光学系６０５と、ＣＣＤセンサやＣＭＯＳセンサ等の撮像素子６０１と、該撮像素子６０１からの信号を処理して映像信号を生成する信号処理回路６０３等により構成されている。また、手振れ補正システム６０２には、座標変換パラメータ推定装置６１０からの出力（後述する全体代表座標変換パラメータ）に基づいて映像信号（フレーム画像）の振れを補正する振れ補正回路６１１も設けられている。振れ補正回路６１１において振れ補正がなされた映像信号（フレーム画像）は、モニタ６０７や記録媒体（半導体メモリ、光ディスク、磁気ディスク等）６０８に出力され、表示又は記録される。但し、撮像装置とは別体の装置として設けられてもよい。以上のことは、以下の実施例でも同様である。
【００２９】
図１に示す各構成要素の処理シーケンスは、図１中に示していないが、該座標変換パラメータ推定装置の全体を制御する制御部により制御されている。
【００３０】
同図において、１０１は局所的動き検出部であり、入力された動画像データ１００−１を構成するフレーム画像間における局所的な動きベクトルを検出する。動き検出点選択回路１０１−１は、動き検出を行う検出点の座標を指定する回路である。検出点は、画素単位でも複数の画素を含む小領域単位のいずれでもよく、該検出点の位置および配置は任意に設定することが可能である。本実施例では、図３に示すように、検出点３２を画像３１の中心位置を中心とした複数の同心円上に、検出点３２を複数個ずつ配置している。さらに詳しくは、各検出点３２に対し、画像中心に関する点対称の位置に他の検出点が存在するように、各同心円上において複数の検出点３２を配置している。
【００３１】
１０１−２は動き検出回路であり、動き検出点選択回路１０１−１により指定された座標においてブロックマッチングを行い、各検出点における動きベクトル（第１の情報）を算出する。
【００３２】
１０２は局所演算により座標変換パラメータ（第２の情報）を算出する局所パラメータ算出部であり、入力された動きベクトル１００−２のうち所定数の局所的な動きベクトルから（１）式中のａ，ｂ，ｃ，ｄである４つの座標変換パラメータを算出する。
【００３３】
動きベクトル選択回路１０２−１は、点対称の位置関係にある２つの検出点の動きベクトルを選択する。局所パラメータ算出回路１０２−２は、選択された２つの検出点の動きベクトルから座標変換パラメータを算出する。ここで算出される座標変換パラメータは、局所的に検出された動きベクトルを２つ用いて算出されたものであり、以下これらの座標変換パラメータを局所座標変換パラメータという。局所座標変換パラメータは、それぞれ異なる２つの検出点の動きベクトルを用いて複数算出される。
【００３４】
１０３は後述する選択規則を代表する座標変換パラメータを算出する規則代表パラメータ算出部であり、局所座標変換パラメータを所定の選択規則に従って複数選択し、さらにそれらの代表値としての座標変換パラメータ（第２の代表情報）を算出する。具体的には、局所パラメータ選択回路１０３−１において、各選択規則に対して複数の局所座標変換パラメータが選択される。
【００３５】
本実施例では、図４に示すように、４つの選択規則１〜４を設定しており、選択規則１は、互いに径が異なる４つの同心円のうち最も径の小さな同心円（すなわち、同一の同心円）４２上の座標変換パラメータを選択する規則である。また、選択規則２は、２番目に径の小さな同心円４３上の座標変換パラメータを選択する規則、選択規則３は、２番目に径の大きな同心円４４上の座標変換パラメータを選択する規則、選択規則４は、最も径の大きな同心円４５上の座標変換パラメータを選択する規則である。局所パラメータ選択回路１０３−１は上記選択規則１〜４に従って、選択規則ごとに複数の局所座標変換パラメータを選択し、頻度分布作成回路１０３−２は、それら同心円ごとに選択された複数の座標変換パラメータの頻度分布を作成する。
【００３６】
また、頻度分布作成回路１０３−２は、作成した頻度分布に対してガウシアン関数をコンボリューションする。そして、同心円ごと（つまりは選択規則ごと）の局所座標変換パラメータの頻度分布は規則代表パラメータ算出回路１０３−３により評価され、その評価に基づいて、各選択規則を代表する座標変換パラメータを算出する。選択規則を代表する座標変換パラメータとは、該選択規則に従って選択された複数の局所座標変換パラメータから算出される、それらを代表する座標変換パラメータである。本実施例では、これを以下、規則代表座標変換パラメータという。これにより、同心円毎に１つの規則代表座標変換パラメータが算出される。図４に示す場合においては、４つの選択規則をそれぞれ代表する４つの規則代表座標変換パラメータが算出される。
【００３７】
１０４は全体代表パラメータ算出部であり、複数の規則代表座標変換パラメータ１００−４から、カメラ振れにより生じた画面全体の変形を代表して表現する座標変換パラメータ（以下、全体代表座標変換パラメータという：第３の情報）を算出する。１０４−１は重み付き誤差算出回路であり、規則代表パラメータ算出部１０３により算出された同心円毎の規則代表座標変換パラメータ間での重み付き誤差を算出する。１０４−２は全体代表パラメータ算出回路であり、重み付き誤差が最も小さくなる座標変換パラメータを、全体代表座標変換パラメータ１００−５として決定し、出力する。
【００３８】
本実施例では、重み付き誤差算出回路１０４−１で誤差に乗算する重みは、画像の中心からの距離が大きい同心円ほど大きく設定しており、図４においては、選択規則４（同心円４５）の代表値との誤差の重みが最も重い。以上の構成により、局所的に検出された動きベクトルからカメラ振れにより生じる画面全体の変形を表現する全体代表座標変換パラメータの算出が可能である。
【００３９】
次に、本実施例の処理手順について、図２のフローチャートを用いてより詳細に解説する。まず、局所的動き検出部１０１でステップS１０１の処理が行われる。ステップS１０１では、指定された検出点において動きベクトルの検出を行う。検出点３２は図３のように画面３１内で複数の同心円上に配置されており、各検出点３２においてブロックマッチングにより動きベクトルを検出する。
【００４０】
ステップS１０２では、検出点の全てに対して動きベクトル検出が行われたか否かを判定し、Yesの場合はステップS１０３に進み、Noの場合はステップS１０１に戻り、動きベクトルの検出を繰り返す。
【００４１】
ステップS１０１により検出された動きベクトルのうち画像中心に関して点対称の位置関係にある２つの検出点３２の動きベクトルを用いて、ステップＳ１０３において局所演算による座標変換パラメータを算出する。座標変換パラメータは以下のように算出される。座標（ｘ，ｙ）の検出点３２における動きベクトルは次式のように表される。
【００４２】
【数３】
2005269419.tif 000005
点対称の位置（−ｘ，−ｙ）にある動きベクトルは、
【００４３】
【数４】
2005269419.tif 000006
と表される。ここで、νｘ，νｙはそれぞれの位置において検出された動きベクトルのｘ成分、ｙ成分である。これらの式から各局所座標変換パラメータを求めると次式のようになる。
【００４４】
【数５】
2005269419.tif 000007
本実施例では、画像中心に関して点対称の位置にある２つの動きベクトルから、式（５）を用いて座標変換パラメータの算出を行う。
【００４５】
ステップＳ１０４では、全ての点対称の位置関係にある検出点３２の動きベクトルの組について局所座標変換パラメータが算出されたかを判定し、Yesの場合はステップＳ１０５に進み、Noの場合はステップＳ１０３に戻って局所座標変換パラメータの算出を繰り返す。本実施例では、算出された局所座標変換パラメータは、図４に示すように、画面４１の下半分の検出点４６において算出されたものとする。ステップS１０３、Ｓ１０４の処理は、局所パラメータ算出部１０２で行われる。
【００４６】
ステップＳ１０５では、選択規則を代表する座標変換パラメータ（規則代表パラメータ）を決定する。本実施例では、図４に示すように、選択規則が４つ（選択規則１〜４）設けられており、各選択規則に対応する４つの同心円４２〜４５上から複数の局所座標変換パラメータを選択する。選択された局所座標変換パラメータは、選択規則ごとにグループ化される。そして、そのグループごとに（つまりは選択規則ごとに）、複数の局所座標変換パラメータの代表値である規則代表座標変換パラメータが算出される。
【００４７】
具体的には、まずステップＳ１０５−１で、図５に示すように、ステップＳ１０３にて選択された局所座標変換パラメータの頻度分布を選択規則ごとに作成する。さらに、作成した頻度分布に対してガウシアン関数をコンボリューションする。
【００４８】
図５（Ｂ）は、1つの同心円上から選択された局所座標変換パラメータの頻度分布５１を示しており、図５（Ｂ）は、この頻度分布５１に対してガウシアン関数５３をコンボリューションした後の頻度分布５２をそれぞれ模式的に示している。
【００４９】
ステップＳ１０５−２では、このコンボリューション後の頻度分布において最大の値となる座標変換パラメータを規則代表座標変換パラメータとして算出する。
【００５０】
同心円上の座標変換パラメータで頻度分布を作成すると、座標変換パラメータの数が少なく、また、動き検出に誤差が含まれるため明確なピークが存在しない場合が発生する。そこで単峰性の波形をしたガウシアン関数をコンボリューションすることにより、頻度分布を平滑化し、周辺に分布をもつ値が最大頻度となりやすいようにしている。これにより、頻度が高く、かつ、周辺に分布をもつパラメータ値を代表値と算出しやすくなり、各同心円毎に正確な代表値が算出できるようにしている。選択規則を代表する座標変換パラメータ算出部１０３はこのＳ１０５の処理を行う。ステップS１０６では全ての選択規則に対して代表値が算出されたかを判定し、Yesの場合はS１０７に進む。Noの場合はS１０５に戻り、規則代表座標変換パラメータの算出を繰り返す。
【００５１】
各選択規則に対して規則代表座標変換パラメータが算出されると、ステップＳ１０７において画像全体を代表する座標変換パラメータ（全体代表パラメータ）を算出する。まず、ステップＳ１０７−１において、４つの規則代表座標変換パラメータ間の重み付き誤差を式（６）を用いて算出する。ここではパラメータａについてのみ示しているが、その他のパラメータｂ，ｃ，ｄについても同様な計算により誤差を算出する。
【００５２】
【数６】
2005269419.tif 000008
ここで、ａ，ｗの右肩に付されたインデックスは、選択規則の番号（本実施例では、径の小さい同心円から順に１，２，３，４とインデックスを付与している）であり、ｗｋ（ｌ）は選択規則ｋの規則代表座標変換パラメータに対する選択規則ｌの規則代表座標変換パラメータの誤差の重みである。
【００５３】
上式のように、注目している選択規則の規則代表座標変換パラメータとその他の選択規則の規則代表座標変換パラメータとの差の絶対値をとり、それに重みを乗算した値の和がここでの重み付き誤差となる。重みはここでは次式のように設定している。
【００５４】
【数７】
2005269419.tif 000009
ここで、ｗnｋ（ｌ）は、ｋ番目の選択規則によって選択される局所座標変換パラメータとｌ番目の選択規則によって選択される局所座標変換パラメータの数の比に関する重みであり、選択規則で選択される局所座標変換パラメータの数の不均一さを補正する。本実施例のように、選択規則を同心円上から局所座標変換パラメータを選択するように設定する場合、径が大きい同心円上ほど多くの局所座標変換パラメータが選択される。このため、径が大きい同心円の選択規則を代表する座標変換パラメータとの誤差ほど重みｗｎｋ（ｌ）を大きく設定している。本実施例では、選択規則ごとに選択される局所座標変換パラメータの数の比を用いている。
【００５５】
【数８】
2005269419.tif 000010
ここで、Ｎｌはｌ番目の、Ｎｋはｋ番目の選択規則によって選択される局所座標変換パラメータの数である。
また、ｗrｋ（ｌ）はｋ番目の選択規則を代表する局所座標変換パラメータ（規則代表座標変換パラメータ）とｌ番目の選択規則を代表する局所座標変換パラメータ（規則代表座標変換パラメータ）の画像中心からの距離の比に関する重みである。本実施例では、規則代表座標変換パラメータの位置の画像中心からの距離の比を用いている。
【００５６】
【数９】
2005269419.tif 000011
ここで、Ｒｌはｌ番目の、Ｒｋはｋ番目の選択規則を代表する局所座標変換パラメータ（規則代表座標変換パラメータ）の位置の画像中心からの距離である。
【００５７】
画像の回転、拡大縮小では、周辺部分ほど動きベクトルが大きくなる。このため、微小な拡大縮小や回転の動きベクトルは、画像の周辺部分にしか現われない場合ある。そこで本実施例では、画像中心からの距離が大きい規則代表座標変換パラメータとの誤差ほど重みを大きく設定している。これにより、画面内の座標変換パラメータを均一に扱う場合には検出するのが難しい微小な拡大縮小、回転などの検出が可能となる。なお、本実施例では、規則代表座標変換パラメータへの重み付けに対して、該規則代表座標変換パラメータを求めるために用いた検出点の数および画像中心からの距離の双方を考慮しているが、これらのうちいずれか一方のみ考慮して重み付けを行ってもよい。
【００５８】
重み付きの誤差がすべての選択規則を代表する座標変化パラメータに対して算出されると、ステップＳ１０７−２において、算出された重み付き誤差が最も小さい座標変換パラメータを画面全体の変形を代表する座標変換パラメータとして決定する。
【００５９】
このように本実施例では、選択規則ごとに選択された複数の局所座標変換パラメータから、その頻度分布に基づいて代表値（規則代表座標変換パラメータ）を算出し、さらに各選択規則に対して算出された代表値間で比較を行い、誤差が最小となる座標変換パラメータを画面全体の変形を代表する座標変換パラメータ（全体代表座標変換パラメータ）として算出している。複数の局所座標変換パラメータの中から頻度の高いパラメータ値を代表値として算出することで、局所的な動きや動き検出時の誤差に影響されない、言い換えれば画面内で支配的な座標変換パラメータを抽出することができる。
【００６０】
そして、これらの複数の代表値に対して誤差が最小となるような座標変換パラメータを画面全体の代表値とすることで、カメラ振れとは関係のない動きの影響をほとんど受けず、さらに画像全体に対して誤差の少ない最適な座標変換パラメータを算出することが可能である。
【００６１】
また、頻度分布を用いて代表値を選択する際に間違った代表値を選択してしまった場合においても、複数の代表値間の誤差を考慮することで、該間違った代表値の影響を軽減もしくは除去することができ、精度の高い推定が可能である。
【００６２】
また、頻度分布をガウシアン関数で平滑化することにより、母数が少ない場合や明確なピークが存在しなかったり複数のピークが存在したりする場合においても、周辺の分布を考慮し、精度のよい代表値の算出ができる。また、母数を増加するために座標変換パラメータの算出を繰り返す必要がなく、計算量の増加を抑制することができる。
【００６３】
また、画像中心からの距離が遠い（同心円の径が大きい）選択規則を代表する座標変換パラメータとの誤差ほど重みを大きくすることで、全体代表座標変換パラメータの算出において、微小な拡大縮小、回転が検出しやすい画像周辺部の座標変換パラメータの影響が大きくなるので、微小な画像の回転、拡大縮小の検出が可能である。
【００６４】
また、本実施例では、動き検出点を複数の同心円状に配置した場合について説明したが、本発明では、同心円状の配置に限らず、例えば格子状に配置してもよい。また、検出点の密度を画像内で変更することも可能である。
【００６５】
また、本実施例では、点対称の位置関係にある２つの検出点の動きベクトルから局所座標変換パラメータを算出する場合について説明したが、本発明はこれに限らず、例えばｘ軸に対称な位置関係［（ｘ，ｙ），（ｘ，−ｙ）］にある２つの検出点の動きベクトルを用いて局所座標変換パラメータを算出してもよい。この場合には、局所座標変換パラメータは次式を用いて算出することが可能である。ただし、以下の式を用いる場合、ｘ軸上に検出点を配置することはできない。
【００６６】
【数１０】
2005269419.tif 000012
また、パラメータごとに異なる動きベクトルを選択することで、計算量の削減が可能である。例えば、ａ，ｂはｘ軸に関して対称な２つの検出点の動きベクトルを用い、ｃ，ｄは画像中心に関して点対称な２つの検出点の動きベクトルを用いて座標変換パラメータを推定することで、計算量を削減することができる。
【００６７】
また、本実施例においては、同じ同心円上の局所座標変換パラメータを１つのグループとし、そのグループ中から代表値（規則代表座標変換パラメータ）を算出しているが、例えば、画面を複数個に分割し、それぞれの分割領域内の局所座標変換パラメータを１つのグループとしてその代表値を算出してもよいし、モザイク状にグループ化し、その代表値を算出してもよい。
【００６８】
また、本実施例においては、頻度分布に対してガウシアン関数をコンボリューションしているが、本発明では、ガウシアン関数に限らず、単峰性の（ピークが１つである）関数であればよい。
【００６９】
また、本実施例においては、選択規則を代表する座標変換パラメータ間で重み付き誤差を算出し、その誤差が最小となる座標変換パラメータを、画面全体を代表する座標変換パラメータとしているが、本発明ではこれに限らず、例えば、選択規則を代表する座標変換パラメータの平均値を画面全体を代表する座標変換パラメータとしてもよい。
【００７０】
また、本実施例においては、選択規則を代表する座標変換パラメータ間の重み付き誤差を算出する際に、画像中心からの距離が大きい同心円上の局所座標変換パラメータとの誤差ほど距離に関する重みを大きくしているが、これは座標変換パラメータごとに設定でき、画像の拡大縮小、回転を表すａ，ｂに関しては径が大きい同心円の座標変換パラメータとの誤差に対する距離に関する重みを大きくし、水平移動、垂直移動を表すｃ，ｄに関しては距離に関する重みを全ての座標変換パラメータ間の誤差で均一にしてもよい。また、本実施例においては、微小な拡大縮小、回転を検出するために画像の周辺部を重視しているが、画像の中心付近の変形を重視したい場合は、画像中心からの距離が小さい代表値との誤差ほど重みを大きくすればよい。
【実施例２】
【００７１】
図６は、本発明の実施例２である座標変換パラメータ推定装置の構成を示すブロック図である。実施例１では、複数の検出点の動きベクトルから座標変換パラメータを算出し、該座標変換パラメータに対して各種処理を行って画面全体を代表する座標変換パラメータを算出したが、本実施例では、動きベクトルに各種処理を施して画面全体を代表する座標変換パラメータを算出する。
【００７２】
図６において、各構成要素における処理シーケンスは、図中には示していない座標変換パラメータ推定装置全体を制御する制御部により制御されている。
【００７３】
同図において、局所的動き検出部２０１、動き検出点選択回路２０１−１および動き検出回路２０１−２は実施例１と同様であるので、説明を省略する。
【００７４】
２０２は動き成分分離部であり、検出点において検出された動きベクトル（第１の情報）２００−２を拡大縮小、回転、水平および垂直移動の各動き成分（画像変形成分：第２の情報）に分離する。具体的には、まず選択回路２０２−１によって、画像中心に関して点対称の位置関係にある２つの検出点の動きベクトルが選択され、動き成分分離回路２０２−２において、指定された動きベクトルに対して、これを拡大縮小成分、回転成分、水平移動成分、垂直移動成分に分離する演算を行う。
【００７５】
２０３は代表動き成分算出部であり、分離された各動き成分２００−３から複数の選択規則のそれぞれに従って、選択規則ごとに複数の動き成分を選択し、さらに各選択規則の代表値である規則代表動き成分（第２の代表情報）を算出する。
【００７６】
具体的には、動き成分選択回路２０３−１において、各選択規則に従って、同一種類の動き成分が複数ずつ選択され、これら選択された複数の動き成分の大きさに関する頻度分布が頻度分布作成回路２０３−２により選択規則ごとおよび動き成分ごとに作成される。
【００７７】
本実施例では、実施例１と同様に、複数の選択規則はそれぞれ、同一の同心円上の動き成分を選択する規則として設定している。
【００７８】
そして、頻度分布作成回路２０３−２は、作成した頻度分布に対してガウシアン関数をコンボリューションする。各選択規則に対する各動き成分の頻度分布は、動き成分算出回路２０３−３により評価され、その評価に基づいて該選択規則および該動き成分の種類を代表する規則代表動き成分を算出する。
【００７９】
これにより、同心円（選択規則）ごとに拡大縮小成分、回転成分、水平移動成分および垂直移動成分の代表値が１つずつ算出される。
【００８０】
２０４は全体代表パラメータ算出部であり、入力された各選択規則の規則代表動き成分２００−４から、カメラ振れにより生じる画面全体の変形を代表して表現する座標変換パラメータ（全体代表座標変換パラメータ）を算出する。
【００８１】
具体的には、規則代表パラメータ算出回路２０４−１は、代表動き成分算出部２０３から選択規則ごとおよび動き成分の種類ごとの規則代表動き成分を入力し、これら規則代表動き成分から、選択規則を代表する座標変換パラメータ（規則代表座標変換パラメータ）を算出する。各選択規則に対する規則代表座標変換パラメータが算出されると、重み付き誤差算出回路２０４−２により、規則代表座標変換パラメータ間での重み付き誤差を算出する。この重み付き誤差は、全体代表パラメータ算出回路２０４−３で評価され、誤差が最も小さい座標変換パラメータが画面全体を代表する座標変換パラメータ（全体代表座標変換パラメータ：第３の情報）２００−５として算出される。
【００８２】
次に、本実施例における各処理の手順について、図７のフローチャートを用いてより詳細に解説する。まず  ステップS２０１，S２０２は、実施例１と同様であり、複数の同心円上に配置された検出点においてブロックマッチングを用いて動きベクトルの検出を行う。
【００８３】
次に、ステップS２０３では、検出された動きベクトルを、拡大縮小、回転、水平移動および垂直移動の各成分に分離する。カメラ振れにより生じる動きベクトルが拡大縮小、回転、垂直移動および水平移動成分から構成されているとすると、図８に示すように、画面８１において、画像中心に関して点対称の位置関係にある検出点８２，８３の動きベクトルは、各成分の大きさが等しく、その方向は垂直移動および水平移動成分においては等しく、拡大縮小および回転成分においては逆となる。
【００８４】
ここで、Ｖ（ｘ，ｙ）は、（ｘ，ｙ）の位置で検出された動きベクトルであり、νｓ（ｘ，ｙ），νｒ（ｘ，ｙ），νｔｘ（ｘ，ｙ），νｔｙ（ｘ，ｙ）はそれぞれ、Ｖ（ｘ，ｙ）を構成する拡大縮小、回転、垂直移動、水平移動成分である。φは画像中心と検出点の位置（ｘ，ｙ）を結ぶ線とｘ軸とのなす角度である。これらの関係を用いると、
【００８５】
【数１１】
2005269419.tif 000013
となり、垂直移動成分および水平移動成分と、拡大縮小および回転成分とに容易に分離できる。これにより、各成分は、式（１２）のように分離することができる。
【００８６】
【数１２】
2005269419.tif 000014
ステップS２０３では、式（１２）を用いて、点対称の位置関係にある２つの検出点の動きベクトルを、拡大縮小、回転、垂直移動および水平移動成分に分離する。ステップS２０４では、点対称の位置関係にある動きベクトルの組について、すべて動き成分の分離が行われたかを判定し、Yesの場合は次のステップへ、Noの場合は、ステップS２０３の処理を繰り返す。図６に示す構成では、動き成分分離部２０２で、ステップS２０３の処理が行われる。
【００８７】
ステップS２０５では、分離された各動き成分を所定の選択規則に従って複数選択し、それらの代表値を算出する。まず、ステップS２０５−１では、同心円（選択規則）ごとに、動きベクトルから分離された拡大縮小、回転、垂直移動および水平移動成分の４つの成分それぞれの大きさの頻度分布を作成する。さらに、各頻度分布に対してガウシアン関数をコンボリューションする。
【００８８】
ステップS２０５−２では、このガウシアン関数がコンボリューションされた頻度分布において、最大となる値を各選択規則および各動き成分を代表する規則代表動き成分の大きさとして算出する。
【００８９】
ステップS２０６では、ステップS２０５の処理が全ての選択規則に対して行われたかを判定し、全ての選択規則において規則代表動き成分が算出されると、次のステップに進む。この処理は、図６に示した代表動き成分算出部２０３で行われる。
【００９０】
最後にステップS２０７において、画面全体を代表する座標変換パラメータ（全体代表座標変換パラメータ）を算出する。まず、ステップS２０７−１において、ステップS２０５で算出された規則代表動き成分から座標変換パラメータを算出する。ステップS２０５で算出された代表動き成分をｘ軸上の動き成分とみなすと、座標変換パラメータと代表動き成分との関係は、
【００９１】
【数１３】
2005269419.tif 000015
である。ここで、ｘは同心円とｘ軸との交点の座標であり、右肩のインデックスは選択規則を示す番号である。
【００９２】
ステップS２０７−１では、式（１３）を用いて規則代表座標変換パラメータの算出を行う。ステップS２０７−２では、規則代表座標変換パラメータ間の重み付き誤差の算出を行い、ステップS２０７−３では、画面全体を代表する座標変換パラメータの算出を行う。
【００９３】
ステップS２０７−２およびステップS２０７−３での、規則代表座標変換パラメータから画面全体を代表する座標変換パラメータを算出する処理は、実施例１と同様である。これらの処理は、図６に示した全体代表パラメータ算出部２０４により行われる。
【００９４】
本実施例では、座標変換パラメータ推定処理の大半が動きベクトルの演算であるが、実施例１と同様な効果が得られる。また、実施例１と同様に、本実施例の内容は、本発明を限定するものではない。
【実施例３】
【００９５】
図９は、本発明の実施例３である座標変換パラメータ推定装置の構成を示すブロック図である。本実施例では、実施例１，２とは異なり、魚眼レンズや複眼光学系により構成される魚眼光学系を用いて撮影された魚眼動画像から、カメラ振れによって生じるフレーム画像間の画像の変形を表現する座標変換パラメータを推定する。
【００９６】
図９の各構成要素での処理シーケンスは、図示しないが、座標変換パラメータ推定装置の全体を制御する制御部により制御されている。
【００９７】
同図において、３０１は局所的動き検出部であり、魚眼光学系を用いて撮影された動画像データ（魚眼動画像データ）３００−１のフレーム画像間において動きベクトル（第１の情報）を検出する。動き検出点選択回路３０１−１は動き検出を行う検出点の座標を指定し、動き検出回路３０１−２は指定された検出点においてブロックマッチングを行い、動きベクトルを算出する。これらは実施例１，２と同様である。
【００９８】
３０２は魚眼補正部であり、動きベクトル魚眼補正回路３０２−１により、魚眼画像上で検出された動きベクトル３００−２の魚眼歪み（魚眼光学系による被写体像の射影により生じた歪みで、画像の周辺部ほど歪みが大きくなる）を補正する。この動きベクトルの補正処理に関しては後に詳しく述べる。
【００９９】
３０３は局所パラメータ算出部であり、魚眼歪みが補正された動きベクトル３００−３から局所演算による座標変換パラメータ（局所座標変換パラメータ：第２の情報）を算出する。具体的には、動きベクトル選択回路３０３−１により、画像中心に関して点対称の位置関係にある２つの検出点における魚眼歪補正がされた動きベクトルが選択され、局所パラメータ算出回路３０３−２において、選択された２つの動きベクトルから局所座標変化パラメータが算出される。
【０１００】
３０４は規則代表パラメータ算出部であり、算出された局所座標変換パラメータ３００−４を、実施例１と同様に設定された複数の選択規則のそれぞれに従って選択し、さらに選択規則ごとの代表値である規則代表座標変換パラメータを算出する。
【０１０１】
具体的には、局所パラメータ選択回路３０４−１において、選択規則ごとに複数の局所座標変換パラメータが選択され、該選択された複数の局所座標変換パラメータの大きさに基づく頻度分布が頻度分布作成回路３０４−２により選択規則ごとに作成される。頻度分布作成回路３０４−２は、作成した頻度分布にガウシアン関数をコンボリューションする。
【０１０２】
そして、規則代表パラメータ算出回路３０４−３は、コンボリューションされた頻度分布のうち最大の値をとるパラメータ値を、該選択規則を代表する座標変換パラメータ（規則代表座標変換パラメータ：第２の代表情報）として決定する。
【０１０３】
３０５は全体代表パラメータ算出部であり、複数の選択規則に対して得られた規則代表座標変換パラメータ３００−５から画面全体の変形を代表する座標変換パラメータを算出する。具体的には、重み付き誤差算出回路３０５−１により、各選択規則を代表する規則代表座標変換パラメータ間の重み付き誤差を算出し、全体代表パラメータ算出回路３０５−２により、これらの重み付き誤差が最も小さい規則代表座標変換パラメータを、画面全体の変形を代表して表現する座標変換パラメータ（全体代表座標変換パラメータ：第３の情報）３００−６として算出する。なお、３０３〜３０５の各構成要素は、実施例１と同様のものである。
【０１０４】
以上の構成により、魚眼光学系を用いて撮影された魚眼動画像からも、カメラ振れにより生じる画像全体の変形を表現する座標変換パラメータの推定が可能である。
【０１０５】
次に、本実施例における各処理手順について、図１０のフローチャートを用いてより詳細に解説する。ステップS３０４以降は実施例１と同様であるので、詳細な説明は省略する。
【０１０６】
まずステップS３０１では、動きベクトルの検出を行う。検出点は、実施例１と同様に、複数の同心円上に配置されるように指定され、ブロックマッチングを用いて動きベクトルの検出を行う。本実施例では、入力画像は、魚眼光学系で撮影された魚眼画像であり、ここで検出される動きベクトルは魚眼歪みが生じている。この処理は、局所的動き検出部３０１において行われる。
【０１０７】
次に、ステップS３０２では、動きベクトルの魚眼歪みを補正する。図１１には、等距離射影方式の魚眼光学系における入射角θと像高ｒＦとの関係を模式的に示している。また、図１２は通常の透視投影方式のレンズにおける入射角θと像高ｒとの関係を模式的に示している。
【０１０８】
魚眼光学系と通常のレンズの射影を比較すると、同じ入射角において像高が異なり、魚眼光学系では入射角が大きくなるにつれ画像の周辺が圧縮される。
【０１０９】
本実施例では、検出点の座標（ｘＦ，ｙＦ）と移動後の座標（ｘ’Ｆ，ｙ’Ｆ）に対してそれぞれ魚眼歪みの補正を行い、補正された検出点の座標（ｘ，ｙ）と移動後の座標（ｘ’，ｙ’）との差をとることで動きベクトルの補正を行う。
【０１１０】
魚眼画像上での移動後の座標（ｘ’Ｆ，ｙ’Ｆ）は、式（１４）に示すように、検出点の魚眼画像上での座標（ｘＦ，ｙＦ）と、検出された魚眼画像上での動きベクトル（νｘＦ，νｙＦ）との和をとることにより算出される。
【０１１１】
【数１４】
2005269419.tif 000016
撮影に用いられる魚眼光学系の射影方式を等距離射影方式（像高ｒＦ＝ｆＦ・θ）とすると、魚眼画像上での画像中心からの距離と撮像系への光線の入射角θは以下の関係がある。
【０１１２】
【数１５】
2005269419.tif 000017
ここで、ｆＦは魚眼画像の焦点距離である。この入射角θを用いて透視投影画像（ｒ＝ｆ・tanθ）上での距離を求めると、
【０１１３】
【数１６】
2005269419.tif 000018
となる。ここで、ｆは透視投影画像の焦点距離である。魚眼画像上での検出点と画像中心を結ぶ線とｘ軸とのなす角度をφとすると、魚眼画像上での座標と透視投影画像上での座標は以下の関係式で対応づけられる。
【０１１４】
【数１７】
2005269419.tif 000019
式（１７）を用いて検出点と移動後の座標を補正し、その差をとることで魚眼画像上の動きベクトルを透視投影画像上での動きベクトル（νｘ，νｙ）に補正できる。
【０１１５】
【数１８】
2005269419.tif 000020
ステップS３０２では、上述の補正処理をステップS３０１で検出された魚眼画像上の動きベクトルに対して行う。この処理は、図９に示した動きベクトル魚眼補正部３０２により行われる。
【０１１６】
ステップS３０３では、指定された動き検出点のすべてに対して動きベクトルの検出が行われたかを判定する。
【０１１７】
ステップS３０４では、補正された動きベクトルのうち、画像中心に関して点対称の位置関係にある２つの検出点の動きベクトルを用いて、局所演算による座標変換パラメータを算出する。ステップS３０５では、点対称の位置関係にある検出点の全ての組について、動きベクトルからの局所座標変換パラメータの算出が行われたか否かを判定する。ステップS３０４、Ｓ３０５の処理は、局所パラメータ算出部３０３で行われる。
【０１１８】
次にステップS３０６では、各選択規則に基づいて選択された複数の局所座標変換パラメータからその代表値である規則代表座標変換パラメータを算出する。すなわち、ステップS３０６−１では、選択規則に従って選択された局所座標変換パラメータの頻度分布（大きさに基づく頻度分布）を作成し、該頻度分布にガウシアン関数をコンボリューションする。ステップS３０６−２では、このコンボリューションされた頻度分布において最大となる値を、該選択規則を代表する座標変換パラメータ（規則代表座標変換パラメータ）として算出する。
【０１１９】
ステップS３０６−１の処理は、頻度分布作成回路３０４−２で、ステップS３０６−２の処理は規則代表パラメータ算出回路３０４−３で行われる。
【０１２０】
次に、ステップS３０７では、全ての選択規則について規則代表座標変換パラメータが算出されたかどうかを判定する。ステップS３０８では、複数の選択規則に対して算出された複数の規則代表座標変換パラメータから、画面全体の変形を表現する全体代表座標変換パラメータを算出する。
【０１２１】
すなわち、ステップS３０８−１では、各選択規則の規則代表座標変換パラメータに関して、他の選択規則の規則代表座標変換パラメータとの重み付き誤差を算出し、ステップS３０８−２で、重み付き誤差が最小となる座標変換パラメータを全体代表座標変換パラメータとして算出する。ステップS３０８の処理は、全体代表パラメータ算出部３０５において行われる。
【０１２２】
本実施例では、魚眼画像上で検出された動きベクトルに対して魚眼歪みの補正を行っているため、魚眼歪みが補正されたフレーム画像における、カメラ振れにより生じた画像全体の変形を表現する座標変換パラメータを推定することができる。また、本実施例によれば、実施例１と同様の作用効果も得られる。
【実施例４】
【０１２３】
図１３は、本発明の実施例４である座標変換パラメータ推定装置の構成を示すブロック図である。本実施例は、実施例３とは異なり、動きベクトルに各種処理を施して魚眼光学系を用いて撮影された動画像から魚眼歪みを補正し、その補正画像においてカメラ振れによって生じるフレーム画像間の画像の変形を表現する座標変換パラメータを推定する。
【０１２４】
図１３中の各構成要素の処理シーケンスは、図示しないが、座標変換パラメータ推定装置の全体を制御する制御部により制御されている。同図において、４０１は局所的動き検出部であり、魚眼光学系を用いて撮影された動画像データ（魚眼動画像データ）４００−１のフレーム画像間において指定された検出点の動きベクトルを検出する。動き検出回路４０１−２は、動き検出点選択回路４０１−１で指定された魚眼画像上の検出点において、ブロックマッチングにより動きベクトルを検出する。そして、魚眼補正部４０２では、魚眼画像上で検出された動きベクトル４００−２に対する魚眼歪みの補正を行う。なお、局所的動き検出部４０１および魚眼補正部４０２は実施例３の局所的動き検出部３０１および魚眼補正部３０２と同様のものである。
【０１２５】
魚眼歪みの補正が行われた動きベクトル４００−３は、動き成分分離部４０３により拡大縮小、回転、水平および垂直移動成分の各動き成分（画像変形成分：第２の情報）に分離される。
【０１２６】
そして、画像中心に関して点対称の位置関係にある２つの検出点の動きベクトルが、動きベクトル選択回路４０３−１により選択される。動き成分分離回路４０３−２は、この動きベクトルの組を用いて、動きベクトルを拡大縮小、回転、水平移動および垂直移動成分に分離する。
【０１２７】
４０４は動き成分算出部であり、分離された各動き成分４００−４から、複数の選択規則のそれぞれに従って、同一種類の動き成分を選択規則ごとに複数ずつ選択し、さらに選択規則ごとおよび動き成分の種類ごとに、動き成分の代表値としての代表動き成分（第２の代表情報）を算出する。なお、本実施例では、実施例１と同様に、複数の選択規則はそれぞれ、同一の同心円上の動き成分を選択する規則として設定している。
【０１２８】
具体的には、動き成分選択回路４０４−１において選択規則ごとに複数の動き成分の選択が行われ、頻度分布作成回路４０４−２により、該選択された複数の動き成分の大きさに基づいて、該動き成分の頻度分布が作成される。このとき、実施例１〜３と同様に、ガウシアン関数がコンボリューションされる。規則代表動き成分算出回路４０４−３は、このガウシアン関数がコンボリューションされた頻度分布において最大となる値を、該選択規則および動き成分を代表する規則代表動き成分として算出する。
【０１２９】
４０５は全体代表パラメータ算出部であり、複数の選択規則および複数種類の動き成分に対して算出された規則代表動き成分４００−５を用いて、画面全体の変形を代表して表現する座標変換パラメータ（全体代表座標変換パラメータ：第３の情報）を算出する。具体的には、規則代表パラメータ算出回路４０５−１において、入力された規則代表動き成分は、当該選択規則を代表する座標変換パラメータ（規則代表座標変換パラメータ）に変換される。そして、重み付き誤差算出回路４０５−２は、選択規則ごとに生成された各規則代表座標変換パラメータに対して、他の規則代表座標変換パラメータとの重み付き誤差を算出する。さらに、全体代表パラメータ算出回路４０５−３は、この重み付き誤差が最小となる規則代表座標変換パラメータを、画面全体の変形を代表して表現する全体代表座標変換パラメータ４００−６として算出する。
【０１３０】
次に、本実施例における処理手順を、図１４のフローチャートを用いてより詳細に説明する。ステップS４０４以降は実施例２と同様であり、ここでの説明は省略する。
【０１３１】
まずステップS４０１では、動きベクトルの検出を行う。検出点は実施例１と同様に複数の同心円上に複数ずつ配置される。この処理は局所的動き検出部４０１において行われる。
【０１３２】
ステップS４０２では、動きベクトルの魚眼歪みを補正する。この補正処理は、魚眼補正部４０２おいて、実施例３で説明したのと同様に行われる。
【０１３３】
ステップS４０３では、指定された検出点のすべてに対して動きベクトル検出が行われたか否かを判定する。ステップS４０４では、画像中心に関して点対称の位置関係にある２つの検出点に対応する、魚眼歪みが補正された動きベクトルの組を用いて、該動きベクトルを拡大縮小、回転、垂直移動、水平移動成分に分離する。この処理は動き成分分離部４０３で行われる。
【０１３４】
ステップS４０５では、全ての点対称の位置関係にある検出点についてステップS４０４の処理が行われたかを判定する。
【０１３５】
次にステップS４０６では、全ての点対称の位置関係にある検出点において分離された複数の動き成分の中から、各選択規則に従って同一種類の動き成分を複数ずつ選択し、さらに選択規則ごとおよび動き成分の種類ごとに、それらの代表値である規則代表動き成分を算出する。具体的には、ステップS４０６−１において、選択規則ごとに複数ずつ選択された各動き成分の頻度分布を作成し、その頻度分布にガウシアン関数をコンボリューションする。そして、ステップS４０６−２において、このガウシアン関数がコンボリューションされた頻度分布において最大となる値を、規則代表動き成分値として算出する。ステップS４０６−１の処理は、頻度分布作成回路４０４−２で行われ、ステップS４０６−２の処理は、規則代表動き成分算出回路４０４−３で行われる。
【０１３６】
次にステップS４０７では、全ての選択規則についてステップS４０６−１，S４０６−２の処理が行われたか否かを判定する。
【０１３７】
そして、ステップS４０８では、各選択規則および各動き成分の種類を代表する規則代表動き成分から、画面全体の変形を代表して表現する全体代表座標変換パラメータを算出する。具体的には、まずステップS４０８−１において、実施例２と同様に、規則代表動き成分から、規則代表座標変換パラメータを算出する。次に、ステップS４０８−２において、各規則代表座標変換パラメータに関して、他の規則代表座標変換パラメータとの重み付き誤差を算出する。さらに、ステップS４０８−３において、ステップS４０８−２で算出した重み付き誤差が最小となる座標変換パラメータを、全体代表座標変換パラメータとして算出する。ステップS４０８−１の処理は規則代表パラメータ算出回路４０５−１で、ステップS４０８−２の処理は重み付き誤差算出回路４０５−２で、ステップS４０８−３の処理は全体代表パラメータ算出回路４０５−３でそれぞれ行われる。
【０１３８】
本実施例では、実施例３と同様に、魚眼画像上で検出された動きベクトルに対して魚眼歪みの補正を行っているため、魚眼歪みが補正されたフレーム画像における、カメラ振れにより生じた画像全体の変形を表現する座標変換パラメータを推定することができる。また、実施例２と同様な作用効果も得られる。
【実施例５】
【０１３９】
図１５は、本発明の実施例５である座標変換パラメータ推定装置の構成を示すブロック図である。本実施例では、実施例４と同様に、動きベクトルに各種処理を施すことにより、魚眼歪みが補正された画像におけるカメラ振れによって生じるフレーム画像間の画像の変形を表現する座標変換パラメータを推定する。本実施例では、規則代表動き成分に対して魚眼歪みの補正を行うので、動きベクトルに対して魚眼歪みの補正を行う実施例４に比べて少ない演算量に抑えることができる。
【０１４０】
図１５中の各構成要素の処理シーケンスは、図示しないが、座標変換パラメータ推定装置の全体を制御する制御部により制御されている。
【０１４１】
５０１は局所的動き検出部であり、魚眼光学系を用いて撮影された動画像データ５００−１のフレーム画像間において動きベクトル（第１の情報）を検出する。具体的には、動き検出点選択回路５０１−１は、動き検出を行う検出点の座標を指定する。検出点は、実施例１と同様に複数の同心円上に配置される。また、検出点は、画像中心に関して各検出点と点対称の位置関係となる位置に他の検出点が存在するよう配置される。
【０１４２】
５０１−２は動き検出回路であり、魚眼光学系を用いて撮影された動画像のフレーム画像間において、動き検出点選択回路５０１−１により指定された座標でブロックマッチングを行い、動きベクトルを検出する。ここで検出される動きベクトルは魚眼画像上のものであり、魚眼歪みを有する。
【０１４３】
ここで、実施例４では、動きベクトルに対して魚眼歪みの補正を行ったが、本実施例では、この時点では魚眼歪み補正を行わずに動きベクトルの成分分離を行う。
【０１４４】
すなわち、動き成分分離部５０２は、魚眼画像上の動きベクトル５００−２を拡大縮小、回転、水平および垂直移動の各動き成分（第２の情報）に分離する。具体的には、動きベクトル選択回路５０２−１において、点対称の位置関係にある２つの検出点の動きベクトルを選択し、動き成分分離回路５０２−２により、魚眼画像上の動きベクトルに対して、拡大縮小、回転、垂直移動、水平移動成分の分離が行われる。画像中心からの距離が等しい検出点における動きベクトルはほぼ同じ魚眼歪み量を持つと考えられるので、点対称の位置関係にある２つの検出点の動きベクトルを用いて、魚眼歪みの補正を行わずに動き成分の分離が可能である。
【０１４５】
５０３は規則代表動き成分算出部であり、複数の選択規則のそれぞれに従って、魚眼画像上の同一種類の動き成分５００−３を複数ずつ選択し、選択規則ごとおよび動き成分の種類ごとに代表値としての規則代表動き成分（第２の代表情報）を算出する。具体的には、動き成分選択回路５０３−１において、各選択規則に従って同一種類の動き成分が複数ずつ選択され、該選択された複数の動き成分の大きさに基づく頻度分布が、頻度分布作成回路５０３−２で作成される。本実施例では、各選択規則として、同一の同心円上の検出点での動き成分を選択する規則が設定されている。なお、同一の同心円上の動きベクトルが有する魚眼歪みはほぼ同じであると考えられるため、検出点を同心円上に配置することで、魚眼歪みの補正を行わずに多数の動き成分について頻度分布の作成が可能である。
【０１４６】
また、作成された頻度分布に対しては、他の実施例と同様に、ガウシアン関数がコンボリューションされ、その周辺に分布をもつ値がピークとなりやすいように演算される。
【０１４７】
具体的には、規則代表動き成分算出回路５０３−３は、ガウシアン関数がコンボリューションされた頻度分布において最大となる動き成分値を、該選択規則および該動き成分の種類を代表する動き成分（規則代表動き成分）として算出する。
【０１４８】
本実施例では、検出点が配置された同心円の数が選択規則の数と等しく、各選択規則に対して、拡大縮小、回転、垂直移動、水平移動の４つの動き成分の代表値が算出される。
【０１４９】
５０４は魚眼補正部であり、規則代表動き成分算出部５０３により算出された規則代表動き成分５００−４をｘ軸上の動き成分とみなし、魚眼歪みの補正を行う。
【０１５０】
５０５は全体代表パラメータ算出部であり、魚眼歪みが補正された規則代表動き成分５００−５から画面全体の変形を代表して表現する座標変換パラメータ（全体代表座標変換パラメータ：第３の情報）を算出する。具体的には、規則代表パラメータ算出回路５０５−１は、魚眼歪みが補正された各規則代表動き成分から選択規則を代表する座標変換パラメータ（規則代表座標変換パラメータ）を算出する。これは実施例２と同様の処理で行われる。次に、重み付き誤差算出回路５０５−２は、規則代表座標変換パラメータ間の重み付き誤差、すなわち各規則代表座標変換パラメータに対する他の規則代表座標変換パラメータとの重み付き誤差を算出する。そして、この重み付き誤差は、全体代表パラメータ算出回路５０５−３で評価され、誤差が最も小さい規則代表座標変換パラメータが、画面全体の変形を代表して表現する全体代表座標変換パラメータ５００−６として算出される。全体代表パラメータ算出部５０５では、実施例２と同様の処理が行われる。
【０１５１】
次に、本実施例における処理手順を、図１６に示すフローチャートを用いてより詳細に解説する。まず、ステップS５０１では、複数の同心円上に配置された検出点においてブロックマッチングにより動きベクトルの検出を行う。ステップS５０２では、全ての検出点において動きベクトルが検出されたか否かを判定し、Yesの場合は次のステップS５０３へ、Noの場合はS５０１の処理を繰り返す。ステップS５０１の処理は、局所的動き検出部５０１において行われる。ここで、検出された動きベクトルは魚眼画像上でのものであり、魚眼歪みを含むが、本実施例では、魚眼歪みの補正を行わずに動き成分の分離を行う。
【０１５２】
すなわち、ステップS５０３では、画像中心に関して点対称の位置関係にある２つの魚眼画像上の検出点での動きベクトルを、拡大縮小、回転、垂直移動、水平移動の成分分離を行う。魚眼歪みは画像中心からの距離によってその歪み量が変わる。言い換えれば、画像中心からの距離が等しい検出点間においては魚眼歪み量が等しいことを意味する。また、魚眼歪み量が各検出点の近傍で極端に変化しないとすると、動きが大きい場合を除き、画像中心からの距離が等しい検出点での動きベクトルの魚眼歪み量はほぼ等しいと考えることができる。このことから、点対称の位置関係にある検出点の動きベクトル間において、魚眼歪み量はほぼ等しく、補正することなく動き成分の分離が可能である。動き成分の分離は実施例２と同様の処理で行われる。
【０１５３】
次にステップS５０４では、画像中心に関して点対称の位置関係にある２つの検出点での動きベクトルの組のすべてについて、ステップS５０３の処理が行われたかを否かを判定し、Yesの場合は次のステップＳ５０５へ、Noの場合はステップS５０３の処理を繰り返す。ステップS５０３の処理は、動き成分分離部５０２で行われる。
【０１５４】
ステップS５０５では、画面内の動き成分を複数の選択規則に従って、選択規則および動き成分の種類ごとに複数ずつ選択し、各選択規則および各動き成分の種類に対して代表値としての規則代表動き成分を算出する。具体的には、まずステップS５０５−１において、各選択規則に従って選択された各動き成分の頻度分布を該成分の大きさに基づいて作成する。本実施例では、同じ同心円上の検出点における動き成分を選択し、その頻度分布を作成する。同一の同心円上における動きベクトルの魚眼歪みはほぼ同一であると考えられるため、動きベクトルに対して魚眼歪みの補正を行わなくとも、同一同心円上の動き成分の大きさに関する頻度分布を作成することに問題は生じない。これは、複数の同心円上に検出点を多数配置することで可能となる。
【０１５５】
また、他の実施例と同様に、作成された頻度分布に対してガウシアン関数をコンボリューションする。同心円上の検出点の動きベクトルが有する魚眼歪みはほぼ同一であると考えられるが、動きが大きい場合には、各動きベクトルの魚眼歪みに若干の違いが発生し、本来の値に対して誤差が生じることがある。しかし、これは頻度分布に対してガウシアン関数をコンボリューションすることで、頻度のピークを判定する際に、その周辺の分布が反映されるため、上記誤差の影響を抑えることができる。
【０１５６】
ステップS５０５−２では、ガウシアン関数がコンボリューションされた、選択規則および動き成分の種類ごとの頻度分布において最大となる動き成分の値を、当該選択規則および動き成分の種類を代表する規則代表動き成分として算出する。ステップS５０５−１の処理は頻度分布作成回路５０３−２で、ステップS５０５−２の処理は規則代表動き成分算出回路５０３−３でそれぞれ行われる。
【０１５７】
次にステップS５０６では、各選択規則に対する規則代表動き成分を、該選択規則に対応する同心円とｘ軸との交点における動き成分とみなし、魚眼歪みの補正を行う。魚眼歪みの補正は実施例３と同様な処理により行う。
【０１５８】
ここで行う魚眼歪み補正は、検出点が配置された同心円ごとにそれぞれ４つの動き成分に対して行えばよいので、動きベクトルに対して魚眼歪み補正を行う実施例４に比べて、魚眼歪み補正のための計算量を削減することができる。ステップS５０６の処理は、魚眼補正部５０４において行われる。
【０１５９】
次にステップS５０７では、全ての規則代表動き成分に対して魚眼歪み補正が行われたか否かを判定する。Yesの場合は次のステップＳ５０８へ、Noの場合はステップS５０５の処理を繰り返す。
【０１６０】
ステップS５０８では、複数の選択規則および複数種類の動き成分をそれぞれ代表する複数の規則代表動き成分を用いて、画面全体の変形を代表して表現する全体代表座標変換パラメータを算出する。具体的には、まずステップS５０８−１において、各規則代表動き成分から、各選択規則を代表する座標変換パラメータ（規則代表座標変換パラメータ）を算出する。次に、ステップS５０８−２において、各選択規則に対して算出された各規則代表座標変換パラメータに関して、他の規則代表座標変換パラメータとの重み付き誤差を算出する。そして、ステップS５０８−３において、その誤差が最小となる座標変換パラメータを画面全体の変形を代表して表現する全体代表座標変換パラメータとして算出する。ステップS５０８の処理は、実施例２と同様である。また、この処理は、全体代表パラメータ算出部５０５において行われる。
【０１６１】
本実施例によれば、魚眼歪みが補正されたフレーム画像における、カメラ振れによって生じた画像全体の変形を表現する座標変換パラメータを推定することが可能となる。
【０１６２】
そして、本実施例では、前述したように、魚眼歪み量が画像中心からの距離に依存し、画像中心からの距離の等しい検出点における動きベクトルが有する魚眼歪みがほぼ同じであることを利用して、同心円上に多数の検出点を配置し、魚眼歪みの補正を行うことなく、多数の動きベクトル間の演算を可能にしている。これにより、同心円上の検出点における動きベクトルから、それを構成する動き成分の同心円上での代表値（規則代表動き成分）を、魚眼歪み補正を行うことなく算出できるため、魚眼歪み補正が必要な動き成分の数が削減でき、補正に要する演算量を削減することができる。
【０１６３】
また、動きベクトルが有する魚眼歪み量に違いが発生した場合においても、頻度分布に単峰性の関数をコンボリューションすることにより最大頻度値のみではなく、周辺の分布も考慮することができ、歪み量の違いによる誤差の影響を改善することができる。
【０１６４】
また、本実施例においても、実施例２と同様の作用効果を得ることができ、魚眼光学系を用いて撮影された歪みのある動画像においても、簡易な処理で、撮影条件にほとんど影響されず、かつ画像全体を代表するのに最適な座標変換パラメータの推定が可能である。また、微小な拡大縮小、回転の検出も可能である。
【０１６５】
なお、上記各実施例では、動き検出にブロックマッチング法を用いているが、動き検出はこの手法に限定することはなく、勾配法などの他の動き検出法を用いてもよい。
【０１６６】
また、本発明は、上記説明した実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはCPUやMPU）が記憶媒体に格納されたプログラムコードを読み出し実行することにも適用できる。
【０１６７】
この場合、記憶媒体から読み出されたプログラムコード自体が、上記説明した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０１６８】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、磁気テープ、不揮発性のメモリカード、ROM等を用いることができる。
【０１６９】
また、コンピュータが読み出したプログラムコードを実行することにより、上記説明した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって、上記説明した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【０１７０】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部または全部を行い、その処理によって上記説明した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【０１７１】
また、上記各実施例では、各検出点の動きベクトルを検出し、該動きベクトルから座標変換パラメータを算出する場合について説明したが、本発明は、各検出点の動きを示す情報を検出し、該情報から画像の変形を表現する情報を得るものであればいずれにも適用することができる。
【図面の簡単な説明】
【０１７２】
【図１】本発明の実施例１である座標変換パラメータ推定装置の構成を示すブロック図である。
【図２】実施例１における座標変換パラメータ推定方法の処理手順を示すフローチャートである。
【図３】動きの検出点の配置を示す模式図である。
【図４】局所演算による座標変換パラメータの選択規則を示す模式図である。
【図５】(Ａ)(Ｂ)は、頻度分布に単峰性の関数がコンボリューションされる様子を示す模式図である。
【図６】本発明の実施例２である座標変換パラメータ推定装置の構成を示すブロック図である。
【図７】実施例２における座標変換パラメータ推定方法の処理手順を示すフローチャートである。
【図８】画像中心に関して点対称の位置関係にある検出点においてカメラ振れによって生じる動きベクトルを示す模式図である。
【図９】本発明の実施例３である座標変換パラメータ推定装置の構成を示すブロック図である。
【図１０】実施例３における座標変換パラメータ推定方法の処理手順を示すフローチャートである。
【図１１】等距離射影方式の魚眼光学系における入射角と像高の関係を示す模式図である。
【図１２】通常のレンズにおける入射角と像高の関係を示す模式図である。
【図１３】本発明の実施例４である座標変換パラメータ推定装置の構成を示すブロック図である。
【図１４】実施例４における座標変換パラメータ推定方法の処理手順を示すフローチャートである。
【図１５】本発明の実施例５である座標変換パラメータ推定装置の構成を示すブロック図である。
【図１６】実施例５における座標変換パラメータ推定方法の処理手順を示すフローチャートである。
【図１７】上記各実施例の座標変換パラメータ推定装置を搭載した撮像装置の概略図である。
【符号の説明】
【０１７３】
１０１，２０１，３０１，４０１，５０１  局所的動き検出部
１０２，３０３  局所パラメータ算出部
１０３，３０４  規則代表パラメータ算出部
１０４，２０４，３０５，４０５，５０５  全体代表パラメータ算出部
２０２，４０３，５０２  動き成分分離部
２０３，４０４，５０３  規則代表動き成分算出部
３０２，４０２，５０４  魚眼補正部
６００  撮像装置
６０１  撮像系
６０２  手振れ補正システム
【図１】
2005269419.tif 000021
【図２】
2005269419.tif 000022
【図３】
2005269419.tif 000023
【図４】
2005269419.tif 000024
【図５】
2005269419.tif 000025
【図６】
2005269419.tif 000026
【図７】
2005269419.tif 000027
【図８】
2005269419.tif 000028
【図９】
2005269419.tif 000029
【図１０】
2005269419.tif 000030
【図１１】
2005269419.tif 000031
【図１２】
2005269419.tif 000032
【図１３】
2005269419.tif 000033
【図１４】
2005269419.tif 000034
【図１５】
2005269419.tif 000035
【図１６】
2005269419.tif 000036
【図１７】
2005269419.tif 000037