(57)【要約】【課題】時系列に入力される連続画像において、基準となる基準画像からの変形情報を生成する際に、変形情報の精度を高めると共に、変形情報を求める計算量を軽減し、高速処理を実現することを可能にした画像変形情報生成装置、画像変形情報生成方法及び画像変形情報生成プログラムを提供する。【解決手段】画像変形情報生成装置１は、直線検出部３で検出した入力画像の画像内直線から、基準直線設定部２で予め設定された基準画像上の基準直線にハフ空間上で類似する直線を候補直線として抽出し、一致度算出部５によって、基準直線と候補直線との一致度をハフパラメータに基づいて算出し、変形情報決定部６が、一致度に基づいて、候補直線の中から基準直線が動いた移動直線を特定し、基準直線からその移動直線への変形情報を、基準画像から入力画像への変形情報として決定することを特徴とする。【選択図】      図１
2004164479.tif 000002
【特許請求の範囲】
【請求項１】
時系列に入力される連続した画像において、予め基準画像に含まれる基準直線を特定する基準直線パラメータを設定し、前記画像が変化することに伴う前記基準直線の変化に基づいて、前記基準画像から前記基準画像以降に入力される入力画像への変形情報を生成する画像変形情報生成装置であって、
前記入力画像に含まれる直線を画像内直線として検出し、その画像内直線を画像内直線パラメータによって特定する直線検出手段と、
前記基準直線パラメータ及び前記画像内直線パラメータに基づいて、前記直線検出手段で検出された画像内直線の中から、前記基準直線の位置が移動した候補となる候補直線を抽出し、その候補直線を候補直線パラメータとして特定する候補直線抽出手段と、
前記基準直線パラメータと前記候補直線パラメータとに基づいて、前記基準直線と前記候補直線とが同一の直線である度合いを示す一致度を算出する一致度算出手段と、
この一致度算出手段で算出された一致度に基づいて、前記候補直線の中から前記基準直線の位置が移動した移動直線を特定し、前記基準直線から前記移動直線への変形情報を、前記基準画像から前記入力画像への変形情報として決定する変形情報決定手段と、
を備えていることを特徴とする画像変形情報生成装置。
【請求項２】
前記直線検出手段は、前記入力画像において、前記基準直線の位置に対応し、その基準直線の近傍領域からなる領域を前記画像内直線の探索領域として設定する探索領域設定手段を備え、前記探索領域に対してハフ変換を行うことで前記画像内直線を検出することを特徴とする請求項１に記載の画像変形情報生成装置。
【請求項３】
前記候補直線抽出手段は、前記基準直線及び前記画像内直線のそれぞれを特定するパラメータ間の距離に基づいて、前記画像内直線から前記候補直線を抽出することを特徴とする請求項１又は請求項２に記載の画像変形情報生成装置。
【請求項４】
前記変形情報決定手段によって決定された変形情報により、前記基準画像を変形した変形画像を生成し、その変形画像と前記入力画像との誤差に基づいて、前記変形情報を補正する変形情報補正手段を備えたことを特徴とする請求項１乃至請求項３のいずれか１項に記載の画像変形情報生成装置。
【請求項５】
時系列に入力される連続した画像において、予め基準画像に含まれる基準直線を特定する基準直線パラメータを設定し、前記画像が変化することに伴う前記基準直線の変化に基づいて、前記基準画像から前記基準画像以降に入力される入力画像への変形情報を生成する画像変形情報生成方法であって、
前記入力画像から、前記基準直線の位置に対応し、その基準直線の近傍領域からなる領域を直線の探索領域として設定する探索領域設定ステップと、
この探索領域設定ステップで設定された探索領域に対してハフ変換を行い、この探索領域に含まれる画像内直線を検出する直線検出ステップと、
この直線検出ステップで検出された画像内直線の中で、前記基準直線に近接する直線を、前記基準直線の位置が移動した候補となる候補直線とし、その候補直線の候補直線パラメータを特定する候補直線パラメータ特定ステップと、
前記基準直線パラメータと前記候補直線パラメータとに基づいて、前記基準直線と前記候補直線とが同一の直線である度合いを示す一致度を算出する一致度算出ステップと、
この一致度算出ステップで算出された一致度に基づいて、前記候補直線の中から前記基準直線の位置が移動した移動直線を特定し、前記基準直線から前記移動直線への変形情報を、前記基準画像から前記入力画像への変形情報として決定する変形情報決定ステップと、
を含んでいることを特徴とする画像変形情報生成方法。
【請求項６】
時系列に入力される連続した画像において、予め基準画像に含まれる基準直線を特定する基準直線パラメータを設定し、前記画像が変化することに伴う前記基準直線の変化に基づいて、前記基準画像から前記基準画像以降に入力される入力画像への変形情報を生成するために、コンピュータを、
前記入力画像から、前記基準直線の位置に対応し、その基準直線の近傍領域からなる領域を直線の探索領域として設定する探索領域設定手段、
この探索領域設定手段で設定された探索領域に対してハフ変換を行い、この探索領域に含まれる画像内直線を検出し、その画像内直線を画像内直線パラメータによって特定する直線検出手段、
前記基準直線パラメータ及び前記画像内直線パラメータに基づいて、前記直線検出手段で検出された画像内直線の中から、前記基準直線の位置が移動した候補となる候補直線を抽出し、その候補直線を候補直線パラメータとして特定する候補直線特定手段、
前記基準直線パラメータと前記候補直線パラメータとに基づいて、前記基準直線と前記候補直線とが同一の直線である度合いを示す一致度を算出する一致度算出手段、
この一致度算出手段で算出された一致度に基づいて、前記候補直線の中から前記基準直線の位置が移動した移動直線を特定し、前記基準直線から前記移動直線への変形情報を、前記基準画像から前記入力画像への変形情報として決定する変形情報決定手段、
として機能させることを特徴とする画像変形情報生成プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、時系列に入力される画像の動きを変形情報として生成する画像変形情報生成装置、画像変形情報生成方法及び画像変形情報生成プログラムに関する。
【０００２】
【従来の技術】
従来、異なる２つの画像において、一方の画像が他方の画像にどのように変形したかを、アフィン、回転、拡大／縮小、並進等を表すパラメータ（変形情報：以下変形パラメータという）によって表現する手法が存在する。この変形パラメータを求める手法としては、画像内の各画素が移動した距離を最小化する変形パラメータを最適な変形パラメータとして特定する手法が広く用いられている（例えば、非特許文献１参照。）。なお、この非特許文献１には、変形パラメータを２つの画像間の動きパラメータとして求める問題として記載されている。
【０００３】
ここで、図８を参照して、従来の変形パラメータを求める手法について説明する。図８は、異なる２つの画像において、一方の画像（基準画像という）が他方の画像（比較画像という）に変形したときの変形パラメータを求める動作の概略を示すフローチャートである。
【０００４】
この従来の手法では、まず、ブロックマッチング法によって、基準画像Ｉｓｔｄと比較画像Ｉｃｍｐとの間で特定の大きさのブロック毎にマッチングを行い動きベクトルを検出する（ステップＳ２１：ブロックマッチング法）。そして、基準画像Ｉｓｔｄと比較画像Ｉｃｍｐとに対応する画素毎に（１）式によって、変形パラメータによる動き予測誤差ｅｒｒを計算する（ステップＳ２２）。
【０００５】
【数１】
2004164479.tif 000003
【０００６】
ここで、ρはコスト関数（ここではベクトルの大きさを求めることで、特定の統計モデルに合致する確率を示す関数）、ｖはブロック毎の動きベクトル、ｘは各ブロック内の画素位置（ベクトル）、ｐは変形パラメータ、Ａはパラメータ変換を示すものとする。前記（１）式に示したように、動き予測誤差ｅｒｒは、ブロック毎の動きベクトルｖから、そのブロック内における各画素位置（ベクトル）を変形パラメータｐによってパラメータ変換したベクトルを引いた差分ベクトルの大きさに基づいて、特定の統計モデルに合致する確率を画素毎に加算したものとなる。
【０００７】
そして、この動き予測誤差ｅｒｒの特定の統計モデルに合致する確率が最大となる変形パラメータｐを、最適な変形パラメータとして出力する（ステップＳ２３）。
このように、従来は、画像内の各画素が移動した距離を最小化する変形パラメータを最適な変形パラメータとして求めていた。
【０００８】
【非特許文献１】
Ａ．Ｍｕｒａｔ  Ｔｅｋａｌｐ著、“Ｄｉｇｉｔａｌ  ＶｉｄｅｏＰｒｏｃｅｓｓｉｎｇ”、Ｐｒｅｎｔｉｃｅ  Ｈａｌｌ、１９９５年
【０００９】
【発明が解決しようとする課題】
しかし、前記従来の技術では、前記（１）式に示したように、変形パラメータを画像上の画素レベルの統計的な性質に基づいて求めるため、連続した複数の画像で逐次変形パラメータを求めようとすると、誤差が時間と共に画像に伝播してしまうという問題がある。さらに、この誤差の伝播に伴い正しい変形パラメータが得られなかった場合、その間違った変形パラメータによって変形された画像からは、正しい画像を回復させることができないという問題がある。
【００１０】
さらに、前記従来の技術では、変形パラメータの精度を上げるために、画素単位での計算を繰り返し行う必要があるため、処理時間がかかってしまうという問題がある。
【００１１】
本発明は、以上のような問題点に鑑みてなされたものであり、変形パラメータの精度を高めると共に、変形パラメータを求める計算量を軽減し、高速処理を実現することを可能にした画像変形情報生成装置、画像変形情報生成方法及び画像変形情報生成プログラムを提供することを目的とする。
【００１２】
【課題を解決するための手段】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載の画像変形情報生成装置は、時系列に入力される連続した画像において、予め基準画像に含まれる基準直線を特定する基準直線パラメータを設定し、前記画像が変化することに伴う前記基準直線の変化に基づいて、前記基準画像から前記基準画像以降に入力される入力画像への変形情報を生成する画像変形情報生成装置であって、前記入力画像に含まれる直線を画像内直線として検出し、その画像内直線を画像内直線パラメータによって特定する直線検出手段と、前記基準直線パラメータ及び前記画像内直線パラメータに基づいて、前記直線検出手段で検出された画像内直線の中から、前記基準直線の位置が移動した候補となる候補直線を抽出し、その候補直線を候補直線パラメータとして特定する候補直線抽出手段と、前記基準直線パラメータと前記候補直線パラメータとに基づいて、前記基準直線と前記候補直線とが同一の直線である度合いを示す一致度を算出する一致度算出手段と、この一致度算出手段で算出された一致度に基づいて、前記候補直線の中から前記基準直線の位置が移動した移動直線を特定し、前記基準直線から前記移動直線への変形情報を、前記基準画像から前記入力画像への変形情報として決定する変形情報決定手段と、を備える構成とした。
【００１３】
かかる構成によれば、画像変形情報生成装置は、基準となる基準画像に含まれる基準直線を特定するパラメータ（基準直線パラメータ）として設定しておき、その基準直線が基準画像以降に入力される入力画像上でどのように変形していくかを示す変形情報を算出し、その変形情報を基準画像が変形していく変形情報として生成する。
【００１４】
すなわち、画像変形情報生成装置は、直線検出手段によって、基準画像以降に入力される入力画像内の直線（画像内直線）を、ハフ変換等の一般的なエッジ検出技術により検出する。これによって、画像内直線を特定するパラメータ（画像直線内パラメータ）が求められる。ここで検出された画像内直線には、基準画像で設定した基準直線が変形した直線以外の直線も含まれている可能性がある。
【００１５】
そこで、画像変形情報生成装置は、候補直線抽出手段によって、画像内直線から基準直線に類似する直線を基準直線の位置が移動した候補となる候補直線として抽出し、その候補直線を候補直線パラメータとして特定する。この類似性の判断は、直線の傾き、画像座標上の原点からの距離等のパラメータに基づいて判断する。例えば、画像座標上の原点からの距離が近いものであっても、直線の傾きが大きく異なるものは類似していないと判断する。これによって、基準直線に類似した候補直線が抽出され、基準直線とその基準直線が入力画像上で変形したであろう直線の候補（候補直線）との組み合わせ数を減らすことができる。
【００１６】
そして、画像変形情報生成装置は、一致度算出手段によって、この組み合わせ数を減らした基準直線と候補直線との各組み合わせにおいて、基準直線パラメータと前記候補直線パラメータとにより、基準直線と候補直線とが同一の直線である度合いを示す一致度の算出を行い、変形情報決定手段によって、候補直線の中から基準直線の位置が移動した直線（移動直線）を１つに特定し、基準直線から移動直線への変形情報を、基準画像から入力画像への変形情報として決定する。
【００１７】
また、請求項２に記載の画像変形情報生成装置は、請求項１に記載の画像変形情報生成装置において、前記直線検出手段が、前記入力画像において、前記基準直線の位置に対応し、その基準直線の近傍領域からなる領域を前記画像内直線の探索領域として設定する探索領域設定手段を備え、前記探索領域に対してハフ変換を行うことで前記画像内直線を検出することを特徴とする。
【００１８】
かかる構成によれば、画像変形情報生成装置は、探索領域設定手段によって、入力画像上に、基準直線の位置を基準に特定の幅を持った領域（近傍領域）を、基準直線数分加算した探索領域として設定する。そして、直線検出手段は、基準直線の位置が移動したと想定される探索領域内でハフ変換により画像内直線を検出する。これによって探索領域が狭くなり、直線検出の時間を短縮することができる。
【００１９】
なお、ここで基準直線に対する近傍領域を設定する際の幅は、例えば、変化（動き）が激しい画像の場合は、基準画像上の基準直線が入力画像上で大きく移動するため、その移動量以上の幅を設定する。また、変化が穏やかな画像の場合は幅を狭く設定するものとする。
【００２０】
また、請求項３に記載の画像変形情報生成装置は、請求項１又は請求項２に記載の画像変形情報生成装置において、前記候補直線抽出手段が、前記基準直線及び前記画像内直線のそれぞれを特定するパラメータ間の距離に基づいて、前記画像内直線から前記候補直線を抽出することを特徴とする。
【００２１】
かかる構成によれば、画像変形情報生成装置は、候補直線抽出手段によって、画像内直線から候補直線を抽出する際に、基準直線と画像内直線とのパラメータ間距離が予め定めた距離以内のものを候補直線として抽出する。例えば、このパラメータ間距離は、各直線をハフパラメータで表現することで、そのハフパラメータ間の距離として定義しておく。このように、各直線をパラメータによって表現しておくことで、直線間の距離を容易に求めることができる。
【００２２】
また、請求項４に記載の画像変形情報生成装置は、請求項１乃至請求項３のいずれか１項に記載の画像変形情報生成装置において、前記変形情報決定手段によって決定された変形情報により、前記基準画像を変形した変形画像を生成し、その変形画像と前記入力画像との誤差に基づいて、前記変形情報を補正する変形情報補正手段を備えたことを特徴とする。
【００２３】
かかる構成によれば、画像変形情報生成装置は、変形情報補正手段によって、変形情報決定手段で決定された変形情報（変形パラメータ）を用いて、基準画像を変形し、その変形した変形画像と入力画像との誤差、例えば、動きベクトルにおける予測誤差に基づいて、変形パラメータを補正する。これによって、変形パラメータの精度を高めることができる。
【００２４】
さらに、請求項５に記載の画像変形情報生成方法は、時系列に入力される連続した画像において、予め基準画像に含まれる基準直線を特定する基準直線パラメータを設定し、前記画像が変化することに伴う前記基準直線の変化に基づいて、前記基準画像から前記基準画像以降に入力される入力画像への変形情報を生成する画像変形情報生成方法であって、前記入力画像から、前記基準直線の位置に対応し、その基準直線の近傍領域からなる領域を直線の探索領域として設定する探索領域設定ステップと、この探索領域設定ステップで設定された探索領域に対してハフ変換を行い、この探索領域に含まれる画像内直線を検出する直線検出ステップと、この直線検出ステップで検出された画像内直線の中で、前記基準直線に近接する直線を、前記基準直線の位置が移動した候補となる候補直線とし、その候補直線の候補直線パラメータを特定する候補直線パラメータ特定ステップと、前記基準直線パラメータと前記候補直線パラメータとに基づいて、前記基準直線と前記候補直線とが同一の直線である度合いを示す一致度を算出する一致度算出ステップと、この一致度算出ステップで算出された一致度に基づいて、前記候補直線の中から前記基準直線の位置が移動した移動直線を特定し、前記基準直線から前記移動直線への変形情報を、前記基準画像から前記入力画像への変形情報として決定する変形情報決定ステップと、を含むことを特徴とする。
【００２５】
この方法によれば、画像変形情報生成方法は、探索領域設定ステップで、入力画像上に、基準直線の位置を基準に特定の幅を持った領域（近傍領域）を、基準直線数分加算した探索領域として設定する。そして、直線検出ステップで、探索領域設定ステップで設定された探索領域に対してハフ変換を行い、この探索領域に含まれる画像内直線を検出する。このように、直線検出ステップでは、基準直線の位置が移動したと想定される探索領域内で画像内直線を探索することで、直線検出の時間を短縮することができる。また、ハフ変換によって、画像内直線を画素の集合としてではなく、パラメータ（ハフパラメータ）として扱うことが可能になる。
【００２６】
さらに、候補直線パラメータ特定ステップで、画像内直線の中で、基準直線に近接するものを基準直線の位置が移動した候補直線とし、その候補直線のハフパラメータである候補直線パラメータを特定する。なお、画像内直線の中から、基準直線に近接する候補直線を特定するには、画像内直線のハフパラメータと、基準直線のハフパラメータとの距離を求め、その距離が予め定めた距離以内のものを候補直線とする。これによって、基準直線に類似した候補直線が抽出され、基準直線とその基準直線が入力画像上で変形したであろう直線の候補（候補直線）との組み合わせ数を減らすことができる。
【００２７】
また、一致度算出ステップで、この組み合わせ数を減らした基準直線と候補直線との各組み合わせにおいて、基準直線と候補直線とが同一の直線である度合いを示す一致度の算出を行い、変形情報決定ステップで、候補直線の中から基準直線の位置が移動した直線（移動直線）を１つに特定し、基準直線から移動直線への変形情報を、基準画像から入力画像への変形情報として決定する。
【００２８】
また、請求項６に記載の画像変形情報生成プログラムは、時系列に入力される連続した画像において、予め基準画像に含まれる基準直線を特定する基準直線パラメータを設定し、前記画像が変化することに伴う前記基準直線の変化に基づいて、前記基準画像から前記基準画像以降に入力される入力画像への変形情報を生成するために、コンピュータを、以下の手段によって機能させる構成とした。
【００２９】
すなわち、前記入力画像から、前記基準直線の位置に対応し、その基準直線の近傍領域からなる領域を直線の探索領域として設定する探索領域設定手段、この探索領域設定手段で設定された探索領域に対してハフ変換を行い、この探索領域に含まれる画像内直線を検出し、その画像内直線を画像内直線パラメータによって特定する直線検出手段、前記基準直線パラメータ及び前記画像内直線パラメータに基づいて、前記直線検出手段で検出された画像内直線の中から、前記基準直線の位置が移動した候補となる候補直線を抽出し、その候補直線を候補直線パラメータとして特定する候補直線特定手段、前記基準直線パラメータと前記候補直線パラメータとに基づいて、前記基準直線と前記候補直線とが同一の直線である度合いを示す一致度を算出する一致度算出手段、この一致度算出手段で算出された一致度に基づいて、前記候補直線の中から前記基準直線の位置が移動した移動直線を特定し、前記基準直線から前記移動直線への変形情報を、前記基準画像から前記入力画像への変形情報として決定する変形情報決定手段、とした。
【００３０】
かかる構成によれば、画像変形情報生成プログラムは、探索領域設定手段によって、入力画像上に、基準直線の位置を基準に特定の幅を持った領域（近傍領域）を、基準直線数分加算した探索領域として設定し、直線検出手段によって、探索領域に対してハフ変換を行うことで、画像内直線を検出して画像内直線を特定するパラメータ（画像直線内パラメータ）を求める。ここで検出された画像内直線には、基準画像で設定した基準直線が変形した直線以外の直線も含まれている可能性がある。
【００３１】
そして、画像変形情報生成プログラムは、候補直線抽出手段によって、画像内直線から基準直線に類似する直線を基準直線の位置が移動した候補となる候補直線として抽出する。ここでは、基準直線と画像内直線とのパラメータ間距離が予め定めた距離以内のものを候補直線として抽出し、その候補直線を候補直線パラメータとして特定する。
【００３２】
そして、画像変形情報生成プログラムは、一致度算出手段によって、基準直線と候補直線との各組み合わせにおいて、基準直線パラメータと前記候補直線パラメータとにより、基準直線と候補直線とが同一の直線である度合いを示す一致度の算出を行い、変形情報決定手段によって、候補直線の中から基準直線の位置が移動した直線（移動直線）を１つに特定し、基準直線から移動直線への変形情報を、基準画像から入力画像への変形情報として決定する。
【００３３】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
［画像変形情報生成装置の構成］
図１は、本発明における画像変形情報生成装置１の構成を示したブロック図である。図１に示すように画像変形情報生成装置１は、時系列に入力される連続画像の動きを、アフィン、回転、拡大／縮小、並進等の変形関係で特定し、その変形関係を示す変形パラメータを出力するものである。ここでは、連続画像において、最初に入力される画像を変形の基準となる基準画像Ｉｓｔｄ、その基準画像Ｉｓｔｄ以降に入力される入力画像を基準画像Ｉｓｔｄと比較する画像として比較画像Ｉｃｍｐと呼ぶこととする。また、ここでは、画像変形情報生成装置１を、直線パラメータ検出手段１０と、基準直線パラメータ記憶手段２０と、候補直線パラメータ記憶手段３０と、変形パラメータ特定手段４０とを備えて構成した。
【００３４】
直線パラメータ検出手段１０は、入力された画像（基準画像Ｉｓｔｄ及び比較画像Ｉｃｍｐ）から直線を検出し、その直線を特定するパラメータを出力するもので、基準直線設定部２と、直線検出部３と、候補直線抽出部４とを備えて構成した。
【００３５】
基準直線設定部２は、入力された基準画像Ｉｓｔｄにおいて、画像の特徴となる直線（基準直線）を図示していない入力手段により設定されることで、その基準直線を特定するパラメータ（基準直線パラメータ）を、基準直線パラメータ記憶手段２０に記憶するものである。なお、基準直線設定部２は、直線が存在する領域のみを図示していない入力手段により設定されることで、その領域をハフ変換（Ｈｏｕｇｈ  ｔｒａｎｓｆｏｒｍ）し、直線を検出することとしてもよい。
【００３６】
この基準直線設定部２で基準直線パラメータ記憶手段２０に記憶される基準直線パラメータは、直線を特定するパラメータであって、例えば後記するハフ空間におけるハフパラメータとする。
【００３７】
なお、ここで設定する直線の数に応じて、アフィン、回転、拡大／縮小、並進等の画像の変形関係が特定される。例えば、画像の変形は変形パラメータの数を増やすほど、自由な変形を表現することが可能であるが、その場合には、画像上に必要な数の直線が存在している必要がある。図２に変形パラメータの数と、その必要条件を示す。
【００３８】
図２に示すように、例えば、変形パラメータを１〜２とする場合は、画像上に傾きが異なる２本以上の直線の組み合わせが１組以上存在する必要がある。これによって表現される代表的な変形モデルには並進がある。すなわち、基準直線設定部２では、傾きが異なる２本以上の直線の組み合わせを１組設定することで、変形モデルとして並進を表現することが可能になる。
【００３９】
次に、図３を参照して、ハフ変換及び直線を特定するパラメータについて説明する。図３（ａ）は、一般的な（ｘ，ｙ）座標によって表現された座標空間（以下画像空間という）に直線ｌが存在している状態を示している。ハフ変換は、この直線ｌを構成する画素（複数の画素）を、その直線ｌを特定するパラメータ（ハフパラメータ）に変換するものである。一般的に、ハフ変換は、直線ｌを座標空間の原点Ｏから直線ｌに垂線を引いた線分とｘ軸との角度Θ、及びその線分の長さρの２つのハフパラメータに変換する。
【００４０】
このようにハフ変換によって、２つのハフパラメータに変換された直線ｌは、図３（ｂ）に示すように、（ρ，Θ）座標によって表現された座標空間（以下ハフ空間という）上で、点として表現される。なお、直線を特定するパラメータは必ずしもハフパラメータ（ρ，Θ）である必要はない、例えば、図３（ａ）において、直線ｌの傾き及び直線ｌとｙ軸との交点であるｙ切片をパラメータとして用いることとしてもよい。
図１に戻って説明を続ける。
【００４１】
直線検出部（直線検出手段）３は、基準画像Ｉｓｔｄ以降に入力される入力画像である比較画像Ｉｃｍｐに含まれる直線を、画像内直線として検出するものである。この直線検出部３では、比較画像Ｉｃｍｐに対してハフ変換を行うことで画像内直線を検出する。ここで検出された画像内直線のハフパラメータは、候補直線パラメータ記憶手段３０に記憶される。なお、ここでは、この直線検出部３に探索領域設定部３ａを備えて構成した。
【００４２】
探索領域設定部（探索領域設定手段）３ａは、基準直線設定部２で検出された基準直線に基づいて、直線検出部３が比較画像Ｉｃｍｐから画像内直線を検出する探索領域を設定するものである。この基準直線は、基準直線パラメータ記憶手段２０に記憶されているハフパラメータによって位置と長さが特定される。
【００４３】
この探索領域設定部３ａでは、基準直線設定部２で検出された基準直線から予め定めた特定の幅を持つ近傍領域を設定し、その近傍領域の集合を探索領域とする。ここで特定の幅は、入力される画像の特性によって予め異なる値を設定するものとする。例えば、変化（動き）が激しい画像の場合は、基準画像Ｉｓｔｄ上の基準直線が比較画像Ｉｃｍｐ上で大きく移動するため、その移動量以上の幅を設定する。また、変化が穏やかな画像の場合は幅を狭く設定するものとする。
【００４４】
このように、直線検出部３は、探索領域設定部３ａで基準直線に基づいて設定された探索領域にのみハフ変換を行うことで、直線の探索時間の高速化と、候補直線抽出部４での抽出すべき直線の高精度化を実現することができる。
【００４５】
ここで、図４を参照（適宜図１参照）して、比較画像Ｉｃｍｐから、基準直線の近傍領域からなる探索領域を設定し、その探索領域の画像内直線を検出する方法について説明する。
【００４６】
図４は、サッカー中継においてゴール近辺を撮影した時間的に連続した画像を示しており、図４（ａ）は、ある時刻に撮影した基準画像Ｉｓｔｄ、図４（ｂ）は、基準画像Ｉｓｔｄに対して、次の時刻でカメラの倍率を下げることで、より広い範囲を撮影した比較画像Ｉｃｍｐを示している。
【００４７】
まず、画像変形情報生成装置１は、基準直線設定部２によって、図４（ａ）の基準画像Ｉｓｔｄにおいて、サッカーのゴールエリアを４本の基準直線ＢＬとして設定する。そして、探索領域設定部３ａによって、図４（ｂ）の比較画像Ｉｃｍｐにおいて、基準直線ＢＬに対して特定の幅を持たせた領域を近接領域ＡＲとし、その近接領域ＡＲの集合を探索領域ＳＡとして設定する。このように、探索領域ＳＡを設定することで、基準画像Ｉｓｔｄが比較画像Ｉｃｍｐに変化したときの基準画像Ｉｓｔｄ上の基準直線ＢＬに対応する直線が、探索領域ＳＡ内に存在すると仮定することができる。すなわち、直線検出部３は、比較画像Ｉｃｍｐの中で、探索領域ＳＡのみをハフ変換することで、基準直線ＢＬに近接する画像内直線ＩＬを検出することができる。
【００４８】
なお、図４（ｂ）において、点線で示された基準直線ＢＬは、比較画像Ｉｃｍｐ上に実在する直線ではなく、図４（ａ）で検出された基準直線ＢＬの位置を仮想的に示したものである。
図１に戻って説明を続ける。
【００４９】
候補直線抽出部（候補直線抽出手段）４は、基準直線パラメータ記憶手段２０に記憶されている基準画像Ｉｓｔｄにおける基準直線のハフパラメータと、候補直線パラメータ記憶手段３０に記憶されている比較画像Ｉｃｍｐにおける画像内直線のハフパラメータとに基づいて、画像内直線の中から基準直線に類似する直線を、基準直線の位置が移動した候補となる候補直線として抽出するものである。なお、候補直線から除外された画像内直線のハフパラメータは、候補直線パラメータ記憶手段３０から削除される。
【００５０】
例えば、候補直線抽出部４は、この類似の判定をハフパラメータである（ρ，Θ）の２つのパラメータに基づいて行う。すなわち、この２つのパラメータ（ρ，Θ）に基づいて、基準直線と画像内直線とのハフ空間上の距離を求め、予め定めた距離以内の画像内直線を、基準直線に類似し、基準直線の位置が移動した候補となる候補直線と判定する。
【００５１】
ここで、図５及び図６を参照（適宜図１参照）して、候補直線を抽出する方法について説明する。図５は、基準画像Ｉｓｔｄの基準直線と、比較画像Ｉｃｍｐの探索領域ＳＡ（図４（ｂ））内における画像内直線とを、それぞれ、ハフパラメータで表したものである。図６は、図５のハフパラメータをハフ空間上に表したものである。
【００５２】
図５に示すように、基準画像Ｉｓｔｄの基準直線（Ｌｓｔｄ［０］〜Ｌｓｔｄ［３］）を、ハフパラメータによって表現する。例えば、基準直線Ｌｓｔｄ［０］を、（ρｓｔｄ［０］，Θｓｔｄ［０］）の２つのパラメータで表現する。また、比較画像Ｉｃｍｐの画像内直線（Ｌｃｍｐ［０］〜Ｌｃｍｐ［６］）も同様にハフパラメータによって表現する。例えば、画像内直線Ｌｃｍｐ［０］を、（ρｃｍｐ［０］，Θｃｍｐ［０］）の２つのパラメータで表現する。このように、直線をハフパラメータで表現することで、図６に示したように、各直線は、ハフ空間上の点として表現される。
【００５３】
そして、図６に示したように、各基準直線（Ｌｓｔｄ［０］〜Ｌｓｔｄ［３］）を中心として、予め定めた距離（一定距離範囲ＣＩ）内に存在する画像内直線を候補直線として判定する。
【００５４】
例えば、図６では、Ｌｓｔｄ［０］に対する候補直線はＬｃｍｐ［０］及びＬｃｍｐ［１］、Ｌｓｔｄ［１］に対する候補直線はＬｃｍｐ［２］、Ｌｓｔｄ［２］に対する候補直線はＬｃｍｐ［５］、Ｌｓｔｄ［３］に対する候補直線はＬｃｍｐ［３］及びＬｃｍｐ［４］となる。また、Ｌｃｍｐ［６］は、探索領域ＳＡ（図４（ｂ））内には存在するが、基準直線の候補からは外れることになる。これによって、各基準直線（Ｌｓｔｄ［０］〜Ｌｓｔｄ［３］）に類似する候補直線を抽出することができる。これ以降、画像内直線（Ｌｃｍｐ［０］〜Ｌｃｍｐ［５］）を候補直線と呼ぶこととする。
図１に戻って説明を続ける。
【００５５】
基準直線パラメータ記憶手段２０は、基準直線設定部２で設定された基準画像Ｉｓｔｄ上の基準直線のパラメータ（基準直線パラメータ）を記憶しておくもので、一般的なメモリ等で構成される。例えば、図５に示した基準直線（Ｌｓｔｄ［０］〜Ｌｓｔｄ［３］）のパラメータを記憶する。この基準直線パラメータ記憶手段２０に記憶された基準直線パラメータは、探索領域設定部３ａ及び後記する一致度算出部５から参照される。
【００５６】
候補直線パラメータ記憶手段３０は、直線検出部３で検出された比較画像Ｉｃｍｐ上の直線のパラメータを記憶しておくもので、一般的なメモリ等で構成される。例えば、図５に示した直線検出部３で検出した画像内直線（Ｌｃｍｐ［０］〜Ｌｃｍｐ［６］）のパラメータを記憶する。なお、この画像内直線（Ｌｃｍｐ［０］〜Ｌｃｍｐ［６］）のパラメータは、候補直線抽出部４によって、候補直線（Ｌｃｍｐ［０］〜Ｌｃｍｐ［５］）に更新される。
【００５７】
また、この候補直線パラメータ記憶手段３０内の候補直線のパラメータ（候補直線パラメータ）は、候補直線抽出部４によって、基準直線毎に対応付けて記憶される。この候補直線パラメータ記憶手段３０に記憶された候補直線パラメータは、後記する一致度算出部５から参照される。なお、ここでは基準直線パラメータ記憶手段２０と候補直線パラメータ記憶手段３０とを分離して構成したが、同一のメモリあるいはハードディスク上で記憶領域を分割して記憶することとしてもよい。
【００５８】
変形パラメータ特定手段４０は、直線パラメータ検出手段１０で検出された基準画像Ｉｓｔｄ及び比較画像Ｉｃｍｐの各直線のパラメータに基づいて、基準画像Ｉｓｔｄから比較画像Ｉｃｍｐへの画像の動き（変化）を表現する変形パラメータを特定するものである。ここでは、変形パラメータ特定手段４０を、一致度算出部５と、変形情報決定部６と、変形情報補正部７とを備えて構成した。
【００５９】
一致度算出部（一致度算出手段）５は、基準直線パラメータ記憶手段２０に記憶されている基準直線のパラメータ（基準直線パラメータ）と、候補直線パラメータ記憶手段３０に記憶されている候補直線のパラメータ（候補直線パラメータ）との組み合わせにおいて、基準直線を候補直線に変形する変形パラメータに基づいて、基準直線と候補直線とが一致する度合いを示す一致度を算出するものである。
【００６０】
なお、図５に示した基準画像Ｉｓｔｄ上の４本の基準直線｛Ｌｓｔｄ［０］，Ｌｓｔｄ［１］，Ｌｓｔｄ［２］，Ｌｓｔｄ［３］｝と、比較画像Ｉｃｍｐ上の７本の画像内直線｛Ｌｃｍｐ［０］，Ｌｃｍｐ［１］，Ｌｃｍｐ［２］，Ｌｃｍｐ［３］，Ｌｃｍｐ［４］，Ｌｃｍｐ［５］，Ｌｃｍｐ［６］｝との各パラメータの組み合わせは、７Ｐ４（＝７×６×５×４＝８４０）通り存在する。しかし、画像変形情報生成装置１では、候補直線抽出部４によって、画像内直線から基準直線に対する候補直線が抽出されるため、図６に示したように基準直線のパラメータ（基準直線パラメータ）と候補直線のパラメータ（候補直線パラメータ）との組み合わせは、（２）式に示した４通りとなる。
【００６１】
【数２】
2004164479.tif 000004
【００６２】
このように、一致度算出部５では組み合わせ数が軽減された基準直線パラメータと候補直線パラメータとの組み合わせ数分だけ、一致度の算出を行う。
ここでは、基準直線パラメータと候補直線パラメータとのｋ番目の組み合わせにおいて、基準直線を変形パラメータｐによって変形したときの基準直線と候補直線との一致度ｓｉｍｋ（ｐ）を（３）式で定義する。
【００６３】
【数３】
2004164479.tif 000005
【００６４】
ここで、ρはコスト関数（例えば、差の２乗和や絶対値差分を求めることで、特定の統計モデルに合致する確率を示す関数）、Ｌｓｔｄは基準画像Ｉｓｔｄの基準直線パラメータ、Ｌｃｍｐは比較画像Ｉｃｍｐの候補直線パラメータ、Ｃｋは基準直線パラメータと候補直線パラメータとのｋ番目の組み合わせ、ｉは基準直線を識別する番号、ｊは候補直線を識別する番号、ｐは変形パラメータ、Ａはパラメータ変換を示すものとする。前記（３）式に示したように、一致度ｓｉｍｋ（ｐ）は、基準直線パラメータＬｓｔｄを変形パラメータｐによってパラメータ変換したハフパラメータと、候補直線パラメータとの差に基づいて、特定の統計モデルに合致する確率を基準直線パラメータと候補直線パラメータとの組み合わせ数分（ｋ個）加算したものである。
【００６５】
変形情報決定部（変形情報決定手段）６は、一致度算出部５で算出された一致度に基づいて、最大の一致度を与える組み合わせとなる変形パラメータを決定するものである。ここでは、（４）式に示すように、前記（３）式の値を最大にする変形パラメータｐを求めることとする。
【００６６】
【数４】
2004164479.tif 000006
【００６７】
より具体的には、前記（３）式を、前記（４）式を満たす変形パラメータｐの各要素で偏微分した値は０となることから、この偏微分した結果である変形パラメータｐの連立方程式を解くことで、変形パラメータｐを求めることができる。
なお、ここで変形パラメータｐの各要素とは、並進、アフィン等の変形モデルにおける変形式を特定するパラメータの値で、例えば、（５）式に示す並進モデルの変形式におけるｐ０及びｐ１、また、例えば、（６）式に示すアフィンモデルの変形式におけるｐ０〜ｐ５を指す。
【００６８】
【数５】
2004164479.tif 000007
【００６９】
【数６】
2004164479.tif 000008
【００７０】
なお、この（５）式及び（６）式において、（ｘ，ｙ）は基準画像Ｉｓｔｄの任意の座標、（ｘ´，ｙ´）は変形モデルにより変形した（ｘ，ｙ）の変形後の座標を意味する。
【００７１】
これによって、例えば、図５に示した例において、前記（２）式の組み合わせの中で、基準直線と候補直線とが一致する組み合わせは、（７）式の組み合わせとなり、変形情報決定部６では、この（７）式の組み合わせにおける変形パラメータが出力（決定）される。すなわち、｛Ｌｃｍｐ［１］，Ｌｃｍｐ［２］，Ｌｃｍｐ［３］，Ｌｃｍｐ［５］｝が、基準直線が移動した移動直線として特定されたことになる。
【００７２】
【数７】
2004164479.tif 000009
【００７３】
このように変形パラメータは、変形情報決定部６によって決定されるため、この出力を画像変形情報生成装置１の出力としてもよい。ただし、この変形パラメータには、画像空間とハフ空間（図３参照）との解像度の違いにより、誤差が存在する。そこで、ここでは、さらに変形情報補正部７を備え、その誤差を補正するものとする。
【００７４】
変形情報補正部７は、変形情報決定部６で決定された変形パラメータに基づいて、基準画像Ｉｓｔｄを変形した変形画像を生成し、その変形画像と比較画像Ｉｃｍｐとを、従来の手法（図８及び（１）式参照）に基づいて画素レベルで演算することで、変形情報決定部６で決定された変形パラメータを補正した最適な変形パラメータを生成するものである。
【００７５】
なお、この変形画像は、変形情報決定部６で決定された変形パラメータによって変形されたものであるため、比較画像Ｉｃｍｐとほぼ一致したものとなる。これによって、変形画像から比較画像Ｉｃｍｐへの微細な変更分のみを変形パラメータに対して補正することとなるため、従来の手法に比べてパラメータ精度が高くなる。
【００７６】
以上、一実施形態に基づいて、画像変形情報生成装置１の構成について説明したが、画像変形情報生成装置１は、コンピュータにおいて各手段を各機能プログラムとして実現することも可能であり、各機能プログラムを結合して画像変形情報生成プログラムとして動作させることも可能である。
【００７７】
［画像変形情報生成装置の動作］
次に、図１及び図７を参照して、画像変形情報生成装置１の動作について説明する。図７は、画像変形情報生成装置１の動作を示すフローチャートである。
【００７８】
（基準直線パラメータ設定ステップ）
まず、画像変形情報生成装置１は、基準直線設定部２によって、入力された基準画像Ｉｓｔｄ内において、画像の特徴となる直線（基準直線）を図示していない入力手段により設定する（ステップＳ１）。この基準直線は、連続する画像に存在する直線で、位置や大きさが大きく変化しないものとする。例えば、サッカー中継でゴール近辺を撮影した映像において、ゴールポストやゴールエリア等の直線部分を基準直線とする。そして、この基準直線をハフ変換した基準直線パラメータ（ハフパラメータ）を求め、その基準直線パラメータを基準直線パラメータ記憶手段２０に記憶する（ステップＳ２）。
なお、この基準直線は、アフィン、回転、拡大／縮小、並進等の画像の変形関係で必要となる数の直線（図２参照）を設定するものとする。
【００７９】
（探索領域設定ステップ）
次に、画像変形情報生成装置１は、直線検出部３の探索領域設定部３ａによって、基準画像以降の入力画像である比較画像Ｉｃｍｐにおいて、基準直線パラメータで位置と長さが特定された基準直線の予め定めた特定の幅を持つ近傍領域からなる領域を、探索領域として設定する（ステップＳ３）。
【００８０】
（直線検出ステップ）
また、画像変形情報生成装置１は、直線検出部３によって、探索領域設定部３ａで設定された探索領域のみをハフ変換することで、比較画像Ｉｃｍｐ内の直線（画像内直線）を検出する（ステップＳ４）。なお、ここで検出された画像内直線のハフパラメータである画像内直線ハフパラメータを、一旦候補直線パラメータ記憶手段３０に記憶しておく（ステップＳ５）。このように、直線検出ステップでは、探索領域についてのみハフ変換を行い直線を検出するため、処理速度を早めることができる。
【００８１】
（候補直線パラメータ特定ステップ）
さらに、画像変形情報生成装置１は、候補直線抽出部４によって、基準直線パラメータ記憶手段２０に記憶されている基準直線パラメータと、候補直線パラメータ記憶手段３０に記憶されている画像内直線ハフパラメータとに基づいて、基準直線に近接する画像内直線を、基準直線の位置が移動した候補となる候補直線として抽出する（ステップＳ６）。また、候補直線パラメータ記憶手段３０に記憶されている画像内直線ハフパラメータは、候補直線として抽出された直線のハフパラメータである候補直線パラメータに更新される（ステップＳ７）。
【００８２】
（一致度算出ステップ）
そして、画像変形情報生成装置１は、一致度算出部５によって、基準直線パラメータと、候補直線パラメータとの組み合わせにおいて、基準直線と候補直線とが一致する度合いを示す一致度を算出する（ステップＳ８）。
【００８３】
（変形情報決定ステップ）
そして、画像変形情報生成装置１は、変形情報決定部６によって、一致度算出部５で算出された一致度に基づいて、最大の一致度を与える基準直線と候補直線との組み合わせとなる変形パラメータを決定する（ステップＳ９）。
さらに、画像変形情報生成装置１は、変形情報補正部７によって、変形パラメータで基準画像Ｉｓｔｄを変形した変形画像を生成し、その変形画像から比較画像Ｉｃｍｐへの変形に基づいて変形パラメータを補正して出力する（ステップＳ１０）。
【００８４】
以上の各ステップによって、画像変形情報生成装置１は、基準画像Ｉｓｔｄを基準にして、基準画像Ｉｓｔｄから、その基準画像Ｉｓｔｄ以降に入力される入力画像（比較画像Ｉｃｍｐ）への最適な変形パラメータ（変形情報）を高速に求めることができる。
【００８５】
【発明の効果】
以上説明したとおり、本発明に係る画像変形情報生成装置、画像変形情報生成方法及び画像変形情報生成プログラムでは、以下に示す優れた効果を奏する。
【００８６】
請求項１、請求項５又は請求項６に記載の発明によれば、基準画像内の直線（基準直線）を元にして、基準直線が変形した変形情報を基準画像から各入力画像への変形情報とするため、従来のように入力画像毎に変形情報の誤差が伝播し、蓄積されることがない。また、入力画像の途中に画像内容の存在しない画像（例えば全面黒色の画像等）が存在しても、その次に入力される画像の変形情報を、基準画像に基づいて生成することが可能になり、画像の欠損に対する回復機能を有することになる。
【００８７】
また、直線を画像空間ではなく、例えばハフ空間上の２つのパラメータ（ハフパラメータ）で扱うことができるため、直線を画像としてではなく、ハフパラメータで表現された点として扱うことができる。これにより、直線間の距離、一致度等を求める際に画素レベルの演算を行う必要がなく、処理時間を短縮（高速処理）することができる。
【００８８】
また、例えば、カメラの操作によって入力画像が変化する場合、変形情報のみを伝送するだけで背景の画像を再現することが可能になるため、伝送時における画像の大幅な圧縮が可能になる。
【００８９】
請求項２に記載の発明によれば、基準画像の基準直線を元に入力画像に探索領域を設定し、その探索領域内のみから直線（画像内直線）を検出することになるため、入力画像全体から直線を検出する場合に比べて、処理時間を短縮することができる。
【００９０】
請求項３に記載の発明によれば、直線の類似性を、直線の画素レベルの演算を行わずに、パラメータ間の距離により求めるため、処理時間を短縮することができる。
【００９１】
請求項４に記載の発明によれば、画像空間とハフ空間の解像度の違いによる誤差を補正することができるため、最適な変形情報（変形パラメータ）を生成することができる。なお、ハフ空間上のハフパラメータによって算出された変形パラメータに基づいて基準画像を変形した変形画像と入力画像とは、ほぼ一致したものとなっている。このため、従来のような画像空間のみで変形パラメータを生成する場合に比べて誤差を軽減し、変形パラメータの精度を高めることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る画像変形情報生成装置の全体構成を示すブロック図である。
【図２】変形関係を特定するための変形パラメータ数とその必要条件との関係を示した図である。
【図３】（ａ）はある直線を画像空間上の座標で表現した図である。（ｂ）はある直線をハフ空間上の座標で表現した図である。
【図４】（ａ）は基準画像上で基準直線を設定した例を示す図である。（ｂ）は比較画像上で基準直線に基づいて探索領域を設定した図である。
【図５】探索領域内の直線をハフパラメータで表した図である。
【図６】探索領域内の直線をハフ空間上の座標で表現し、基準直線に近似する候補直線の抽出方法を説明するための説明図である。
【図７】本発明の実施の形態に係る画像変形情報生成装置の動作を示すフローチャートである。
【図８】従来の変形情報（変形パラメータ）を生成する動作を示すフローチャートである。
【符号の説明】
１  ……画像変形情報生成装置
２  ……基準直線設定部
３  ……直線検出部（直線検出手段）
３ａ……探索領域設定部（探索領域設定手段）
４  ……候補直線抽出部（候補直線抽出手段）
５  ……一致度算出部（一致度算出手段）
６  ……変形情報決定部（変形情報決定手段）
７  ……変形情報補正部（変形情報補正手段）
１０……直線パラメータ検出手段
２０……基準直線パラメータ記憶手段
３０……候補直線パラメータ記憶手段
４０……変形パラメータ特定手段
【図１】
2004164479.tif 000010
【図２】
2004164479.tif 000011
【図３】
2004164479.tif 000012
【図４】
2004164479.tif 000013
【図５】
2004164479.tif 000014
【図６】
2004164479.tif 000015
【図７】
2004164479.tif 000016
【図８】
2004164479.tif 000017