(57)【特許請求の範囲】
【請求項１】
動画像中に存在する対象物輪郭曲線の動きベクトルを推定する動きベクトル推定方法において、
上記対象物輪郭曲線上で特徴点を抽出する特徴点抽出工程と、
この抽出された特徴点のみを用いて動きベクトル推定を行う推定工程とを有し、
上記特徴点抽出工程は、
上記対象物輪郭曲線の始端から終端までの各点で微小区間屈曲角を計算し、その総和を累積屈曲角とする工程と、
上記累積屈曲角が予め定めた閾値より大きいときに、最大の微小区間屈曲角をとる点を特徴点とする工程とを有すること
を特徴とする動きベクトル推定方法。
【請求項２】
上記抽出された特徴点で対象物輪郭曲線を分割し、分割された対象物輪郭曲線に対しても上記特徴点抽出処理を再帰的に行うことを特徴とする請求項１記載の動きベクトル推定方法。
【請求項３】
上記特徴点抽出工程は、
上記対象物輪郭曲線の始端から終端までの各点で、曲線を垂直に横切る方向の各濃度の１次微分値を計算し、それらを各要素とするベクトルを求める工程と、
上記対象物輪郭曲線に沿って上記ベクトルの方向の変化を計算し、その方向変化角が予め定めた閾値より大きいときに、その位置を特徴点とする工程とを有することを特徴とする請求項１記載の動きベクトル推定方法。
【請求項４】
動画像中に存在する対象物輪郭曲線の動きベクトルを推定する処理を行う画像処理装置において、
上記対象物輪郭曲線上で特徴点を抽出する特徴点抽出手段と、
この抽出された特徴点のみを用いて動きベクトル推定を行う推定手段とを備え、
上記特徴点抽出手段は、上記対象物輪郭曲線の始端から終端までの各点で微小区間屈曲角を計算してその総和を累積屈曲角とし、上記累積屈曲角が予め定めた閾値より大きいときに、最大の微小区間屈曲角をとる点を特徴点とすること
ことを特徴とする画像処理装置。
【請求項５】
上記特徴点抽出手段によって抽出された特徴点で対象物輪郭曲線を分割する分割手段を備え、
上記特徴点抽出手段は、上記分割手段によって分割された対象物輪郭曲線に対しても再帰的に特徴点を抽出することを特徴とする請求項４記載の画像処理装置。
【請求項６】
上記特徴点抽出手段は、上記対象物輪郭曲線の始端から終端までの各点で、曲線を垂直に横切る方向の各濃度の１次微分値を計算し、それらを各要素とするベクトルを求め、上記対象物輪郭曲線に沿って上記ベクトルの方向の変化を計算し、その方向変化角が予め定めた閾値より大きいときに、その位置を特徴点とすることを特徴とする請求項４記載の画像処理装置。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、動きベクトル推定方法及び画像処理装置に関し、特に、例えば、動画像中の物体追跡処理などで行われる、２画像間の対象領域の動きベクトル推定処理を精度良く行うのに好適な動きベクトル推定方法及びこのような動きベクトル推定処理を行う画像処理装置に関する。
【０００２】
【従来の技術】
動画において、対象とする物体の動きを予測して次の画像の位置を推定することが行われている。このような２画像間の小領域の動きベクトル推定を行うための従来技術としてブロックマッチングが知られている。このブロックマッチングの技術は、例えば、文献「画像解析ハンドブック」、高木幹雄, 下田陽久, 東京大学出版会,1991 等に開示されているが、以下に、ブロックマッチングの概略について説明する。
【０００３】
ブロックマッチング法とは、時間的な前後関係に従って第１、第２の画像とするとき、第１の画像Ｉ1 上にｎ1×ｎ2の矩形のテンプレートを決め、第２の画像Ｉ2 上にｍ1×ｍ2の矩形の探索範囲あるいは探査範囲を決め、この探査範囲内でテンプレートを動かし、もっとも一致した位置を適当な誤差評価関数を用いて探す方法のことである。ここで、上記ｎ1、ｎ2、ｍ1、ｍ2は整数である。
【０００４】
図９にブロックマッチング処理のための概略構成のブロック図を示す。処理は以下のように行われる。
【０００５】
先ず、マッチング演算処理部１０１では、テンプレートと探査範囲のリストが設定されているとき、各テンプレートついて、対となる探査範囲中のブロックとのマッチングを行う。最適なマッチングが得られたブロック位置のリストを次段におくる。
【０００６】
次に、動きベクトル演算処理部１０３では、テンプレート位置(ｔ1,ｔ2) を始点とし、前段で得られたマッチング位置(ｍ1,ｍ2) を終点とする動きベクトルｖを計算する。すなわち、
ｖ＝（ｍ1−ｔ1，ｍ2−ｔ2）            （１）
である。
【０００７】
図１０に画像とテンプレート、探査範囲の関係を示す。マッチング演算は以下のことを実現する処理である。
【０００８】
この図１０において、第１の画像Ｉ1 内の位置(ｔ1,ｔ2) にテンプレートＴ、第２の画像Ｉ2 内の位置(ｓ1,ｓ2) に探査範囲Ｓがあるとき、探査範囲Ｓ内の位置(ａ,ｂ) のブロックＳ(a,b) 毎にテンプレートＴとの誤差評価値Ｅ(a,b) を求める。探査範囲（０≦ａ≦ｍ1−１，０≦ｂ≦ｍ2−１）でＥ(a,b) が形成する誤差曲面上の最小値点（minａ，minｂ）を決定する。ここで、上記ｔ1,ｔ2、ｓ1,ｓ2、ａ、ｂは整数である。
【０００９】
次に、マッチング演算をフローチャートで表すと図１１のようになる。ただし、図１１において添字ｉは、上記テンプレートと探査範囲のリストが設定されているときのｉ番めのリストであることを示す。
【００１０】
この図１１において、最初のステップＳ１１１では、テンプレートＴと探査範囲Ｓをそれぞれ画像Ｉ1 、Ｉ2 から取り出し、次のステップＳ１１２では、上記誤差評価値Ｅ(a,b) の最小値minＥ に大きな定数、例えば誤差評価値Ｅ(a,b) として取り得る最大値を代入しておく。次に、探査範囲Ｓ内におけるテンプレートのｘ座標ａについてのＦＯＲループ１１３と、ｙ座標ｂについてのＦＯＲループ１１４による処理に移り、このループ処理においては、探査位置（ａ，ｂ）を探査範囲内で変えつつ、図１０で説明したブロックＳ(a,b) とテンプレートＴの誤差評価値Ｅ(a,b) を求め、その評価値が最小値minＥ となる位置（minａ，minｂ）を求めている。すなわち、このループ内での具体的な処理としては、ステップＳ１１５で上記テンプレートＴと探査範囲Ｓ内のブロックＳ(a,b) とに基づく誤差評価演算を行って誤差評価値Ｅ(a,b) を求め、ステップＳ１１６でこの誤差評価値Ｅ(a,b) が現時点での最小値minＥ よりも小さいか否かを判別し、ＮｏのときはＦＯＲループの次の処理ステップに移行し、ＹesのときはステップＳ１１７に進んで、minＥ に誤差評価値Ｅ(a,b) を代入し、minａ，minｂにそれぞれａ，ｂを代入した後、ＦＯＲループの次の処理ステップに移行している。このＦＯＲループの処理が全て終了したとき、探査範囲Ｓ内で誤差評価値が最小値minＥ となるテンプレート位置（minａ，minｂ）が求められる。画像Ｉ2 内での探査範囲Ｓの位置が(ｓ1,ｓ2) であるから、画像Ｉ2 内でのテンプレートＴのマッチング位置としては、（ｓ1＋minａ，ｓ2＋minｂ）が出力されることになる。
【００１１】
ここで、誤差評価関数Ｅ(a,b) としては、比較する画像の相関係数を用いる方法と比較する画像の平均残差を用いる方法があるが、計算の容易さから平均残差を用いる方法がよく使われている。平均残差を用いる方法は、画素毎に残差ｅの絶対値または２乗を求め、そのテンプレート範囲の平均を誤差評価値Ｅとするものである。誤差評価関数Ｅ(a,b) の具体例を次式に示す。
【００１２】
【数１】
0003674084.tif 000002
【００１３】
これらの式（２）〜式（４）において、式（２）は画素毎に残差ｅの絶対値を用いたとき、式（３）は２乗を用いた時の誤差評価関数Ｅ(a,b) を示したものである。分母は（ａ，ｂ）によらないので、計算上は省略されることが多い。また式（４）は画素毎の残差ｅを示したものである。
【００１４】
また、上記ブロックマッチングを応用し、対象物領域の追跡を行うことを目的とした技術文献としては、特開平４−１１７０７９号公報「画像処理システム」や、「映像のための動ベクトル検出法に関する一検討」八木ら, テレビジョン学会誌, Vol.45, No.10, pp.1221-1229, 1991 等がある。以下にその概要を説明する。
【００１５】
上記「画像処理システム」は、１つ前のフレームにおいて、対象物領域を示すマスク画像が与えられているときに、前フレームのマスクが１である全ての画素の動きベクトルをブロックマッチングによって推定し、前フレームのマスクが１である全ての画素を動きベクトルによって移動させた結果を現フレームのマスクとする技術である。
【００１６】
上記「映像のための動ベクトル検出法に関する一検討」は、１つ前のフレームにおいて、対象物領域を示すマスク画像が与えられているときに、対象物領域内部にブロックを適当個配置し、それらに対し、前フレームと現フレームとの間でブロックマッチングを行い、得られた動きベクトルからマスク画像のアフィン変換パラメータを推定する技術である。現フレームのマスク画像は推定されたアフィン変換パラメータにより、前フレームのマスク画像を変形することにより得られる。
【００１７】
【発明が解決しようとする課題】
ところで、上記従来の通常のブロックマッチング技術においては、以下のような問題があった。
【００１８】
先ず第１の問題点として、周期性、一様性をもつ画像パターンは、そのパターン自身周辺へのマッチングを行うと、極小値点がただ１つでない誤差曲面が生じる点が挙げられる。これは、パターンの自己相関の性質に起因するものである。テンプレートに周期性、一様性がある場合、探査範囲にもその周期性、一様性が保存されている場合が多い。この時探査範囲における誤差曲面は極小値点がただ１つでなくなる。従来のブロックマッチングの技術による方法では、このような画像の場合に動きベクトル推定が誤った局所解に陥りやすい。
【００１９】
第２の問題点として、単色物体同士の境界は境界線の進む方向に沿って一様性をもつ画像パターンである。そのため、上記第１の問題点の理由により、単色物体同士の境界は、従来の通常のブロックマッチング技術による動きベクトル推定が誤りやすいところである。
【００２０】
上記特開平４−１１７０７９号公報「画像処理システム」や、上記「映像のための動ベクトル検出法に関する一検討」に記載された技術は、上記従来の通常のブロックマッチング技術を利用する物体領域追跡技術である。物体領域追跡においては、輪郭形状の追跡がもっとも重要であるが、上記第１、第２の問題点のために、以下のように解決されない点があった。
【００２１】
すなわち、上記特開平４−１１７０７９号公報「画像処理システム」に記載された技術では、対象物画素であると判断された全ての画素の動きベクトル推定を行うため、動きベクトル推定の処理時間が膨大である。また、従来の通常のブロックマッチング技術を用いているため、上記第１、第２の問題点があり、個々の動きベクトルが必ずしも正確に推定できているとは限らず、結果のマスク形状が信頼性に欠ける場合がある。
【００２２】
また、上記「映像のための動ベクトル検出法に関する一検討」の技術においては、上述したブロックマッチング技術の欠点は物体境界では避けられない問題であるとして、物体境界から十分に離れた、対象物内部の画素のみを用いて、対象物形状を追跡する処理を行う。そのため、アフィン変換のような写像でえられるような、簡単な形状変形の追随に終始しているのが実情である。
【００２３】
本発明は、上述したような実情に鑑みてなされたものであり、局所解に陥る危険性がなるべく小さいような、動きベクトル推定を行うことによって、処理の精度と効率の上昇を実現し得るような動きベクトル推定方法及びこのような動きベクトル推定処理を行う画像処理装置の提供を目的とするものである。
【００２４】
【課題を解決するための手段】
本発明に係る動きベクトル推定方法は、動画像中に存在する対象物輪郭曲線の動きベクトルを推定する動きベクトル推定方法において、上記対象物輪郭曲線上で特徴点を抽出する特徴点抽出工程と、この抽出された特徴点のみを用いて動きベクトル推定を行う推定工程とを有し、上記特徴点抽出工程は、上記対象物輪郭曲線の始端から終端までの各点で微小区間屈曲角を計算し、その総和を累積屈曲角とする工程と、上記累積屈曲角が予め定めた閾値より大きいときに、最大の微小区間屈曲角をとる点を特徴点とする工程とを有することにより、上述した課題を解決する。
【００２５】
また、本発明に係る画像処理装置は、動画像中に存在する対象物輪郭曲線の動きベクトルを推定する処理を行う画像処理装置において、上記対象物輪郭曲線上で特徴点を抽出する特徴点抽出手段と、この抽出された特徴点のみを用いて動きベクトル推定を行う推定手段とを備え、上記特徴点抽出手段は、上記対象物輪郭曲線の始端から終端までの各点で微小区間屈曲角を計算してその総和を累積屈曲角とし、上記累積屈曲角が予め定めた閾値より大きいときに、最大の微小区間屈曲角をとる点を特徴点とすることにより、上述した課題を解決する。
【００２６】
また、上記抽出された特徴点で対象物輪郭曲線を分割し、分割された対象物輪郭曲線に対しても上記特徴点抽出処理をを再帰的に行うことが好ましい。
【００２７】
上記特徴点抽出の具体例としては、上記対象物輪郭曲線の始端から終端までの各点で、曲線を垂直に横切る方向の各濃度の１次微分値を計算し、それらを各要素とするベクトルを求め、上記対象物輪郭曲線に沿って上記ベクトルの方向の変化を計算し、その方向変化角が予め定めた閾値より大きいときに、その位置を特徴点とすることが挙げられる。
【００２８】
【作用】
動画像中に存在する対象物輪郭曲線上の特徴点は、一様な構造の点に比べて、動きベクトル推定が誤った局所解に陥る可能性が低いことから、この抽出された特徴点のみを用いて動きベクトル推定を行う。これによって、境界領域における動きベクトル推定の精度と処理効率の向上を実現する。
【００２９】
【実施例】
本発明に係る動きベクトル推定方法及び画像処理装置においては、動きベクトルを求めたい対象があり、その境界領域での動きベクトル推定の場合に限定することによって問題を解決する。
【００３０】
前記第２の問題点として述べたように、物体境界領域においては、従来の通常のブロックマッチング技術では精度面での問題が大きい。本発明は、境界領域での動きベクトル推定において、局所解に陥る危険性がなるべく小さいような、境界上の点を探し、それらの動きベクトル推定を行う。
【００３１】
「図形の構造記述と視覚記憶のモデル(Ｉ)」（乾敏郎、三宅誠、電子情報通信学会、 MBE-89-14, pp.91-98, 1989）によれば、認知科学の研究から、人間は曲線の形状の端点、交点、曲率が大きい部分に強く反応することが報告されており、それらを特徴点と呼ぶ。このことから、対象物領域中の特徴点が正確に追跡できれば、対象物領域中のそれ以外の点は特徴点の追跡結果から補間処理等を行うなどの方法を用いても、認識上の精度は保証される。また、特徴点は画像上に特徴的構造をもつ点であるので、一様な構造の点よりはるかに、動きベクトル推定が誤った局所解に陥る可能性が小さい。従って本発明は、対象物境界領域の特徴点を検出し、その特徴点の動きベクトル推定を行う。それによって、前記特開平４−１１７０７９号公報記載の技術や、前記「映像のための動ベクトル検出法に関する一検討」の技術では解決できなかった、境界領域での動きベクトル推定の精度の問題、動きベクトル推定の処理量の多さの問題の両方を解決する。
【００３２】
本発明は、前記局所解に陥る危険性が小さい点として、境界の軌跡すなわち対象物輪郭曲線上の形状的特徴点を抽出する。形状的特徴点とは、軌跡あるいは曲線の屈曲が大きい点であり、境界のすすむ方向に沿った一様性が小さい。
【００３３】
また本発明は、前記局所解に陥る危険性が小さい点として、境界の軌跡すなわち対象物輪郭曲線上の濃度変化的特徴点を抽出する。濃度変化的特徴点とは、境界の少なくとも片方の濃度が変化する点であり、境界のすすむ方向に沿った一様性が小さい。
【００３４】
以下、本発明に係る動きベクトル推定方法及び画像処理装置の実施例について、図面を参照しながら説明する。
【００３５】
図１は、本発明の一実施例が適用される動きベクトル推定のための構成を概略的に示すブロック図である。
この図１において、動きベクトル推定処理部１１には、動きベクトルを求めようとする対象物を含む第１、第２の画像Ｉ1,Ｉ2 と、特徴点抽出処理部１２からのテンプレートリスト及び探査範囲リストが供給されている。特徴点抽出処理部１２は、与えられた対象物輪郭情報と、上記第１の画像Ｉ1 とから、特徴点を抽出し、探査するブロックリストを生成する。動きベクトル推定処理部１１は、生成されたブロックリストの動きベクトル場を推定する処理を行う。
【００３６】
本発明の上記実施例を実現するための画像処理装置の全体の概略構成の一例を図２に示す。
【００３７】
この図２において、画像処理装置は、本実施例の動きベクトル推定処理に必要なあらゆる演算を行うためのＣＰＵ（中央演算処理装置）２１と、画像Ｉ1,Ｉ2,Ｉ3 を保持するための外部記憶手段２２と、画像を作成したりするためのマウス、タブレットペンなどの入力手段２３と、画像を表示するためのディスプレイなどの表示手段とを有している。これらのＣＰＵ２１、外部記憶手段２２、入力手段２３、表示手段２４間でのデータの送受は、バスライン２５を介して行われる。
【００３８】
次に、上記図１の各処理部での動作についてさらに詳細に説明する。
【００３９】
先ず、図１の特徴点抽出処理部１２における特徴点抽出処理は、与えられた対象物輪郭曲線あるいは輪郭軌跡上にある特徴点を、複数の基準を用いて抽出し、その特徴点位置にブロックマッチングのためのテンプレートを配置することを行うものである。
【００４０】
本実施例では、対象物輪郭曲線あるいは輪郭軌跡の全体にわたって特徴点を抽出するための方法あるいは処理の一例と、特徴点を抽出する２つの基準、すなわち曲線の評価方法を説明する。
【００４１】
先ず、再帰的抽出処理について説明する。
【００４２】
図３は、輪郭軌跡上の２点間で、再帰的に特徴点抽出を行う処理のアルゴリズムをフローチャートで表したものである。特徴点抽出のための基準を複数用いる場合は、すべての基準のそれぞれにおいて図３に示される処理を行う。初期値として、軌跡の両端点（閉曲線の場合は任意の１点）を与えることにより、軌跡全体の特徴点を抽出できる。
【００４３】
この図３の最初のステップＳ３１において、画像Ｉ1 上の輪郭軌跡すなわち対象物輪郭曲線Ｃ上の与えられた点Ｐ0,Ｐ1 の間の区間の評価を行う。この曲線の評価には、例えば後述する２つの方法のいずれか一方又は双方を、あるいはさらに他の方法を用いればよい。評価された値をvalue 、区間内で抽出された特徴点位置をｐとする。
【００４４】
次のステップＳ３２では、予め定められた閾値Ｔｈと上記評価値value とを比較し、value が小さければ、その区間内に特徴点がないと判断され、０個の特徴点リストを出力する。評価値value が大きければ、ステップＳ３３以降の処理を行う。
【００４５】
すなわち、ステップＳ３３では、特徴点位置ｐを特徴点リストに追加する。次のステップＳ３４では、上記点Ｐ0 と上記特徴点位置ｐとの間の区間について、再帰的に特徴点抽出処理を行い、その出力を特徴点リストに追加する。また、ステップＳ３５にて、ｐとＰ1 との間の区間についても同様の処理を行う。
【００４６】
次に、上記曲線を評価する方法の一例として、形状に基づく曲線評価方法、すなわち、輪郭が大きく屈曲している点を特徴点として抽出する方法を、図４を参照しながら説明する。
【００４７】
図４は、この形状的曲線評価方法の処理の概要を示している。この図４において、点Ｐ0 における接線方向と軌跡上の各点の接線方向とのなす角をθとする。点Ｐ0 から点Ｐ1 までのθの変化の振幅θp-p が、定められた閾値より大きいとき、点Ｐ0 から点Ｐ1 までの間に屈曲点（特徴点）があるとして、θの微小変化δθが最大となる点を抽出する。
【００４８】
このような形状に基づく曲線評価方法における実際の計算は離散的に行われる。図５はその処理のフローチャートである。
【００４９】
この図５において、ステップＳ５１では、上述した点Ｐ0 から点Ｐ1 までの間を等間隔で分割し、分割数をＮとする。この分割数Ｎの各分割部分毎に、ＦＯＲループ５２内の処理を行う。すなわち、このＦＯＲループ５２で上記分割数に応じたＮ回の処理を繰り返す。１回分の処理としては、ステップＳ５３において、第ｉ番目の分割点ｐi における微小変化δθを求め、ステップＳ５４でそれらの累積加算値θp-p を求め、ステップＳ５５、Ｓ５６で絶対値の最大値δθmax を求める。また、このときのｐi をｐmax とする。
【００５０】
次に、輪郭濃度変化に基づく曲線評価方法、すなわち、輪郭における物体濃度の組合せが変化している点を特徴点として抽出する方法を説明する。
【００５１】
図６は、本方法の処理の概要を説明するための図である。図６（Ａ）は画像における輪郭の一例を示している。軌跡すなわち対象物輪郭曲線Ｃによって指示された輪郭の片側に２つの物体濃度ｆｇ1、ｆｇ2が、もう片側に物体濃度ｂｇがある。輪郭の濃度変化を調べるために、画像上で軌跡に垂直な方向の濃度変化を求める。図６（Ｂ）は濃度空間における輪郭領域の濃度分布の１例を示している。求めた輪郭上の濃度変化は、濃度空間上では、１つの物体濃度分布からもう１つの物体濃度分布に向かうベクトルとして表現される。軌跡上で隣接するベクトルが互いになす角φを図６（Ｃ）のように求める。そのφが最大になる位置を特徴点として抽出する。この図６の例では対象物の特徴点としての物体濃度ｆｇの変化点を抽出しているが、背景の物体濃度ｂｇの変化点を特徴点として抽出してもよい。
【００５２】
このような輪郭濃度変化に基づく曲線評価方法における実際の計算は離散的に行われる。図７はその処理のフローチャートである。
【００５３】
この図７において、ステップＳ７１では、上述した点Ｐ0 から点Ｐ1 までの間を等間隔で分割し、分割数をＮとする。また、点Ｐ0 における濃度変化ベクトルｔ0 を求める。次に、いわゆるＦＯＲループ７２により、上記分割数Ｎの回数分の繰り返し処理を行う。この繰り返し処理として、一般に第ｉ回目の処理は、先ずステップＳ７３にて第ｉ番目の分割点をｐi とし、次のステップＳ７４にてその分割点ｐi における濃度変化ベクトルｔi を求め、この濃度変化ベクトルｔi と前回の第ｉ−１番目の濃度変化ベクトルｔi-1 とのなす角φi を求める。次のステップＳ７５では、得られた角φi の絶対値が現在までの最大値φmax より大きいか否かを判別し、Ｎｏのときは次の回の第ｉ＋１番目のループ処理に移り、ＹesのときにはステップＳ７６で今回得られた角φi の絶対値を最大値φmax とすると共にこのときの分割点をｐi をｐmax とした後、次の第ｉ＋１番目のループ処理に移る。これを上記分割数のＮ回繰り返すわけである。
【００５４】
次に、図１の動きベクトル推定処理部１１においては、前記図９〜図１１と共に説明したような従来の通常のブロックマッチングを行えばよいため、説明を省略する。
【００５５】
以上説明したような実施例により得られる効果について、図８を参照しながら説明する。
【００５６】
図８のＡに示す画像中の対象物ｏｂｊが、時間的に次の図８のＢに示す画像中で移動したときの輪郭位置を推定するために、対象物ｏｂｊの輪郭に沿ってブロックを置き、それらのブロックマッチングを行う場合について説明する。
【００５７】
図８のＡに示す画像中の黒点ｄｐは、上記実施例によって抽出される特徴点を示している。このような特徴点は、上述したように、色の変化点や形状の屈曲点に置かれることから、図示の例の対象物ｏｂｊでは、右側の屈曲が多い部分には多くの特徴点が抽出されるが、左側の直線的な部分にはほとんど検出されない。白点ｏｐは上記特徴点以外に適当に配置したブロック位置を示す。これらをブロックマッチングにより移動先を推定すると、図８のＢに示すような結果となる。すなわち、特徴点ｄｐは、その領域の構造の特異さから精度の良い動きベクトル推定が可能であるが、それ以外の位置に置かれたブロックを示す白点ｏｐは、近傍の構造と見分けがつかないので、動きベクトルの推定精度は期待できないことになる。図８のＢにおける輪郭の概形を得たいときは、これらの推定結果を適当な曲線で結んでやればよいが、このとき特徴点ｄｐだけを用いても、図８のＣに示すように、充分に概形を得ることができ、またブロックマッチングのエラーによる余計なノイズが混入する虞も少ない。このようなことからも、少ない動きベクトル数で輪郭を追跡しても、それぞれの動きベクトルの信頼度が高いので、輪郭位置をほぼ間違いなく追跡できることがわかる。
【００５８】
なお、本発明は上記実施例のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【００５９】
【発明の効果】
本発明に係る動きベクトル推定方法及び画像処理装置によれば、動画像中に存在する対象物輪郭曲線上で特徴点を抽出し、この抽出された特徴点のみを用いて動きベクトル推定を行うことにより、境界領域における動きベクトル推定の精度と処理効率の向上を実現し、少数の動きベクトル推定でも高い信頼度をもって輪郭を追跡可能としている。
【００６０】
また、特徴点抽出の際には、対象物輪郭曲線上の屈曲が大きい形状的特徴点を抽出することにより、あるいは対象物輪郭曲線である境界の少なくとも片方の濃度が変化する濃度変化的特徴点を抽出することにより、動きベクトル推定が誤った局所解に陥る危険性を小さくし、動きベクトル推定の精度を高める。
【図面の簡単な説明】
【図１】本発明の動きベクトル推定方法が適用される実施例の概略構成を示すブロック図である。
【図２】本発明の実施例を実現するための画像処理装置の全体の概略構成を示すブロック図である。
【図３】図１の特徴点抽出処理部での特徴点の再帰的抽出処理の動作を説明するためのフローチャートである。
【図４】形状に基づく曲線評価方法の処理の概要を説明するための図である。
【図５】形状に基づく曲線評価を行う際の演算処理を説明するためのフローチャートである。
【図６】輪郭濃度変化に基づく曲線評価方法の処理の概要を説明するための図である。
【図７】輪郭濃度変化に基づく曲線評価を行う際の演算処理を説明するためのフローチャートである。
【図８】本実施例の効果を説明するための図である。
【図９】従来のブロックマッチングによる動きベクトル推定のための概略構成を示すブロック図である。
【図１０】画像と、テンプレート、探査範囲の関係を示す図である。
【図１１】図９のマッチング演算処理部での演算動作を説明するためのフローチャートである。
【符号の説明】
１１  動きベクトル推定処理部
１２  特徴点抽出処理部
２１  ＣＰＵ（中央演算処理装置）
２２  外部記憶手段
２３  入力手段
２４  表示手段
２５  バスライン
【図１】
0003674084.tif 000003
【図２】
0003674084.tif 000004
【図３】
0003674084.tif 000005
【図４】
0003674084.tif 000006
【図５】
0003674084.tif 000007
【図６】
0003674084.tif 000008
【図７】
0003674084.tif 000009
【図８】
0003674084.tif 000010
【図９】
0003674084.tif 000011
【図１０】
0003674084.tif 000012
【図１１】
0003674084.tif 000013