(57)【特許請求の範囲】
【請求項１】
動画像に含まれる複数のフレームを取得する取得手段と、
前記取得手段が取得した複数のフレームに含まれるフレームを解析して、前記画像の特徴点を抽出する抽出手段と、
前記抽出手段により抽出される３つ以上の特徴点の前記フレームにおける位置に基づいて、当該３つ以上の特徴点のうちの少なくとも１つを、当該フレームに対応する動きベクトルを決定する際に参照される対象から除外する除外手段と、
前記抽出手段により抽出され且つ前記除外手段により少なくとも１つの特徴点が除外された複数の特徴点に基づいて、前記フレームに含まれる画素の、前記複数のフレームに含まれる他のフレームに対する動きベクトルを決定する決定手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記抽出手段が抽出した３つ以上の特徴点に基づいて、前記フレームに対して領域を設定する設定手段と、
前記設定手段により設定された前記フレームにおける領域の形状を判定する判定手段と、を備え、
前記除外手段は、前記判定手段により判定された形状に基づき、前記３つ以上の特徴点のうちの少なくとも１つを除外することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記判定手段は、前記設定手段により設定された多角形の領域における少なくとも２つの辺の比率を判定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記判定手段は、前記設定手段により設定された三角形の領域の角度に基づき、前記三角形の領域における少なくとも２つの辺の比率を判定することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記設定手段は、ドローネ三角形分割により、前記抽出手段により抽出された特徴点を頂点とする三角形の領域を設定することを特徴とする請求項２から４のいずれか１項に記載の画像処理装置。
【請求項６】
前記決定手段は、更新手段により更新された特徴点の動きベクトルを決定し、前記特徴点の動きベクトルに基づき、前記フレームの前記設定手段により設定された領域に含まれる画素の動きベクトルを決定することを特徴とする請求項２から５のいずれか１項に記載の画像処理装置。
【請求項７】
前記抽出手段により抽出される３つ以上の特徴点の前記フレームにおける位置に基づいて、前記フレームに特徴点を追加する追加手段を有することを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
【請求項８】
前記追加手段は、前記３つ以上の特徴点に基づく多角形の内部もしくは辺上に特徴点を追加することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記除外手段は、前記抽出手段により既に抽出されている３つ以上の特徴点から少なくとも１つの特徴点を、動きベクトルを決定する際に参照される対象から削除することを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記抽出手段は、フレームにおけるエッジ量に基づいて特徴点を抽出することを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記除外手段は、前記３つ以上の特徴点のうちの除外対象を、当該３つ以上の特徴点に対応するエッジ量に基づいて決定することを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記決定手段により決定された、第１のフレームと第２のフレームにおける動きベクトルに基づき、当該第１のフレームと当該第２のフレームの位置合わせを実行する実行手段を備えることを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
【請求項１３】
前記実行手段による前記第１のフレームと前記第２のフレームの位置合わせの結果に従って、当該第１のフレームと当該第２のフレームとを合成する合成手段を備えることを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
動画像に含まれる複数のフレームを取得する取得工程と、
前記取得工程において取得された複数のフレームに含まれるフレームを解析して、前記画像の特徴点を抽出する抽出工程と、
前記抽出工程において抽出される３つ以上の特徴点の前記フレームにおける位置に基づいて、当該３つ以上の特徴点のうちの少なくとも１つを、当該フレームに対応する動きベクトルを決定する際に参照される対象から除外する除外工程と、
前記抽出工程において抽出され且つ前記除外工程において少なくとも１つの特徴点が除外された複数の特徴点に基づいて、前記フレームに含まれる画素の、前記複数のフレームに含まれる他のフレームに対する動きベクトルを決定する決定工程と、
を備えることを特徴とする画像処理方法。
【請求項１５】
コンピュータを請求項１乃至１３に記載のいずれか１項に記載の画像処理装置が備える各手段として機能させるための、または、請求項１４に記載の画像処理方法をコンピュータに実行させるための、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像間の動きベクトルを演算する画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
従来、複数のフレーム間の動きベクトルを計算して、フレーム間の位置合わせを行う技術が開示されている。
【０００３】
基準画像とは動画フレームの中の任意の画像フレームのことである。基準画像の動きベクトルを計算する際に、画像を特徴づける特徴点が用いられている。具体的には、基準画像の特徴点と、この特徴点に対応する比較画像におけるある領域との間の差分を計算することで基準画像の動きベクトルの計算が行われている。また、特許文献１には、不規則に配置される各特徴点の動きベクトルによってフレーム間の位置を合わせるにあたり、画像を特徴点からなる三角形の領域に分割する方法が開示されている。即ち、特徴点を頂点とする三角形に画像を分割することで、三角形内部の画素または領域についての動きベクトルを、その三角形を構成する特徴点の動きベクトルで推定（補間）することができる。このため、特徴点が不規則に配置されていても、ある種の規則性をもつ動きベクトルを計算することが可能となっている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３９３５５００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１に記載の技術は、特徴点の配置によって、極端に歪みの大きな三角形が出現するという課題がある。そして、歪みの大きな三角形で動きベクトルを補間するときには、以下のような問題が発生する。
【０００６】
すなわち、分割された領域を構成する特徴点間の距離が離れてしまうことで、領域内部の画素等における動きベクトル推定が、かなり遠く離れた特徴点の動きベクトルで補間されるので補間精度が低下することがある。加えて、領域の歪みそのものが大きくなりすぎると、内部の補間精度そのものが維持できなくなる可能性がある、という課題がある。
【０００７】
従って、本発明は画像の領域分割を適切に行って、画像に含まれる画素に対して決定される動きベクトルの精度を向上させる。
【課題を解決するための手段】
【０００８】
本発明にかかる画像処理装置は、動画像に含まれる複数のフレームを取得する取得手段と、前記取得手段が取得した複数のフレームに含まれるフレームを解析して、前記画像の特徴点を抽出する抽出手段と、前記抽出手段により抽出される３つ以上の特徴点の前記フレームにおける位置に基づいて、当該３つ以上の特徴点のうちの少なくとも１つを、当該フレームに対応する動きベクトルを決定する際に参照される対象から除外する除外手段と、前記抽出手段により抽出され且つ前記除外手段により少なくとも１つの特徴点が除外された複数の特徴点に基づいて、前記フレームに含まれる画素の、前記複数のフレームに含まれる他のフレームに対する動きベクトルを決定する決定手段と、を備えることを特徴とする。
【発明の効果】
【０００９】
本発明は、本発明は画像の領域分割を適切に行って、画像に含まれる画素に対して決定される動きベクトルの精度を向上させる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態にかかる画像処理装置のブロック構成の一例を示す図である。
【図２】フレーム多重画像作成方法の概要を示す概念図である。
【図３】本発明の実施形態にかかる画像処理のフローチャートを示す図である。
【図４】追加した特徴点を含む特徴点で画像を三角形領域に分割した一例を示す図である。
【図５】注目画素の動きベクトルを三角形の面積補間で求めることを示す図である。
【図６】実施形態１の画像処理のフローチャートを示す図である。
【図７】特徴点で画像を三角形領域に分割した一例を示す図である。
【図８】追加した特徴点で画像を三角形領域に分割した一例を示す図である。
【図９】歪みの大きい三角形領域と各特徴点の動きベクトルの一例を示す図である。
【図１０】歪みの大きい三角形領域に追加する特徴点の一例を示す図である。
【図１１】歪みの大きい三角形領域を含む領域分割の一例を示す図である。
【図１２】歪みの大きい三角形領域を低減した領域分割の一例を示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施の形態について詳細に説明する。
【００１２】
＜実施形態１＞
図１に実施形態１で使用する画像処理装置のブロック図を示す。画像処理装置として、PC（Personal Computer）を使用すると想定して説明する。
【００１３】
ＣＰＵ １０１は、中央演算ユニット（Central Processing Unit）で、他の機能ブロックや装置の制御を行う。ブリッジ部１０２は、ＣＰＵ １０１と他の機能ブロックとの間でデータのやり取りを制御する機能を提供している。
【００１４】
ＲＯＭ（Read Only Memory） １０３は読み込み専用の不揮発メモリであり、ＢＩＯＳ（Basic Input/Output System）と呼ばれるプログラムが格納されている。ＢＩＯＳは画像処理装置が起動したときに最初に実行されるプログラムであり、２次記憶装置１０５、表示装置１０７、入力装置１０９、出力装置１１０などの周辺機器の基本入出力機能を制御するものである。
【００１５】
ＲＡＭ（Random Access Memory）１０４は、高速の読み書き可能な記憶領域を提供する。２次記憶装置１０５は、大容量の記憶領域を提供するＨＤＤ（Hard Disk Drive）である。ＢＩＯＳが実行されると、ＨＤＤに格納されているＯＳ（Operating System）が実行される。ＯＳはすべてのアプリケーションで利用可能な基本的な機能や、アプリケーションの管理、基本ＧＵＩ（Graphical User Interface）を提供する。アプリケーションは、ＯＳが提供するＧＵＩを組み合わせることで、アプリケーション独自の機能を実現するＵＩを提供できる。
【００１６】
ＯＳや、他のアプリケーションの実行プログラムや作業用に使用しているデータは、必要に応じてＲＡＭ １０４または２次記憶装置１０５に格納される。
【００１７】
表示制御部１０６は、ＯＳやアプリケーションに対して行われるユーザーの操作の結果をＧＵＩの画像データとして生成し、表示装置１０７で表示するための制御を行う。表示装置１０７には液晶ディスプレイや、ＣＲＴ（Cathode Ray Tube）ディスプレイが使用できる。
【００１８】
Ｉ／Ｏ制御部１０８は、複数の入力装置１０９、出力装置１１０とのインターフェースを提供するものである。代表的なインターフェースとして、ＵＳＢ（Universal Serial Bus）やＰＳ／２（Personal System/2）がある。
【００１９】
入力装置１０９には、キーボード、マウスといったユーザーの意志を画像処理装置に入力するものがある。さらに、デジタルカメラ、ＵＳＢメモリ、ＣＦ（Compact Flash）メモリ、ＳＤ（Secure Digital）メモリカードといった記憶装置などを接続することで、画像データを転送することも可能である。
【００２０】
出力装置１１０にはプリンターが接続され、所望の印刷結果を得ることが可能である。本実施形態にかかる画像処理を実現するアプリケーションは、２次記憶装置１０５に格納され、ユーザーの操作で起動するアプリケーションとして提供される。
【００２１】
図２は、本実施形態のフレーム多重画像作成方法の概要を示す概念図である。ビデオデータ２０１は、複数のフレーム画像で構成されている。このビデオデータ２０１から指定された範囲内でＮ枚（Ｎは２以上の整数）のフレーム群２０２を選択して、これらフレーム画像間の位置関係を推定して多重画像（フレーム合成画像）２０５を作成する。
【００２２】
なお、図２では、３枚（Ｎ＝３）のフレームが、選択されている様子を示している。以下、ユーザの指定したフレーム２０３を特に基準画像、その近傍にあるフレーム２０４を比較画像と記述する。なお、図２に示しているように、比較画像２０４は基準画像２０３に最も近いフレーム画像だけを意味するものではなく、基準画像の近くの画像であればいずれの画像であってもよい。なお、基準画像の近くの画像とは、ビデオフレームにおいて時間的に近くにある画像のことである。
【００２３】
図３は、本実施形態のフレーム多重画像作成処理におけるフローチャートである。なお、図３においては多重画像を作成するための全体的な処理を説明し、本実施形態の特徴的な処理については後述するものとする。まず、基準画像２０３を解析して基準画像の特徴点を抽出する（Ｓ３０１）。これは画像の特徴として比較画像と対応関係を特定しやすいところを特徴点とすればよい。例えば、エッジとエッジが交わるところ（たとえば、建物の窓の４隅など）や局所的な特異点などを特徴点として抽出する。また、この図３に示す処理は、ＲＯＭ１０３に格納されているプログラムをＣＰＵ１０１が実行することにより実現できる。
【００２４】
次に、Ｓ３０１の特徴点抽出処理において基準画像２０３から抽出されたそれぞれの特徴点に対応する、比較画像２０４内の領域を特定する。なお、Ｓ３０１において抽出された特徴点のみならず、後述するように新たに追加された特徴点に対応する比較画像２０４内の領域も特定することができる。追加する特徴点の詳細については後述する。この特定方法として、例えばブロックマッチングなどを用いて基準画像２０３と比較画像２０４とを比較することにより特徴点に対応する領域を特定することができる。このとき、基準画像２０３において特徴点とした画素の基準画像２０３における座標値と、比較画像２０４において特徴点に対応する領域の座標値との差分が動きベクトルとして設定される（Ｓ３０２）。
【００２５】
なお、比較画像２０４において、基準画像２０３の特徴点に一致する領域が検出されないケースもある。すなわち、動画の場合、撮影を行なったカメラが動かされた場合には、フレーム間で構図そのものが変化し、さらに被写体も移動するため、基準画像で抽出した特徴点が必ずしも比較画像内に存在するとは限らない。したがって、基準画像の特徴点を比較画像から検出する場合に、比較画像のうち本来は特徴点とは一致しない領域を、特徴点に対応する領域として誤検出してしまい、その検出結果に基づいて動きベクトルが設定されてしまうことも起こりうる。そこで、例えば基準画像と比較画像との比較結果に基づいて、動きベクトルそのものに信頼度を設定してもよい。そして、周りの特徴点に設定された動きベクトルの信頼度を反映して、当該特徴点の動きベクトルを設定することにより、動きベクトルのスムージング（平滑化）を行う（Ｓ３０３）。
【００２６】
次に、基準画像の特徴点で画像の領域分割を行う。このとき、特徴点は任意の場所に出現するため、特徴点からなる複数の三角形の領域を設定することで、画像を分割する（Ｓ３０４）。領域を三角形に分割することは一例としてドローネ三角形分割の手法を利用すれば実現できる。なお、本実施例では画像を三角形の領域に分割する例を示すが、四角形等、他の多角形の領域に分割してもよい。
【００２７】
ここで、基準画像のすべての画像領域を処理するために、画像の４隅（コーナー）を、（特徴点として抽出されていなければ）特徴点として追加すればよい。すなわち、例えば既に画像の１隅が特徴点として抽出されている場合には、他の３隅に特徴点を追加する。追加した特徴点に対応する動きベクトルは、比較画像との対応関係で特定すればよい。すなわち、比較画像において追加した特徴点と類似する領域をマッチング処理で特定すればよい。ただし、この追加した特徴点は、もともと特徴点として抽出されなかった領域であるので、画像間の対応関係が特定しにくい場合がある。そのため、追加した特徴点に対応する動きベクトルを、追加した特徴点の近傍に存在する少なくともひとつの抽出された特徴点の動きベクトルを利用して設定してもよい。
【００２８】
図４は、抽出特徴点と追加特徴点で構成される基準画像の領域分割を示す一例である。各三角形の頂点が特徴点を示している。図に示すように、画像の４隅（４０１、４０２、４０３、４０４）を特徴点として追加することによって、画像を構成するすべての画素はいずれかの三角形領域に属することが分かる。画像を構成するすべての画素がいずれかの三角形領域に属することによって、三角形領域内の任意の画素等における動きベクトル推定を補間することが、画像を構成する全ての画素について実行できる。なお、特徴点を追加することについては、説明を簡易化するためにＳ３０４との関連で説明をした。しかしながら、後述するように、実際に特徴点を追加する処理は、Ｓ３０１において行われてもよい。
【００２９】
次に、分割された三角形領域に基づいて、基準画像の各画素に関して比較画像の対応画素を決定する。図５は基準画像の注目画素５０１とそれが属する三角形領域を示した図である。注目画素５０１が属する三角形を構成する頂点が特徴点を示しており、それぞれに動きベクトルが設定されている。
【００３０】
したがって、注目画素５０１の動きベクトルは、３つの特徴点の動きベクトル（Ｖ1，Ｖ2，Ｖ3）を、注目画素が三角形を分割する３つの面積（Ｓ1，Ｓ2，Ｓ3）で加重平均することにより決定される（Ｓ３０５）。すなわち、それぞれの特徴点の動きベクトル要素と、自分自身を特徴点として含まない辺をもつ三角形の面積とを重みとして掛け、これらを合わせたものを、特徴点で構成される三角形を分割する３つの全面積で割ればよい。
【００３１】
最後に、基準画像の注目画素５０１の座標に、このように補間算出された動きベクトル分だけ移動した比較画像の画素値を、基準画像に合成する（Ｓ３０６）。このように、位置関係を合わせて、基準画像と比較画像を合成することで例えば、暗い場所で撮影した動画フレームに対して、ノイズ低減の効果が期待できる。
【００３２】
次に、実施形態１に係る画像の領域分割の具体的な実施形態を説明する。  
図６は実施形態１の画像処理におけるフローチャートを示したものであり、図３のＳ３０１をより詳細に説明したものである。すなわち、基準画像の特徴点を抽出（Ｓ６０１）したあと、画像の４隅を特徴点として追加する（Ｓ６０２）。
【００３３】
ここで、特徴点の数がある程度多くなってくると、三角形領域に分割したときに図７に示すように歪みの大きな三角形７０１が出現する場合がある。歪みの大きな三角形に基づいて面積補間による動きベクトルを求めることは補間精度が低下するだけでなく、かなり遠く離れた特徴点で動きベクトルを推定することになる。そこで、例えば三角形７０１の内部に特徴点７０２を追加することで領域分割の結果を変更することができる。
【００３４】
図８は、図７において特徴点７０２を追加したときの領域再分割の結果を示す図である。ここで重要なことは、歪みの大きな三角形の内部に追加した特徴点によって、その三角形が単に分割されるわけではないということである。すなわち、図７及び図８の対比からわかるように、特徴点を１つ追加したことによって、当該三角形のみならず、その近傍の三角形の形状も変化している点に留意されたい。
【００３５】
なお、前記ドローネ三角形分割方法では、逐次的に特徴点を解析する手法もある。すなわち、三角形領域の再分割は、追加した特徴点だけの解析を追加すればよいため、速度的な負荷はそれほど高くない。したがって、処理フローとしては、まずＳ６０１で抽出された特徴点及びＳ６０２で追加された現在の特徴点で基準画像を三角形の領域に領域分割する（Ｓ６０３）。次に、追加した特徴点数が所定の閾値（例えば５０個）以内であることをチェックする（Ｓ６０４）。追加する特徴点は、もともと信頼度が高くないので動きベクトルの推定が不利というデメリットもあり、ただ闇雲に数を増やせばよいとは限らないからである。なお、このＳ６０４でチェックする追加特徴点の数は、Ｓ６０２で追加した特徴点の数と、後述するＳ６０６で追加した特徴点の数とを含むものである。
【００３６】
次に、個々の三角形を解析して、最大の歪みを有する領域が許容レベルであるかをチェックする（Ｓ６０５）。すなわち、個々の三角形の形状判定を行って、その三角形の歪みが許容レベルの所定の歪みであるかをチェックする。許容レベルは、例えば三角形の辺の長さや角度から予め定めておくことができる。詳細については後述する。ここで許容レベルとなれば特徴点追加処理を終了して、Ｓ３０２に進めばよい。Ｓ３０２に進む場合には、上述したようにスムージング処理を経て、Ｓ３０４で再度領域分割などの処理が行われ、Ｓ３０６で合成画像が生成されることになる。一方、許容レベル以上となれば、すなわち、当該三角形の歪みが大きい場合には、その三角形内部（辺上を含む）もしくは周辺に特徴点を追加する。
【００３７】
ここで、追加する特徴点の位置は、単純にその三角形の重心でもよいし、Ｓ３０１で特徴点を抽出する際に、画素ごとに特徴点らしさを評価量として保持しておき、周辺領域の中でより特徴点らしい画素を優先して特徴点として追加してもよい。特徴点らしさは、画像のエッジ量に基づいて決定される。なお、上述したように、特徴点を追加した場合には、三角形の内部のみならず、追加した特徴点を含んでいない三角形にも影響を及ぼすことができる点に留意されたい。
【００３８】
次に、三角形の歪み判定について、詳細に説明する。
【００３９】
特徴点で領域分割される三角形で動きベクトルの補間処理をすることは先述した通りである。補間処理にあたり、三角形の辺の距離が大きい場合には、かなり遠くの特徴点で動きベクトルを求めることになるため、その領域の動き推定の信用性低下につながる場合がある。
【００４０】
具体的な例を図９を用いて説明する。図９は４つの特徴点が含まれており、これらの特徴点を頂点とする２つの三角形がある状態を示している。図９に示すように特徴点９０１がそれ以外の特徴点と異なる動きベクトルを持つ場合が想定される。特に動画の場合、背景（もしくはカメラのパーン）と逆方向に被写体が動くようなケースがある。この場合、図９の三角形分割された下側の領域は、すべて一定の向きで動きベクトルが推定されるが、実際には、被写体がその中央部で逆方向に動いているということになる。すなわち、三角形の頂点の距離が離れているが故に、その内部の動きベクトルを正しく推定できない場合がある。そこで、図１０の白丸点（１００１）に特徴点を追加して、追加した１００１の特徴点の動きベクトルを最近傍の特徴点９０１の動きベクトルと同じ動きベクトルに設定する。
【００４１】
こうすることで、図１０の中央部はある程度被写体の動きを追随することが可能となる。逆に、追加しようとする領域について、所定範囲に抽出された特徴点がなければ、追加しようとする特徴点の動きベクトルの信頼度が低くなるので、その領域には特徴点を追加しないとしてもよい。
【００４２】
本実施形態では、三角形の各辺のいずれかの長さが所定の長さ以上である場合には、特徴点を追加することで分割領域を細分化する。すなわち、Ｓ６０５の最大歪みが許容レベルであるかどうかの判断基準として、三角形の辺の長さを用いる。例えば画像の高さの１／２を閾値として定め、三角形の各辺のいずれか長さが、閾値より長い場合には、その領域を細分化するような特徴点を追加する。
【００４３】
このとき、最も長い辺を保持する三角形を特定してから特徴点を追加してもよいし、閾値以上の三角形領域が見つかった時点で特徴点を追加してもよい。この処理を、すべての三角形領域が上記条件を満たすか、あるいは、所定数の特徴点を追加した場合に、特徴点追加処理を終了する。
【００４４】
＜実施形態２＞
実施形態１では、三角形の歪み判定について、辺の長さを評価する例を示した。本実施形態では、形状の歪みを評価する別の方法を示す。なお、装置構成は、実施形態１で説明したものと同様である。
【００４５】
本実施形態では形状の歪みを評価するために、具体的には、三角形領域の各頂点（すなわち特徴点）の座標から各辺のベクトルを構成する。ベクトルを構成することで、その内積などを利用すれば各辺のなす角度を取得することができる。
【００４６】
三角形のいずれかの角度が鋭角であればあるほど、動きベクトルの推定時の補間処理に悪影響を与えることがある。つまり、補間処理をするときの面積が急激に変化することになる。特に、処理を高速化するために面積補間を整数演算で行う場合だと、精度を維持することができなくなる場合も発生する。
【００４７】
よって、各辺のなす角度の最小値が、所定の角度以下であれば、その三角形の内部もしくは周辺に特徴点を追加した上で、改めて領域分割を行う。所定の角度としては、例えば例えば５゜が挙げられる。それ以外の処理フローに関しては、実施形態１と同様である。
【００４８】
また、三角形の歪み判定は、三角形３辺の長さの比率を評価量としてもよい。例えば、「最も長い辺の長さ」と「最も短い辺」の長さの比率が大きいほど三角形の歪みも大きくなる。さらに、中間の辺の長さも組合せてもよい。「最も長い辺の長さ」と「中間の辺の長さ」の比率も評価量として利用できる。
【００４９】
なお、三角形の歪み判定の条件として、上述の実施形態１のように三角形の辺の長さや、実施形態２で説明した各種の条件を組み合わせることで、三角形の歪みを判定してもよい。
【００５０】
もちろん、三角形の歪みを判定する評価量はこれらに限定されることはなく、その他に三角形の歪みを判定する評価量であればどのような方法を用いてもよいことは言うまでもない。
【００５１】
＜実施形態３＞
実施形態１および２では、三角形の形状を判定して特徴点を増やす方法について説明した。本実施形態では、特徴点を減らす場合の方法を示す。なお、装置構成は、実施形態１で説明したものと同様である。
【００５２】
実施形態２で説明した通り、歪みの大きい三角形が出現すると面積補間による動きベクトル推定精度に不利となる。そこで、三角形の形状を判定して歪みがあるか否かを決定して、例えば、図１１の三角形１１０１に関して、三角形を構成する特徴点のひとつ（例えば特徴点１１０２）を削除してもよい。図１１の１１０２の特徴点を削除して領域を再分割した結果を図１２に示す。図１２の１２０１は、図１１で示した削除した特徴点１１０２の位置を示している。このように、歪みの大きな三角形を構成する特徴点を削除することでも歪みの三角形を低減することができる。すなわち、実施形態１または２で説明した特徴点の増加または実施形態３で説明した特徴点の削除によって、Ｓ３０４の領域分割で用いる特徴点を更新することができる（特徴点更新処理）。Ｓ３０４では、更新した特徴点を用いて領域再分割を行うことができる。
【００５３】
ここで、特徴点の削除については、三角形の最も短い辺を構成する特徴点のいずれかを削除してもよいし、特徴点らしさに基づいて特徴点を削除してもよい。つまり、特徴点らしさの低いほうを優先的に削除すればよい。
【００５４】
また、歪みが大きいと判定された三角形の近傍にある特徴点を削除してもよい。特に、特徴点の数が増えれば増えるにつれて、三角形の形状が複雑化するため、必ずしも判定された三角形を構成する特徴点を削除しなくても、周りの変化によって領域分割の結果は変わることがあるからである。
【００５５】
以上の実施形態によれば、画像から抽出した特徴点の画像における位置に応じて、特徴点の追加や削除を行うことにより、画像の領域を適切に分割して、特徴点の動きベクトルを精度良く決定することができる。
【００５６】
＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、本発明は、複数のプロセッサが連携して処理を行うことによっても実現できるものである。
【産業上の利用可能性】
【００５７】
本発明による動きベクトル演算方法は、コンピュータ上でノイズ低減処理方法や、ノイズ低減機能を搭載したデジタルスチルカメラやデジタルビデオカメラ等の撮像装置などに適用することができる。
【００５８】
また、画像として取り扱う場合は２次元空間平面での三角形分割として開示したが、３次元空間に拡張することも可能となる。例えば、３次元の色空間中で複数の任意色を好みの色に補正するようなカラーカスタマイズが考えられる。補正したい任意色を特徴点、補正量を動きベクトルとして考えれば、空間は特徴点によって複数の四面体で分割することができる。その場合は、２次元の三角形と同様に、歪みの大きな四面体が出現する可能性があり、本発明を応用することによって、同様の課題を解決できることは言うまでもない。
【図１】
0005558949.tif 000002
【図２】
0005558949.tif 000003
【図３】
0005558949.tif 000004
【図４】
0005558949.tif 000005
【図５】
0005558949.tif 000006
【図６】
0005558949.tif 000007
【図７】
0005558949.tif 000008
【図８】
0005558949.tif 000009
【図９】
0005558949.tif 000010
【図１０】
0005558949.tif 000011
【図１１】
0005558949.tif 000012
【図１２】
0005558949.tif 000013