(57)【特許請求の範囲】
【請求項１】
映像データにおける物体の追跡を行う映像編集方法において、
前記映像データから前記物体を含む少なくとも１枚の静止画像を参照画像として取得する工程と、
ユーザからの操作に応じて前記参照画像上に点又は領域を指定することにより、前記物体を複数の小物体に分割する工程と、
各小物体の接続点、及び該接続点の小物体間における接続関係を表す接続情報を前記分割工程における分割結果に基づいて算出する工程と、
前記小物体のそれぞれを物体追跡することにより、前記各小物体の接続点のそれぞれに対応する対応点を求める物体追跡工程と、
前記接続関係を有する対応点同士を接続線で接続することにより、前記物体を抽出する物体抽出工程とを具備することを特徴とする映像編集方法。
【請求項２】
前記物体追跡工程は、ロバスト統計によるアフィン変形推定を利用することを特徴とする請求項１に記載の映像編集方法。
【請求項３】
前記分割工程は、前記参照画像上で移動するポインタの通過軌跡における物体の画素データを消去することで当該物体を分割する工程からなることを特徴とする請求項１又は２のいずれか一項に記載の映像編集方法。
【請求項４】
前記分割工程は、前記参照画像上に領域を指定して前記物体を該領域により区分される複数の小物体に分割する工程からなることを特徴とする請求項１又は２のいずれか一項に記載の映像編集方法。
【請求項５】
前記分割工程は、小物体間の接続点を指定する工程と、
指定された前記接続点を含む分割線を前記参照画像に基づいて生成する工程とからなることを特徴とする請求項１又は２のいずれか一項に記載の映像編集方法。
【請求項６】
前記物体追跡工程による前回の物体追跡結果を用いて、今回の物体追跡に用いる参照画像を更新する工程を具備することを特徴とする請求項１乃至５のいずれか一項に記載の映像編集方法。
【請求項７】
前記物体の抽出結果に輪郭線補正を施す工程をさらに具備することを特徴とする請求項１乃至６のいずれか一項に記載の映像編集方法。
【請求項８】
前記接続情報を前記物体追跡工程の前後で保持する工程と、
前記物体追跡工程後の前記接続情報に基づいて、前記物体追跡結果を更新する工程と、
を具備することを特徴とする請求項１乃至７のいずれか一項に記載の映像編集方法。
【請求項９】
映像データにおける物体の追跡を行う映像編集プログラムであって、
前記映像データから前記物体を含む少なくとも１枚の静止画像を参照画像として取得する機能と、
ユーザからの操作に応じて前記参照画像上に点又は領域を指定することにより、前記物体を複数の小物体に分割する機能と、
各小物体の接続点、及び該接続点の小物体間における接続関係を表す接続情報を前記分割機能による分割結果に基づいて算出する機能と、
前記小物体のそれぞれを物体追跡することにより、前記各小物体の接続点のそれぞれに対応する対応点を求める物体追跡機能と、
前記接続関係を有する対応点同士を接続線で接続することにより、前記物体を抽出する物体抽出機能とをコンピュータに実現させるための映像編集プログラム。
【請求項１０】
前記物体追跡機能は、ロバスト統計によるアフィン変形推定を利用することを特徴とする請求項９に記載の映像編集プログラム。
【請求項１１】
前記分割機能は、前記参照画像上で移動するポインタの通過軌跡における物体の画素データを消去することで当該物体を分割する機能からなることを特徴とする請求項９又は１０のいずれか一項に記載の映像編集プログラム。
【請求項１２】
前記分割機能は、前記参照画像上に領域を指定して前記物体を該領域により区分される複数の小物体に分割する機能からなることを特徴とする請求項９又は１０のいずれか一項に記載の映像編集プログラム。
【請求項１３】
前記分割機能は、小物体間の接続点を指定する機能と、
指定された前記接続点を含む分割線を前記参照画像に基づいて生成する機能とからなることを特徴とする請求項９又は１０のいずれか一項に記載の映像編集プログラム。
【請求項１４】
前記物体追跡機能による前回の物体追跡結果を用いて、今回の物体追跡に用いる参照画像を更新する機能を具備することを特徴とする請求項９乃至１３のいずれか一項に記載の映像編集プログラム。
【請求項１５】
前記物体の抽出結果に輪郭線補正を施す機能をさらに具備することを特徴とする請求項９乃至１４のいずれか一項に記載の映像編集プログラム。
【請求項１６】
前記接続情報を前記物体追跡の前後で保持する機能と、
前記物体追跡後の前記接続情報に基づいて、前記物体追跡結果を更新する機能と、
を具備することを特徴とする請求項９乃至１６のいずれか一項に記載の映像編集プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、映像中の物体を追跡して抽出するといった映像編集に好適な映像編集方法及びプログラムに関する。
【０００２】
【従来の技術】
画像処理の分野において、映像中の特定の被写体に注目しその物体を追跡する技術がある。この技術は、映像中の物体に関連情報（例えば名前や値段など）を付与しておき、ユーザーが該物体をポインティングした際に関連情報を提示するといったインタラクティブな映像を制作する際に、アンカー領域の指定に用いられたり、追跡された物体を背景から切り出して別の背景画像に合成して加工する映像作成やＷｅｂページのコンテンツ作成等に利用される。
【０００３】
動画像圧縮の国際規格であるＭＰＥＧ−４においては、参考文献１「MPEG-4 standardized methods for the compression of arbitrarily shaped video objects」 N. Brady(IEEE Transactions on Circuits and Systems for Video Technology, vol. 9, no. 8, pp. 1170-1189, December 1999）に記載のように、物体毎にデータを符号化するオブジェクト符号化の機能が採用されている。このオブジェクト符号化においては、符号化する前のオブジェクトデータの作成のために、映像中における物体の追跡切り出し技術が利用されている。
【０００４】
その具体的なアルゴリズムの一つとして、特開２０００−１３２６９１号公報「映像領域追跡方法および装置」（参考文献２「ロバスト統計による変形推定を用いた高速な物体追跡手法」金子，堀（第５回画像センシングシンポジウム講演論文集，SII'99, C-18, pp.129-134, 1999)）がある。本手法について、図１０を参照して説明する。
【０００５】
すなわち、参照画像においてユーザの手入力によって指定された物体領域から、図１０（ａ）のように追跡に効果的な有限個の特徴点を選択する。具体的には、物体領域において所定間隔で特徴点候補を格子状に配置し、特徴点候補を中心に所定の大きさのブロック（例えば８×８画素）を定め、このような特徴点候補を中心に周囲領域においてブロックマッチングを行い、このブロックマッチングから得られた類似度が低い、つまり、処理画像との追跡を行う際のブロックマッチング誤り（追跡誤り）が起こりにくいと判断される特徴点候補を、信頼性の高いものから順に所定数だけ選択する。
【０００６】
続いて、図１０（ｂ）のように、参照画像に配置された特徴点を中心としたブロックと処理画像とでブロックマッチングを行って移動ベクトルを推定する。一般に、これら移動ベクトルには外れ値が含まれているから、ロバスト推定によって物体の変形を表すアフィン（Ａｆｆｉｎｅ）パラメータを推定し、図１０（ｃ）のように処理画像における物体の追跡を実現することができる。
【０００７】
【発明が解決しようとする課題】
しかしながら、アフィン変形推定を用いる従来の物体追跡手法では、物体の移動に対して１組のアフィンパラメータによって変形推定を行うものであることから、参照画像からの物体の変形が１組のアフィン変形では近似できない場合に適切かつ高精度な追跡結果が得られないおそれがある。
【０００８】
本発明はかかる事情を考慮してなされたものであり、参照画像からの物体の変形が１組のアフィン変形では近似できない場合であっても適切かつ高精度な追跡結果を得ることのできる映像編集方法及びプログラムを提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記目的を達成するために、本発明の映像編集方法及びプログラムは次のように構成されている。
【００１０】
本発明に係る映像編集方法は、映像データにおける物体の追跡を伴う映像編集方法において、前記映像データから前記物体を含む少なくとも１枚の静止画像を参照画像として取得する工程と、ユーザからの操作に応じて前記参照画像上に点又は領域を指定することにより、前記物体を複数の小物体に分割する工程と、前記複数の小物体間の接続情報を前記分割工程における分割結果に基づいて算出する工程と、分割された前記複数の小物体のそれぞれを物体追跡する物体追跡工程と、を具備することを特徴とする。
【００１１】
また、本発明に係る映像編集プログラムは、映像データにおける物体の追跡を伴う映像編集プログラムであって、前記映像データから前記物体を含む少なくとも１枚の静止画像を参照画像として取得する機能と、ユーザからの操作に応じて前記参照画像上に点又は領域を指定することにより、前記物体を複数の小物体に分割する機能と、前記複数の小物体間の接続情報を前記分割機能による分割結果に基づいて算出する機能と、分割された前記複数の小物体のそれぞれを物体追跡する物体追跡機能と、をコンピュータに実現させるための映像編集プログラムである。
【００１２】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を説明する。
【００１３】
（第１実施形態）
図１は、本発明の第１実施形態に係る映像編集処理の流れを示すフローチャートである。かかる映像編集処理は、例えば図示しないコンピュータ上で動作するプログラムとして実現される。コンピュータとしては、例えば汎用のパーソナルコンピュータ（ＰＣ）や画像処理用のワークステーション（ＷＳ）であり、これらは基本的なハードウェア構成として、ＣＰＵ、メモリ、外部記憶装置、グラフィックボード（画像処理ユニット）、ディスプレイ、ならびにキーボードおよびマウス等の入出力デバイスを備える。また、本実施形態に係るコンピュータプログラムは、同コンピュータ上で動作するオペレーティングシステム（ＯＳ）に対応するアプリケーションプログラムとして実現することができる。
【００１４】
本実施形態に係る映像編集処理は、物体の映像データ（動画像）を入力し、後に詳述する物体情報抽出を行ったのち、物体追跡を実行しその追跡結果を出力するというものであり、図１に示すように参照画像記憶工程Ｓ１０１と、物体情報抽出工程Ｓ１０２と、物体追跡工程Ｓ１０３とにより構成されている。
【００１５】
先ず、参照画像記憶工程Ｓ１０１では、映像データにおける任意の時点の静止画像を参照画像として得る。例えばこの参照画像は追跡対象の物体が映像中で最初に出現するフレームであったり、物体を表す一連のフレームのうち、ユーザにより指定された任意の時点のものであったりする。参照画像は上記コンピュータ内のメモリ及び外部記憶装置に一時的に記憶される。
【００１６】
次に、物体情報抽出工程Ｓ１０２では、参照画像における物体の位置及び構造に関する情報を抽出する。物体の位置及び構造に関する情報とは、参照画像中において物体がどのような形で、参照画像中のどの位置に存在しているかを表す情報であり、一般に「マスク画像」という。マスク画像は例えば「０」又は「１」のいずれかのみの画素値から構成される画像、いわゆる二値画像である。
【００１７】
この物体情報抽出工程Ｓ１０２は、上述した特開２０００−１３２６９１号「映像領域追跡方法および装置」に記載のロバスト統計による変形推定を利用した物体追跡手法において、参照画像に対してユーザの手入力によって物体領域を指定する部分に相当する。また上述したように、この従来手法による追跡は１組のアフィンパラメータで表される変形として追跡を行うものであるから、自動車や人の顔等は追跡できるが例えば顔と体が別々に動くような人物上半身など、複数の物体から成る被写体に対しては精度良く追跡することにやや難があった。
【００１８】
そこで、本実施形態の物体情報抽出工程Ｓ１０２では、物体についての属性情報として、物体全体についての位置及び構造を抽出するのみならず、この物体を複数の小物体に分割することができ、かかる分割を行った場合に、それぞれの小物体毎に（ラベリングされた）位置及び構造の情報を抽出するよう構成されている。尚、これら複数の小物体間のつながり、すなわち小物体間の接続情報については、必要であればこれを抽出し保存するよう構成することが好ましい。後述する第８実施形態では、保存された接続情報に基づいてマスク画像を高精度化する。
【００１９】
物体情報抽出工程Ｓ１０２は、図２に示すように、物体背景分離工程Ｓ２０１と物体分割工程Ｓ２０２とに大別される。物体背景分離工程Ｓ２０１では、参照画像内の物体と背景とを分離し、物体の位置・構造の情報を抽出する。この物体背景分離工程Ｓ２０１は、例えば、複数の画素から成るポインタをユーザの操作により画面内で移動させ、ポインタが移動した領域を物体領域とし、その形や位置を抽出する方法（特開２００１−１４４７７号公報）や、物体の色情報に基づく領域分割法、参照画像内のエッジ情報をもとに物体の輪郭線を画素単位で追跡する輪郭線追跡法、動的輪郭線を使うスネイク法、あるいは、物体が存在しない背景画像が別途存在する場合は背景差分法など、既知の物体領域指定方法を用いて実現できる。
【００２０】
次の物体分割工程Ｓ２０２は、マウス等へのユーザの操作に応じてポインタを画像内で移動させるなどして物体を複数の小物体に分割する工程である。図３を用いて、物体分割工程Ｓ２０２の一例を詳細に説明する。まず、図３（ａ）は背景ＢＫ０の上に物体である人物上半身Ｓが描出された初期の参照画像の一枚を示している。一方、図３（ｂ）は、物体背景分離工程Ｓ２０１によって、物体Ｓが背景から分離された参照画像である。分離された背景部分ＢＫ１は所定の画像パターン（チェック柄の模様等）で塗りつぶされる。尚、図では説明のため空白により塗りつぶしてある。
【００２１】
ここで、図４は、本実施形態の物体分割工程Ｓ２０２に適用される分割用ポインタを説明するための図である。すなわち、図４（ａ）に示すＰ１は、ユーザの操作に応じて画面内を移動するポインタであり、その通過軌跡における物体の画素データを消去する（背景の画素データにする）ことで当該物体を分割するための分割ツールを構成する。ユーザは、図４（ｂ）に示すように分割ツールＰ１を画像内で移動させ、物体を複数の小物体に分割する。ここでは、人物上半身を、顔部分と体部分の二つの小物体に分割している。この分割ツールＰ１を用いることによって、図４（ｃ）のように、顔部分の位置・構造情報と、体部分の位置・構造情報とをそれぞれ得て保持する。また、顔部分と体部分とからなる二つの小物体間の接続情報として、分割ツールＰ１が物体に入り込んだ点と抜け出た点の座標をそれぞれ保持する。この図４の例は分割ツールＰ１を用いて物体を２つの小物体に分割し、それぞれについての位置・構造情報を抽出するものであるが、３つ以上の小物体に分割しても良いことは勿論である。
【００２２】
次に、物体追跡工程Ｓ１０３は、参照画像において分割されたそれぞれの小物体について、各々抽出された位置・構造情報を用い、上述した公知の物体追跡手法を施す工程である。なお、物体追跡手法は上述した特開２０００−１３２６９１号「映像領域追跡方法および装置」に記載のロバスト統計による変形推定を利用した物体追跡手法のみに限定されない。
【００２３】
より具体的には、この物体追跡工程Ｓ１０３は、第１の小物体（例えば顔）についての物体追跡を図１１のフローに従って第１のアフィン変形により処理し、第２の小物体（例えば胴体）についての物体追跡を同図１１のフローに従って第２のアフィン変形により処理する。
【００２４】
図１１は、物体追跡工程Ｓ１０３の詳細を示すフローチャートである。
【００２５】
これは、ロバスト統計によるアフィン変形推定を利用した物体追跡アルゴリズムの実現手順を示すものである。
【００２６】
（ステップＳ１）  図１２（ａ）に示すような入力映像（参照フレーム画像）に対応するマスク領域を図１２（ｂ）のように入力する。
【００２７】
（ステップＳ２）  図１３に示すように、参照フレームにおいて特徴点Ｐ１〜Ｐ９を選択する。
【００２８】
（ステップＳ３）  フレームナンバーを示す変数ｉを初期化し、これをｉ＝(初期フレームナンバー＋１)に設定する。
【００２９】
（ステップＳ４）  図１４に示すように、初期フレームと第ｉフレームの輝度情報を用い、各特徴点を含むブロックのブロックマッチングによってアフィン変形パラメータをそれぞれ求める。さらに、ロバスト推定によって一組のアフィン変形パラメータを求める。
【００３０】
（ステップＳ５）  図１５に示すように、ステップＳ４で求められたアフィン変形パラメータを用い、マニュアル入力された初期フレームにおけるマスクを変形し、第ｉフレームでのマスクを推定する。これによって、図１６（ａ）に示すような第ｉフレーム画像におけるマスク領域を図１６（ｂ）のように求めることができる。
【００３１】
（ステップＳ６）  フレームナンバーｉが終了フレームに達していれば処理を終了する。達していなければ、ｉに１を加算（ステップＳ７）して、ステップＳ４に戻る。
【００３２】
したがって、参照画像における物体からの物体の変形が、複数のアフィン変形で表される場合であっても映像中の物体を適切かつ高精度に追跡することが可能になる。尚、各小物体間の接続情報を保持している場合は、これが保たれるよう追跡処理を行うことが好ましい。
【００３３】
（第２実施形態）
本実施形態は、第１実施形態で説明した物体分割工程Ｓ２０２において、分割ツールＰ１に代えて小物体選択ツールを用いるものであり、これにより第１実施形態と同様に小物体の位置・構造情報を抽出するよう構成される。その他の工程については第１実施形態と同様である。図５は、本実施形態の小物体選択ツールを説明するための図である。図５に示すＴ１〜Ｔ３は、物体領域から小物体を選択するための選択ツールの構成要素である。ユーザが、図５（ａ）の人物上半身から顔部分を小物体として選択したい場合、まず、図５（ａ）のように小物体の外側に選択始点Ｔ１を指定する。続いて、ユーザが選択ツールＴ２を移動させることによって、選択始点Ｔ１と選択ツールＴ２によって囲まれる図５（ｂ）のような可変矩形（楕円としてもよい）Ｔ３を選択範囲として画面上に表示させる。そして図５（ｃ）に示すように、選択範囲に顔部分が含まれるようにユーザが選択ツールＴ２を操作する。なお、物体背景分離工程Ｓ２０１によって背景から物体が分離された物体領域のうち、顔部分以外の領域として、体部分を選択してもよい。これによって、顔部分の位置・構造情報と、体部分の位置・構造情報とをそれぞれ抽出できる。また、顔部分、体部分からなる二つの小物体間の接続情報としては、選択範囲と物体領域との交点を保持すればよい。例えば図５（ｃ）において、Ｔ３に相当する選択範囲は、体部分（頚）の両端２点で交わっている。
【００３４】
以上説明したように、本実施形態によっても第１実施形態と同様に物体の位置・構造情報を精度良く抽出することができるようになる。
【００３５】
（第３実施形態）
本実施形態は、第１実施形態で説明した物体分割工程Ｓ２０２において、分割ツールＰ１に代えて接続点指定ツールを用いるものであり、これにより第１実施形態と同様に小物体への分割を行うよう構成される。その他の工程については第１実施形態と同様である。図６は、本実施形態の接続点指定ツールを説明するための図である。図６に示すＵ１〜Ｕ４は、物体背景分離工程Ｓ２０１によって背景から物体が分離された物体領域内で接続点を指定するための指定ツールの構成要素である。ユーザが、図６（ａ）の人物上半身から顔部分と体部分とをそれぞれ小物体として分割したい場合、まず、図６（ａ）のように、顔部分と体部分との境界となる位置に指定ツールＵ１を移動させ、これを接続点として指定する。そうすると図６（ｂ）のように、指定された点から最も距離が短くなる背景領域の位置Ｕ２と、その反対方向で最も距離が短くなる背景領域の位置Ｕ３とを自動的に導出する。これらＵ２−Ｕ１−Ｕ３の３点を結ぶように分割線（自由曲線が好ましい）Ｕ４で繋ぐ。かくして図６（ｃ）に示すように、顔部分と体部分とからなる二つの小物体を得ることができる。したがって、顔部分の位置・構造情報と、体部分の位置・構造情報とをそれぞれ抽出できる。また、顔部分、体部分からなる二つの小物体間の接続情報としては、接続点Ｕ１、もしくは、分割位置Ｕ２，Ｕ３の座標を保持すればよい。
【００３６】
以上説明したように、本実施形態によっても第１実施形態と同様に物体の位置・構造情報を精度良く抽出することができる。
【００３７】
（第４実施形態）
本実施形態は、物体情報抽出工程Ｓ１０２において上述した第１実施形態乃至第３実施形態のように先ず一つの物体として物体背景分離工程Ｓ２０１によって物体領域を背景から分離し、次にこの物体領域を小物体に分割するという工程ではなく、参照画像記憶工程Ｓ１０１において記憶した参照画像に対する処理によって複数の小物体からなる物体の位置・構造情報を抽出するというものである。例えば、図７（ａ）が、参照画像記憶工程Ｓ１０１において記憶された参照画像とする。まず、ユーザは第１実施形態における物体背景分離工程Ｓ２０１で説明した特開２００１−１４４７７号公報に記載の方法等を用いて顔部分のみを参照画像から分離する。すなわち、図７（ａ）の参照画像に対して、ユーザの操作によって複数の画素から成るポインタを画面内で移動させ、このポインタが移動した領域を物体領域として指定する方法によって顔部分Ｒ１のみを図７（ｂ）のように分離する。続いて、図７（ａ）の参照画像に対して、同様にポインタを画面内で移動させ、このポインタが移動した領域を物体領域として指定する方法によって体部分Ｒ２のみを図７（ｃ）のように分離する。このようにして、複数の領域に対して独立に物体領域と背景領域を指定して行くことにより、複数の小物体についての位置・構造情報を抽出することができる。尚、接続情報としては、重なり領域の端点や重心等を保持すればよい。
【００３８】
以上説明したように、本実施形態によっても第１実施形態と同様に物体の位置・構造情報を精度良く抽出することができる。
【００３９】
（第５実施形態）
物体追跡工程Ｓ１０３の追跡処理における物体抽出情報としての位置・構造情報（参照フレーム及び参照マスク）に関し、第１実施形態は、常に参照画像記憶工程Ｓ１０１に記憶された同一の参照フレーム及び参照マスクと、物体情報抽出工程Ｓ１０２によって抽出された情報を用いて、処理画像における小物体毎の追跡を行なうものであった。本実施形態では、既に物体追跡処理を行った過去の処理画像の物体追跡結果により参照フレーム及び参照マスクを更新（刷新）する。つまり、追跡処理によって推定された物体の位置・構造情報を基に、処理画像における物体の追跡を行うのである。
【００４０】
これにより、処理画像の物体について、参照画像からの変形よりもその程度が小さくなる可能性が高い物体の位置・構造情報を用いることから、より精度良く追跡処理を行うことが可能になる。
【００４１】
（第６実施形態）
本実施形態は、第１実施形態乃至第５実施形態で説明した物体追跡工程Ｓ１０３の後処理として、特開２０００−８２１４５号公報「物体抽出装置」（参考文献「ＬＩＦＳを用いた被写体輪郭線の高精度な抽出」井田、三本杉、渡邊（電子情報通信学会論文誌、D-II, vol. J82-D-II, no. 8, pp. 1282-1289, 1999)）に記載の輪郭補正処理を施す。これにより物体の追跡精度をさらに向上することができる。
【００４２】
これまで説明した追跡処理では、アフィン変形のみで物体の変形を表現するので、誤差が生じることがある。たとえば、図８（ａ）のＨ１は、ある参照画像の人物上半身の形（マスク画像）に対して、推定されたアフィン変形を施したものであるが、処理画像中の人物上半身の形とはやや輪郭線がずれている。この場合、上記特開２０００−８２１４５号公報「物体抽出装置」に記載の輪郭補正処理を施すことによって、図８（ｂ）のように、より精度良く形の追跡を行うことができるようになる。
【００４３】
（第７実施形態）
本実施形態は、上記第６実施形態と上記第５実施形態との組み合わせに関する。すなわち、本実施形態では、上記第６実施形態で説明した輪郭補正処理を施すことによって精度良く追跡した物体の位置・構造情報を第５実施形態で説明したように物体抽出情報として用い、処理画像における物体の追跡を行う。
【００４４】
これによって、処理画像の物体に対して、より近い変形で表現される物体の位置・構造情報を用いることができる上、その位置・構造情報についても輪郭補正処理によって精度が高められた情報であることから、より精度良く処理画像の物体の追跡処理を行うことが可能になる。
【００４５】
（第８実施形態）
本実施形態は、第１実施形態で説明した接続情報を保った追跡処理について、詳細に説明する実施形態である。
【００４６】
図９（ａ）に示すように、物体分割工程Ｓ２０２によって人物上半身が、顔部分と体部分とに分割されているとする。ここで、人物上半身右側での２つの接続点Ｃ１，Ｃ２の座標と、人物上半身左側での２つの接続点Ｑ１，Ｑ２の座標とを併せて記憶しておく。上記第１実施形態に従い、顔部分、体部分が各物体毎に、独立に追跡処理に供される。このとき、接続点Ｃ１，Ｃ２およびＱ１，Ｑ２も、独立して移動する。
【００４７】
物体追跡工程Ｓ１０３の後、本実施形態では、図９（ｂ）に示すように、顔部分の右側の接続点Ｃ１と体部分において対応する接続点Ｃ２とを接続線Ｗ２により接続する。また、顔部分の左側の接続点Ｑ１と体部分において対応する接続点Ｑ２とを接続線Ｗ１により接続する。さらに、これら接続線Ｗ１、Ｗ２、ならびに顔部分の境界線及び体部分の境界線によって囲まれる領域を物体部分とする。これにより接続情報を保った追跡処理を実現できるようになる。その結果として得られた人物上半身領域の位置・構造情報を示すマスク画像を図９（ｃ）に示す。このような第８実施形態によれば、画像中において物体を切り出す（抽出する）際の精度を向上できる。
【００４８】
なお、本発明は上述した実施形態に限定されず種々変形して実施可能である。
【００４９】
【発明の効果】
以上説明したように、本発明の映像編集方法によれば、参照画像中の複数小物体の位置・構造情報をそれぞれ抽出することにより、これに応じて複数のアフィン変形の組み合わせにより物体の追跡が可能になる。したがって、参照画像における物体の変形が複数のアフィン変形の組み合わせで近似できる物体に対しても映像中の物体を精度良く追跡することができる。
【図面の簡単な説明】
【図１】  本発明の第１実施形態に係る映像編集処理の流れを示すフローチャート
【図２】  図１における物体情報抽出工程の詳細を示すフローチャート
【図３】  第１実施形態に係る物体分割工程の一例を詳細に説明するための図
【図４】  第１実施形態に係る分割用ポインタを説明するための図
【図５】  第２実施形態に係る小物体選択ツールを説明するための図
【図６】  第３実施形態に係る接続点指定ツールを説明するための図
【図７】  第４実施形態に係る参照画像に基づく物体の位置・構造情報の抽出を説明するための図
【図８】  第６実施形態を説明するための図であって、アフィン変形のみに基づく輪郭線のずれを示す図
【図９】  第８実施形態に係る接続情報を保った追跡処理を説明するための図
【図１０】  ロバスト統計による変形推定を用いた高速な物体追跡手法を説明するための図
【図１１】  物体追跡手法の処理工程を示すフローチャート
【図１２】  物体追跡手法の処理工程を説明するための図であって、参照フレーム及びそのマスク画像を示す図
【図１３】  物体追跡手法の処理工程を説明するための図であって、参照フレームにおける特徴点の選択を示す図
【図１４】  物体追跡手法の処理工程を説明するための図であって、特徴点の移動先を示す図
【図１５】  物体追跡手法の処理工程を説明するための図であって、第ｉフレームのマスク画像の変形推定を示す図
【図１６】  第ｉフレームの参照画像及びそのマスク画像を示す図
【符号の説明】
Ｓ１０１…参照画像記憶工程
Ｓ１０２…物体情報抽出工程
Ｓ１０３…物体追跡画像
Ｓ２０１…物体背景分離工程
Ｓ２０２…物体分割工程
【図１】
0003677253.tif 000002
【図２】
0003677253.tif 000003
【図３】
0003677253.tif 000004
【図４】
0003677253.tif 000005
【図５】
0003677253.tif 000006
【図６】
0003677253.tif 000007
【図７】
0003677253.tif 000008
【図８】
0003677253.tif 000009
【図９】
0003677253.tif 000010
【図１０】
0003677253.tif 000011
【図１１】
0003677253.tif 000012
【図１２】
0003677253.tif 000013
【図１３】
0003677253.tif 000014
【図１４】
0003677253.tif 000015
【図１５】
0003677253.tif 000016
【図１６】
0003677253.tif 000017