(57)【要約】  本発明は対象の切り出し及び追跡のためのモデルに基づく方法に向けられている。本発明の方法が、対象を識別する際に、利用者から要求する入力は限定的である。本発明では、ありうる対象の一覧表から、追跡する対象型を、利用者が識別する必要がある。この一覧表は、人、車、顔等のような、最も一般的な対象から作られる。必要に応じて、より多くの対象をモデル化し、一覧表に追加することができる。対象の特定の型を選択すると、その対象型に関する知識を活用する算法を起動することになる。これにより対象を切り出し追跡する精度を高める。
2009539175.tif 000002
【特許請求の範囲】
【請求項１】
対象を選択する工程；
対象型を選択した前記対象に対して関連付ける工程；及び
関連付けた前記対象型に対応する、複数の対象追跡処理のうちの１つを有効にする工程；
を含む映像対象追跡のための方法。
【請求項２】
前記対象を選択する前記工程は：領域を用いて前記対象を切り出す工程；対象の境界の点を選択する工程；領域を集約する工程；及び、選択した領域と、対象の境界の選択した点とを、結合する工程；のうちの１つを含む、請求項１の方法。
【請求項３】
境界の点を選択する前記工程は、追跡する対象の周囲に輪郭を作成する点を選択する工程を含む、請求項２の方法。
【請求項４】
前記対象型を関連付ける前記工程は、選択した前記対象に関連する既知の対象型の一覧表から選択する、請求項１の方法。
【請求項５】
複数の対象追跡処理のうちの前記１つは、前記対象型を選択することができない場合は、汎用の対象追跡処理を含む、請求項４の方法。
【請求項６】
前記複数の対象追跡処理は、以前に識別していない対象型のための対象追跡処理を含むように拡張される、請求項１の方法。
【請求項７】
前記複数の対象追跡処理は、球の対象、人の対象、乗物の対象、襯衣の対象及び木の対象のうちの１つのための処理を含む、請求項１の方法。
【請求項８】
対象を選択する前記工程は、複数の対象を選択する工程を含み、前記複数の対象の各々についてそれぞれの対象追跡処理が有効となる、請求項１の方法。
【請求項９】
前記対象型は形状及び動的な特性により記述される、請求項１の方法。
【請求項１０】
映像場面から対象を選択する工程；
対象型を前記対象に対して定義する工程；及び
定義した前記対象型に対応する、複数の対象追跡工程のうちの１つを選択する工程；
を含む映像対象追跡の方法。
【請求項１１】
前記対象追跡工程は、新しく定義した対象型に適応した、追加の対象追跡処理を含むように拡張できる、複数の対象追跡処理のうちの１つである、請求項１０の方法。
【請求項１２】
前記対象追跡工程は、異なる対象型について各々選択可能な、複数の対象追跡処理のうちの１つである、請求項１０の方法。
【請求項１３】
対象の前記領域を選択する前記工程は、前記映像場面における領域を選択することにより前記対象を切り出す工程を含む、請求項１０の方法。
【請求項１４】
対象の前記領域を選択する前記工程は、前記映像場面における対象の前記境界の点を選択する工程を含む、請求項１０の方法。
【請求項１５】
対象の前記領域を選択する前記工程は、映像場面における領域を集約する工程を含む、請求項１０の方法。
【請求項１６】
対象の前記領域を選択する前記工程は、前記映像場面における選択した領域と、前記映像場面における対象の境界の選択した点とを結合する工程を含む、請求項１０の方法。
【請求項１７】
前記対象型を定義する前記工程は、既知の対象型の一覧表から対象型を選択する工程を含む、請求項１０の方法。
【請求項１８】
前記対象は形状及び動的な特性により定義できる、請求項１０の方法。
【請求項１９】
選択した前記対象追跡工程は、定義された前記対象型に適応可能な、請求項１０の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本願発明は一般に映像対象の切り出し及び追跡に関し、より詳細には映像対象の複数追跡に関する。
【背景技術】
【０００２】
映像対象の切り出し及び追跡は、計算機視覚処理及び映像処理に応用がたくさんある。例えば対象に基づく符号化及び映像の編集作業である。現在、映像対象の切り出し及び追跡が含むのは、対象の切り出しを映像の最初の画面で行い、引き続きその後の画面でその対象を追跡することである。この追跡は、最初の画面で切り出すために用いた切り出しの方法に依存する。
【０００３】
現在の切り出し技法は、領域に基づくか、境界に基づくか、又は領域と境界の技法の結合であるかの何れかである。領域に基づく切り出しは、画素をその近似性及び同類性に基づく領域にまとめる。領域に基づく切り出しは、何らかの基準を満たすまで、分割と結合により、まとまりを作る。領域に基づく算法は、対象を切り出しすぎる傾向があり、複雑な模様の対象には不向きである。境界に基づく切り出しは、対象の境界を追跡し、例えば、対象の境界に曲線を配置する。境界に基づく技法は、対象の内容を考慮しない。境界に基づく技法は、最初に良い輪郭処理を行うことが必要であり、個別の領域が別の領域の境界の内部に完全に含まれる場合に問題がある。領域の切り出しと境界の切り出しを結合した技法は、対象の境界近辺で領域の増大を制限する。一般に、領域の切り出しと境界の切り出しを結合した技法は、良い結果を生じるが、時間がかかる。現在の追跡算法は、最初の画面で用いた切り出しの方法に強く依存する。領域に基づく切り出しでは、追跡は、後続の画面においてその領域の移動を推測することから成り立つ。境界（又は曲線）に基づく切り出しを用いる場合には、追跡は、後続の画面において曲線の位置を見つけることから成り立つ。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
現在、映像対象の切り出し及び追跡は、対象型に関する知識を有効に活用していない。現在の切り出し及び追跡の技法は、機能が限られており、特定の型の対象にしか動作しない。現在の技法の多くは半自動である。すなわち、利用者が、目的の対象を識別し、不正確な結果は手で直す必要がある。
【課題を解決するための手段】
【０００５】
映像対象を追跡するための本発明の方法は、次の工程を含む：対象を選択する工程；その対象に対象型を関連付ける工程；及び関連付けた対象型に対応する複数の対象追跡処理のうちの１つを有効にする工程。好適な実施例では、対象を選択する工程は、次の工程のうちの１つを含む：領域を用いて対象を切り出す工程；対象の境界の点を選択する工程；領域を集約するか又は対象の選択した領域と選択した境界の点とを結合するかの工程。対象追跡処理は、新しく作成した対象型に適応した追跡処理を含むように拡張することができる。
【０００６】
本発明の別の実施例では、映像対象追跡の方法は、次の工程を含む：映像場面から対象を選択する工程；その対象について対象型を定義する工程；及び定義した対象型に対応する複数の対象追跡工程のうちの１つを選択する工程。
【発明を実施するための最良の形態】
【０００７】
本発明の利点、本性、及び種々の追加的な特徴は、添付の図面に関して詳細に述べる実施例を検討することにより、よりよく理解できる。
【０００８】
図面は本発明の概念を例示する目的のものであることを理解されたい。図面は本発明を例示するために唯一可能な構成であるとは限らないことを理解されたい。
【０００９】
映像の編集作業や他の応用において、本発明による対象の切り出し及び追跡が性能を向上させるのは、数多くの算法を実装することによる。人の顔や車といった共通の対象型の各々に対して、異なる算法を用いる。各算法はその対象型についての知識を活用して、システムの切り出しと追跡との性能を向上させる。目的の対象が一覧表に含まれない場合は、システムは滑り止めの汎用算法を実装する。本発明の手法は本質的に適応的である。即ち、共通の対象をより多く識別するほど、新しい算法を追加することができる。本発明は、既存の対象の切り出し及び追跡手法の制限に対して、著しい改良である。既存の手法は、完全な映像対象のかわりに、均一な特徴を有する切り出した領域を追跡することに向けられている。
【実施例】
【００１０】
図１の１００を参照すると、映像対象１０１は、複数の領域であるＲ１（１０３），Ｒ２（１０４）、及びＲ３（１０２）に切り出される。追跡する対象を識別するのに加えて、対象型を、利用者は、処理の先頭で入力しなければならない。
【００１１】
図２に、本発明の処理の流れ図２００を示す。この図で、２０１において、利用者は、追跡する対象を識別又は選択する。利用者は、２０２で、映像対象を形成するために、次の手段を用いて対象を切り出す：領域を用いる；対象の境界の点を選択する；領域と境界の混合；又は領域を集約する。例えば、点を選択することにより、追跡する対象の周囲に輪郭を作成できる。２０３で、利用者は更に対象型を識別する。これは例えば引き出される一覧表から選択する。この一覧表は、編集作業で通常追跡する対象（例えば人）を含むことができる。２０４で、対象型が一覧表に無い場合は、２０５で、本発明の方法では切り出した対象を追跡するために汎用の方法を用いる。対象型が一覧表にあれば、２０６で、その対象型に基づく追跡算法を用いる。
【００１２】
追跡する対象型を指定するのに加えて、利用者は、追跡処理をよりよく助けるための追加的な手がかりを提供してもよい。例えば、利用者は、選択した対象の向きを指定してもよい。これは、映像と対象型のモデルとの双方に顕著な特徴部を選ぶことによって行う。別の例として、利用者は、反射する表面及び起こりうる何らかの変形変換の特性を提供してもよい。これにより対象の反射の追跡を改善する。
【００１３】
多くの場合、対象の追跡を、その場面の第２の対象を追跡することによって、補助してもよい。複数の対象を追跡することが有益でありうるのは、追跡する対象はしばしば他の対象の近くにあるからである。複数の対象を追跡することは実装するのがより困難である。対象は他の対象と接触、閉塞、相互作用することができ、画像に入ったり出たりできるからである。利用者は追跡する第２の対象を選択することができる。利用者はまた、閉塞する対象の特性についての情報（もしあれば）を提供することもできる。これにより、追跡がより容易になり、より良い追跡結果をもたらす。
【００１４】
図３の３００が示す通り、利用者が対象を対象追跡一覧表３０６から選択して、適切な追加の情報を何でも提供したならば、新しい追跡算法を起動することになる。例として示す球の算法３０１、人の算法３０２、乗物の算法３０３、襯衣の算法３０４、木の算法３０５は、本発明による対象の切り出し及び追跡の、多様で適応的な本性を説明するものである。本発明は対象型を活用し、より精確な対象の追跡を行う。追跡する対象型は、球のような単純なものでもよいし、乗物のようなより複雑なものでもよい。複雑な対象の部分型として、３次元モデルを用いて追跡を補助することができる。３次元モデルを用いて、対象の形状と、対象の可能な動的な特性（例えば動き方）との双方を記述することができる。
【００１５】
システムは必要に応じて新しい対象型を一覧表に追加することができる。これにより、切り出し追跡する映像対象型を変更する又は新しい映像対象型を追加することに対して、システムが適応的になる。例えば、襯衣のような、変形しやすい表面を追跡する新しい技法がより使用可能になるにつれ、新しい対象型と新しい算法を追加することができる。
【００１６】
本発明は対象型を活用して、切り出しの精度を高める。追加的な利用者からの入力が必要であるが、大きな負担ではない。本発明の計算要求は単純である。ただ１つの対象追跡算法を、１つの対象につき起動するからである。本発明の処理により、対象追跡算法を動的に結合することができる。これにより、効率を改善し、必要に応じて新しい型を簡単に追加することができる。
【００１７】
本発明を主に映像の流れの文脈で論じたが、奥行（深さ）の情報を含めることにより対象追跡の結果を著しく改善することができる。追跡する対象についての３次元情報により、３次元モデルを素早く作成することができ、画像をより精確に処理できる。奥行の情報は例えばレーザー又は立体画像を用いて取得時に得ることができる。奥行の情報はまた２次元画像からも得ることができる場合がある。
【００１８】
映像の流れを応用とする対象の切り出し及び追跡に対する複数追跡の方法のための好適な実施例を記載した。当業者は、前述の教示に照らして、変更及び変形を行うことができることに注意されたい。従って、開示した本発明の特定の実施例において、添付の特許請求の範囲が定義する本発明の範囲と精神の内部で、変更を行ってもよいということを理解しなければならない。本発明を特許法が要求する詳細度で記載した。特許証書により保護されるべき特許の請求項は添付の特許請求の範囲に記載する。
【図面の簡単な説明】
【００１９】
【図１】本発明による、複数の領域に切り出された（分割された）画像対象を示す。
【図２】本発明による、複数の対象を切り出し追跡する算法の処理を示す。
【図３】本発明により、いかに各映像対象が個々の追跡算法を起動するかを示す。
【図１】
2009539175.tif 000003
【図２】
2009539175.tif 000004
【図３】
2009539175.tif 000005
【手続補正書】
【提出日】平成20年12月2日(2008.12.2)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１の映像対象を映像の流れから選択する工程；
前記第１の映像対象を領域に分割する工程；
選択した領域を結合することにより第２の映像対象を形成する工程；
対象型を前記第２の映像対象に対して関連付ける工程；及び
関連付けた前記対象型に対応する対象追跡処理を、前記第２の映像対象に対して有効にする工程；
を含む方法。
【請求項２】
前記第１の映像対象を少なくとも１つの領域に切り出す工程；
前記第１の映像対象の内部で、対象の境界の点を選択する工程；及び
選択した領域と、対象の境界の選択した点とを、結合することにより、前記第２の映像対象を形成する工程；
を更に含む、請求項１の方法。
【請求項３】
追跡する対象の周囲に輪郭を作成する点を選択する工程を更に含む、請求項２の方法。
【請求項４】
前記対象型を、前記第２の映像対象に関連する既知の対象型の一覧表から選択する工程を更に含む、請求項１の方法。
【請求項５】
対象型を選択することができない場合は、汎用の対象追跡処理を用いる工程を更に含む、請求項４の方法。
【請求項６】
前記対象追跡処理を、以前に識別していない対象型のための対象追跡処理を含むように拡張する工程を更に含む、請求項１の方法。
【請求項７】
球の対象、人の対象、乗物の対象、襯衣の対象及び木の対象のうちの１つのための処理を、前記対象追跡処理に含ませる工程を更に含む、請求項１の方法。
【請求項８】
複数の第２の映像対象を選択する工程；及び
前記複数の第２の映像対象の各々についてそれぞれの対象追跡処理を有効とする工程；
を更に含む、請求項１の方法。
【請求項９】
対象型を前記第２の映像対象の形状と動的な特性とに基づき関連付ける工程を更に含む、請求項１の方法。
【請求項１０】
映像場面から対象を選択する工程；
対象型を前記対象に対して定義する工程；及び
定義した前記対象型に対応する、複数の対象追跡工程のうちの１つを選択する工程；
を含む、映像のための方法。
【請求項１１】
新しく定義した対象型に適応した、追加の対象追跡処理を含むように拡張できる、複数の対象追跡処理のうちの１つである、対象追跡工程を、用いる工程を更に含む、請求項１０の方法。
【請求項１２】
異なる対象型について各々選択可能な、複数の対象追跡処理のうちの１つである、対象追跡工程を用いる工程を更に含む、請求項１０の方法。
【請求項１３】
前記映像場面における領域を選択することにより前記対象を切り出す工程を含む、前記対象を選択する工程を更に含む、請求項１０の方法。
【請求項１４】
前記映像場面における対象の境界の点を選択する工程を含む、前記対象を選択する工程を更に含む、請求項１０の方法。
【請求項１５】
映像場面における領域を集約する工程を含む、前記対象を選択する工程を更に含む、請求項１０の方法。
【請求項１６】
前記映像場面における選択した領域と、前記映像場面における対象の境界の選択した点とを結合する工程を含む、前記対象を選択する工程を更に含む、請求項１０の方法。
【請求項１７】
既知の対象型の一覧表から対象型を選択する工程を含む、前記対象型を定義する工程を更に含む、請求項１０の方法。
【請求項１８】
前記対象を形状及び動的な特性により定義できる工程を更に含む、請求項１０の方法。
【請求項１９】
選択した前記対象追跡工程は、定義された前記対象型に適応可能な工程を更に含む、請求項１０の方法。
【手続補正書】
【提出日】平成21年4月1日(2009.4.1)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１の映像対象を映像ストリームから選択する工程；
前記第１の映像対象を領域に分割する工程；
選択した領域を結合することにより第２の映像対象を形成する工程；
対象タイプを前記第２の映像対象に対して関連付ける工程；及び
関連付けた前記対象タイプに対応する対象追跡処理を、前記第２の映像対象に対して有効にする工程；
を含む方法。
【請求項２】
前記第１の映像対象を少なくとも１つの領域に切り出す工程；
前記第１の映像対象の内部で、対象の境界上の点を選択する工程；及び
選択した領域と、対象の境界上の選択した点とを、結合することにより、前記第２の映像対象を形成する工程；
を更に含む、請求項１の方法。
【請求項３】
追跡する対象の周囲に輪郭を作成する点を選択する工程を更に含む、請求項２の方法。
【請求項４】
前記対象タイプを、前記第２の映像対象に関連する既知の対象タイプの一覧表から選択する工程を更に含む、請求項１の方法。
【請求項５】
対象タイプを選択することができない場合は、汎用の対象追跡処理を用いる工程を更に含む、請求項４の方法。
【請求項６】
前記対象追跡処理を、以前に識別していない対象タイプのための対象追跡処理を含むように拡張する工程を更に含む、請求項１の方法。
【請求項７】
球の対象、人の対象、乗物の対象、襯衣の対象及び木の対象のうちの１つのための処理を、前記対象追跡処理に含ませる工程を更に含む、請求項１の方法。
【請求項８】
複数の第２の映像対象を選択する工程；及び
前記複数の第２の映像対象の各々についてそれぞれの対象追跡処理を有効とする工程；
を更に含む、請求項１の方法。
【請求項９】
対象タイプを前記第２の映像対象の形状と動的な特性とに基づき関連付ける工程を更に含む、請求項１の方法。
【請求項１０】
映像場面から対象を選択する工程；
対象タイプを前記対象に対して定義する工程；及び
定義した前記対象タイプに応答して、複数の対象追跡工程のうちの１つを選択する工程；
を含む、映像のための方法。
【請求項１１】
新しく定義した対象タイプに適応した、追加の対象追跡処理を含むように拡張できる、複数の対象追跡処理のうちの１つである、対象追跡工程を、用いる工程を更に含む、請求項１０の方法。
【請求項１２】
異なる対象タイプについて各々選択可能な、複数の対象追跡処理のうちの１つである、対象追跡工程を用いる工程を更に含む、請求項１０の方法。
【請求項１３】
前記映像場面における領域を選択することにより前記対象を切り出す工程を含む、前記対象を選択する工程を更に含む、請求項１０の方法。
【請求項１４】
前記映像場面における対象の境界上の点を選択する工程を含む、前記対象を選択する工程を更に含む、請求項１０の方法。
【請求項１５】
映像場面における領域を集約する工程を含む、前記対象を選択する工程を更に含む、請求項１０の方法。
【請求項１６】
前記映像場面における選択した領域と、前記映像場面における対象の境界上の選択した点とを結合する工程を含む、前記対象を選択する工程を更に含む、請求項１０の方法。
【請求項１７】
既知の対象タイプの一覧表から対象タイプを選択する工程を含む、前記対象タイプを定義する工程を更に含む、請求項１０の方法。
【請求項１８】
前記対象を形状及び動的な特性により定義できる工程を更に含む、請求項１０の方法。
【請求項１９】
選択した前記対象追跡工程は、定義された前記対象タイプに適応可能な工程を更に含む、請求項１０の方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本願発明は一般に映像対象の切り出し及び追跡に関し、より詳細には映像対象の複数追跡に関する。
【背景技術】
【０００２】
映像対象の切り出し及び追跡は、計算機視覚処理及び映像処理に応用がたくさんある。例えば対象に基づく符号化及び映像の編集作業である。現在、映像対象の切り出し及び追跡が含むのは、対象の切り出しを映像の最初の画面で行い、引き続きその後の画面でその対象を追跡することである。この追跡は、最初の画面で切り出すために用いた切り出しの方法に依存する。
【０００３】
現在の切り出し技法は、領域に基づくか、境界に基づくか、又は領域と境界の技法の結合であるかの何れかである。領域に基づく切り出しは、画素をその近似性及び同類性に基づく領域にまとめる。領域に基づく切り出しは、何らかの基準を満たすまで、分割と結合により、まとまりを作る。領域に基づく算法は、対象を切り出しすぎる傾向があり、複雑な模様の対象には不向きである。境界に基づく切り出しは、対象の境界を追跡し、例えば、対象の境界に曲線を配置する。境界に基づく技法は、対象の内容を考慮しない。境界に基づく技法は、最初に良い輪郭処理を行うことが必要であり、個別の領域が別の領域の境界の内部に完全に含まれる場合に問題がある。領域の切り出しと境界の切り出しを結合した技法は、対象の境界近辺で領域の増大を制限する。一般に、領域の切り出しと境界の切り出しを結合した技法は、良い結果を生じるが、時間がかかる。現在の追跡算法は、最初の画面で用いた切り出しの方法に強く依存する。領域に基づく切り出しでは、追跡は、後続の画面においてその領域の移動を推測することから成り立つ。境界（又は曲線）に基づく切り出しを用いる場合には、追跡は、後続の画面において曲線の位置を見つけることから成り立つ。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
現在、映像対象の切り出し及び追跡は、対象タイプに関する知識を有効に活用していない。現在の切り出し及び追跡の技法は、機能が限られており、特定のタイプの対象にしか動作しない。現在の技法の多くは半自動である。すなわち、利用者が、目的の対象を識別し、不正確な結果は手で直す必要がある。
【課題を解決するための手段】
【０００５】
映像対象を追跡するための本発明の方法は、次の工程を含む：対象を選択する工程；その対象に対象タイプを関連付ける工程；及び関連付けた対象タイプに対応する複数の対象追跡処理のうちの１つを有効にする工程。好適な実施例では、対象を選択する工程は、次の工程のうちの１つを含む：領域を用いて対象を切り出す工程；対象の境界の点を選択する工程；領域を集約するか又は対象の選択した領域と選択した境界の点とを結合するかの工程。対象追跡処理は、新しく作成した対象タイプに適応した追跡処理を含むように拡張することができる。
【０００６】
本発明の別の実施例では、映像対象追跡の方法は、次の工程を含む：映像場面から対象を選択する工程；その対象について対象タイプを定義する工程；及び定義した対象タイプに対応する複数の対象追跡工程のうちの１つを選択する工程。
【発明を実施するための最良の形態】
【０００７】
本発明の利点、本性、及び種々の追加的な特徴は、添付の図面に関して詳細に述べる実施例を検討することにより、よりよく理解できる。
【０００８】
図面は本発明の概念を例示する目的のものであることを理解されたい。図面は本発明を例示するために唯一可能な構成であるとは限らないことを理解されたい。
【０００９】
映像の編集作業や他の応用において、本発明による対象の切り出し及び追跡が性能を向上させるのは、数多くの算法を実装することによる。人の顔や車といった共通の対象タイプの各々に対して、異なる算法を用いる。各算法はその対象タイプについての知識を活用して、システムの切り出しと追跡との性能を向上させる。目的の対象が一覧表に含まれない場合は、システムは滑り止めの汎用算法を実装する。本発明の手法は本質的に適応的である。即ち、共通の対象をより多く識別するほど、新しい算法を追加することができる。本発明は、既存の対象の切り出し及び追跡手法の制限に対して、著しい改良である。既存の手法は、完全な映像対象のかわりに、均一な特徴を有する切り出した領域を追跡することに向けられている。
【実施例】
【００１０】
図１の１００を参照すると、映像対象１０１は、複数の領域であるＲ１（１０３），Ｒ２（１０４）、及びＲ３（１０２）に切り出される。追跡する対象を識別するのに加えて、対象タイプを、利用者は、処理の先頭で入力しなければならない。
【００１１】
図２に、本発明の処理の流れ図２００を示す。この図で、２０１において、利用者は、追跡する対象を識別又は選択する。利用者は、２０２で、映像対象を形成するために、領域を用いること、対象の境界上の点を選択すること、領域と境界の混合、又は領域を集約することによって、対象を切り出す。例えば、点を選択することにより、追跡する対象の周囲に輪郭を作成できる。２０３で、利用者は更に対象タイプを識別する。これは例えばプルダウン一覧表から選択する。この一覧表は、編集作業で通常追跡する対象（例えば人）を含むことができる。２０４で、対象タイプが一覧表に無い場合は、２０５で、本発明の方法では切り出した対象を追跡するために汎用の方法を用いる。対象タイプが一覧表にあれば、２０６で、その対象タイプに基づく追跡算法を用いる。
【００１２】
追跡する対象タイプを指定するのに加えて、利用者は、追跡処理をよりよく助けるための追加的な手がかりを提供してもよい。例えば、利用者は、選択した対象の向きを指定してもよい。これは、映像と対象タイプのモデルとの双方に顕著な特徴部を選ぶことによって行う。別の例として、利用者は、反射する表面及び起こりうる何らかの変形変換の特性を提供してもよい。これにより対象の反射の追跡を改善する。
【００１３】
多くの場合、対象の追跡を、その場面の第２の対象を追跡することによって、補助してもよい。複数の対象を追跡することが有益でありうるのは、追跡する対象はしばしば他の対象の近くにあるからである。複数の対象を追跡することは実装するのがより困難である。対象は他の対象と接触し、それを遮り、相互作用することができ、画像に入ったり出たりできるからである。利用者は追跡する第２の対象を選択することができる。利用者はまた、遮る対象の特性についての情報（もしあれば）を提供することもできる。これにより、追跡がより容易になり、より良い追跡結果をもたらす。
【００１４】
図３の３００が示す通り、利用者が対象を対象追跡一覧表３０６から選択して、何らかの適切な追加の情報を提供したならば、新しい追跡算法を起動することになる。例として示す球の算法３０１、人の算法３０２、乗物の算法３０３、襯衣の算法３０４、木の算法３０５は、本発明による対象の切り出し及び追跡の、多様で適応的な性質を説明するものである。本発明は対象タイプを活用し、より精確な対象の追跡を行う。追跡する対象タイプは、球のような単純なものでもよいし、乗物のようなより複雑なものでもよい。複雑な対象の部分タイプとして、３次元モデルを用いて追跡を補助することができる。３次元モデルを用いて、対象の形状と、対象の可能な動的な特性（例えば動き方）との双方を記述することができる。
【００１５】
システムは必要に応じて新しい対象タイプを一覧表に追加することができる。これにより、切り出し追跡する映像対象タイプを変更する又は新しい映像対象タイプを追加することに対して、システムが適応的になる。例えば、襯衣のような、変形しやすい表面を追跡する新しい技法がより使用可能になるにつれ、新しい対象タイプと新しい算法を追加することができる。
【００１６】
本発明は対象タイプを活用して、切り出しの精度を高める。追加的な利用者からの入力が必要であるが、大きな負担ではない。本発明の計算要求は単純である。ただ１つの対象追跡算法を、１つの対象につき起動するからである。本発明の処理により、対象追跡算法を動的に結合することができる。これにより、効率を改善し、必要に応じて新しいタイプを簡単に追加することができる。
【００１７】
本発明を主に映像ストリームの文脈で論じたが、奥行（深さ）の情報を含めることにより対象追跡の結果を著しく改善することができる。追跡する対象についての３次元情報により、３次元モデルを素早く作成することができ、画像をより精確に処理できる。奥行の情報は例えばレーザー又は立体画像を用いて取得時に得ることができる。奥行の情報はまた２次元画像からも得ることができる場合がある。
【００１８】
映像ストリームを応用とする対象の切り出し及び追跡に対する複数追跡の方法のための好適な実施例を記載した。当業者は、前述の教示に照らして、変更及び変形を行うことができることに注意されたい。従って、開示した本発明の特定の実施例において、添付の特許請求の範囲が定義する本発明の範囲と精神の内部で、変更を行ってもよいということを理解しなければならない。本発明を特許法が要求する詳細度で記載した。特許証書により保護されるべき特許の請求項は添付の特許請求の範囲に記載する。
【図面の簡単な説明】
【００１９】
【図１】本発明による、複数の領域に切り出された（分割された）画像対象を示す。
【図２】本発明による、複数の対象を切り出し追跡する算法の処理を示す。
【図３】本発明により、いかに各映像対象が個々の追跡算法を起動するかを示す。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】図２
【補正方法】変更
【補正の内容】
【図２】
2009539175.tif 000006
【国際調査報告】
2009539175.tif 000007
2009539175.tif 000008
2009539175.tif 000009