(57)【要約】本発明は、ビデオ画像を基本オブジェクトに分割する方法に関する。前記方法は、（Ａ）オブジェクト（ＯＢＪ）を完全に囲む最初の境界（ＣＤ）を定義し、（Ｂ）最初の境界（ＣＤ）に基づいて、ノードの一組から成るオリジナルのアクティブ境界（ＣＡＯ）を定め、各々のノードは、前記輪郭の点によって、そして、前記ノードと隣接するノードを隔てている距離を表す弾性エネルギー関数によって形成され、（Ｃ）オリジナルのアクティブ境界（ＣＡＯ）を収束性の変形にさらし、（Ｄ）少なくとも１つのノードを基本オブジェクトの自然の境界（ＣＮ）の方へ動かすことによって、現在のアクティブ輪郭（ＣＡＣ）を得て、（Ｅ）所定の条件が満たされる限り、反復して各々の現在のアクティブ境界（ＣＡＣ）を変形にさらして、オブジェクトの自然の境界と実質的に等しい最終的なアクティブ境界を得る。本発明は、静止もしくはビデオ画像を処理するのに有益である。
2004508642.tif 000002
【特許請求の範囲】
【請求項１】
基本オブジェクトに基づいてビデオ画像を分割する方法において、このビデオ画像の自然の輪郭によって区切られた少なくとも１つの基本オブジェクトに関して、
この基本オブジェクトの周りに、前記基本オブジェクトを完全に囲む開始輪郭を定めるステップと、
前記開始輪郭に基づいて、各々が、この開始輪郭に属する点、及び、隣接するノードからこのノードを隔てている距離を表す弾性エネルギー関数によって形成され、この開始輪郭上に配置されるノードの一組によって形成されるオリジナルのアクティブ輪郭を定めるステップと、
前記基本オブジェクトの自然の輪郭を表すことが可能な参照値の一組に関して、基本オブジェクトの自然の輪郭の方へオリジナルのアクティブ輪郭のノードのうちの少なくとも１つを置き換えることによって、前記オリジナルのアクティブ輪郭を収束性の変形にさらし、これにより、現在のアクティブ輪郭を生成し、この現在のアクティブ輪郭は、前記収束性の変形に繰り返しさらされ、これにより、前記置換が非ブロッキング条件を満たす限り、別個の連続する現在のアクティブ輪郭を生成し、さもなければ、前記現在のアクティブ輪郭のノードの置換を停止し、それによって前記基本オブジェクトの自然の輪郭を実質的に再現する最終的な現在のアクティブ輪郭を生成することを可能にするステップとを有していることを特徴とする方法。
【請求項２】
各アクティブ輪郭のノードの組は、アクティブ輪郭のトレース上でのサンプリングによる多角形モデリングによって、連続するノード間の距離の関数として定められ、それによって連続するアクティブ輪郭の各々の定義の分解能を適合させることを可能にする
ことを特徴とする請求項１に記載の方法。
【請求項３】
前記収束性の変形は、
現在のアクティブ輪郭のノードの各々において、アクティブ輪郭に垂直なベクトルを計算するステップと、
前記アクティブ輪郭のノードのうちの少なくとも１つを、前記ノードにおける前記垂直ベクトルの方向に、求心性の変位にさらすステップとを有している
ことを特徴とする請求項１または２に記載の方法。
【請求項４】
前記参照値の組は、前記アクティブ輪郭上で計算された画像の強度勾配の値の一組から成る
ことを特徴とする請求項１から３のうちのいずれか一項に記載の方法。
【請求項５】
前記基本オブジェクトは、画像中の動画化されたオブジェクトによって構成されていて、この動画化されたオブジェクトは、前記基本オブジェクトを基本オブジェクトのコンポーネントに分割した後に、少なくとも１つの交差点があるループを構成することが可能なアクティブ輪郭のために、運動、変形及び分割が可能であり、
前記アクティブ輪郭上での少なくとも１つの交差点の存在を検出するステップと、
前記アクティブ輪郭をいくつかの別個のアクティブ輪郭に分割／グループ化して、交差点の数に１を加えた数に等しくし、それによって最終的なアクティブ輪郭を前記基本オブジェクトの各コンポーネントに割り当てることを可能にするステップとを有している
ことを特徴とする請求項１から４のうちのいずれか一項に記載の方法。
【請求項６】
前記基本オブジェクトは、画像中で動く動画化されたオブジェクトによって構成されていて、更に、少なくとも２つの連続するビデオ画像のために、
各画像の各々の最終的なアクティブ輪郭上でバンドを定め、リングを形成し、前記アクティブ輪郭に属するノードの組を取り囲むステップと、
前記リングの点の間で所定の画像から次の画像までの基本オブジェクトの運動の推定を実行して、前記アクティブ輪郭のノード上での運動ベクトルを定めることを可能にするステップと、
前記アクティブ輪郭の各ノードにおいて、前記運動ベクトルを次の画像に適用し、それによって前記最終的なアクティブ輪郭によって動いている基本オブジェクトを追跡し、前記最終的なアクティブ輪郭の運動を考慮して、前記動いている基本オブジェクトを識別することを可能にするステップとを有している
ことを特徴とする請求項１から５のうちのいずれか一項に記載の方法。
【請求項７】
画像の分割を洗練するために、アクティブ輪郭のリングの運動の推定の後に、
このアクティブ輪郭の各ノードを推定された運動の値によって置き換えて、これにより、新しい画像のために最初のアクティブ輪郭を生成するステップと、
幾何学的変換によって、この最初のアクティブ輪郭を膨張させ、これにより、この新しい画像のために、このオブジェクトのオリジナルのアクティブ輪郭を構成する基準となる最初のアクティブ輪郭を生成するステップと、
前記オリジナルのアクティブ輪郭の収束性の変形を繰り返し再開して、これにより、前記最終的な現在のアクティブ輪郭を生成するステップとを有している
ことを特徴とする請求項６に記載の方法。
【請求項８】
サーバーサイトへのアクセスのための端末から、サーバーサイト上でアクセス可能なデータベース内に格納された画像のシーケンス内で対象となる基本オブジェクトを検索するプロトコルにおいて、前記アクセス端末には、画像のシーケンスから発する少なくとも１つのサンプルビデオ画像から成るサンプルが供給され、少なくとも、
請求項１から７のうちのいずれか一項に記載の本発明の主題である方法に従って、前記サンプルビデオ画像を分割して、これにより、このサンプルビデオ画像に属する、前記対象となる基本オブジェクトに関するノードのリストによって構成される、少なくとも１つのサンプルアクティブ輪郭を生成するステップと、
前記サーバーサイトへのアクセスのための前記端末からノードの前記リストに伝送するステップと、
請求項１から７のうちのいずれか一項に記載の本発明の主題である方法に従って、前記データベース内に格納された画像の前記シーケンスの少なくとも１つの現在の画像を分割して、これにより、少なくとも１つの参照アクティブ輪郭を生成するステップと、
類似点の比較によって、前記サンプルアクティブ輪郭を前記参照アクティブ輪郭と比較して、類似点の比較の結果、検索を停止して、前記アクセス端末に対する、格納された画像の前記シーケンスの全部または一部の伝送を保証するか、さもなければ、格納された画像の前記シーケンス内で前記現在の画像に続く全ての画像にわたる検索を続けるステップとを有している
ことを特徴とするプロトコル。
【請求項９】
前記対象となるオブジェクトにおいて、前記サンプルビデオ画像中でのサンプルオブジェクトコンポーネント属性、例えば、色、テクスチャ、運動パラメータを識別するステップと、
前記オブジェクトコンポーネント属性を前記アクセス端末から前記サーバーサイトに伝送するステップと、
前記参照アクティブ輪郭によって区切られたオブジェクトにおいて、サンプルオブジェクトコンポーネント属性と同じタイプの参照オブジェクトコンポーネント属性を識別するステップと、
参照オブジェクトコンポーネント属性とサンプルオブジェクトコンポーネント属性を比較して、これにより、検索の停止、継続のそれぞれを指示するステップとを更に有している
ことを特徴とする請求項８に記載のプロトコル。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ビデオ画像を基本オブジェクトに基づいて分割する方法に関する。
【０００２】
【従来の技術】
現在、コンピュータによって動作する視覚プロセスから発せられる基本オブジェクトに基づいて、ビデオ画像を分割する手順を用いて、人間の視覚および認識システムの作用を再現することは、完全に不可能である。特に、前述のプロセスの実行によって得られる結果としての画像は、分割が足りないか、または分割され過ぎている。どちらの場合においても、これらの手順は、人間のオペレータによって実行される理想的な分割の自動再現を可能にしない。
【０００３】
それにもかかわらず、多数のアプリケーションは、分割に頼っていて、これは、理想的には、耐性があり、速く、識別力があり、かつ特定の分野のアプリケーションに限定されないべきである。特に、取得および追跡の目的での、時間軸上で連続するビデオ画像のオブジェクトのトレースの自動追従または計算は、完全に未決の問題のままであり、オブジェクトが、時間軸上での複雑な変換、自然または人工の変換、例えば「モーフィング」によって変形する可能性があるとき、いっそう顕著である。
【０００４】
従来提案された画像分割手順は、慣習的に、いくつかの系統に区別される。
【０００５】
第１の系統は、従来の分割手順に相当し、フィルタリング、数学的形態学、領域成長、カラーヒストグラムの分割、マルコフ手順に基づいている。これらの自動手順は、画像に適用されるが、得られた結果は、個々の画像の内容に大きく左右され、かつ、画像のテクスチャに敏感である。それらは、対象となるオブジェクトの輪郭を検索することが難しい限り、基本オブジェクトに基づく画像の分割は不可能である。画像が過度に分割されると、検出された輪郭の全てが、対象となるオブジェクトの輪郭の完全性および前記の分割を実質的に保証する閉じたリストを形成するというわけではない。結果におけるばらつきは、さまざまな手順の間で大きく、かつ結果は、あまり耐性がなく、２つの非常に類似した画像が、おそらく、非常に異なる分割に達し、かつ、その逆に、２つの手順によって、同一の画像が、おそらく、全く異なる分割に達する。
【０００６】
第２の系統もまた、数学的形態学に基づく手順に相当し、それは、木構造に基づくプロセスを用いる第１の系統の手順の問題および欠点を改善しようとする。バイナリ分割木は、画像の内容の特徴を記述することを可能にしている。画像の空間構成を記述している、このような木構造は、均質性条件に従って、単一の領域が得られるまで、隣接する領域を繰り返し結合することによって得られる。この木は、プロセスの各々の繰り返しにおいて結合された領域のトレースを保存することによって組み立てられる。この手順は、オリジナル画像上の対象となる領域に手動でマーキングすること、および分割木からこのマーキングに対応するノードを検索することを可能にする。この系統の手順の欠点は、全画像が分割され、オブジェクトを構成している領域の数についての事前の知識を持っていることが必要であり、かつ、得られるオブジェクトの輪郭が十分に正確でない、または正しいものではないことにある。特に、対象となるオブジェクトが、いくつかの領域にまたがることは、しばしば起こり、そのような場合に、オブジェクトの輪郭は、その結果、これらの領域の輪郭に一致しない。
【０００７】
第３の系統もまた、マルコフフィールドに基づく統計的な手順に相当する。これらの手順は、最大化条件に従って画像の領域のタグ付けを実行する。それらは、画像に関する幅広い組み合わせの事前情報を考慮することができ、かつ、特に、きめがあり、かつ並列されたゾーンから成る衛星画像に適している。
【０００８】
第４の系統は、アクティブ輪郭手順に関し、ヘビとも称される。このタイプの手順は、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ、第１巻、ｐｐ．３２１−３３２、１９９８年に、Ｍ ＫＡＳＳ、Ａ． ＷＩＴＫＩＮおよびＤ． ＴＥＲＺＯＰＯＵＬＯＳによって発表された、「ヘビ：アクティブ輪郭モデル」と題された論文に記載されていて、その原理は、エネルギー汎関数を最小にすることによって、それがオブジェクトの内容を抱え込むまで、最初の曲線を繰り返し変形させることにある。このエネルギーは、２つの項から成る。
−輪郭の内部エネルギー。このエネルギーは、アクティブ輪郭の固有の、すなわち幾何学的な特性、例えば、長さ、湾曲等によって決まる。この内部エネルギー項は、オブジェクトのまわりのアクティブ輪郭の縮小を可能にし、かつ、局所的にエネルギーを最小にする方向に前記のノードの置換を引き起こす。
−輪郭に対する外部エネルギー。このエネルギーは、データに向けられた項に相当する。この外部エネルギー項は、一般に画像に存在する輪郭に関連づけられていて、かつ、これらの存在する輪郭のまわりのアクティブ輪郭の縮小を遅くする。
【０００９】
特に、この系統の手順は、画像内に存在する輪郭についての事前知識、それ自体の、画像の事前分析のみによって達成可能な何かを必要とすることが分かる。
【００１０】
第５の系統の手順は、前記の系統の手順の発展形に相当し、この発展形においては、アクティブ輪郭に適用される外部の力に関する限り、このモデルは、前述の力の効果の下で、ふくらんでいる風船のようにふるまい、かつ、それが、マークされたか、または、あらかじめ定義された輪郭に出会った時に停止する。したがって、アクティブ輪郭は、あまりマークされていない輪郭を行き過ぎる可能性がある。他の発展形は、変形可能な幾何学的アクティブ輪郭の使用を提案した。これらの発展形は、アクティブ輪郭のトポロジの変化の自動管理を可能にするレベルセットを用いる。しかし、前述の系統の手順は、必ず初期化を必要とする。これは、アルゴリズムの良好な収束を得るための、最終的な分解能、すなわちオブジェクトの自然の輪郭に近い。
【００１１】
第６の系統の手順は、画像における、これらの領域および背景の事前の推定による、画像の領域の定義に基づく。アクティブ輪郭の展開の曲線は、一般に、分布の感じにおける条件を引き出すことによって形成される。この条件は、２つの組、すなわち画像の背景および動いているオブジェクトに関する制約によって決まる。展開曲線は、以下の３つの項を備えることができる。
−データに結合された項。
−オブジェクトの形への適応を可能にする双曲的な項。
−輪郭をなめらかにすることによって分解能を安定させる放物線状の項。
【００１２】
アクティブ輪郭の運動方向は、時間と共に変化し、アクティブ輪郭が、あるノードで、膨張する、または逆に縮むことを可能にする。しかし、これらの手順は、画像の背景のラベリングを必要とし、かつ実行時間は、ビデオ画像のオブジェクトを動かすことに対するダイナミックな応用のためには、数分のオーダーと、長すぎるままである。
【００１３】
画像内のオブジェクトを追う手順に関する限り、追跡手順としても知られているように、さまざまな系統の手順が、現在提案されている。
【００１４】
第１の系統は、メッシュ技術を用いる。この系統の第１の手順によれば、階層的なメッシュ構造が、連続的にオブジェクトの支配的な運動を推定し、そして前記の内部運動を推定する。メッシュの階層は、このオブジェクトの多角形のエンベロープを定義しているオブジェクトのマスクから生成される。運動推定の階層的なサイクルを始める前に、粗いメッシュの階層を初期化するアフィングローバルモデルが推定される。この推定は、それから、グローバルな推定が実行される最も細かいレベルに伝播される。ノードがオブジェクトの自然の輪郭からそれて、かつ、それ自体を場面の背景に貼り付け、それによって、その隣接するノードを引っ張ることは、時々起こる。このドラッグプロセスが、ノードの位置決めの誤差の一時的な蓄積に関連づけられる。なぜなら、最適化の間、最初の分割だけが利用できるからである。前述のドラッグプロセスを改善するために、解決策が提案されていて、それは、アクティブ輪郭手順に非常によく似た手順をさらに挿入する。アクティブ輪郭は、階層化サイクルの最も細かいメッシュから生成され、かつ、それらは、分割された現在の画像から発している輪郭を通じて展開する。これらのアクティブ輪郭は、オブジェクトの外側の輪郭上の、それら自身を別の場所に移すためのメッシュのエッジの頂点を強制するために、運動の第１の評価の後に挿入される。しかし、この解決策は、採用されなかった。なぜなら、メッシュ構造が、用いるためには非常に複雑だったからである。
【００１５】
第２の系統は、上記した手順によるアクティブ輪郭の実行を用いる。現在の画像上で得られたアクティブ輪郭は、１つの画像から次まで伝播され、連続した画像上の対象となるオブジェクトの輪郭を抱え込むように変形する。運動制約は、エネルギー汎関数の最小化の間、加えられることができる。
【００１６】
これらの手順は、さらに、視覚的な流れに基づいて、つまり運動のモデル、例えば、変換、アフィン変換、遠近法、双一次変形等に基づいて、パラメータを推定する手順を組み合わせることができる。そして、アクティブ輪郭手順は、オブジェクトをより耐性をもって追跡つまり追従するためのものである。具体的な例においては、オブジェクト追従手順は、アクティブ輪郭手順と運動の分析とを画像の領域に基づいて結合する。オブジェクトの運動は、運動に基づく分割アルゴリズムによって検出される。それから、アクティブ輪郭モデルが、オブジェクトを追従して、かつ分割する目的で用いられる。その後に、アクティブ輪郭内部で定義される領域の運動が、アフィンモデルに基づくマルチ分解能アプローチによって推定される。カルマンフィルタが、前述の領域の位置を予測して、かつ、ここから、次の画像内のアクティブ輪郭を初期化するために用いられる。
【００１７】
【発明が解決しようとする課題】
第３の系統の手順は、画像分割プロセスを利用するタグマップ、つまり画像の画素にわたるタグマップに基づく技術を用いる。第１の手順において、画像上の運動および空間の構成に関する情報を結合する技術が、オブジェクトを追跡する目的で提案されていた。現在の画像は、数学的形態学の手順によって分割され、そして、結果として得られた画像は、ブロックマッチングアルゴリズムによって大まかに推定された運動ベクトルによって補正される。その後に、領域またはマーカーの空間的均等性が検査される。これらの手順は、従来のアクティブ輪郭手順の制限、特に、収束の遅さを有している。第２の手順は、マルコフフィールドの技術に基づいている。この手順は、画像を領域に分割する手順を備えていて、それは、統計的なタグ付けによって運動方向が均一である。分割は、強度、カラーおよびテクスチャの条件に従って得られる。第３の手順は、均一な領域への画像の空間分割を実行し、かつ、追跡は、背景映写の手順によって実行される。これは、現在の画像上の対象となるオブジェクトのマスクを決定することを必要とする。分割された現在の画像の各領域は、それから、以前の分割された画像上の運動に従って、背景映写される。オブジェクトのマスクに属している背景映写された領域は、それから、現在の画像上のオブジェクトの新しいマスクを形成する。これらの手順は、かなり不正確なオブジェクト輪郭を生むという欠点を有する。特に、画像の最初の分割を用いるので、穴つまり人為的な構造が現れる。
【００１８】
【課題を解決するための手段】
本発明の目的は、画像分割プロセスおよび連続した画像にわたって動いているオブジェクトの追跡つまり追従の両方に関して、従来技術の前述の技術の欠点を改善することである。
【００１９】
特に、本発明の目的は、ビデオ画像を基本オブジェクトに基づいて分割する方法の実現であり、この方法では、画像についての事前情報は必要ない。
【００２０】
もう一つの本発明の目的は、画像についての事前情報が欠如した状態での、基本オブジェクトに基づくビデオ画像のアクティブ輪郭に基づく分割の方法の実現であり、開始輪郭とも表現される開始アクティブ輪郭は、画像に属する対象となる基本オブジェクトに関して任意である。
【００２１】
もう一つの本発明の目的は、任意の開始アクティブ輪郭からの本発明の主題である方法の初期化に関する、ビデオ画像を分割する方法の実現であり、それは、使用においてとても柔軟で、かつ未熟なユーザに対しても、とても寛大である。開始輪郭は、いかなる必要な方位もない場合、おそらく、いくつかのループを含んでいる。
【００２２】
もう一つの本発明の目的は、アクティブ輪郭に基づいて画像を分割する方法の実現であり、画像についての全ての事前情報が削除されていて、従って外部エネルギー項も削除され、それによって、現在のアクティブ輪郭を、対象となる基本オブジェクトの自然の輪郭に、非常に速く収束させることを可能にする。
【００２３】
もう一つの本発明の目的は、アクティブ輪郭に基づいて画像を分割する方法の実現であり、画像についての事前情報の欠如のために、ノイズおよび不完全に定義された画像輪郭への、よりよい許容度が得られる。
【００２４】
もう一つの本発明の目的は、アクティブ輪郭に基づいて画像を分割する方法の実現であり、いくつかのループに対する開始輪郭の許容度のために、いくつかの構成要素を有している少なくとも一つの基本オブジェクトに関する画像の分割を実現することができ、このことにより、本発明の主題である方法に役に立つ高度な柔軟性が授けられる。
【００２５】
もう一つの本発明の目的は、ビデオ画像を基本オブジェクトに基づいて分割する方法の実現であり、画像内の対象となる基本オブジェクトの自然の輪郭への開始輪郭の収束の速度が、各画像内での分割のプロセスの高い安定性を可能にし、その結果として、連続した画像にわたる動くオブジェクトの安定した追跡つまり追従が可能になり、このことにより、多数の連続した画像にわたる対象となる動くオブジェクトの非常に耐性がある追跡が可能になる。
【００２６】
特に、もう一つの本発明の目的は、ビデオ画像を基本オブジェクトに基づいて分割する方法の実現であり、アクティブ輪郭の収束の速度、動くオブジェクトの追跡における耐性、および、いくつかのアクティブ輪郭へのアクティブ輪郭の許容された小分けのために、このような小分けから生じている各アクティブ輪郭は、独立して展開する。なぜなら、それは、対象となる基本オブジェクトの小分けだけに関連づけられているからである。
【００２７】
もう一つの本発明の目的は、ビデオ画像を基本オブジェクトに基づいて分割する方法の実現であり、単純化された運動追従プロセスによって、対象となる可動性の基本オブジェクトの運動への現在のアクティブ輪郭の収束が、速められる。
【００２８】
本発明の主題であるビデオ画像を基本オブジェクトに基づいて分割する方法は、このビデオ画像の自然の輪郭によって区切られる少なくとも一つの基本オブジェクトに関して、以下のステップから成るという点で、注目すべきである。
−この基本オブジェクトのまわりに、完全に前記基本オブジェクトを囲んでいる開始輪郭を定義するステップ。−前記開始輪郭に基づいて、この開始輪郭上に配置される一組のノードによって形成されるオリジナルのアクティブ輪郭を定義するステップ。各ノードは、この開始輪郭に属している点、および、隣接するノードからこのノードを隔てている距離を表わす弾性エネルギー関数によって形成されている。
−この基本オブジェクトの自然の輪郭を表わす一組の参照値に関して、現在のアクティブ輪郭を生成するために、基本オブジェクトの自然の輪郭の方へオリジナルのアクティブ輪郭のノードのうちの少なくとも１つを置き換えることによって、オリジナルのアクティブ輪郭を、自然の輪郭に達しているかどうかを判定するブロッキング条件下で、収束性の変形にさらすステップ。この現在のアクティブ輪郭は、この置換が非ブロッキング条件を満たす限り、別個の連続した現在のアクティブ輪郭を生成するために、繰り返し、この収束性の変形にさらされる。さもなければ、この現在のアクティブ輪郭のノードの置換を停止させる。これは、実質的に基本オブジェクトの自然の輪郭を再現している最終的な現在のアクティブ輪郭を生成することを可能にする。
【００２９】
本発明の主題である方法が、特に有利な方法で、プログラムモジュールに基づいて実現可能であり、オブジェクトに基づく分割を伴うビデオ画像の全ての処理への応用が見いだされ、これにより、分割されるべきオブジェクトの粗いが信頼できる予備選択が、達成可能となる。
【００３０】
想像可能な応用の中から、本発明を限定するわけではない、関連づけられる応用について述べる。
・遠隔ネットワーク、例えば、ワールドワイドウェブまたはローカルエリアネットワーク、音響映像作品をアーカイブする場合の画像またはビデオ検索のようなサービス上に配置される新しいマルチメディアサービス。このようなサービスの魅力は、一方では、コンテンツの補償の品質と関係があり、他方では、放送メディアの性質に充分に適合しているサーチエンジンのパワーと関係がある。特に、利用できる情報の量を増やすだけでは、充分ではないことに注意した方がよい。なぜなら、それへのアクセスをより簡単にすることは、非常に重要であるからである。
・音響映像作品。映画の場面またはテレビの場面を組み立てるために、音響映像作品の現代の技術は、常に、さまざまな背景と前景のビデオオブジェクトとの合成物を用いている。現在、ビデオオブジェクトの撮影は、特に扱いにくい操作であり、クロマキー技術に頼ることを必要とする。この技術は、特に、既知の色の均一な背景上で、対象となるオブジェクトを撮影することを必要とする。特に基本オブジェクトに基づいて画像の柔軟で速い分割を可能にする本発明の主題である方法は、製造コストを大いに減少させることを可能にする。
・エンハンストテレビとも称される双方向テレビ、本発明の主題である方法による、その柔軟性および耐性のための、移動オブジェクトの多数の画像に関する分野。それは、画面上に存在するオブジェクトまたは俳優を選択し、動作が展開する間、時間軸上で前記を追跡し、かつ、このオブジェクトまたはこの俳優について利用できるマルチメディア情報を持つことが可能である。
・ＭＰＥＧ−４規格を満たしているマルチメディアコンテンツを作成するためのツール。前述の規格は、画像を基本オブジェクトに基づいて分割するための、いかなる手順も提供しない。本発明の主題である方法は、分割プロセス、すなわち、このような環境の自然の拡張を導入することを可能にする。
・テレビ電話。伝送ネットワークの混雑のために、伝送スループットがあまりに制限されるときに、送信される映像情報、および、それ故に、それについてのルーティングを確実にすることができるスループットを、大部分の情報を運んでいるオブジェクトまたは画像領域、特に、話している人の顔に集中させることは、最も大きい関心事である。前述の集中は、本発明の主題である分割方法によって実現可能である。
・テレビ会議サービス。テレビ電話に固有の応用に加えて、テレビ会議への全ての参加者が同一の仮想の場所に一緒に集まる仮想ミーティングの人工的な再現による、視覚的な臨場感の増加を要求する、この応用は、本発明の主題である分割方法によって、より容易になる。
【００３１】
【発明の実施の形態】
本発明の主題である方法は、以下の説明を読み、かつ図面を見ることで、より充分に理解されるであろう。
【００３２】
以下、本発明の主題であるビデオ画像を基本オブジェクトに基づいて分割する方法を、図１ａおよび以降の図を参照して説明する。
【００３３】
一般的な方法において、本発明の主題である方法は、少なくとも一つの画像ＩＭ、例えば、ビデオ画像、好ましくは、動画化された、または動画化されていない、自然の輪郭ＣＮによって区切られた、ＯＢＪと表記される、少なくとも一つの基本オブジェクトを備えている画像のシーケンスに基づいて実現されることが思い出される。
【００３４】
本発明の主題である方法は、画像、特に、ビデオ画像内に存在する、いかなる基本オブジェクトＯＢＪも、自然の輪郭ＣＮを持っているという事実に基づいていて、関連した画像上での、そのトレースは、実質的に前記の全てに沿って不連続を示す、光の強度値によって明らかにされる。この不連続は、オブジェクト自体またはこのオブジェクトの直接の周囲に関して、特に、オブジェクトの自然の輪郭上の、したがって、実質的に安定した値を示す、このトレース上の光の強度勾配値に関して、差動の強度の概念を導入する効果を持っている。
【００３５】
本発明の主題である方法は、前述の所見に関連して、開始輪郭に基づいて検索されるオブジェクトを有している。前記開始輪郭は、完全に任意であるが、このオブジェクトを囲んでいる。前記検索は、オブジェクトの自然の輪郭上へのアクティブ輪郭の位置の安定性のための、この開始輪郭の変形、前述のオブジェクトへの前記の縮小による。
【００３６】
この目的によって、図１ａに示したように、開始ステップＳで自然の輪郭ＣＮを示している基本オブジェクトＯＢＪに関するビデオ画像ＩＭ、または複数の連続した画像に基づいて、本発明の主題である方法は、ステップＡにおいて、前述の基本オブジェクトＯＢＪのまわりに、基本オブジェクトＯＢＪを完全に囲んでいる、ＣＤと表記される開始輪郭を定義する。
【００３７】
開始輪郭ＣＤの定義に関する限り、以下のことが、もちろん示される。ビデオ画像の形で、したがって画像ファイルの形で利用できる画像ＩＭは、図１ａには示していないディスプレイシステム、例えば、グラフィックインタフェースおよびポインタを備えるビデオスクリーン上に都合よく表示可能である。これらの条件下で、そして著しく単純な方法で、前述のディスプレイモニター上に表示された画像において、ユーザは、簡単に、ポインティングデバイスに基づいて、オブジェクトＯＢＪのまわりで、最も容易な方法で前述のオブジェクトを囲む開始輪郭ＣＤをたどることができる。
【００３８】
前述のステップＡの後に、ステップＢが続き、ここで、開始輪郭ＣＤに基づいて、この開始輪郭のまわりに配置される一組のノードによって形成される、ＣＡＯと表記されるオリジナルのアクティブ輪郭を定義する。
【００３９】
ステップＢの後に、基本オブジェクトＯＢＪの方へ、特に、基本オブジェクトの自然の輪郭の方へ、オリジナルのアクティブ輪郭ＣＡＯの点のうちの少なくとも１つを置き換えることによって、オリジナルのアクティブ輪郭ＣＡＯの収束性の変形を行うステップＣが続く。
【００４０】
本発明の主題である方法の注目すべき様相によれば、オリジナルのアクティブ輪郭ＣＡＯの変形は、基本オブジェクトの自然の輪郭の方へ、オリジナルのアクティブ輪郭のノードのうちの少なくとも１つを置き換えることによって実行される。この置換は、オリジナルの輪郭ＣＡＯに対して垂直かつ求心性のものであり、現在のノードからの隣接ノードの距離に基づいて得られ、現在のノードに隣接するセグメントに沿って測定される強度から得られる輪郭の画像上のブロッキング関数によって制御される、弾性エネルギー（または、ばね項）によって決まる。
【００４１】
オリジナルのアクティブ輪郭ＣＡＯの変形は、ＣＡＣと表記される現在のアクティブ輪郭を生成することを可能にする。前記ＣＡＣは、それから、置換および変形が輪郭の全てのノードに対してブロッキング条件を満たさない限り、別個の継続的な現在のアクティブ輪郭を生成するために、繰り返し前述の収束性の変形にさらされる。
【００４２】
最終アクティブ輪郭は、実質的に基本オブジェクトＯＢＪの自然の輪郭ＣＮを再現する。
【００４３】
図１ａ中のステップＣは、現在のアクティブ輪郭を生成するための上記した変形操作を表している。
【００４４】
もちろん、ステップＢ中に、すなわち開始輪郭ＣＤの作成の直後に、前記のプロットおよびオリジナルのアクティブ輪郭ＣＡＯの定義に基づいて、エネルギー関数Ｅの計算が実行される。このエネルギー関数は、後述するが、オリジナルのアクティブ輪郭ＣＡＯ上で計算される光の強度勾配に関連づけられている。
【００４５】
同様に、ステップＣ内の、オリジナルのアクティブ輪郭ＣＡＯの少なくとも一つの点つまりノードを置き換えることによる収束性の変形の適用は、適用される変形から得られる現在のアクティブ輪郭ＣＡＣのために、最小の弾性エネルギーのためのエネルギー変化ΔＥを計算することを可能にする。
【００４６】
ステップＣの後に、テストステップＤが続き、ここで、エネルギー変化ΔＥが最小であることが確認される。
【００４７】
テストＤに対して肯定の回答であれば、変形プロセスが、ステップＢへのリターンによって、繰り返して、再度、実行される。しかし、現在のアクティブ輪郭ＣＡＣは、次の繰り返しのためのオリジナルのアクティブ輪郭ＣＡＯとされる。図１ａ中では、繰り返しは、下記のように表記されたステップＥによって開始される。
ＣＡＯ≡ＣＡＣ
【００４８】
この操作を通して、オリジナルのアクティブ輪郭ＣＡＯが以前の繰り返しの現在のアクティブ輪郭ＣＡＣによって置き換えられるステップＢに基づいて適用される収束性の変形プロセスが、上述したステップＣおよびステップＤによって、再び適用可能となることが、確かに理解される。
【００４９】
変形プロセスは、それから、置換がある限り、繰り返し適用され、これは、継続的な現在のアクティブ輪郭が、オブジェクトＣＮの自然の輪郭に、より近づくことを可能にする。
【００５０】
これらの条件下で、ステップＦにおいて、全ての置換が停止され、以前の繰り返しの現在のアクティブ輪郭ＣＡＣは、最終アクティブ輪郭に一致し、それは、実質的にオブジェクトＯＢＪの自然の輪郭以外の何でもない。
【００５１】
開始輪郭ＣＤからのオリジナルのアクティブ輪郭ＣＡＯか、または、もし割り当てられていれば現在のアクティブ輪郭ＣＡＣを定義するステップＢのより詳細な説明を、以下、図１ｂを参照して行う。
【００５２】
一般的な方法で、連続的なノードの間の距離の関数として、各アクティブ輪郭、オリジナルのアクティブ輪郭ＣＡＯ、現在のアクティブ輪郭ＣＡＣのそれぞれのノードの一組は、アクティブ輪郭、オリジナルのアクティブ輪郭ＣＡＯ、現在のアクティブ輪郭ＣＡＣのそれぞれのトレースの上のサンプリングによる多角形モデリングによって都合よく定義されることができることが示される。
【００５３】
それで、図１ｂを参照すると、例えば開始輪郭ＣＤに対して、オリジナルのアクティブ輪郭ＣＡＯを生成することを目的として、Ｘ１およびＸ２と表記される２つの連続的なノードが考えられ、そしてノードＸ１およびＸ２間の線分ｄの長さが測定される。この操作は、サブステップ１に示されている。前述の距離ｄの値の関数としての第１のノードＸ１に隣接しているノードＸ２を、ノードとして保存するために、２つの閾値ＳｍａｘおよびＳｍｉｎが導入され、以下の関係式を満たす。
Ｓｍｉｎ＜Ｓｍａｘ
および
Ｓｍｉｎ＝Ｓｍａｘ／２
【００５４】
一般的な方法では、多角形のサンプリング閾値と呼ばれる前述の閾値は、ユーザによって定められることができることが示されている。しかし、本発明を限定するわけではない方法では、基本オブジェクトのサイズの関数として選ばれた基準の次元に基づいて、多角形のサンプリング閾値は、実質的に自動な方法で生じさせることができる。
【００５５】
線分ｄの長さが閾値Ｓｍａｘを上回る場合、サブステップ２に示したように、中間のノードＸ３が、実質的に開始輪郭ＣＤ上の線分ｄの中央に沿った位置に加えられる。もし現在のアクティブ輪郭ＣＡＣが割り当てられていれば、実際には、オリジナルのアクティブ輪郭ＣＡＯを組み立てるために、ノードＸ３が考慮に入れられて、ノードＸ１とＸ２との間に挿入される。
【００５６】
しかし、本発明を限定するわけではない方法で、オリジナルのアクティブ輪郭、現在のアクティブ輪郭のそれぞれへ差動の制約を加えるために、より洗練されたサンプリングおよび多角形のモデリング手順、例えば加筆またはスムージング手順（例えばスプライン）が実行されることができる。
【００５７】
もし逆に、線分ｄの長さが値Ｓｍｉｎ未満であれば、対応する線分は合併され、ノードＸ１およびＸ２は、開始輪郭上、またはオリジナルのアクティブ輪郭ＣＡＯ、現在のアクティブ輪郭ＣＡＣのそれぞれの上の実質的に長さｄの線分の中央に沿った位置に配置されるサブステップ４に示した単一の結果としてのノードＸ４とされる。長さｄの線分の中央に対応するもの以外の差し込まれた位置が用いられることができる。もちろん、サブステップ４に示したように、ノードＸ１およびＸ２は削除されて、一つのノードＸ４によって置き換えられる。
【００５８】
図１ｂのサブステップ１から４に示したサンプリングによる多角形のモデリングのプロセスが、オリジナルのアクティブ輪郭ＣＡＯ、現在のアクティブ輪郭ＣＡＣのそれぞれのために、オリジナルのアクティブ輪郭ＣＡＯ、現在のアクティブ輪郭ＣＡＣのそれぞれを組み立てるために採用されたノードの一組の２つの連続的なノードの間の距離が多角形のサンプリング閾値によって定められる間隔になるまで繰り返される。
【００５９】
１つは、サブステップ２に示したように、例えば前述のサブステップの中で図１ｂに示したような線分の一組によって作成された現在のアクティブ輪郭ＣＡＣまたはオリジナルのアクティブ輪郭ＣＡＯを持ち、オリジナルのアクティブ輪郭、現在のアクティブ輪郭のそれぞれの全プロット上の連続した線分ｄ３１、ｄ３２等々を持つ。
【００６０】
以下、ブロッキング関数を計算するモードのより詳細な説明を行う。
【００６１】
水平方向、垂直方向のそれぞれにおいて、指定された数の画素を備えている長方形から成っている画像の基本領域に対して、光の強度勾配が、水平方向、垂直方向のそれぞれにおいて計算され、光の強度勾配すなわち輝度勾配は、以下の関係式（１）を満たす。
【数１】
2004508642.tif 000003
【００６２】
上記の関係式の中で、アドレスｉ＋１、ｉ−１、ｊ＋１およびｊ−１のそれぞれの隣接の画素に関して考慮された画素の関連した矩形の領域内の座標ｉ，ｊを有する任意の画素に対して、Ｉｘ（ｉ，ｊ）は、水平方向における光の強度勾配すなわち輝度勾配の値を表し、Ｉｙ（ｉ，ｊ）は、垂直方向における光の強度勾配の値を表す。
【００６３】
勾配ＧＲのノルムＮは、前述の垂直および水平方向における勾配に基づいて、以下の関係式（２）によって与えられる。
【数２】
2004508642.tif 000004
【００６４】
本発明の主題である方法の注目すべき側面によって、アクティブ輪郭の力は、上記で計算されたように、勾配のノルムＮによって測定される。
【００６５】
アクティブ輪郭の各ノードＸに対する、アクティブ輪郭、オリジナルのアクティブ輪郭ＣＡＯ、現在のアクティブ輪郭ＣＡＣのそれぞれの力を評価するために、光の強度勾配の寄与が、関連したノードに隣接する２つの線分上で、すなわち図１ｂのサブステップ２に示した、連続したノードに対する線分ｄ３１およびｄ３２上で、それぞれ評価される。
【００６６】
前述の線分は、単に、それらの２つの端だけによって定められ、中間の点の位置は、画像上で、ＢＲＥＳＥＮＨＡＭアルゴリズムによって計算される。
【００６７】
線分の各ノード、例えば、前述の図１ｂに示したノードＸ１、Ｘ３またはＸ２に対して、寄付が、格納された勾配値ＧＲの一組からサンプリングされる。この一組は、勾配マップと呼ばれる。関連したノードに対する寄与は、形状関数によって重み付けされるが、それは、現在のノード上では１に等しくて、隣接ノード上での値０までリニアに減少する。関連した線分上の全ての勾配の寄与は、合計される。各線分と関連がある値は、ベクトルに格納される。
【００６８】
それで、図１ｂを参照すると、サブステップ２のために、そして、線分ｄ３１によって隔てられたアクティブ輪郭の連続的なノードＸ１およびＸ３のために、アクティブ輪郭ＣＡＯまたはＣＡＣの多角形のモデリング線分ｄ３１に属している現在の点ｘに関する重み付け関数ｐは、以下の関係式（３）を満たす。
【数３】
2004508642.tif 000005
【００６９】
上記の関係式において、Ｘ１およびＸ３は、連続的なノードであり、Ｘは、Ｘ１およびＸ３によって形成される線分に属している現在の点を表し、そして、ｄ（Ｘａ，Ｘｂ）は、ノードＸａおよびＸｂ間の距離を表す。
【００７０】
弾性エネルギー関数すなわち隣接するノードから各ノードを隔てている距離を表わす汎関数は、以下の関係式（４）を満たす。
【数４】
2004508642.tif 000006
【００７１】
上記の関係式において、Ｘ、ＸｐおよびＸｓは、それぞれ、現在のノード、以前のノード、および次のノードの座標を含んでいる次元２のベクトルである。ｋは、剛性項、いわゆる、ばね項を表し、隣接するノードから各ノードを隔てている距離を表わす弾性エネルギーに対応する。
【００７２】
従って、エネルギーＥの導関数によって決まり、かつエネルギー変化ΔＥに対応するばね項は、オリジナルのアクティブ輪郭ＣＡＯ、現在のアクティブ輪郭ＣＡＣのそれぞれの上で、関連した現在のノードＸに利用できる。
【００７３】
ばね項は、以下の関係式（５）を満たす。
【数５】
2004508642.tif 000007
【００７４】
この関係式において、Ｘｐ、ＸｓおよびＸは、関係式（４）の場合と同じパラメータを表し、ｋもまた、剛性定数を表している。
【００７５】
ばね項のベクトルＲは、エネルギーＥを最小にするのに役立ち、それは、スムージングとして表され、その力は、剛性項ｋによって重み付けされる。この項は、調整項であり、変質を避け、かつ、特に、折り目の形成を排除する。
【００７６】
ばね項のベクトルＲは、向きがある量であり、２つの連続的なノードをつないでいる線分によって支えられ、かつ、それによって支えられていることが示される。図１ｂにおいて、ばね項は、サブステップ２における、ベクトルＲ１３、ベクトルＲ３１、ベクトルＲ３２、ベクトルＲ２３で表されている。
【００７７】
本発明の主題である方法の注目すべき側面によって、各オリジナルのアクティブ輪郭ＣＡＯ、現在のアクティブ輪郭ＣＡＣのそれぞれに適用される変形は、後述するように、一方では、前述のばね項のベクトルＲ、基本オブジェクトの方への求心性の方向における本当の置換、および、もちろん、勾配に関連づけられ、かつ、オリジナルのアクティブ輪郭ＣＡＯ、現在のアクティブ輪郭ＣＡＣのそれぞれの上の勾配の寄与として示された光のエネルギー項に関連する関係式を考慮して、オリジナルのアクティブ輪郭、関連した現在のアクティブ輪郭のそれぞれの構成ノードの少なくとも一つの置換によって生じさせられる。
【００７８】
関連したアクティブ輪郭、オリジナルのアクティブ輪郭ＣＡＯ、現在のアクティブ輪郭ＣＡＣのそれぞれの各ノードのために、光の強度勾配の値が、関連したノードの両側にある各線分の全ての上で、考慮に入れられる。各々の関連した線分上の光の強度勾配ＧＲの寄与Ｇは、以前に説明において言及した重み付け関数によって重み付けされた勾配のノルムの合計に基づいて評価される。
【００７９】
従って、与えられた線分、すなわち多角形のモデリングによって関連したアクティブ輪郭をモデリングしている線分上の勾配の寄与は、以下の関係式（６）を満たす。
【数６】
2004508642.tif 000008
【００８０】
上記の関係式において、Ｘ、ｐ（ｘ）かつＮ（ｘ）は、現在の点、この点Ｘと関連がある重み付け、および、この点で計算された勾配のノルムを、それぞれ表す。
【００８１】
従って、図１ｂ中のサブステップ２においては、ｄは値ｄ３１をとり、そして、Ｘは、線分ｄ３１上を、ノードＸ１からノードＸ３まで動く。
【００８２】
各ノードで、または、オリジナルのアクティブ輪郭ＣＡＯ、現在のアクティブ輪郭ＣＡＣのそれぞれの、少なくとも一つのノードで適用される置換制約ベクトルＦに関連する関係式が、アクティブ輪郭に垂直の方向Ｎにおいて、関連したノードのレベルで、関連したノードの置換が遂行されるときに、以下に、記述される。
【００８３】
関連したノードに垂直の方向を計算するために、ヒューリスティックが用いられ、前述のアクティブ輪郭に垂直のベクトルを割当てる。図１ｂを参照し、本発明を限定するわけではない例によると、隣接ノードがノードＸ１およびＸ２であるノードＸ３のために、線分ｄ３１に対して垂直のベクトルＮ１および線分ｄ３２に対して垂直のベクトルＮ２が計算される。正規化された垂直ベクトルＮ１およびＮ２の平均または合力は、ノードＸ３で合力垂直ベクトルＮ３の方向を生じる。置換ベクトルベクトルＮに対応する値Ｎ３は、オリジナルのアクティブ輪郭ＣＡＯ、現在のアクティブ輪郭ＣＡＣのそれぞれを支持する、例えばプロットの凹面の計算に基づいて、オブジェクトの内部の方に向けられる。スプライン加筆またはその種の他のものに基づく計算の他のモードは、垂直ベクトルＮの評価のために実行されることができる。
【００８４】
それで、全ての垂直ベクトルＮ、および、ばね項ベクトルＲのために、オリジナルのアクティブ輪郭、現在のアクティブ輪郭のそれぞれのノードのうちの少なくとも１つで、置換ベクトルＮに従って適用された置換制約ベクトルＦは、以下の関係式（７）によって与えられる。
【数７】
2004508642.tif 000009
【００８５】
上記の関係式において、項Π（Ｇ＜Ｓ）は特殊な関数であることが示される。すなわち、この関数は、Ｇ＜Ｓであれば、１に等しく、さもなければ、０に等しい。Ｓは、ユーザによって、あらかじめ定義された閾値を表していて、Ｇは、関連したノードにおける勾配の寄与を表している。
【００８６】
したがって、前述の関係式（７）は、関数Π（Ｇ＜Ｓ）によって、ノードの置換のブロッキングの条件を定めている。この関数が１に等しいとき、合力値ベクトルＦによる現在のアクティブ輪郭のノードの置換が実行され、この関数がゼロに等しいとき、置換は停止させられる。
【００８７】
したがって、関連した現在のノードのための勾配Ｇの寄与が前述の閾値Ｓ未満であれば、ノードは、そして、もちろん、割り当てられていれば、オリジナルのアクティブ輪郭ＣＡＯ、現在のアクティブ輪郭ＣＡＣのそれぞれの構成ノードの一組は、関連したノードのために定められた求心性の方向において、置換制約ベクトルＦの値によって置き換えられる。
【００８８】
本発明の主題である方法の実現の好適な態様のより詳細な説明が、図２ａを参照して以下で与えられる。前述の図において、図１ａにおいて定義した同じステップは、同じ参照符号によって表される。
【００８９】
ステップＡでは、オブジェクトＯＢＪのまわりに開始輪郭ＣＤを定める。このステップは、前述の図２ａに示されているように、都合よく、フィルタリングプロセスによって画像を平滑化するサブステップＡ１１を備えることができる。したがって、現在のビデオ画像は、この画像内に存在する周囲のノイズを制限して、より広げられた輪郭を得る目的で、フィルターをかけられる。用いられるフィルタリングは、画像の構成データの性質の関数としての、ノイズを除去するための従来のフィルタリングプロセスから成る。このため、フィルタリングプロセスについては、詳細に説明しない。
【００９０】
サブステップＡ１１の後に、サブステップＡ１２が続き、このサブステップＡ１２は、開始輪郭ＣＤに基づく、画像の指定された領域のための勾配値の計算の初期化から成る。計算時間を制限するために、上記の関係式（１）および（２）によって与えられる勾配値は、開始輪郭ＣＤによって囲まれる領域のみにわたって計算されることが、特に、理解される。これは、もちろん、連続した現在のアクティブ輪郭によって、現在のアクティブ輪郭ＣＡＣが、オブジェクトの自然の輪郭に相当する最終的なアクティブ輪郭に達するまで、計算される。そして、勾配のノルムのための計算値は、勾配マップに格納される。前述の値は、グレイレベルとして、またはカラーとして計算されることができる。本発明を限定するわけではない例によれば、勾配マップは、例えば任意の値に初期化される流動性の値の画像であることが示される。
【００９１】
図２ｂに、ビデオ画像のディスプレイモニター上の連続した表示を示す。これは、オブジェクトＯＢＪ、オリジナルのアクティブ輪郭ＣＡＯまたは現在のアクティブ輪郭ＣＡＣ、および、勾配マップＣＧが計算される領域を有している。勾配マップは、現在のアクティブ輪郭の中、およびオブジェクトの自然の輪郭ＣＮの中の領域において計算されることが、特に、理解される。この領域は、図２ｂでは、陰をつけられた灰色で表されている。
【００９２】
開始輪郭ＣＤからオリジナルのアクティブ輪郭ＣＡＯを定めるステップＢは、図１ｂに示したように、さらに、関連した輪郭の多角形のモデリングのためにサンプリングを実行する第１のサブステップＢ１１に小分けされることができることが示される。サブステップＢ１１の後に、都合よく、サブステップＢ１２が続くが、このサブステップＢ１２では、アクティブ輪郭、オリジナルのアクティブ輪郭ＣＡＯ、現在のアクティブ輪郭ＣＡＣのそれぞれの上の交差点を検出する。サブステップＢ１２は、基本オブジェクトが画像内の動画化されたオブジェクト、すなわち、運動、変形および分割ができるものから成るときに、分割、基本オブジェクトのコンポーネントへのこの基本オブジェクトの変形に続いて、少なくとも一つの交差点を示すループを構成することができるアクティブ輪郭のために、都合よく実行することができる。
【００９３】
交差点が検出されると、アクティブ輪郭、オリジナルのアクティブ輪郭、現在のアクティブ輪郭のそれぞれは、交差点の数に１を加えた数に等しい数の別個のアクティブ輪郭に、分割かつグループ化される。これにより、最終的なアクティブ輪郭を前述の基本オブジェクトの各コンポーネントに割当てることが可能になる。
【００９４】
交差点を検出するサブステップＢ１２の実行を可能にしている具体的な運用方法を、図２ｃを参照して、以下で説明する。
【００９５】
前述の図を参照すると、形状の修正またはオブジェクトの分割のために、アクティブ輪郭が時間と共に展開することが示されている。このことにより、たぶん、ループはアクティブ輪郭の範囲内になるようにされる。
【００９６】
一般的な方法で、アクティブ輪郭、オリジナルのアクティブ輪郭ＣＡＯ、現在のアクティブ輪郭ＣＡＣのそれぞれの自動交差点は、対の方法がとられた全ての線分、各アクティブ輪郭を定めている２つの連続的なノード間に形成された線分上で測定されることが示される。
【００９７】
したがって、４つのノードを表しているＡ、Ｂ、ＣおよびＤが、それぞれ、線分ＡＢおよびＣＤを構成するので、ＡＢ＝Ａ＋ｒ（Ｂ−Ａ）およびＣＤ＝Ｃ＋ｓ（Ｄ−Ｃ）が得られる。
【００９８】
それから、ｒおよびｓが間隔［０，１］に属していれば、交差点が線分ＡＢおよびＣＤの間で検出される。それゆえに、ｒおよびｓの値が、以下の関係式（８）によって計算される。
【数８】
2004508642.tif 000010
【００９９】
上記の関係式において、文字Ａ、Ｂ、ＣおよびＤに添えられた下付き文字ｘおよびｙは、それぞれ、これらの文字の縦座標および横座標を表す。
【０１００】
図２ｃ中のノードＡ、ＢおよびＣ、Ｄ間に交差点が存在する場合、現在、オリジナルのそれぞれのアクティブ輪郭は、上記で引用した分割規則に従って、いくつかのアクティブ輪郭に分割される。交差点が存在する場合、本発明を限定するわけではない例によれば、図２ｃ中の線分ＡＢおよびＣＤに属しているノードＩにおいて、ノードＡはノードＢから切り離され、そして、同じことがノードＤに関連するノードＣにもあてはめられる。その後に、ノードＡおよびノードＣは、それぞれノードＤ、ノードＢに連結される。接続のコンセプトは、各アクティブ輪郭、オリジナルのアクティブ輪郭、現在のアクティブ輪郭をノードの閉リストの形で組み立てることにあることが思い出される。
【０１０１】
前述のステップは、新しいアクティブ輪郭を作成する反復的なプロセスであり、この新しいアクティブ輪郭におけるノードＢおよびＣ間にノードを追加し、かつ、同時に、現在のアクティブ輪郭から、これらの同じノードを削除する。新しいアクティブ輪郭が退化していない場合、すなわち、それが少なくとも２つを超えるノードを備えている場合、それは、アクティブ輪郭のベクトルを表しているメタヘビの形で格納され、アクティブ輪郭自身は、ノードのリストの形で格納される。アクティブ輪郭は、オブジェクトの外側の輪郭に接近する感覚能がある。前述の反復的な関数は、交差点がなくなるまで、何度も呼び出される。交差点検出のためのいろいろなプロセスが、本発明の主題の範囲内において、実行されることができる。
【０１０２】
最小置換の判断を実行するステップＤは、都合よく、図２ａに示したように、前述の判断への否定の回答時に、現在のアクティブ輪郭ＣＡＣの定義の分解能の値を修正することを目的とするステップＦ１に続く。特に、前述の分解能の増加、その結果としてのノード間距離の減少および関連した現在のアクティブ輪郭ＣＡＣの構成ノードの数の増加によって、パスの数に関連する比較ステップＦ２を経由するプロセスを再開することが可能になる。ステップＦ２への肯定の回答は、分解能がステップＦ１において増加した現在のアクティブ輪郭ＣＡＣに基づいて、ステップＢへのリターンを可能にする。
【０１０３】
分解能の増加に関する限り、ステップＦ１内において、前記が、図１ｂに関連する説明において既に述べたように、特に、多角形のサンプリング閾値ＳｍａｘおよびＳｍｉｎを修正することによって、実行可能であることが示されている。
【０１０４】
逆に、判断ステップＦ２への否定の回答に対しては、最終的なアクティブ輪郭Ｆの置換を停止するステップが呼び出される。最終的なアクティブ輪郭は、対象となる基本オブジェクトの自然の輪郭に一致するものと推定される。
【０１０５】
本発明の主題である方法の実現を可能にする、画像内を動く動画化されたオブジェクトから成る基本オブジェクトを追跡するためのプロセスのより詳細な説明が、図３ａおよびこれに続く図を参照して、以下で与えられる。
【０１０６】
基本オブジェクトが、時間の過程で、すなわち１つの画像から次まで、例えばビデオ画像のシーケンス上で、変形、回転およびより一般的に運動する可能性があるという事実が与えられても、一般的な方法で、本発明の主題である方法は、基本オブジェクトを追従または追跡することを可能にするにちがいないことが示される。
【０１０７】
本発明の主題である方法の実行の枠組みの範囲内で、ユーザが対象となる基本オブジェクトを選択し、すなわち図１ａのステップＢが実行され、さらに対象となる基本オブジェクトの取得が実行され、すなわち図１ａまたは１ｂのステップＦが実行されると、最終的な輪郭は、対象となる基本オブジェクトを十分に抱え込むものと思われる。
【０１０８】
図３ａに示すように、本発明の主題である方法は、現在の画像上で実行される、いわゆるデータ準備ステップＧを有している。リングと呼ばれる最終的なアクティブ輪郭すなわちバンドによって区切られるオブジェクトのマスクをつくり、関連したアクティブ輪郭のノードを取り囲むことによって、リングは、アクティブ輪郭の２つの膨張、すなわち、このアクティブ輪郭について初期化されたバイナリ画像の連続した膨張に取り囲まれた領域の差分になる。
【０１０９】
ステップＧの次には、リング上で実行されるステップＨが続き、運動評価が、推定された運動ベクトルに従って、アクティブ輪郭のノードまたはリングの画素を置き換えることを可能にする。
【０１１０】
判断Ｉは、このような方法で、ステップＨの前の運動評価へのリターンＪによって運動評価を繰り返すものと認識することができる。例えば、判断Ｉは、例えば後述するようなユーザの選択の関数として、２を超える数の画像上での運動評価に対応することができる。
【０１１１】
判断Ｉへの否定の回答時には、運動の評価は繰り返されず、運動ベクトルまたは置換ベクトルは、関連したアクティブ輪郭に適用され、これにより、次の画像内での基本オブジェクトの運動を考慮して、最終的なアクティブ輪郭によって、動く基本オブジェクトの追従を保証し、かつ前述の動く基本オブジェクトを識別することを可能にする。次の画像のために、本発明の主題である方法が繰り返されて、これにより、図１ａまたは図２ａのステップＢ、そして輪郭の全ノードのためのブロッキング条件下での置換による変形のステップＣが実行されることが特に理解される。
【０１１２】
しかし、図３ａに示したように、運動の評価のステップＨは、２つのサブステップによって実行される。以前に言及したように、本当の運動の推定の第１のサブステップＨ１が、膨張させられたアクティブ輪郭に適用され、その後に、画像の分割すなわち基本オブジェクトの輪郭の選択を洗練するサブステップＨ２が続く。
【０１１３】
本当の運動の推定の計算に関する、理論的な指示を、以下で説明する。
【０１１４】
例えばステップＨ１において実行される、本当の運動推定手順は、並進モデルまたはアフィンモデルによって、現在のアクティブ輪郭ＣＡＣによって構成される、オブジェクトのグローバルな運動を推定するマルチ分解能構造に基づいている。マルチ分解能は、連続的に画像にフィルターをかけることによって得られる。このプロセスは、分解能の収束を速め、前記をより耐性があるようにする。
【０１１５】
運動評価モデルのための変換式は、以下のようなものであり、関係式（９）を満たす。
【数９】
2004508642.tif 000011
【０１１６】
上記の関係式において、ｘおよびｙは、現在の画像の点Ｎ（ｘ，ｙ）の座標を表し、基本オブジェクトの運動のために変形されて、次の画像内の座標ｘ’およびｙ’を有する点Ｍ’（ｘ’，ｙ’）になる。ｄｘ、ｄｙは、並進変換のための水平ｘおよび垂直ｙ方向における並進パラメータを表し、そして、ａ１、ａ２、ａ３、ａ４、ａ５、ａ６は、アフィン変換パラメータを表し、これは、対象となる基本オブジェクトの置換または変形によって、現在の画像の現在のアクティブ輪郭から次の画像の現在のアクティブ輪郭へ行くことを可能にする。
【０１１７】
データ準備、すなわち対象となる基本オブジェクトを分割する現在のアクティブ輪郭または最終的なアクティブ輪郭からバンドを形成しているリングを定めるステップＧに関する限り、前述のステップは、前述の最終的なアクティブ輪郭ＣＡＦのノードを取り囲む前述のリング上で計算されるバイナリ画像を生成することが示される。以前に言及したリングは、最終的なアクティブ輪郭ＣＡＦの２つの膨張によって取り囲まれた領域の差分に一致し、これらの領域は、アクティブ輪郭の幾何学的な中心または前記の重心に関して定義可能である。もう一つの可能性は、関連した最終的なアクティブ輪郭ＣＡＦに基づいて初期化されたバイナリ画像の連続した膨張を通して前述の領域を得ることにある。
【０１１８】
これらの指示に関して、ステップＧにおいて実行されるデータ準備は、以下のものを確立することが示される。
−推定が実行される領域を区切っているマスク。
−運動推定を実行するために用いられるマルチ分解能のレベルの数。
−アフィン変換または並進による推定のタイプ。
【０１１９】
サブステップＨ２において実行されるオブジェクトの輪郭の選択を洗練するサブステップは、図３ｂに示すように、運動の推定に関して現在のアクティブ輪郭ＣＡＣを構成する、関連したアクティブ輪郭、例えば最終的なアクティブ輪郭ＣＡＦのリングの運動の推定に続いて、サブステップＨ２１において、このアクティブ輪郭ＣＡＣの各ノードを、推定された運動の値によって置き換えて、新しい画像のための最初のアクティブ輪郭を生成する。図３ｂに、本発明を限定するわけではない方法で、実際には破線の円によって現在のアクティブ輪郭ＣＡＣを形成している、最終的なアクティブ輪郭を示す。これは、図面が煩雑になり過ぎないようにするためである。運動推定は置換ベクトルＤｅを生じさせ、そして、この置換は、記号的に、現在のアクティブ輪郭ＣＡＣの中心の置換、および、もちろん前記の周囲の置換によって示されている。この置換は、ステップＨ２１の終わりに、置き換えられた現在のアクティブ輪郭ＣＡＣＤを生成することを可能にする。置き換えられた現在のアクティブ輪郭ＣＡＣＤは、次の画像のための最初の現在のアクティブ輪郭ＣＡＣＩとなる。
【０１２０】
サブステップＨ２１の次には、サブステップＨ２２が続き、ここでは、幾何学的変換によって最初の現在のアクティブ輪郭ＣＡＣＩを膨張させて、置き換えられ、かつ膨張させられた現在のアクティブ輪郭ＣＡＣＤｄを生成し、これは、この次の画像のための基準となる最初のアクティブ輪郭ＣＡＩＲになる。膨張プロセスは、幾何学的変換によって実行され、この幾何学的変換は、おそらく、置き換えられた現在のアクティブ輪郭ＣＡＣＤの重心に関して、例えば相似になる。したがって、得られた基準となる最初のアクティブ輪郭ＣＡＩＲは、サブステップＨ２３において、次の画像のための基本オブジェクトのオリジナルのアクティブ輪郭となり、これは、もちろん、オリジナルのアクティブ輪郭の収束性の変形を繰り返し再開することを可能にして、前述の次の画像のための最終的な現在のアクティブ輪郭を生成する。したがって、図３ｂにおける次のサブステップＨ２３では、例えば図１ａおよび２ａのステップＢそれからステップＣを呼び出して、本発明の主題である方法によって、オブジェクトの分割を保証することが可能であることが理解される。
【０１２１】
図３ｃに、アクティブ輪郭、バイナリ画像から成るマスク、および、最後に、アクティブ輪郭によって初期化されたバイナリ画像の連続した膨張に一致するリングを示す。
【０１２２】
最終的に、図３ｄに、バレエの場面を演じている２人の俳優によって形成されている対象となる基本オブジェクト、２人の俳優を囲んでいる最終的なアクティブ輪郭ＣＡＦ、それから、図３ａのステップＧの実行によって、それらのまわりに得られるリングを示す。
【０１２３】
最終的に、図４に、前述の２人の俳優によって演じられるバレエの場面を示す。上部の最初の２つの画像は、俳優を取り囲む、俳優の２種類の可能な選択方法（マウス、および、取り囲んでいる箱）を示し、かつ、他の６つの画像は、これらの俳優の時間の経過順の追跡の瞬間を示す。
【０１２４】
本発明の主題である分割方法に基づいて、サーバーサイトを通してアクセス可能なデータベースに格納された一つ以上のビデオ画像内で対象となる基本オブジェクトを捜すためのプロトコルの説明が、図５を参照して、以下で与えられる。この検索は、このサーバーサイトへのアクセスのための端末から指示される。
【０１２５】
一般的な方法で、かつ前述の図を参照して、ＴＡと表記されるアクセス端末、例えば、オフィスのマイクロコンピュータ、携帯用マイクロコンピュータ、ＰＤＡタイプのデジタルアシスタント、または、ディスプレイ画面を備え、かつＷＡＰタイプのグラフィックインタフェースを有する移動無線電話通信端末から成る端末について考える。この移動無線電話通信端末は、例えば、ＵＭＴＳタイプまたはＧＰＲＳタイプの伝送を実現し、かつ、このサーバーサイトと共に、ファイルの交換を可能にする。
【０１２６】
端末ＴＡは、サンプルを利用できるようになっていて、このサンプルは、実際には、ＩＥＣＨと表記されるサンプル画像から成り、これは、画像のシーケンスすなわちサーバーＳＥＲＶのデータベースに格納された複数の画像から発せられる、少なくとも一つのサンプルビデオ画像から成る。このサーバーのデータベースに格納された画像のシーケンスは、実際には、ＳＩＲと表記される参照画像のシーケンスを構成し、この画像のシーケンスは、複数の現在の参照画像ＩＲＣを備えるものと推定される。各々の現在の参照画像の後には、ＩＲＳと表記される次の参照画像が続く。
【０１２７】
前述の図５を参照すると、本発明の主題である対象となる基本オブジェクトを捜すためのプロトコルにおいては、ステップＫで、以前に図１から４に関連する説明で述べたように、本発明の主題である方法に従ってサンプルビデオ画像ＴＥＣＨを分割する。この分割の目的は、少なくとも一つのサンプルアクティブ輪郭を生成することである。このサンプルアクティブ輪郭は、本発明の主題である方法の意味（ｍｅａｎｉｎｇ）の範囲内では、例えば最終的なアクティブ輪郭ＣＡＦであり、サンプルビデオ画像ＴＥＣＨに属する対象となる基本オブジェクトと関連するノードのリストから成る。ノードのリストは、実際には、関連したアクティブ輪郭、最終的なアクティブ輪郭上に配置された点のリストを構成することが思い出される。各点は、以前の説明において言及したように、さらに弾性エネルギーＥを表わす剛性定数の値と関連している。この理由のために、サンプルアクティブ輪郭は、以下のように表される。
ＣＡＥ＝［｛Ｐｉ，Ｋｉ｝］＝Ｌｅ
ここで、Ｐｉは、アクティブ輪郭の各点を表し、Ｋｉは、隣接の点に対しての、この点に関する剛性定数を表す。
【０１２８】
ステップＫの後には、ステップＬが続き、ここでは、アクセス端末ＴＡからサーバーサイトＳＥＲＶにノードＬｅのリストを送る。
【０１２９】
前述のステップＬの後には、ステップＭが続き、ここでは、サーバーレベルで、データベースに格納された画像のシーケンスにおける少なくとも一つの現在の画像を分割する。この分割は、もちろん、以前の説明に記載した本発明の主題である分割方法によって実行される。前述の分割動作は、分割ＩＲＣと表記され、ＣＡＲを生成する。この動作は、もちろん、ＣＡＲと表記される、少なくとも一つの参照アクティブ輪郭を生成することを可能にする。
【０１３０】
参照アクティブ輪郭は、以下のように表される。
ＣＡＲ＝［｛Ｐｊ，Ｋｊ｝］＝Ｌｒ
【０１３１】
リストＬｒが、参照アクティブ輪郭を構成し、これが、このアクティブ輪郭の点Ｐｊ、および、これらの点の各々と関連する剛性項Ｋｊから成ることが推定されることは、もちろん理解される。
【０１３２】
ステップＭの後には、ステップＮが続き、これは、サンプルアクティブ輪郭Ｌｅの、リストＬｒにおける参照アクティブ輪郭との類似点の比較による比較判断ステップから成り、以下のように表される。
【数１０】
2004508642.tif 000012
【０１３３】
類似点の比較を、サンプルアクティブ輪郭ＣＡＥ、参照アクティブ輪郭ＡＣＡＲのそれぞれの上に配置された点ＰｉおよびＰｊの座標の項毎の比較とすることによって、そして、もちろん、対応する剛性項ＫｉおよびＫｊの比較によって、この比較を、判断を調整することを可能にするファジー論理タイプの比較を導入することのような方法で、信頼区間について実行することができる。
【０１３４】
比較ステップＮにおいて実行される判断への否定の回答においては、サンプルリストおよびサンプルアクティブ輪郭が十分に参照リストＬｒおよび参照アクティブ輪郭ＣＡＲと同一とされることが可能でないので、分割ステップＭに戻ることによって、検索が次の参照画像ＩＲＳにわたって続けられる。ただし、現在の画像ＩＲＣの値に対しては、等式ＩＲＣ＝ＩＲＳを通して次の画像ＩＲＳの値を割り当てる。
【０１３５】
逆に、類似点の比較において、サンプルリストおよびサンプルアクティブ輪郭ＣＡＥが、参照リストＬｒおよび参照アクティブ輪郭ＣＡＲと同一とされることが可能であれば、判断比較ステップＮの後に、ステップＰが続き、検索を停止して、必要に応じて、端末ＴＡからの要求の上で、サーバーサイトＳＥＲＶにアクセス可能なデータベースに格納された画像のシーケンスの全部または一部を送信する。
【０１３６】
本発明の主題であるプロトコルは、各サンプルアクティブ輪郭ＣＡＥに関する限り、改善されるが、他方で、各参照アクティブ輪郭ＣＡＲに関しては、検索の対象である基本オブジェクトのさまざまな属性パラメータに関連するので、オブジェクト認識性能を改善する。
【０１３７】
この目的のために、図５に示したように、本発明の主題であるプロトコルは、対象となるオブジェクト内で、ＡＥＣＨと表記されるサンプルオブジェクトコンポーネント属性、例えば、色、テクスチャ、運動パラメータ等のような、関連したサンプル画像中の対象となる基本オブジェクトの属性を識別するステップを備えることができる。特に、サンプルアクティブ輪郭ＣＡＥが利用できる間は、最終的なアクティブ輪郭ＣＡＦおよび、その結果としての問題のオブジェクトの自然の輪郭は、必ず利用できる。この自然の輪郭において、画像処理および分析手順に基づいて、前述の属性を計算することは、特に容易である。
【０１３８】
さらに、ステップＬにおいて、サンプルオブジェクトコンポーネント属性ＡＥＣＨが、アクセス端末ＴＡからサーバーサイトＳＥＲＶに送られる。
【０１３９】
さらに、ステップＭにおいて、本発明の主題であるプロトコルは、参照アクティブ輪郭によって区切られたオブジェクト内で、サンプルオブジェクトコンポーネント属性と同じタイプの参照オブジェクトコンポーネント属性を識別することができる。参照オブジェクトコンポーネント属性は、ＡＩＲと表記され、そして、同様に、参照アクティブ輪郭によって区切られたオブジェクト内での、テクスチャ、色、色温度等のような属性に相当する。
【０１４０】
ステップＭの後に、ステップＮが続き、この中で、参照オブジェクトコンポーネント属性ＡＥＣＨおよびサンプルオブジェクトコンポーネント属性ＡＩＲが、さらに比較され、その結果、検索の停止または継続が指示される。この指示は、サンプルリストおよびサンプルアクティブ輪郭の参照リストおよび参照アクティブ輪郭との比較のＡＮＤ関数による結合によって、サンプル属性の参照オブジェクトコンポーネント属性との比較を実行することができることが特に理解される。
【０１４１】
もちろん、前述の属性に関する比較は、以前の説明において言及したように、ファジー論理判断を導入するために、信頼幅を考慮して実行されることができる。
【０１４２】
現在の参照画像を分割するステップＭの実行に関する限り、この画像がいくつかの対象となる基本オブジェクトを備える場合にも、その周囲で実質的に全画像を囲む開始アクティブ輪郭ＣＤを任意に提供することが可能である場合に限り、本発明の主題であるプロトコルの実行に対する障害はないことが示される。本発明の主題である方法は、基本オブジェクトがばらばらであっても、いくつかの対象となる基本オブジェクトへの分割を可能にしている。その結果として、ユーザによる対象となる基本オブジェクトのサンプル画像ＴＥＣＨ内での選択とは無関係に、サンプル画像ＴＥＣＨ内でユーザによって選択されたオブジェクトに実質的に対応する参照基本オブジェクトは、各々の現在の参照画像ＩＲＣ内に、常に存在する。
【０１４３】
したがって、本発明の主題であるプロトコルは、例えば、ＭＰＥＧ ４規格のビデオ画像シーケンス内の画像の検索の実行に、特によく適していることは明らかである。
【図面の簡単な説明】
【図１ａ】具体例による、本発明の主題である方法の実現を可能にするステップの総合的なフローチャートである。
【図１ｂ】具体例による、図１ａに示した本発明の主題であって、開始輪郭上に定義されるノードから、オリジナルのアクティブ輪郭または現在のアクティブ輪郭の両方を作成する方法の実現の詳細である。
【図２ａ】具体例による、本発明の主題である方法の実現の、好適な本発明を限定するわけではないモードを示し、この中で、交差点の存在および現在のアクティブ輪郭に適用される分解能の処理が導入される。
【図２ｂ】具体例による、図２ａに示した本発明の主題である方法のステップの実現の詳細であり、この中で、各々の現在のアクティブ輪郭上での画像強度の勾配の計算の領域の初期化が実行される。
【図２ｃ】具体例による、現在のアクティブ輪郭上での交差点の存在を管理するステップの具体的な実現の詳細である。
【図３ａ】具体例による、本発明の主題である方法による現在のアクティブ輪郭に適用される運動評価プロセスの総合的なフローチャートであって、複数の連続した画像、例えば、ビデオまたはテレビ画像上で動くオブジェクトの追跡を保証することを可能にする。
【図３ｂ】具体例による、図３ａに示したような動いているオブジェクトに関する現在のアクティブ輪郭を洗練するステップを実行する好適な本発明を限定するわけではないモードを示す。
【図３ｃ】具体例による、運動推定が実行されるオブジェクトの一部を示す。
【図３ｄ】図３ｃと同様であるが、バレエの場面を演じている２人の俳優から成る現実の例におけるものを示す。
【図４】具体例による、２人の俳優によって演じられるバレエの場面に関するビデオ画像のストリングを示し、それは、現在のアクティブ輪郭の展開を示し、かつ、この中で、最終アクティブ輪郭が２つに分かれ、それぞれが１つに合体している。
【図５】具体例による、アクセス端末からサーバーサイト上のアクセス可能なデータベースに格納された画像のシーケンス内で、対象となる基本オブジェクトを捜すためのプロトコルに関するフローチャートである。
【符号の説明】
ＯＢＪ　基本オブジェクト
ＣＮ　自然の輪郭
ＣＤ　開始輪郭
ＣＡＯ　オリジナルのアクティブ輪郭
ＣＡＣ　現在のアクティブ輪郭
ＣＡＦ　最終的なアクティブ輪郭
【図１ａ】
2004508642.tif 000013
【図１ｂ】
2004508642.tif 000014
【図２ａ】
2004508642.tif 000015
【図３ａ】
2004508642.tif 000016
【図３ｃ】
2004508642.tif 000017
【図５】
2004508642.tif 000018
【国際公開パンフレット】
2004508642.tif 000019
2004508642.tif 000020
2004508642.tif 000021
2004508642.tif 000022
2004508642.tif 000023
2004508642.tif 000024
2004508642.tif 000025
2004508642.tif 000026
2004508642.tif 000027
2004508642.tif 000028
2004508642.tif 000029
2004508642.tif 000030
2004508642.tif 000031
2004508642.tif 000032
2004508642.tif 000033
2004508642.tif 000034
2004508642.tif 000035
2004508642.tif 000036
2004508642.tif 000037
2004508642.tif 000038
2004508642.tif 000039
2004508642.tif 000040
2004508642.tif 000041
2004508642.tif 000042
2004508642.tif 000043
2004508642.tif 000044
2004508642.tif 000045
2004508642.tif 000046
2004508642.tif 000047
2004508642.tif 000048
2004508642.tif 000049
2004508642.tif 000050
2004508642.tif 000051
2004508642.tif 000052
2004508642.tif 000053
2004508642.tif 000054
2004508642.tif 000055
2004508642.tif 000056
2004508642.tif 000057
2004508642.tif 000058
2004508642.tif 000059
2004508642.tif 000060
2004508642.tif 000061
2004508642.tif 000062
2004508642.tif 000063
2004508642.tif 000064
2004508642.tif 000065
2004508642.tif 000066
2004508642.tif 000067
2004508642.tif 000068
2004508642.tif 000069
2004508642.tif 000070
2004508642.tif 000071
2004508642.tif 000072
2004508642.tif 000073
2004508642.tif 000074
2004508642.tif 000075
2004508642.tif 000076
2004508642.tif 000077
2004508642.tif 000078
2004508642.tif 000079
2004508642.tif 000080
【国際公開パンフレット（コレクトバージョン）】
2004508642.tif 000081
2004508642.tif 000082
【国際調査報告】
2004508642.tif 000083
2004508642.tif 000084
2004508642.tif 000085
2004508642.tif 000086