(57)【特許請求の範囲】
【請求項１】
画像を解釈する方法であって、
因子分解可能な上限を有する目的関数を最適化する、複数変数の構成を発見することを含み、因子分解可能とは、前記上限が、非相互作用パーツの和または非負の相互作用パーツの積の形式に操作処理される、または操作処理され得ることを意味するものであり、
前記発見が、構成候補として既知のエレメントの効率的な動的順序づけに依存する反復アルゴリズムを、優先待ち行列における上限スコアの降順で適用することによって行われ、
前記反復アルゴリズムは、
ａ．優先待ち行列（優先Ｑ）を確立することであって、候補の優先順位は上限（候補）と共に上がることと、
ｂ．カレント候補値を確立し、かつこれを（０，０．．．，０）に設定することと、
ｃ．最良候補値を確立し、かつこれを（０，０．．．，０）に設定することと、
ｄ．優先Ｑに後続候補（カレント）の全エレメントを挿入することであって、初期エレメント値（０，０．．．，０）に後続候補関数を適用して後続候補を得るとともに、当該初期エレメント値の後続候補に再び前記後続候補関数を適用し、さらにこれにより得られた後続候補にも前記後続候補関数を適用して、全ての関連データを生成するような、後続候補関数が定められ、
ｅ．最良候補値が満足解であるか否かについて問合せを行うことと、
ステップｅが正しければ、最良候補を返すことと、
ステップｅが正しくなければ、（ｉ）優先Ｑの先頭における候補をカレント候補値へ割り付けかつこれを優先Ｑから外し、（ｉｉ）優先Ｑに後続候補（カレント）の全エレメントを挿入し、かつこの後、（ｉｉｉ）真のスコア（最良候補）＞真のスコア（カレント）であるかどうかを決定することであって、真のスコアは前記目的関数の実際の値であって、次に、
ステップｅの（ｉｉｉ）が真であれば、ステップｅの開始へ戻ることと、
ステップｅの（ｉｉｉ）が真でなければ、カレント候補値における値を包含するように最良候補を更新し、ステップｅの開始へ戻ることを含み、
当該方法は、少なくとも１つのプロセッサを用いたシステムにより行われる方法。
【請求項２】
前記反復アルゴリズムは、実行中に、その時点で入手可能な最良の完全解を得るために中断されてもよい任意時間アルゴリズムである、請求項１に記載の方法。
【請求項３】
前記反復アルゴリズムは、適切な基準に基づいて完了前に停止され、当該適切な基準は、限定されないが、カレントスコア及び前記上限の最大値としきい値との比較を含む、請求項１に記載の方法。
【請求項４】
前記目的関数は第一項と第二項とを含み、前記第一項はオブジェクトまたはシーンの個々のパーツの特性を記述し、かつ前記第二項はこれらのパーツ間の関係及び／または制約を記述するものである、請求項１に記載の方法。
【請求項５】
前記目的関数の第一項は、前記オブジェクトまたはシーンの個々のアピアランスモデルを明確に記述するものである、請求項４に記載の方法。
【請求項６】
前記目的関数の第２項は、前記オブジェクトまたはシーンのパーツ間の空間的関係モデルを記述するものである、請求項４に記載の方法。
【請求項７】
前記目的関数は星座モデルより与えられる、請求項１に記載の方法。
【請求項８】
画像を解釈する方法であって、
因子分解可能な上限を有する目的関数を最適化する、複数変数の構成を発見することを含み、因子分解可能とは、前記上限が、非相互作用パーツの和または非負の相互作用パーツの積の形式へと操作処理される、または操作処理され得るものを意味するものであり、前記目的関数は、第一項及び第二項を含み、前記第一項はオブジェクトまたはシーンの個々のパーツの特性を記述し、かつ前記第二項はこれらのパーツ間の関係及び／または制約を記述するものであり且つオブジェクトまたはシーンの個々のパーツの空間的関係モデルを記述するものであり、前記空間的関係モデルは、２つのパート間の距離を含み、
前記発見が、構成候補として知られるエレメントの効率的な動的順序づけに依存する反復アルゴリズムを、優先待ち行列における上限スコアの降順で適用することによって行われ、
既に与えられたカテゴリのオブジェクトまたはそのようなオブジェクトの一部が画像中に存在するか否かを決定する目的で画像解釈を呼び出し、
当該方法が、少なくとも１つのプロセッサを用いたシステムにより行われる方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は画像の解釈に関し、より具体的には下記、即ち、
局在化：画像内の特異的な既知のオブジェクトまたは特異的な既知のカテゴリの任意のオブジェクトを発見し、かつそのオブジェクトの個々のパーツを位置決めすること。ここで、オブジェクトは形状（企業ロゴ等）であっても、車または顔面等の自然物であってもよい、
検出：画像が特異的な既知のオブジェクトまたは特異的な既知のカテゴリの任意のオブジェクトを含んでいるかどうかを検査すること、
カテゴリ分類：画像に、そのコンテンツを基礎としてカテゴリラベルを割り付けること、
に関する画像解釈の問題点を解決することに関する。
【背景技術】
【０００２】
オブジェクトまたはシーンカテゴリのパーツベースモデルは、技術上周知である。しかしながら、関連の「ｂａｇ−ｏｆ−ｆｅａｔｕｒｅｓ」モデル等のモデルが画像のタグ付け及びカテゴリ分類にうまく使用されてきているものの、オブジェクト表現の重大部分は、オブジェクト特徴間の空間的関係にあるという長い間の認識がある。空間的関係のモデリングは、オブジェクトの認識、カテゴリ分類及び局在化のパフォーマンスを向上させる。空間的関係を用いるモデルは、オブジェクト及びそのパーツに関する自動画像解釈に使用されることも可能である。この後者の課題、即ちオブジェクトパーツの効率的な局在化は、それ自体で関心対象である。これは、目等のオブジェクトパーツの中には、あまりに重要であるために内在的な関心対象オブジェクトであるとされ得るものがあることに起因する。
【０００３】
空間的関係のモデリングは、モデル変数間に依存性をもたらす。これは、このようなモデルの使用を計算量的に困難なものにするが、その理由は、複数の変数に対して目的関数を同時に最大化しなければならないことにある。例えば、パーツのアピアランス及び空間的関係の双方を組み込む周知のモデルファミリである星座モデルについて考察されたい。簡単に言えば、このモデルは、特徴的なアピアランスを有するＫ個のパーツ集合から成る。例えば、顔面のカテゴリの場合、パーツは目、鼻及び口である可能性がある。よって完全な顔面は、個々のパーツを局在化することによって検出される。
【０００４】
オブジェクトのパーツが独立していて、各パーツが画像内にＮ個のロケーション候補を有していれば、Ｎ個の構成候補の「優良度」を評価することによって各パーツの最良ロケーションを発見することができ、合計ＫＮ個の評価を行ってオブジェクトが検出される。しかしながら、パーツを独立したものとしてモデリングする結果、局在化の質が悪くなる。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
個々のパーツの局在化を向上させるためには、その典型的な空間的配置に関する情報をモデリングすることが有益である。このような幾何学的情報のモデリングは、局在化パフォーマンスを大幅に向上させる。しかしながら、これもまた、パーツ間の依存性を招来する。例えば、顔の場合、モデリングされ得る情報は顔面の対称性または典型的なパーツ間距離である。しかしながらこのモデルでは、目のパーツとして所定のロケーションを仮定すると、鼻が発見されると思われるロケーション集合に影響が出る。その結果、もはやパーツを独立的に画像へ嵌め込むことはできない。代わりに、全パーツの接合ロケーションとしてのＮＫ個の可能性について最適構成が探索される必要がある。これはＫの指数関数であることから、この探索は、パーツ数の増加に伴ってすぐに処理しにくいものとなる。具体的には、７個のパーツ間の空間的関係のモデリングが事実上の限界とされている場合が多い。従って、パーツ間に依存性があるモデルを最適化する新しい方法を発見することが望ましい。
【課題を解決するための手段】
【０００６】
本出願は、構成候補の効率的な動的順序づけに依存する反復アルゴリズムを優先待ち行列における上限スコアの降順で適用することにより、因子分解可能な上限を有する目的関数を最適化する複数変数の構成を発見して画像を解釈する方法及びシステムである。一例として、オブジェクトの星座モデルを考察されたい。これは、オブジェクトの個々のパーツ、並びにこれらのパーツ間の空間的関係のアピアランスモデルを明示する。これらは、その値が画像内のオブジェクトの類似を表す単一関数へと結合される。オブジェクトが存在する構成を画像内に発見するために、我々はこの関数を全ての構成候補に渡って最大化する。上述の反復アルゴリズムの目的は、このような最適構成を効率的に発見することにある。
【図面の簡単な説明】
【０００７】
【図１】本発明の画像解釈システム及び方法のコンピュータ実装を示す概観である。
【図２】星座モデルを用いた出力の一例である。
【図３】本出願によるプロセスのフロー図である。
【図４】局在化の概観である。
【図５】顔認識の詳細である。
【図６】車両認識の詳細である。
【図７】使用したパーツ数を基礎とするパフォーマンスの向上を示す。
【図８】本発明の概念の使用により達成される速度の改善を示す。
【図９】複数の反復の効果を示す。
【発明を実施するための形態】
【０００８】
図１は、本出願のコンセプトが実装されている環境１００を示す。環境１００は、ネットワーク１０２及び通信チャネル１０４を介して複数のコンポーネント間の通信を提供する。環境１００内のコンポーネントには、カテゴリ分類システム１０６と、局在化システム１０８と、オブジェクト認識システム１１０と、全関数評価システム１１２と、パーツ間関係システム１１４と、パーツアピアランスシステム１１６と、因子分解可能上限システム１１８とが含まれる。これらのシステムは各々、別々のプロセッサ及びコンピュータメモリを有しかつ適切なソフトウェアを実行する別々のコンピュータ操作可能サーバ上に存在してもよい。またこれらは、クラウドコンピューティング環境へ１つのエレメントとして付着されてもよく、またはサーバ１２０等の同じサーバ上に位置決めされてもよい。各サーバは、通信リンク１０４を介して、ウェブ対応コンピュータ１２２、（画像生成能力を有する）電話１２４または他のウェブ対応携帯デバイス１２６等の、但しこれらに限定されない、画像を送受信することができる様々なデバイスの任意のものへ接続されてもよい。またサーバ１２０は、電子的に格納された画像１２８を含むコンピュータデータベースとして編成されてもよい、コンピュータメモリで構成される情報レポジトリとして考慮される場合もある。或いは、本出願の全体システムは、スタンドアロンコンピューティングデバイス上に位置決めされてもよい。デバイス１２２−１２６は、後述する画像解釈オペレーションを達成するような方法で、システム１０６−１１８との間で画像を送受信してもよい。但し、これらのオペレーションの様々なステップはシステム１０６−１１８によって達成される。
【０００９】
次に、図２を参照すると、星座モデルを顔２００、オートバイ２１０及び自動車２２０へ適用したプロセスの結果が示されている。星座モデルは、コンピュータビジョンの分野では周知であり、コンピュータビジョンにおけるカテゴリレベルのオブジェクト認識のための確率モデルである。パーツベースの他のモデルと同様に、星座モデルは、オブジェクトのクラスを相互的な幾何学的制約下にあるＫ個のパーツの集合によって表現しようとする。星座モデルは、異なるパーツ間の幾何学的関係を考慮することから、ある特定のオブジェクトカテゴリについて、これらのパーツの相対的ロケーション、相対的スケール及びアピアランスを明示的にモデリングする。
【００１０】
星座モデルは２つのコンポーネント、即ちアピアランスモデルと、空間的関係モデルとを含む。本出願の実施形態の９例は、３つの異なるアピアランスモデル及び３つの異なる空間的な先験的確率にスパンする。
【００１１】
星座モデルが強調されているが、より一般的には、因子分解可能な上限を有する限り、星座モデルのうちの１つ以外の目的関数が使用される可能性もある。次の論考においてさらに詳述するが、因子分解可能とは、上限が何らかの算術演算または他の演算によって非相互作用パーツの合計または非負の相互作用パーツの積の形式へと操作される、または操作され得ることを意味する。
【００１２】
従って、コンピュータビジョンの文献ではオブジェクトまたはシーンカテゴリのパーツベースモデルが一般的であり、かつ関連の「ｂａｇ−ｏｆ−ｆｅａｔｕｒｅｓ」モデルが画像のタグ付け及びカテゴリ分類にうまく使用されてきているが、オブジェクト表現の重大部分は、オブジェクト特徴間の空間的関係にあるという長い間の認識がある。空間的関係のモデリングは、オブジェクトの認識、カテゴリ分類及び局在化のパフォーマンスを向上させる。空間的関係を用いるモデルは、オブジェクト及びそのパーツに関する自動画像解釈を呼び出すために使用されることも可能である。この後者の課題、即ちオブジェクトパーツの効率的な局在化は、それ自体で関心対象である。これは、図２から分かるように、目２０１、２０２、鼻２０４、２０６及び口２０３、２０５等のオブジェクトパーツの中には、あまりに重要であるために内在的な関心対象オブジェクトであるとされ得るものがあることに起因する。
【００１３】
一例として、多くの異なる形状、サイズ及びデザインを有するオートバイ（具体的なオートバイは、オートバイ２１０である）を考察されたい。画像内でのオートバイの認識は困難である。しかしながら、オートバイのパーツは、車輪２１１、２１２及びヘッドライト２１３等のより一貫したアピアランスを有する傾向がある。従って、オートバイの認識に取り組む一方法は、車輪２１１、２１２、ヘッドライト２１３及び予測される相対的な空間的関係性にあるパーツを探すことである。同様の例は、車輪２２１、２２２、ドア２２３及びヘッドライト２２４を有する自動車２２０であろう。この認識は、星座モデルが実行しようとするものである。この場合、車輪及びヘッドライトといえども変化に富んでいることから、その検出も完全ではない。典型的には、あらゆるロケーションが車輪の中心であるという幾分かの類似性を有するが、大部分のロケーションでこの類似の値は小さい、という複数の仮説が検討されなければならなくなる。各パーツの複数の仮説は、最も可能性の高い構成に対する組合せ探索に問題を生じさせる。
【００１４】
従って、本出願は、星座モデルの目的関数を最適化するという上述の問題点に適用される、複数の離散変数の関数を最適化するための一般的アルゴリズムを提供する。目的関数の因子分解可能な上限を用いることにより、本出願のアルゴリズムは、優先待ち行列を動的に成長させてＮＫ個の候補を効率的に暗に順序づけする。ソリューション候補は、優先待ち行列から１つずつ検索され、その候補の真の目的関数が計算され、次いで待ち行列からまだ抽出されていない全ての候補の上限と比較される。これは、後に説明するように、因子分解可能性を活用することによって効率的に実行されることが可能である。
【００１５】
未探索候補の全ての上限を超える真のスコアを有する候補が識別されると、これは、これまでで最良の候補が最適ソリューションであることを保証する。我々は、実際には、近似または制限モデルによらない場合でも、本方法が代替の最適化スキームより数倍も効率的であることを実証している。
【００１６】
コンピュータビジョン及びパターン認識における他の多くの問題点は、離散変数に渡る関数の最大化としての枠内に入れることができる。Ｋ個の変数が存在し、その各々がＮ個の値のうちの１つをとるとすれば、このような最大化は、ＮＫ個の可能な組合せに渡る探索になる。本アルゴリズムは、このような多くの問題点に対する確実な最適ソリューションを効率的に発見するために適用されてもよい。一般的な要件は、目的関数上で因子分解可能な上限が発見されることである。
【００１７】
次に、以下の論考では、複数のパーツ及びこれらのパーツ間の空間的関係によってモデリングされる最適化アルゴリズム及びオブジェクトロケーションへのその適用について述べる。この場合、最適化アルゴリズムはパーツのアピアランス及びパーツ間距離（より一般的には、距離に加えて、または距離の代わりに角度、共直線関係、他等のものを含んでもよいこれらのパーツの空間的構造）を受信することに言及しておく。以下の説明は、専ら星座モデルについて行うが、記述されるべき最適化アルゴリズムは一般的であり、僅かな修正によって追加の問題点に適用され得ることは認識されるべきである。
【００１８】
核心的な最適化アルゴリズムは、Ｋ個の離散変数、ｌ１，．．．，ｌ２，．．．，ｌｋに渡って最適化を考慮する。
【数１】
0005588395.tif 000002
但し、ｌｉは離散変数をとる。各ｌｉは、異なる値集合をとることができる。単純化を期して、各々が０からＮ−１までのＮ個の値をとるものと想定する。これは、目的関数ｆ（）が実行可能領域より外部−∞であるようにして定義されるという理解によって最適化と呼ばれる。可能なソリューションの数は、ＮＫである。
【００１９】
関数ｇ（ｌ１．．．ｌｋ）は、目的関数ｆ（）上の上限であり、即ち、∀（ｌ１．．．１ｋ）・ｇ（ｌ１．．．ｌｋ）≧ｆ（ｌ１．．．ｌｋ）である。可能なＮＫ個のソリューションが全て、優先待ち行列においてその上限スコアの降順で配列されることを想像されたい。最も高い上限を有するソリューション候補（優先待ち行列の先頭または先頭エレメント）が選択され、その真のスコアｆ（）が評価される。この真のスコアが待ち行列における次のエレメントの上限ｇ（）を超えていれば、これは、あらゆる未探索ソリューション候補の上限及び真のスコアも超える。従って、最適ソリューションが発見される。そうでなければ、システムは最良候補発見の追跡を継続し、プロセスが反復される。ループ終了時点で探索された最良のソリューションが、我々の最適ソリューションであるものとして保証される。
【００２０】
優先待ち行列には、ＮＫ個の候補が配列されたままであり、よってシステムは依然として高い計算複雑度を負っていることに留意されたい。この負担は、上限が因子分解可能であれば軽減されることが可能である。
【００２１】
関数ｇ（ｌ１．．．ｌＫ）は、ｇ（）を非相互作用パーツの和（または積）として表すことができれば、ｆ（）の因子分解可能な上限である。
【数２】
0005588395.tif 000003
すると、
【数３】
0005588395.tif 000004
になる。
【００２２】
因数分解可能という言い回しは、本出願の概念が主として倍数因子を成分として有する確率関数に対処するものであるために使用されている。本明細書において記述している概念は、ｉ個に渡る和が正項の積に置換されても同じく効力を発する。
【００２３】
これは、上限によってソートされる優先待ち行列を動的に編成しかつこれを必要に応じて成長させるための我々のアルゴリズムに繋がる。単純化を期して、かつ一般性を失うことなく、ｈｉ（ａ）は、ａが０からＮ−１まで増大するにつれて低減するものと仮定する。（この仮定が成り立たなければ、我々は各ｉにおける候補をｈｉでソートし、逆写像のためのソート−指数アレイを保持する。我々は次に、このソーティングにより提供された候補の新しい順序づけを使用する。この新しい順序づけでは、上述の仮定の成立が保証される。）明らかに、（０，０，．．．，０）が最も高い上限を有する候補であり、後続候補（１，０，．．．，０），（０，１，．．．，０），．．．，（０，０，．．．，１）のうちの１つがこれに続く。後続候補の集合は、カレント候補を取り上げ、各位置指数を一度に１だけ増分することによって取得されることが可能である。従って、我々は各位置における指数を次に最良である可能性のある値で置換する。例えば、Ｋ＝４、及び考慮対象の候補を（２，３，０，１）であるとすると、第１のパーツは３番目によい選択肢であり、第２のパーツは４番目によい選択肢であり、第３のパーツは最良の選択肢であり、かつ第４のパーツは２番目によい選択肢である。この配列下では、この候補の後続候補は（３，３，０，１）、（２，４，０，１）、（２，３，１，１）及び（２，３，０，２）である。優先待ち行列へ追加されるのがこれらの後続候補のみであれば、それが既に待ち行列内に存在していて未だ考慮されていないものであるか、これらの４つの直近後続候補のうちの１つであるかのいずれかで、次に高い上限を有する候補が既に待ち行列内に存在することが確信される。これにより、待ち行列を動的に成長させることができるようになり、かつ全ての候補を前もってソートする必要がない。候補は、常時、その後続候補より高い上限を有することが保証される。
【００２４】
この観測は、次の擬似コードをもたらす。
ｐｒｉｏｒｉｔｙＱ＝｛｝；
ｃｕｒｒｅｎｔ＝  （０，０，…，０）；
ｂｅｓｔ＝ｃｕｒｒｅｎｔ；
ｐｒｉｏｒｉｔｙＱ．ａｄｄ（ｓｕｃｃｅｓｓｏｒｓ（ｃｕｒｒｅｎｔ））；
ｗｈｉｌｅ  ｎｏｔ  （  ｆ（ｂｅｓｔ）  ＞  ｇ（ｈｅａｄ（ｐｒｉｏｒｉｔｙＱ））  ）  ｛
ｃｕｒｒｅｎｔ＝ｈｅａｄ（ｐｒｉｏｒｉｔｙＱ）；
ｒｅｍｏｖｅ＿ｈｅａｄ（ｐｒｉｏｒｉｔｙＱ）；
ｐｒｉｏｒｉｔｙＱ．ａｄｄ（ｓｕｃｃｅｓｓｏｒｓ（ｃｕｒｒｅｎｔ））；
ｉｆ  ｎｏｔ  （ｆ（ｂｅｓｔ）  ＞  ｆ（ｃｕｒｒｅｎｔ））
ｂｅｓｔ  ＝  ｃｕｒｒｅｎｔ；
｝
ｒｅｔｕｒｎ  ｂｅｓｔ；
【００２５】
このように、優先待ち行列は、探索が進むにつれて動的に成長される。アルゴリズムがソリューションを返すと、これは最適なソリューションを提供する。最も高度な探索アルゴリズムの場合のように、このアルゴリズムの最悪の複雑度はＮＫであり、実際に、待ち行列を保持しかつ上限を計算するオーバーヘッドに起因して単純な全数検索よりも悪い。しかしながら、実際には、空間の大部分が明確に探索されることはなく、このアプリケーションにおけるアルゴリズムは極めて効率的になる。この経験的効率は、上限に依存する。不良ソリューションに対して上限が厳密であるほど、実際に探索される空間は少なくなる。
【００２６】
注目すべき詳細は、もう１点ある。ソリューション候補（２，３，０，１）（この場合、Ｋ＝４）について考察されたい。これは、全てより高い上限を有することが保証される３つの先行候補、（１，３，０，１）、（２，２，０，１）及び（２，３，０，０）を有する。全ての先行候補が調査されれば、（２，３，０，１）は待ち行列に三度追加される可能性がある。僅かなブックキーピングの追加は、この不必要なオーバーロードを回避する。後続候補リストは、一度に１位置を、ｉ＝１から開始して最初の非ゼロ位置まで増分することによって計算される。従って、後続候補（０，０，２，１）＝｛（１，０，２，１），（０，１，２，１），（０，０，３，１）｝になる。これは、各候補が一意の先行候補を有することを保証し、かつアルゴリズムの実行時間効率を向上させる。理想的には、ある候補は、その最も低い上限の先行候補を除外する場合にのみ待ち行列に入れられるべきであるが、これを実施する計算オーバーヘッドは任意の潜在的節減分を超過する場合がある。
【００２７】
この反復アルゴリズムのアプリケーション例として、何らかのオブジェクトカテゴリの星座モデルについて再度考察されたい。例えば、このカテゴリは人間の顔であって、目、鼻及び口等のパーツを使用することができる。概して、特徴的なアピアランスを有するＫ個のパーツが存在する。これらのパーツの幾何学的構成は、ベクトルＬ＝［ｌ１，．．．，ｌｋ］によって表される。但し、ｌｉ＝（ｘｉ，ｙｉ）はパーツｉのロケーションである。
【００２８】
画像Ｉを所与とすると、Ｉにおけるパーツの構成を記述するためにロケーションベクトルＬが決定されてもよい。これを行うために、システムは、画像内のパーツ構成Ｌの確率、ｐ（Ｌ｜Ｉ）を最大化する。これは、
【数４】
0005588395.tif 000005
と表すことができる。
【００２９】
第一項ｐ（Ｌ）は、「先行空間」と呼ばれる。第二項（「アピアランス項」と呼ばれる）は、下記のようにモデリングされることが多い。
【数５】
0005588395.tif 000006
【００３０】
ここで、Ｉ［ｌｉ］は、画像Ｉにおけるｌｉを中心とした画像パッチのアピアランスを表す。これは、そのロケーションから抽出された生のピクセル値である可能性もあれば、スケール不変特徴変換（ＳＩＦＴ）記述子によって与えられるもの等のアピアランスの他の何らかの表現である可能性もある。Ａｉは、ｉ＊番目のパーツのアピアランスを符号化するモデルパラメータの集合である。例えば、Ｉ［ｌｉ］が画像パッチのＳＩＦＴ記述子であれば、Ａｉはトレーニング記述子の平均及び共分散である可能性がある。
【００３１】
この因子分解は、画像内にロケーションを与えられている各パーツのアピアランスが他の全てのパーツのロケーション及びアピアランスとは独立しているものと仮定している。この仮定は、必ずしも厳密には成り立たない。例えば、顔の特徴のアピアランスは人の性別によって影響され、よって、１つのパーツの女性的アピアランスは、別のパーツが男性的に見える確率に影響を与える。この仮定は、パーツ同士が重なる場合にも破られる（但し、何れにしても、多くの先行空間はこのような構成を考慮から外す）。しかしながら、概して、この近似は実際には広く使用され、かつＤ．Ｃｒａｎｄａｌｌ、Ｐ．Ｆｅｌｚｅｎｓｚｗａｌｂ及びＤ．Ｈｕｔｔｅｎｌｏｃｈｅｒ共著「統計モデルを用いるパーツベース認識のための先行空間」ＣＶＰＲ、２００５年、及びＴ．Ｋ．Ｌｅｕｎｇ、Ｍ．Ｃ．Ｂｕｒｌ及びＰ．Ｐｅｒｏｎａ共著「ランダムラベルグラフマッチングを用いるクラッタシーン内の顔の発見」ＩＣＣＶ、１９９５年、に示されているように有益な結果を与えることができる。上記文献は共に、本参照によりその全体が開示に含まれる。
【００３２】
従って、完全なモデルは下記のようになる。
【数６】
0005588395.tif 000007
【００３３】
この場合もやはり、局在化のタスクは、この式を最大化するパーツ構成Ｌ＝｜ｌ１．．．ｌｋ｜を発見することである。
【００３４】
上述の星座モデルの最適化は、目的関数が（対数形式で）、
【数７】
0005588395.tif 000008
である本出願のアルゴリズム要件と容易に結びつく。
【００３５】
本来の因子分解は、
【数８】
0005588395.tif 000009
である。
０≧ｌｏｇ  ｐ（ｌ１．．．１ｋ）であることに留意されたい。従って、上限はアピアランスモデルによって与えられ、かつ完全なスコアまたは真のスコアは、これに先行空間の対数を加算することによって得られる。
【００３６】
この定式化の下では、本アルゴリズムは良き直観的説明を有する。探索は、パーツモデルに対する局所応答に従って順序づけされる。画像内の各パーツに対する最良の応答は、より強い仮定は先行空間の結合時に拒絶されていることからより弱い適合を考慮してまず検査される仮説を構成する。星座モデルは確率的であるが、本アルゴリズムは、確率ではなくエネルギー関数を基礎とする類似モデルに等しく適用可能である。
【００３７】
図３を参照すると、先に述べた、かつ先に開示した擬似コードのオペレーションを反映する最適化アルゴリズムのフロー図３００が提示されている。諸ステップは、複数のパーツによってモデリングされたオブジェクトを位置決めしかつこれらのオブジェクト間の空間的関係を識別するためのアルゴリズムの適用方法を明示している。
【００３８】
図３のフロー図３００は、ステップ３０５において、候補の優先順位が上限（候補）に伴って上がる優先待ち行列（優先Ｑ）を確立する。上限（）関数は、［００２１］におけるｇ（）と同じであり、式１のように計算される。ステップ３１０において、プロセスは、（０，０，．．．，０）に設定されるカレント候補値も確立し、かつステップ３２０において、（０，０，．．．，０）に設定される最良候補値も確立する。次にステップ３３０において、プロセスは優先Ｑに後続候補（カレント）の全エレメントを挿入する。任意の候補の後続は、［００２４］及び［００２７］において説明したように計算される。この時点で、ステップ３４０において、真のスコア（最良候補）＞上限（先頭（優先Ｑ））であるかどうかを決定するための検査によって反復ループが始まる。我々の表記法では、真のスコア（）はｆ（）と同じである。ステップ３４０における検査が成功すれば（ＹＥＳ、であれば）、ステップ３５０においてプロセスは最良候補を返す。しかしながら、ステップ３４０における検査が失敗すれば（ＮＯ、であれば）、ステップ３６０においてプロセスは優先Ｑの先頭における候補をカレントに割り付け、これを優先Ｑから外す。次に、ステップ３７０において、プロセスの反復ループは優先Ｑ内に後続候補（カレント）の全エレメントを挿入し、この後、ステップ３８０において真のスコア（最良候補）＞真のスコア（カレント）であるかどうかを決定する別の検査へ移動する。ステップ３８０における検査が成功すれば（ＹＥＳ、であれば）、プロセスはステップ３４０に戻って継続される。ステップ３８０における検査が失敗であれば（ＮＯ、であれば）、ステップ３９０においてプロセスはカレントの値を包含して最良候補を更新し、次いでプロセスはステップ３４０に戻ってさらなる処理を行う。
【００３９】
図４は、４つの星座モデル（顔モデルが２つ、オートバイモデルが１つ及び車モデルが１つ）の最適構成（即ち、パーツロケーション）を発見するための提案アルゴリズムの適用を実証する一連の検査結果を提示している。モデルパラメータは、カテゴリラベル及びパーツロケーションを用いて手動で注釈された画像（即ち、画像テンプレート）の監督された学習を介してトレーニングされることが可能である。このようなモデルを自動的に学習する代替方法は、例えばＦｅｒｇｕｓ他著「非監督スケール不変学習によるオブジェクトクラスの認識」ＣＶＰＲ、２００３年６月、Ｗｅｂｅｒ他著「オブジェクトカテゴリの自動的発見へ向けて」ＣＶＰＲ、１０１−１０９ページ、２０００年、及びＷｅｂｅｒ他著「認識用モデルの非監督学習」ＥＣＣＶ、１８−３２ページ、２０００年、において論じられているように容易に利用可能である。上述の文献は各々、その全体が開示に含まれる。
【００４０】
星座モデルのセットアップに注目すると、先に述べたように、星座モデルは２つの要素、即ちパーツアピアランスモデル及び空間的関係モデルから成る。異なる種類のアピアランスモデル及び先行空間がトレーニングされ、これらは混合されかつ合わされて幾つかの星座モデルが作られる。本アルゴリズムは、これらのモデルによって評価される。これを行うに当たっては、アルゴリズム擬似コードの探索（図３のフローチャートも参照されたい）のために、使用されるモデルの種類によって変更を行う必要はないことが留意される。実際、その優位点は探索が最適ソリューションを与えることにあり、パフォーマンスが不良であれば、変更を要するのはモデルの方である。
【００４１】
本明細書に記述している検査では、３つのアピアランスモデルが使用される。そのうちの１つでは、各画像ロケーションがスケール不変特徴変換（ＳＩＦＴ）記述子（Ｌｏｗｅ著「スケール不変キーポイントからの弁別的画像特徴」、ＩＪＣＶ、６０（２）：９１−１１０、２００４年、において論じられているもの等。上記文献は、本参照によりその全体が開示に含まれる）によって、ロケーション周囲の４１ｘ４１ピクセル近傍内に表現される。各パーツの尤度ｐ（Ｉ［ｌｉ］│ｌｉ，Ａｉ）は、モデルのトレーニングに使用される画像から推定されるパラメータμｉ、Σｉを用いてガウス分布としてモデリングされる。
【００４２】
別のアピアランスモデルでは、画像ロケーションのアピアランスが生のピクセル値によって４１ｘ４１ピクセル近傍内に与えられる。パーツＡｉは、マーキングされたパーツロケーション付近の近傍パッチであり、かつアピアランススコアｐ（Ｉ［ｌｉ］│ｌｉ，Ａｉ）は、正規化された相互相関ＮＣＣ（Ａｉ，Ｉ［ｌｉ］）として計算される。この定式化では、ｐ（Ｉ［ｌｉ］│ｌｉ，Ａｉ）は適切な確率分布ではなく、表記法ｈ（Ｉ［ｌｉ］│ｌｉ，Ａｉ）がより適切である。しかしながら、確率分布だけでなく任意関数に適用可能であることから、最適化アルゴリズムは変わらない。
【００４３】
第３のアピアランスモデルでは、ある画像ロケーションにおけるアピアランスが９０個の異なるハールフィルタの応答として４１ｘ４１ピクセル近傍内に符号化される。アピアランススコアｈ（Ｉ［ｌｉ］│ｌｉ，Ａｉ）は、ランダムな画像ロケーションから真のパーツロケーションのアピアランスを見分けるようにトレーニングされたアダブースト分類器の応答として計算される。ハール−アダブーストモデルの場合、画像全体に渡る均一な格子点がパーツロケーション候補（ほぼ全ての画像においてＮ＞１０００個のロケーション）として使用されるが、ハリス−ラプラス関心点（Ｍｉｋｏｌａｊｃｚｙｋ他著「アフィン領域検出器の比較」ＩＪＣＶ、６５（１／２）：４３−７２、において論じられているようなもの。上記文献は、本参照によりその全体が開示に含まれる）は、最初の２個（Ｎ＞１００）におけるロケーション候補として処理される。
【００４４】
上述の実験では、４１ｘ４１ピクセルの近傍が使用されたが、これはモデル要件ではなく、任意サイズの近傍（非正方形及び非長方形の近傍を含む）を代わりに使用できることに留意されたい。
【００４５】
異なる先行空間について、追加実験を行った。１つの先行空間ｐ（Ｌ）は、パーツ間の対間距離を用いてモデリングされた。Ｋ個のパーツでは、このような距離がＫ（Ｋ−１）／２個存在する。ロケーションｌｉ及びｌｊ間の距離をｄｉ，ｊで表し、かつ全距離［ｄ１，２，．．．，ｄＫ−１，Ｋ］のベクトルをＤで表して、このモデルでは、ｐ（Ｌ）をｐ（Ｄ（Ｌ））に比例するものと定義する。実験において、ｐ（Ｄ（Ｌ））は、対角共分散行列を有するガウス分布であった。この分布のパラメータは、トレーニング例から学習された。
【００４６】
別の先行空間は上述のものに類似するものであったが、全距離がｌ１及びｌ２間の距離でスケーリングされる点が異なる。その目的は、スケール不変を達成することにある。
【００４７】
第３のタイプの先行空間は顔画面のみに対処し、対称先行候補と呼ばれる。これは、顔の軸を中心にして互いの鏡となっていなければ、左右のパーツロケーションにペナルティを与える。本明細書において、これは、我々の対称先行候補を任意に複雑にすることが可能であって、何れにしても因子分解可能である必要はないことの例証として包含されている。
【００４８】
実験の一部として、図４に示すような３種のデータセット、即ち、顔のデータセット４１０、４２０、オートバイのデータセット４３０及び車のデータセット４４０が使用された。顔画像のバイオＩＤデータセット（４１０，４２０）は、Ｊｅｓｏｒｓｋｙ他著「ハウスドルフ距離を用いるロバストな顔検出」Ａｕｄｉｏ  ａｎｄ  Ｖｉｄｅｏ  Ｂａｓｅｄ  Ｐｅｒｓｏｎ  Ａｕｔｈｅｎｔｉｃａｔｉｏｎ、２００１年、において論じられているように、２３個のサブジェクトの１５２１個の顔画像から成る。上記文献は、本参照によりその全体が開示に含まれる。各画像は、パーツ名及びロケーションで完全に注釈を付けられる。顔の表情及び照度には、著しい変形が存在する。オリジナル画像にもスケール変化があり、よって全ての画像は、顔がほぼ同じサイズを有するようにスケールし直されている。
【００４９】
さらに、Ｃａｌｔｅｃｈ１０１データセットからのオートバイ及び車側面のビューが検査されている。Ｃａｌｔｅｃｈ１０１データセットは、Ｆｅｉ−Ｆｅｉ他著「少数訓練例からの生成的ビジュアルモデルの学習：１０１オブジェクトカテゴリ上でテスト済みのインクリメンタルなＢａｙｅｓアプローチ」ＣＶＰＲ  ２００４  Ｗｏｒｋｓｈｏｐ  ｏｎ  Ｇｅｎｅｒａｔｉｖｅ−Ｍｏｄｅｌ  Ｂａｓｅｄ  Ｖｉｓｉｏｎ、２００４年、において論じられている。上記文献は、本参照によりその全体が開示に含まれる。この場合もやはり、各カテゴリ内の画像は、特定のオブジェクトが全画像を通じてほぼ同じサイズになるようにスケールし直された。バイオＩＤの顔モデルのトレーニングには、約１００個の画像が使用され、Ｃａｌｔｅｃｈのオートバイ及び車については各々３０個のトレーニング画像が使用された。
【００５０】
「妥当な」モデルが使用されていることを確立するために、２つの標的課題、即ちオブジェクト検出及びオブジェクト局在化に定性的なパフォーマンス測度が設けられる。これらのタスクは、段落［０００１］において定義されている。
【００５１】
第１のタスクに関しては、受信者動作特性（ＲＯＣ）曲線を用いてパフォーマンスが測定される。カテゴリ毎に、我々のアルゴリズムを用いて星座モデルの最良一致スコアが発見される。これは、対応するカテゴリ内の各検査画像について、さらには、「背景」画像（Ｃａｌｔｅｃｈ１０１「背景」集合からの５０画像）についても行われる。「背景」画像は、負の手本として使用される。ここから、受容しきい値を変えることによってＲＯＣプロットが計算される。
【００５２】
受信者動作特性（ＲＯＣ）曲線または単にＲＯＣ曲線は、２値分類器システムのその弁別しきい値の変更に伴う感度対（１−特異度）をグラフにプロットするための信号検出理論における概念である。ＲＯＣは、真陽性の割合（ＴＰＲ＝真陽性率）対偽陽性の割合（ＦＰＲ＝偽陽性率）をプロットすることによっても等しく表現されることが可能である。これは、基準の変更に伴う２つの動作特性（ＴＰＲ及びＦＰＲ）の比較であることから、相対動作特性曲線としても知られる。ＲＯＣ分析は、コストコンテキストまたはクラス分布から独立して（またはこれらを明示する前に）最適モデルである可能性のあるものを選択しかつ最適以下のものを放棄するためのツールを提供する。
【００５３】
第２のタスクは、パーツの局在化である。この場合、モデルパーツの最良ロケーションは、我々のアルゴリズムによって発見される最適なモデル構成に対応するものとして識別される。これらのロケーションは、全てのカテゴリ内検査画像について記録され、評価のために、手動で注釈を付けられた「グラウンドトルース」ロケーションと比較される。一例として、推測されたロケーションと手動で注釈を付けられた「グラウンドトルース」ロケーションとの間の平均ユークリッド距離を計算して、パーツの局在化の精度を定量化することができる。
【００５４】
図４には、幾つかの実験結果が提示されている。ヒストグラム４５０には、幾つかのモデルの局在化誤差がプロットされている。また、検出パフォーマンスを明示したＲＯＣ曲線４６０も提示されている。
【００５５】
図５は、各々６個、１０個及び１４個のパーツでモデルを構築するバイオＩＤの顔データセット５００による実験結果を詳述している。６パーツモデル５１０では、目の瞳５１１、５１２、２つの鼻孔５１３、５１４及び左右の口角５１５、５１６が使用されている。１０パーツモデル５２０では、眉毛の４つの端点５２１、５２２、５２３、５２４が追加されている。１４パーツのモデルでは、システムは４つの目の端を使用してもよい。
【００５６】
図６は、２つの車輪の中心６３１、６３２、フロントライト及びテールライト６３４及び座席の前側６３５及び後側６３６の６パーツを使用するオートバイのデータセット６３０を用いた結果を提示している。
【００５７】
また、２つの車輪の中心６４１、６４２、タイヤガードの内角６４３、６４４、フロントライト及びテールライト６４５、６４６、フロントガラス輪郭の最低ポイント６４７及びルーフの２つの末端６４８、６４９の９パーツを使用する車のデータセット６４０を用いた結果が提示されている。
【００５８】
これらの例は、各カテゴリ内の個々のオブジェクトのアピアランス及びジオメトリの変化に関わらず、パーツが如何に高精度で局在化されるかを実証している。
【００５９】
図７は、各々６パーツ、１０パーツ及び１４パーツによる３つの顔モデル７００、７３０、７２０の顔検出パフォーマンスを明示している。全てのモデルがバイオＩＤデータセットからの画像上でトレーニングされて検査され、かつ対間距離ガウス先行候補を使用している。ＲＯＣ曲線は、誤警報率（Ｘ軸）対ヒット率（Ｙ軸）をプロットしている。
【００６０】
図８は、６パーツ（８１０）、１０パーツ（８２０）及び１４パーツ（８３０）を基礎とする最適ソリューションを提示している。主たる結果は、最適性を保証しながらの提案している探索アルゴリズムの効率である。本アルゴリズム８４０が探索する平均構成数は、ｓｔａｒモデル８５０、２−ｆａｎモデル８６０及び全数検索８７０が探索する構成数と比較される。２−ｆａｎがより限定的なモデルを要するとしても、アルゴリズム８４０の効率は経験的に２−ｆａｎをも凌ぐことに留意されたい。結果は、使用されたモデル及び検査データセット毎に編成されている。
【００６１】
学習されたモデル毎に、大域的最適化を発見するためにアルゴリズムが行った平均反復回数が示されている。各反復は、１つのパーツ構成の評価に対応する。比較のために、ｓｔａｒモデル８５０及び２−ｆａｎモデル８６０が実行する評価回数が提示されている。ｓｔａｒモデル８５０及び２−ｆａｎモデル８６０は限定空間を探索し、よってその表現力は完全な先行空間による星座モデルよりも弱いことに留意されたい。２−ｆａｎモデルによる最適構成は、完全な星座モデルでは必ずしも最適とはならない。これに対して、提案している最適化アルゴリズムは、完全な星座モデルの大域的最適化を確実に発見する。
【００６２】
また、可能性のある全ての構成数も記されているが、３または４以上のパーツに関してこの数字が実際には実行不可能であることは知られている。図から分かるように、本アルゴリズム／擬似コード（図３のフローチャートも参照されたい）が行う評価は、より限定的なモデルである２−ｆａｎモデルが行う回数よりさらに少ない。これは、計算効率も向上させながら、確率分布ｐ（Ｌ｜Ｉ）をより精確にモデリングすることを可能にする。
【００６３】
図９は、反復回数が画像内のパーツロケーション候補の数にどのように依存するかを明示している。また、Ｘ軸９１０上のパーツロケーション候補（例えば、キーポイント）の数、Ｙ軸９２０上のパーツロケーション候補の数の関数としての我々のアルゴリズムによる反復（探索される構成）の数の散布図９００、３−ｆａｎの反復数に関する対数Ｏ及び６パーツによるフル探索もプロットされている９３０。最悪のケースで我々のアルゴリズムにより探索された構成の数は、フル探索及び３−ｆａｎより何倍も望ましいものである。散布図を調べると、本アルゴリズムに関して幾つかの洞察が得られる。画像が、そのモデルのカテゴリのオブジェクトを含んでいれば、アルゴリズムは極めて少ない反復の後に終了することが多い。これらは、パーツアピアランスモデルが正しい候補に高得点をつける状況を反映している。画像が背景カテゴリに属していれば、パーツモデルは偽のロケーションでマッチングし、明確な勝者はほとんどいない。従って、勝利する構成を宣言するまでには、さらに多くの構成を探索する必要がある。
【００６４】
当然ながら、実際には、上限が受容しきい値を下回ると、探索を停止することによって背景画像は迅速に拒絶される。最終的には、「カテゴリ内」の画像に関して探索が百万回以上もの反復を実行する幾つかのケースも存在する。通常、これらの状況では最適ソリューションがごく早期に発見されるが、アルゴリズムは、これが実際に最適であるかを確認できるまで多くの代替ソリューションを調査しなければならない。その最適構成が正しいものであれば、これは、先行空間モデルが正しい構成に過度に不利益を与えていることを含意する。最適構成が間違ったものであれば、これは、アピアランスモデルに問題があることを指す場合が多い。このパターンは、星座モデルに関して、我々のアルゴリズムがモデルの目的関数の分析及びデバッグに有益である可能性があることを示唆している。
【００６５】
我々のアルゴリズムの計算効率により有効化される当然の功績として、星座モデル内のパーツ数は増大される。文献では、適用される最大の星座モデルは７パーツから成る。我々は、１０パーツ及び１４パーツ（バイオＩＤデータセット上）を有する星座モデルを適用している。
【００６６】
大部分の先行研究における代替先行空間は、ガウス分布によってモデリングされている。これは、探索プロセスの幾つかの最適化を許容するものであった。例えば、探索時間を評価数Ｎｋ＋１からＮｋへ短縮するために、ガウス分布の簡易な関数形式が使用された。また、分布の特性は、優先待ち行列の探索を高速化するためにも使用された。
【００６７】
本出願のアルゴリズムは、先行空間に凸状、まして連続性等の制約を与えない。本方法の多用性を例証するために、本明細書ではこれが、顔パーツの空間的関係が対称性を用いてモデリングされるモデルに適用される。モデルには、顔の右側からの各パーツに対して、左側の対応するパーツも包含される。対称性の先行候補は、次のように計算される。まず、各反復において（部分的ソリューションではなく）全てのパーツロケーションが発生することから、最良の顔軸−両目及び両唇端の中点を結ぶ線、が計算される。次に、各パーツペア（例えば、左鼻孔、右鼻孔）を結ぶ各線分について、顔軸がこれを二等分していなければ、ペナルティが累算される。
【００６８】
本アルゴリズムは、この新しい星座モデルを効率的に最適化することができる。本アルゴリズムは、先行分布が容易な分析形式を有していなくても、モデルを首尾良く最適化することができる。
【００６９】
本方法は、パーツ間の空間的関係を有するカテゴリモデルの最適化を効率的に実行する。本方法は、星座モデルの周知のファミリに適用され、これらのモデルの計算効率を数倍も向上させることが示された。またこれは、より多くのパーツによるモデルの使用によってカテゴリ分類パフォーマンスの向上を可能にすることから、この高速化が実際に有益であることも実証している。
【００７０】
本アルゴリズムは、許容的ヒューリスティックを有するＡ＊探索の概念に幾分関連する探索を実行する。しかしながら、典型的なＡ＊探索では、探索ノードは部分解（子孫葉ノードの全集合）を表す。従って、各ノードで計算されるべきヒューリスティック関数は全ての派生解に対する上限でなければならず、有界関数の全体階層が利用可能であることを要する。本アルゴリズムでは、各反復において、解（葉）ノードが考慮される。従って、目的関数は任意に複雑である可能性があり、必要なものは１つの因子分解可能な上限が全てである。星座局在化実験において、本出願のこの「反復アルゴリズム」は、多様で複雑な先行空間にも変わらず機能する。これは、探索の考慮事項は文献において考察されるモデルを限定する傾向があるのに対して、本アルゴリズムの著しい優位点である。
【００７１】
本アルゴリズムは、任意時間アルゴリズムである。これは、その実行中のいつでも、部分解ではなく、その時点で入手可能な最良の完全解を得るために中断されることが可能である。
【００７２】
提案しているアルゴリズムは、ｋ−ｆａｎモデルにおける探索効率を向上させるためにも使用されることが可能である。本アルゴリズムは、ｋ個のアンカパーツ構成の評価をスケジュールするために使用される。これらのｋ個のアンカパーツによる所定の構成に関して、「真のスコア」は、ｋ個のアンカパーツ並びに他のパーツの最適配列を含む合計モデルスコアになる。
【００７３】
本明細書に記述している概念は、最適化の速度を数倍も向上させる利点を提供する。これは、局在化をさらに大幅に効率的にし、よって本方法は潜在的に幾つかの現実的なタスクに適用され得る。さらに、速度の向上に起因して、より多くのオブジェクトパーツをモデリングすることができる。その結果、局在化及びカテゴリ分類のパフォーマンスは向上する。
【００７４】
画像のカテゴリ分類に関しては、個々のカテゴリモデルを基礎とする多クラス分類のための幾つかの周知技術のうちの１つを使用することができる。我々は、幾つかのカテゴリモデルに関して、我々のアルゴリズムを用いて最適一致を発見する。最も高い一致スコアを有するカテゴリは、その画像のカテゴリとして割り付けられる。当然ながら、取り上げるカテゴリは１つだけでなくてもよい。画像の検出検査に合格する全てのカテゴリは、有効なカテゴリラベルとして受容される可能性もある。他に、割り付けられる１つまたは複数のカテゴリを解く前に様々なカテゴリスコアが正規化される多くの方法を使用することができる。
【００７５】
これまでに開示した、及び他の特徴及び機能またはこれらの代替物のうちの様々なものが、望ましくは他の多くの異なるシステムまたはアプリケーションへと結合されてもよいことは認識されるであろう。また、同じく以下の請求の範囲に包含されることが意図される様々な、現時点では不測である、または予期されていない代替物、修正、変形またはこれらにおける改良が、当業者によって続いて実行される場合もある。
【図１】
0005588395.tif 000010
【図２】
0005588395.tif 000011
【図３】
0005588395.tif 000012
【図４】
0005588395.tif 000013
【図５】
0005588395.tif 000014
【図６】
0005588395.tif 000015
【図７】
0005588395.tif 000016
【図８】
0005588395.tif 000017
【図９】
0005588395.tif 000018