(57)【特許請求の範囲】
【請求項１】
第１ドメインデータと第２ドメインデータの特徴から、その特徴に関する目的関数を最大化／最小化するように、ＰＬＤＡ（Probabilistic Linear Discriminant Analysis）パラメータと変換パラメータとを推定する推定部を備え、
一方のドメインで観測された登録データおよびテストデータの特徴を、変換パラメータを用いて、他方のドメインに変換する特徴変換部と、
テストデータが登録データと同じクラスに属するかどうかを、ＰＬＤＡパラメータを用いて分類する分類部とを、さらに備える
ことを特徴とする、ドメイン適応を用いたパターン認識装置。
【請求項２】
第１ドメインデータと第２ドメインデータの特徴から、その特徴に関する目的関数を最大化／最小化するように、ＰＬＤＡ（Probabilistic Linear Discriminant Analysis）パラメータと変換パラメータとを推定する推定部を備え、
第１ドメインデータおよび第２ドメインデータの一方の特徴を、変換パラメータを用いて、他方のドメインに変換する特徴変換部と、
テストデータが登録データと同じクラスに属するかどうかを、ＰＬＤＡパラメータを用いて分類する分類部とを、さらに備える
ことを特徴とする、ドメイン適応を用いたパターン認識装置。
【請求項３】
第１ドメインデータと第２ドメインデータの特徴から、その特徴に関する目的関数を最大化／最小化するように、ＰＬＤＡ（Probabilistic Linear Discriminant Analysis）パラメータと変換パラメータとを推定する推定部を備え、
ＰＬＤＡパラメータが、第１ドメインデータの特徴から推定され、ＰＬＤＡパラメータおよび変換パラメータが目的関数を最大化／最小化するように、ＰＬＤＡパラメータを用いて、変換パラメータが、第２ドメインデータから推定される
ことを特徴とする、ドメイン適応を用いたパターン認識装置。
【請求項４】
複数のテストデータの特徴が、複数のテストデータのそれぞれが登録データと同じクラスに属するかどうかで分類され、登録データに最も類似するテストデータが選択される
請求項１または請求項２に記載のパターン認識装置。
【請求項５】
第１ドメインデータと第２ドメインデータの特徴から、その特徴に関する目的関数を最大化／最小化するように、ＰＬＤＡ（Probabilistic Linear Discriminant Analysis）パラメータと変換パラメータとを推定し、
一方のドメインで観測された登録データおよびテストデータの特徴を、変換パラメータを用いて、他方のドメインに変換し、
テストデータが登録データと同じクラスに属するかどうかを、ＰＬＤＡパラメータを用いて分類する
ことを特徴とする、ドメイン適応を用いたパターン認識方法。
【請求項６】
第１ドメインデータと第２ドメインデータの特徴から、その特徴に関する目的関数を最大化／最小化するように、ＰＬＤＡ（Probabilistic Linear Discriminant Analysis）パラメータと変換パラメータとを推定し、
第１ドメインデータおよび第２ドメインデータの一方の特徴を、変換パラメータを用いて、他方のドメインに変換し、
テストデータが登録データと同じクラスに属するかどうかを、ＰＬＤＡパラメータを用いて分類する
ことを特徴とする、ドメイン適応を用いたパターン認識方法。
【請求項７】
第１ドメインデータと第２ドメインデータの特徴から、その特徴に関する目的関数を最大化／最小化するように、ＰＬＤＡ（Probabilistic Linear Discriminant Analysis）パラメータと変換パラメータとを推定し、
ＰＬＤＡパラメータと変換パラメータとを推定するときに、ＰＬＤＡパラメータを、第１ドメインデータの特徴から推定し、ＰＬＤＡパラメータおよび変換パラメータが目的関数を最大化／最小化するように、ＰＬＤＡパラメータを用いて、変換パラメータを、第２ドメインデータから推定する
ことを特徴とする、ドメイン適応を用いたパターン認識方法。
【請求項８】
コンピュータに、
第１ドメインデータと第２ドメインデータの特徴から、その特徴に関する目的関数を最大化／最小化するように、ＰＬＤＡ（Probabilistic Linear Discriminant Analysis）パラメータと変換パラメータとを推定する推定処理を実行させ、
さらに、
一方のドメインで観測された登録データおよびテストデータの特徴を、変換パラメータを用いて、他方のドメインに変換する処理、および、
テストデータが登録データと同じクラスに属するかどうかを、ＰＬＤＡパラメータを用いて分類する処理
を実行させるための、ドメイン適応を用いたパターン認識プログラム。
【請求項９】
コンピュータに、
第１ドメインデータと第２ドメインデータの特徴から、その特徴に関する目的関数を最大化／最小化するように、ＰＬＤＡ（Probabilistic Linear Discriminant Analysis）パラメータと変換パラメータとを推定する推定処理を実行させ、
さらに、
第１ドメインデータおよび第２ドメインデータの一方の特徴を、変換パラメータを用いて、他方のドメインに変換する処理、および、
テストデータが登録データと同じクラスに属するかどうかを、ＰＬＤＡパラメータを用いて分類する処理
を実行させるための、ドメイン適応を用いたパターン認識プログラム。
【請求項１０】
コンピュータに、
第１ドメインデータと第２ドメインデータの特徴から、その特徴に関する目的関数を最大化／最小化するように、ＰＬＤＡ（Probabilistic Linear Discriminant Analysis）パラメータと変換パラメータとを推定する推定処理を実行させ、
推定処理で、ＰＬＤＡパラメータを、第１ドメインデータの特徴から推定させ、ＰＬＤＡパラメータおよび変換パラメータが目的関数を最大化／最小化するように、ＰＬＤＡパラメータを用いて、変換パラメータを、第２ドメインデータから推定させる
ための、ドメイン適応を用いたパターン認識プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、確率的線形判別分析（ＰＬＤＡ）に基づいて、パターン認識システムのパラメータを新たなドメインに適応させるためのドメイン適応に関する装置、方法、およびプログラムに関する。
【背景技術】
【０００２】
科学、工学、農業、電子商取引、医学、医療用画像解析、軍事、国家安全保障等の多様な分野における実際の問題を解決するために、パターン認識システムが日常生活に広く適用されている。パターン認識における１つの重要な技術は、クラス内のばらつきを補償し、不適切な要素からクラス固有の要素を分離するための強力なデータドリブンの仕組みを提供する確率的線形判別分析（ＰＬＤＡ）である。ＰＬＤＡによって、１つの例から以前に見えなかったクラスのモデルを構築することができ、クラスをよりよく表現するために複数の例を結合することができる。ＰＬＤＡは、顔認識や話者認識において効力を発揮してきた。
【０００３】
ＰＬＤＡのパラメータを学習するために、一般的に、同様の条件での数千のクラスのそれぞれに対する複数の観測が要求される。しかし、そのような大量のリソース、すなわち、インドメイン（ＩＮＤ）データを、各アプリケーションでの着目している新たなドメインのために集めることは、高コストであり、さらに非現実的である。既に存在する、最も利用可能な豊富なデータは、着目しているドメインに適合せず、この種のデータは、アウトオブドメイン（ＯＯＤ）データと呼ばれる。ＯＯＤデータで学習されたＰＬＤＡは、ディベロップメントデータと評価データの間のミスマッチがＩＮＤ内のばらつきよりも非常に大きいときに、ＩＮＤで適切に表現されない。従って、ディベロップメントデータと評価データの間のドメインのミスマッチは、パターン認識システムのパフォーマンスを低下させる。
【０００４】
ディベロップメントデータと評価データの間のドメインミスマッチを扱うため、既に利用できるＯＯＤデータから展開されたＰＬＤＡパラメータを適応させるために、少ない量のインドメインデータだけが利用できる新たなドメインでよいパフォーマンスを達成できるように、ドメイン適応が適用される。
【０００５】
いくつかのドメイン適応の方法は、最尤推定の線形結合を利用している（非特許文献１を参照）。図９に示すように、まず、ＰＬＤＡパラメータ推定部１０４が、特徴抽出部１０３によってＯＯＤデータ１０１とＩＮＤデータ１０２からそれぞれ抽出された特徴を使って、２セットのＰＬＤＡパラメータを別々に学習する。ＯＯＤとＩＮＤのクラス内のばらつき
【数１】
0006620882.tif 000002
と、クラス間のばらつき
【数２】
0006620882.tif 000003
とが得られた後、線形結合部１０５は、ＰＬＤＡパラメータの２つのセットを、
【数３】
0006620882.tif 000004
となるように結合し、適応されたＰＬＤＡパラメータ１０６を生成する。ここで、
【数４】
0006620882.tif 000005
は、ＩＮＤデータがどの程度、寄与するかを定めるための重み係数である。評価フェーズでは、ＰＬＤＡ分類部１０７は、登録データとテストデータからそれぞれ抽出された特徴の、与えられたペアに対するスコアを計算する。この方法では、ＰＬＤＡパラメータ
【数５】
0006620882.tif 000006
は、
【数６】
0006620882.tif 000007
に偏るので、ＯＯＤがＩＮＤに近い場合にのみ作用する。しかし、常にそうなるとは限らない。ＯＯＤがＩＮＤから離れている場合に、結合されたＰＬＤＡパラメータが正しいパラメータに近いとは限らない。さらに、重み係数
【数７】
0006620882.tif 000008
を推定するために、追加の学習データが必要となる。そのため、ドメインのミスマッチを補償できない。図９は、ＯＯＤデータとＩＮＤデータによって学習されたＰＬＤＡパラメータの２つのセットに基づく線形結合を用いたパラメータ適応という関連技術１のブロック図である。
【０００６】
上述の方法は、パラメータ適応を重点的に扱っているが、方法の他のクラスは、図１０に示すデータ補償技術を重点的に扱う。図１０は、関連技術２、すなわちi-vector補償のブロック図である。ＯＯＤデータとＩＮＤデータの統計量の知識を用いて、特徴がシフトされることを示している。前述のものと同様に、これらの方法は、特徴抽出部２０３によって、ＯＯＤデータ２０１とＩＮＤデータ２０２から、２セットの特徴をそれぞれ抽出する。ドメインミスマッチのために、ディベロップメント（ＯＯＤ）データと評価（ＩＮＤ）データとの間にデータのシフトがあると仮定する。データセットのばらつきを特徴空間（２０４）の中でのシフトとして明示的にモデル化し、前処理のクリーンアップステップ（２０６）として、それを低減する。その後、ＰＬＤＡパラメータ推定部２０７は、データセットのばらつきが低減されたデータから、ＰＬＤＡパラメータ２０８を推定する（非特許文献２を参照）。評価フェーズでは、ＰＬＤＡ分類部２０９は、前述の方法におけるＰＬＤＡ分類部１０７と同様に、スコアを計算する。それらの方法では、変換は、ＰＬＤＡの枠組みでは最適化されない。システムパラメータ全体を最適化するための２以上の基準があり、最尤（ＭＬ）や最小距離等が挙げられる。従って、包括的な最適化に到達することができない。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】D. Garcia-Romero and A. McCree, “Supervised domain adaptation for i-Vector based speaker recognition”, ICASSP, 2014
【非特許文献２】H. Aronowits “Inter dataset variability compensation for speaker recognition”, ICASSP, 2014
【発明の概要】
【発明が解決しようとする課題】
【０００８】
確率的線形判別分析（ＰＬＤＡ）は、パターン認識（顔認識、話者認識等）で広く受け入れられている。その機能は、クラス内のばらつきを補償することと、不適切な要素からクラス固有の特徴の要素を分離するための強力なデータドリブンの仕組みを提供することであり、それによって認識パフォーマンスが向上する。しかし、ＰＬＤＡの成果は、数千の観測を伴う大きなディベロップメントセットの利用性に依存する。さらに、ディベロップメントデータは、顔認識における照明条件や人種または話者認識における音響環境や伝送チャネル等のドメインの評価データに適合しなければならない。
【０００９】
大量のデータに対するＰＬＤＡの厳格な要求や、目標ドメインの十分なインドメイン（ＩＮＤ）データを得ることが難しくかつ高コストであるという現実的な問題によって、我々は、元ドメインの豊富なアウトオブドメイン（ＯＯＤ）データを使い、ドメイン適応を適用することに着目した。ＰＬＤＡにおけるドメイン適応は、少ない量のＩＮＤデータだけが利用できる新たなドメインで良い結果が得られるように、既に利用できるＯＯＤデータから展開されたＰＬＤＡパラメータを適応させることである。
【００１０】
ドメイン適応（非特許文献１、非特許文献２）への既存のアプローチがあり、ドメイン適応は問題を解決しようとするものであるが、それらのアプローチには以下のような欠点がある。
それらは、しばしば、ＯＯＤがＩＮＤに近いという非現実的な仮定を置く。そのため、データが近いドメイン内にない多くの実際のアプリケーションでは、ＰＬＤＡパラメータの適応は、適応されたＰＬＤＡパラメータ
【数８】
0006620882.tif 000009
が、ＯＯＤの
【数９】
0006620882.tif 000010
に偏るので、特定の用途がない。さらに、追加の重み係数を学習するために、追加のデータおよび学習が必要になる。そして、ＯＯＤデータとＩＮＤデータの間のアフィン変換のような明確な関係がない。しばしば、最尤（ＭＬ）や最小距離等のような、システムパラメータを最適化するための２以上の基準が存在する。従って、包括的な最適化に到達することができない。
【００１１】
本発明の目的は、変換パラメータとＰＬＤＡパラメータを適切に最適化することができる、ドメイン適応を用いたパターン認識装置、ドメイン適応を用いたパターン認識方法、および、ドメイン適応を用いたパターン認識プログラムを提供することである。
【課題を解決するための手段】
【００１２】
本発明によるドメイン適応を用いたパターン認識装置は、第１ドメインデータと第２ドメインデータの特徴から、その特徴に関する目的関数を最大化／最小化するように、ＰＬＤＡ（Probabilistic Linear Discriminant Analysis）パラメータと変換パラメータとを推定する推定部を備え、一方のドメインで観測された登録データおよびテストデータの特徴を、変換パラメータを用いて、他方のドメインに変換する特徴変換部と、テストデータが登録データと同じクラスに属するかどうかを、ＰＬＤＡパラメータを用いて分類する分類部とを、さらに備えることを特徴とする。
また、本発明によるドメイン適応を用いたパターン認識装置は、第１ドメインデータと第２ドメインデータの特徴から、その特徴に関する目的関数を最大化／最小化するように、ＰＬＤＡ（Probabilistic Linear Discriminant Analysis）パラメータと変換パラメータとを推定する推定部を備え、第１ドメインデータおよび第２ドメインデータの一方の特徴を、変換パラメータを用いて、他方のドメインに変換する特徴変換部と、テストデータが登録データと同じクラスに属するかどうかを、ＰＬＤＡパラメータを用いて分類する分類部とを、さらに備えることを特徴とする。
また、本発明によるドメイン適応を用いたパターン認識装置は、第１ドメインデータと第２ドメインデータの特徴から、その特徴に関する目的関数を最大化／最小化するように、ＰＬＤＡ（Probabilistic Linear Discriminant Analysis）パラメータと変換パラメータとを推定する推定部を備え、ＰＬＤＡパラメータが、第１ドメインデータの特徴から推定され、ＰＬＤＡパラメータおよび変換パラメータが目的関数を最大化／最小化するように、ＰＬＤＡパラメータを用いて、変換パラメータが、第２ドメインデータから推定されることを特徴とする。
【００１３】
本発明によるドメイン適応を用いたパターン認識方法は、第１ドメインデータと第２ドメインデータの特徴から、その特徴に関する目的関数を最大化／最小化するように、ＰＬＤＡ（Probabilistic Linear Discriminant Analysis）パラメータと変換パラメータとを推定し、一方のドメインで観測された登録データおよびテストデータの特徴を、変換パラメータを用いて、他方のドメインに変換し、テストデータが登録データと同じクラスに属するかどうかを、ＰＬＤＡパラメータを用いて分類することを特徴とする。
また、本発明によるドメイン適応を用いたパターン認識方法は、第１ドメインデータと第２ドメインデータの特徴から、その特徴に関する目的関数を最大化／最小化するように、ＰＬＤＡ（Probabilistic Linear Discriminant Analysis）パラメータと変換パラメータとを推定し、第１ドメインデータおよび第２ドメインデータの一方の特徴を、変換パラメータを用いて、他方のドメインに変換し、テストデータが登録データと同じクラスに属するかどうかを、ＰＬＤＡパラメータを用いて分類することを特徴とする。
また、本発明によるドメイン適応を用いたパターン認識方法は、第１ドメインデータと第２ドメインデータの特徴から、その特徴に関する目的関数を最大化／最小化するように、ＰＬＤＡ（Probabilistic Linear Discriminant Analysis）パラメータと変換パラメータとを推定し、ＰＬＤＡパラメータと変換パラメータとを推定するときに、ＰＬＤＡパラメータを、第１ドメインデータの特徴から推定し、ＰＬＤＡパラメータおよび変換パラメータが目的関数を最大化／最小化するように、ＰＬＤＡパラメータを用いて、変換パラメータを、第２ドメインデータから推定することを特徴とする。
【００１４】
本発明によるドメイン適応を用いたパターン認識プログラムは、コンピュータに、第１ドメインデータと第２ドメインデータの特徴から、その特徴に関する目的関数を最大化／最小化するように、ＰＬＤＡ（Probabilistic Linear Discriminant Analysis）パラメータと変換パラメータとを推定する推定処理を実行させ、さらに、一方のドメインで観測された登録データおよびテストデータの特徴を、変換パラメータを用いて、他方のドメインに変換する処理、および、テストデータが登録データと同じクラスに属するかどうかを、ＰＬＤＡパラメータを用いて分類する処理を実行させることを特徴とする。
また、本発明によるドメイン適応を用いたパターン認識プログラムは、コンピュータに、第１ドメインデータと第２ドメインデータの特徴から、その特徴に関する目的関数を最大化／最小化するように、ＰＬＤＡ（Probabilistic Linear Discriminant Analysis）パラメータと変換パラメータとを推定する推定処理を実行させ、さらに、第１ドメインデータおよび第２ドメインデータの一方の特徴を、変換パラメータを用いて、他方のドメインに変換する処理、および、テストデータが登録データと同じクラスに属するかどうかを、ＰＬＤＡパラメータを用いて分類する処理を実行させることを特徴とする。
また、本発明によるドメイン適応を用いたパターン認識プログラムは、コンピュータに、第１ドメインデータと第２ドメインデータの特徴から、その特徴に関する目的関数を最大化／最小化するように、ＰＬＤＡ（Probabilistic Linear Discriminant Analysis）パラメータと変換パラメータとを推定する推定処理を実行させ、推定処理で、ＰＬＤＡパラメータを、第１ドメインデータの特徴から推定させ、ＰＬＤＡパラメータおよび変換パラメータが目的関数を最大化／最小化するように、ＰＬＤＡパラメータを用いて、変換パラメータを、第２ドメインデータから推定させることを特徴とする。
【発明の効果】
【００１５】
この発明の効果は、変換パラメータとＰＬＤＡパラメータを適切に最適化できることである。
【図面の簡単な説明】
【００１６】
【図１】本発明の第１の実施形態のフローチャートである。
【図２】本発明の第２の実施形態のフローチャートである。
【図３】パターン認識のテストフェーズのフローチャートである。
【図４】本発明の第１の実施形態のブロック図である。
【図５】本発明の第２の実施形態のブロック図である。
【図６】本発明の第３の実施形態のブロック図である。
【図７】本発明の第４の実施形態のブロック図である。
【図８】本発明の概要を示すブロック図である。
【図９】ＯＯＤデータとＩＮＤデータによって学習されたＰＬＤＡパラメータの２つのセットに基づく線形結合を用いたパラメータ適応という関連技術１のブロック図である。
【図１０】関連技術２、すなわちi-vector補償のブロック図である。
【発明を実施するための形態】
【００１７】
以下、本発明の実施形態を詳細に説明する。実装は、非常に詳細に説明される。説明図とともにここで示される説明は、当業者にとって本発明を実施するためのしっかりとしたガイドを提供するようにしている。図面は、技術の応用を限定するものではない。
【００１８】
最初に、ここで全体的なアプローチを要約する。クラス間とクラス内の共分散がドメインに依存すると仮定し、さらに、１つのドメイン内の特徴はアフィン変換によって他のドメインに変換され得ると仮定する。従って、ＩＮＤデータの全ての特徴ベクトルは、変換パラメータを用いて、ＯＯＤデータのそれと同じドメインに変換される。変換後、ＩＮＤデータとＯＯＤデータは、同じクラス間とクラス内の共分散を共有する。最後に、ＰＬＤＡ分類器が、登録データとテストデータの尤度のスコアを与え、決定する。
【００１９】
本発明の利点は、ＰＬＤＡパラメータを用いた特徴変換によってドメインミスマッチが補償されるということである。本発明の他の利点は、ＰＬＤＡパラメータが特徴変換によって適応されるということである。ＰＬＤＡパラメータは、唯一の包括的な基準によるＩＮＤデータとＯＯＤデータの両方の知識によって、同時に変換パラメータを自動的に更新することで、反復的に学習される。そして、そのことにより、その基準で定められる目的関数を最大化または最小化することで、より良いパラメータが得られる。さらに、追加ステップで学習される必要がある重み係数はない。本発明を用いることで、パターン認識システムを、異なる音響環境で操作される話者照合システム、異なる照明条件に適用される顔認識システム等の、十分な量のＩＮＤデータを集めにくい、多くの実際のアプリケーションに適用することが、より低コストになり、より現実的になる。
【００２０】
本発明は、いくつかのステップと、それらのステップの他のそれぞれのステップに対する１以上の関係とを含み、そして、構成、要素の組合せ、および、それらのステップに割り当てられるように適合された部分の配置を具体化している装置が、以下の詳細な開示、すなわち、図面の説明と詳細な説明において、例示されている。
【００２１】
実施形態１．
図４は、本発明の第１の実施形態のブロック図である。本発明の第１の実施形態は、シングルステップのドメイン適応を示す。第１の実施形態は、ＰＬＤＡパラメータと変換パラメータを同じステップで推定する。図４によれば、ドメイン適応を用いたパターン認識装置は、特徴抽出部３０３と、パラメータ推定部３０４と、ＰＬＤＡパラメータ３０５の記憶装置と、変換パラメータ３０６の記憶装置と、特徴変換部３０７と、ＰＬＤＡ分類部３０８とを備える。
【００２２】
ディベロップメントパートでは、特徴抽出部３０３は、ＯＯＤデータ３０１とＩＮＤデータ３０２から、２セットの特徴をそれぞれ抽出する。パラメータ推定部３０４は、２セットの特徴から、ＰＬＤＡパラメータ３０５と、変換パラメータ３０６を推定する。評価パートでは、特徴抽出部３０３は、登録データとテストデータからそれぞれ特徴を抽出する。特徴変換部３０７は、変換パラメータ３０６によって、その特徴を元ドメイン内に変換する。最後に、ＰＬＤＡ分類部３０８は、テストデータと登録データが同じクラスからのものであるかどうかを分類する。
【００２３】
顔認証の場合、ＰＬＤＡディベロップメントにおける画像から、画像が、異なる照明条件で撮られたと認識されたならば、ドメインミスマッチが生じていることになる。ディベロップメントのための画像がＯＤＤデータであり、認識される画像がＩＮＤデータである。特徴抽出部３０３は、目の間隔、鼻の幅、頬骨の形、下あごの輪郭の長さ等の顔の特徴を抽出する。ＰＬＤＡ分類部３０８は、顔の登録画像の特徴と、顔のテスト画像の特徴が、同一人からのものであるか否かを分類する。話者認識の場合、システムは、特定のチャネル（ＩＮＤ）で記録された音声に適用され、他のチャネルで記録されたＰＬＤＡ学習のために利用可能な音声データは、ＯＤＤである。特徴抽出部３０３は、音声データから、メル周波数ケプストラル係数（ＭＥＣＣｓ）、知覚的線形予測（ＰＬＰ）等を抽出する。それらは、しばしば、i-vectorと呼ばれる固定次元のベクトル等の、他の形式の特徴に変換され、ＰＬＤＡ分類部３０８に与えられる。ＰＬＤＡ分類部３０８は、音声の登録データの特徴と、音声のテストデータの特徴と、音声のテストデータの特徴とが、同じ話者からのものであるか否かを分類する。
【００２４】
特徴抽出部３０３、パラメータ推定部３０４、特徴変換部３０７、および、ＰＬＤＡ分類部３０８は、例えば、パターン認識プログラムに従って動作するコンピュータのＣＰＵによって実現される。この場合、ＣＰＵは、例えば、プログラム記憶装置といったコンピュータ読み取り可能な記録媒体からプログラムを読み込み、そのプログラムに従って、特徴抽出部３０３、パラメータ推定部３０４、特徴変換部３０７、および、ＰＬＤＡ分類部３０８として動作すればよい。また、上記の各要素３０３，３０４，３０７，３０８が別々のハードウェアによって実現されてもよい。
【００２５】
図１は、図４とともに説明された本発明の第１の実施形態のフローチャートである。これは、実施形態のディベロップメントパートを示している。最初に、特徴抽出部３０３は、記憶装置からＯＯＤデータを読み込む（ステップＡ０１）。２番目に、ＯＯＤデータから特徴を抽出する（ステップＡ０２）。次に、別の記憶装置からＩＮＤデータを読み込む（ステップＡ０３）。その後、ＩＮＤデータから特徴を抽出する（ステップＡ０４）。ステップＡ０１〜Ａ０４の順序は、図１に示される形式に限定されない。ここで、ＯＯＤの特徴とＩＮＤの特徴の両方は、学習に入力される。後のステップは、ＰＬＤＡパラメータと変換パラメータが、最尤（ＭＬ）、最大事後確率（ＭＡＰ）、ベイズ基準等のある特定の基準に基づいて、同時に推定されることを示す。例えば、ＭＬの場合、これらのパラメータの推定は、ＥＭ（expectation-maximization）アルゴリズムによって、反復的に行われ、補助関数が目的関数から導出される。パラメータ推定部３０４は、最初に、ＰＬＤＡパラメータと変換パラメータを初期化する（ステップＡ０５）。そして、パラメータ推定部３０４は、クラス隠れ変数の期待値を計算する（ステップＡ０６）。その期待値に基づいて、パラメータ推定部３０４は、ＰＬＤＡパラメータと変換パラメータを再推定する（ステップＡ０７）。最後に、パラメータ推定部３０４は、ＩＮＤとＯＯＤの両方の観測の尤度を計算し、それと、以前のパラメータの尤度とを比較する（ステップＡ０８）。収束したならば、すなわち、２つの尤度の差がある特定の閾値よりも小さければ、学習は終了し、ＰＬＤＡパラメータと変換パラメータは記憶される（ステップＡ０９）。そうでなければ、収束するまで、さらにＥＭアルゴリズムの反復が実行される。
【００２６】
図３は、本発明の第１の実施形態の他のフローチャートである。これは、実施形態の評価パートを示している。最初に、特徴変換部３０７が、記憶装置に記憶されている変換パラメータ３０６を読み込み（ステップＣ０１）、ＰＬＤＡ分類部３０８が、記憶装置からＰＬＤＡパラメータ３０５を読み込む（ステップＣ０２）。ステップＣ０１とステップＣ０２は、交換可能である。２番目に、登録データが特徴抽出部３０３に与えられる（ステップＣ０３）。そして、特徴抽出部３０３は、特徴を抽出する（ステップＣ０４）。同じことがテストデータに対して行われる。特徴抽出部３０３は、テストデータを読み込み（ステップＣ０５）、特徴を抽出する（ステップＣ０６）。ステップＣ０３〜Ｃ０６の順序も同様に、制限されない。そして、特徴変換部３０７は、登録データとテストデータの両方の特徴を変換する（ステップＣ０７）。最後に、ＰＬＤＡ分類部３０８は、変換された特徴が同じクラスからのものであるかどうか分類する（ステップＣ０８）。
【００２７】
本発明は、クラス間とクラス内の共分散
【数１０】
0006620882.tif 000011
がドメインに依存していて、元ドメインの（ＯＯＤからの）共分散
【数１１】
0006620882.tif 000012
と、目標ドメインの（ＩＮＤからの）共分散
【数１２】
0006620882.tif 000013
とが異なるという仮定に基づいている。さらに、目標ドメインの特徴
【数１３】
0006620882.tif 000014
は、元ドメイン
【数１４】
0006620882.tif 000015
に変換され得るということを仮定し、ここで、この変換は、アフィン変換
【数１５】
0006620882.tif 000016
を適用することによって行われ、また、元ドメインにおいて、
【数１６】
0006620882.tif 000017
と
【数１７】
0006620882.tif 000018
が同じ共分散と平均
【数１８】
0006620882.tif 000019
を共有することとなるように、変換が行われると仮定する。ここで
【数１９】
0006620882.tif 000020
は、ＩＮＤ（目標ドメイン）を表し、
【数２０】
0006620882.tif 000021
は、ＯＯＤ（元ドメイン）を表し、
【数２１】
0006620882.tif 000022
は、元ドメイン内の変換されたＩＮＤであり、
【数２２】
0006620882.tif 000023
と称する。そのため、目標ドメイン内のＰＬＤＡパラメータは、
【数２３】
0006620882.tif 000024
である。
【００２８】
図６と図１を用いて述べたように、ＰＬＤＡパラメータと変換パラメータ
【数２４】
0006620882.tif 000025
を同時に最適化（３０４）するために、本発明は、ＩＮＤデータとＯＯＤデータ内の全ての観測の尤度を最大化してよい（図４）。与えられた
【数２５】
0006620882.tif 000026
ＯＯＤ学習パターンと、
【数２６】
0006620882.tif 000027
ＩＮＤ学習パターンは、
【数２７】
0006620882.tif 000028
と
【数２８】
0006620882.tif 000029
のそれぞれのクラスに分離され、対数尤度は、
【数２９】
0006620882.tif 000030
となる。ここで、
【数３０】
0006620882.tif 000031
は、同じクラスに属する
【数３１】
0006620882.tif 000032
または
【数３２】
0006620882.tif 000033
のパターンのセットの結合確率分布である。
【００２９】
ＰＬＤＡに基づく音響モデルのパラメータを更新するために、ＥＭアルゴリズムを用いてもよい。例えば、ＰＬＤＡパラメータ
【数３３】
0006620882.tif 000034
と、変換パラメータ
【数３４】
0006620882.tif 000035
を更新するための補助関数は、
【数３５】
0006620882.tif 000036
である。以下の表現で、全ての
【数３６】
0006620882.tif 000037
と、
【数３７】
0006620882.tif 000038
は、元ドメイン
【数３８】
0006620882.tif 000039
内のパラメータと、
【数３９】
0006620882.tif 000040
を表す。
Ｅ−ステップ
隠れ変数
【数４０】
0006620882.tif 000041
の事後確率が、ベイズの定理
【数４１】
0006620882.tif 000042
を使って計算される。ここで、
【数４２】
0006620882.tif 000043
である。
Ｍ−ステップ
各パラメータに関連する
【数４３】
0006620882.tif 000044
の微分係数をゼロに設定することによって、以下の式によって解が得られる。
【数４４】
0006620882.tif 000045
【数４５】
0006620882.tif 000046
【数４６】
0006620882.tif 000047
【数４７】
0006620882.tif 000048
【数４８】
0006620882.tif 000049
は、ＰＬＤＡパラメータ３０５として記憶され、
【数４９】
0006620882.tif 000050
は、変換パラメータ３０６として記憶される。
【００３０】
実施形態２．
図５は、本発明の第２の実施形態のブロック図である。本発明の第２の実施形態は、２ステップのドメイン適応学習を示す。本発明の第２の実施形態は、ＰＬＤＡパラメータ推定と変換パラメータ推定の２つの学習ループを示す（図２を参照）。図５によれば、ドメイン適応を用いたパターン認識装置は、特徴抽出部４０３と、推定部４１１と、ＰＬＤＡパラメータ４０５の記憶装置と、変換パラメータ４０７の記憶装置と、特徴変換部４０８と、ＰＬＤＡ分類部４０９とを備える。推定部４１１は、ＰＬＤＡパラメータ推定部４０４と、変換パラメータ推定部４０６とを備える。
【００３１】
特徴抽出部４０３は、ＯＯＤデータ４０１とＩＮＤデータ４０２から、２セットの特徴をそれぞれ抽出する。ＰＬＤＡパラメータ推定部４０４は、ＯＯＤデータ３０１の特徴からＰＬＤＡパラメータ４０５を推定する。変換パラメータ推定部４０６は、ＰＬＤＡパラメータ４０５とＩＮＤデータ４０２の特徴とを使って、基準によって定められる目的関数を最大化または最小化することによって、変換パラメータ４０７を推定する。評価パートでは、特徴抽出部４０３は、登録データとテストデータからそれぞれ、特徴を抽出する。特徴変換部４０８は、変換パラメータ４０７によって、特徴を元ドメイン内に変換する。最後に、ＰＬＤＡ分類部４０９は、テストデータと登録データが同じクラスからのものかどうかを分類する。
【００３２】
特徴抽出部４０３、推定部４１１（ＰＬＤＡパラメータ推定部４０４および変換パラメータ推定部４０６）、特徴変換部４０８、および、ＰＬＤＡ分類部４０９は、例えば、パターン認識プログラムに従って動作するコンピュータのＣＰＵによって実現される。この場合、ＣＰＵは、例えば、プログラム記憶装置といったコンピュータ読み取り可能な記録媒体からプログラムを読み込み、そのプログラムに従って、特徴抽出部４０３、推定部４１１（ＰＬＤＡパラメータ推定部４０４および変換パラメータ推定部４０６）、特徴変換部４０８、および、ＰＬＤＡ分類部４０９として動作すればよい。また、上記の各要素４０３，４０４，４０６，４０８，４０９が別々のハードウェアによって実現されてもよい。
【００３３】
図２は、図５とともに説明された本発明の第２の実施形態のフローチャートである。これは、実施形態のディベロップメントパートを示している。最初に、特徴抽出部４０３は、記憶装置からＯＯＤデータを読み込む（ステップＢ０１）。２番目に、ＯＯＤデータから特徴を抽出する（ステップＢ０２）。そして、後続のステップでＰＬＤＡパラメータが推定される。最初に、ＰＬＤＡパラメータ推定部４０４が、ＰＬＤＡパラメータを初期化する（ステップＢ０３）。そして、ＰＬＤＡパラメータ推定部４０４が、最尤（ＭＬ）、最大事後確率（ＭＡＰ）、ベイズ基準等のある特定の基準に基づいて、ＰＬＤＡパラメータを推定する。例えば、ＭＬの場合、そのパラメータの推定は、ＥＭ（expectation-maximization）アルゴリズムによって、反復的に行われる。ＰＬＤＡパラメータ推定部４０４は、クラス隠れ変数の期待値を計算する（ステップＢ０４）。その期待値に基づいて、ＰＬＤＡパラメータ推定部４０４は、ＰＬＤＡパラメータを再推定する（ステップＢ０５）。そして、ＰＬＤＡパラメータ推定部４０４は、再度、ＯＯＤに関する観測の尤度を計算し、それと、以前に推定されたパラメータの尤度とを比較する（ステップＢ０６）。収束したならば、すなわち、２つの尤度の差がある特定の閾値よりも小さければ、学習は終了し、ＰＬＤＡパラメータは記憶される（ステップＢ０７）。そうでなければ、収束するまで、さらにＥＭアルゴリズムの反復が実行される。
【００３４】
ＰＬＤＡパラメータ推定部４０４は、例えば、参考文献１に記載されている再推定式に従って、ＰＬＤＡパラメータを推定する。
【００３５】
参考文献１
S. Ioffe, “Probabilistic linear discriminant analysis”, In European Conference on Computer Vision, 2006
【００３６】
ＰＬＤＡパラメータが推定された後、次のように、変換パラメータが学習される。最初に、特徴抽出部４０３が、記憶装置からＩＮＤデータを読み込む（ステップＢ０８）。２番目に、ＩＮＤデータから特徴を抽出する（ステップＢ０９）。そして、変換パラメータ推定部４０６が、変換パラメータを初期化する（ステップＢ１０）。そして、変換パラメータ推定部４０６が、ＭＬ、ＭＡＰ、ベイズ基準等のある特定の基準に基づいて変換パラメータを推定する。その基準は、様々な基準のうちの１つである。ＭＬの場合、変換パラメータ推定部４０６は、クラス隠れ変数の期待値を計算する（ステップＢ１１）。その期待値に基づいて、変換パラメータ推定部４０６は、変換パラメータを再推定する（ステップＢ１２）。変換パラメータ推定部４０６は、再度、ＩＮＤの観測の尤度を計算し、それと、以前のパラメータの尤度とを比較する（ステップＢ１３）。収束したならば、すなわち、２つの尤度の差がある特定の閾値よりも小さければ、学習は終了し、変換パラメータは記憶される（ステップＢ１４）。そうでなければ、収束するまで、さらにＥＭアルゴリズムの反復が実行される。
【００３７】
第２の実施形態の評価パートは、第１の実施形態のそれと同様であり、図３のフローチャートに示されるフローと同じフローを辿る。
【００３８】
第２の実施形態は、クラス間とクラス内の共分散
【数５０】
0006620882.tif 000051
がドメインに依存し、目標ドメインの特徴
【数５１】
0006620882.tif 000052
は、元ドメイン
【数５２】
0006620882.tif 000053
に変換され得ることという同じ仮定を、第１の実施形態と共有する。ここで、この変換は、アフィン変換
【数５３】
0006620882.tif 000054
を適用することによって行われると仮定する。図５と図２を用いて述べたように、本実施形態は、ＯＯＤデータを用いてＰＬＤＡパラメータを最適化し（４０４）、ＩＮＤデータを用いて変換パラメータ
【数５４】
0006620882.tif 000055
を最適化する（４０６）。そして、特徴変換部４０８は、全ての評価データを元ドメイン内に変換し、ＰＬＤＡ分類部４０９は、変換された特徴に適用される。変換パラメータ
【数５５】
0006620882.tif 000056
の推定（４０６）において、元ドメインの共分散
【数５６】
0006620882.tif 000057
と、平均
【数５７】
0006620882.tif 000058
が与えられる（４０５）。ＭＬ基準では、各パラメータに関連する
【数５８】
0006620882.tif 000059
の微分係数をゼロに設定することによって、以下の式からパラメータが推定される。
【数５９】
0006620882.tif 000060
【数６０】
0006620882.tif 000061
【数６１】
0006620882.tif 000062
ここで、
【数６２】
0006620882.tif 000063
は、クラスの数であり、
【数６３】
0006620882.tif 000064
は、目標ドメイン内の観測の数である。
【００３９】
前の段落で示されてきたように、第２の実施形態は、ＰＬＤＡパラメータと変換パラメータを別々に２つのステップで推定し、そのことによって、評価処理は、簡略化され、唯一の包括的な基準が保たれる。第２の実施形態の利点は、第１の実施形態よりも、より高い計算効率と、より少ないメモリ消費で、パラメータを得ることができることである。
【００４０】
最初の２ステップ、すなわち、ＰＬＤＡパラメータ推定と変換パラメータ推定が完了した後、目標ドメイン内のＩＮＤディベロップメントデータと評価データを、全てのデータが適合するように元ドメイン内へ変換することができる変換パラメータを得られる。また、
【数６４】
0006620882.tif 000065
データセットをＯＯＤデータセットに加えることによって、共分散を更新し続けることができる。これらのステップを繰り返すことによって、マージされたドメインのための変換パラメータとＰＬＤＡを最適化することができる。
【００４１】
実施形態３．
図６は、本発明の第３の実施形態のブロック図である。第３の実施形態は、ディベロップメントデータに変換を適用するもう一つの形態である。図６によれば、ドメイン適応を用いたパターン認識装置は、特徴抽出部５０３と、パラメータ推定部５０４と、ＰＬＤＡパラメータ５０５の記憶装置と、変換パラメータ５０６の記憶装置と、特徴変換部５０７と、ＰＬＤＡ分類部５０８とを備える。
【００４２】
第１の実施形態では、特徴変換部３０７は、評価パートにある。一方、第３の実施形態では、特徴変換部５０７は、ディベロップメントパートにある。特徴変換部５０７は、変換パラメータ５０６を用いて、ＯＯＤデータの特徴を、ＩＮＤドメインのドメインに変換する。ドメインミスマッチは、ディベロップメントパートで補償される。第３の実施形態の残りの部分（５０３，５０４，５０５，５０６）は、第１の実施形態におけるそれ（３０３，３０４，３０５，３０６）と同様に作用する。そのパラメータ推定では、前述の実施形態とは逆のアフィン変換、すなわち、元ドメインから目標ドメインへの変換を仮定して、非常に類似した再推定式が導出される。評価パートでは、ＰＬＤＡ分類部５０８が、ＰＬＤＡパラメータ５０５を用いて、テストデータが登録データと同じクラスに属するか否かを分類する。
【００４３】
特徴抽出部５０３、パラメータ推定部５０４、特徴変換部５０７、および、ＰＬＤＡ分類部５０８は、例えば、パターン認識プログラムに従って動作するコンピュータのＣＰＵによって実現される。この場合、ＣＰＵは、例えば、プログラム記憶装置といったコンピュータ読み取り可能な記録媒体からプログラムを読み込み、そのプログラムに従って、特徴抽出部５０３、パラメータ推定部５０４、特徴変換部５０７、および、ＰＬＤＡ分類部５０８として動作すればよい。また、上記の各要素５０３，５０４，５０７，５０８が別々のハードウェアによって実現されてもよい。
【００４４】
実施形態４．
図７は、本発明の第４の実施形態のブロック図である。第４の実施形態は、シングルステップの教師なしドメイン適応学習を示す。図７によれば、ドメイン適応を用いたパターン認識装置は、特徴抽出部６０３と、クラスタリング部６０４と、パラメータ推定部６０５と、ＰＬＤＡパラメータ６０６の記憶装置と、変換パラメータ６０７の記憶装置と、特徴変換部６０８と、ＰＬＤＡ分類部６０９とを備える。
【００４５】
クラスタリング部６０４は、同じクラスからのデータのペアのそれぞれが同じクラスタに割り当てられ、異なるクラスからのデータのペアのそれぞれが異なるクラスタに割り当てられるように、ＩＮＤデータをクラスタリングする。パラメータ推定部６０５は、クラスタの情報を用いて、ＰＬＤＡパラメータ６０６と変換パラメータ６０７を推定する。第４の実施形態の残りの部分（６０３，６０８，６０９）は、第１の実施形態におけるそれ（３０３，３０７，３０８）と同様に作用する。
【００４６】
特徴抽出部６０３、クラスタリング部６０４、パラメータ推定部６０５、特徴変換部６０８、および、ＰＬＤＡ分類部６０９は、例えば、パターン認識プログラムに従って動作するコンピュータのＣＰＵによって実現される。この場合、ＣＰＵは、例えば、プログラム記憶装置といったコンピュータ読み取り可能な記録媒体からプログラムを読み込み、そのプログラムに従って、特徴抽出部６０３、クラスタリング部６０４、パラメータ推定部６０５、特徴変換部６０８、および、ＰＬＤＡ分類部６０９として動作すればよい。また、上記の各要素６０３，６０４，６０５，６０８，６０９が別々のハードウェアによって実現されてもよい。
【００４７】
これまでに述べた実施形態は、参考文献１に示されたＰＬＤＡモデリングの特定のクラスを仮定している。本発明は、参考文献２やその変形である参考文献３等に示されているような他のＰＬＤＡモデリングにおいても実施可能である。
【００４８】
参考文献２
S.J.D. Prince, J.H. Elder, “Probabilistic linear discriminant analysis for inferences about identity”, In IEEE International Conference on Computer Vision, 2007
【００４９】
参考文献３
P. Kenny, “Bayesian speaker verification with heavy-tailed priors”, in Proc. Odyssey- The Speaker and Language Recognition Workshop, 2010
【００５０】
これまでに述べた実施形態の評価パートは、２つのデータ入力が同じクラスからのものであるかどうかの決定に注目していたが、マルチクラス分類等の他の種類の決定にも容易に拡張できる。マルチクラス分類は、参考文献２に示されている。そのような場合、複数のテストデータの特徴は、複数のテストデータのそれぞれが登録データと同じクラスに属するかどうかで分類され、登録データに最も類似するテストデータが選択される。
【００５１】
最後のポイントとして、ここで述べられた処理、技術および方法論は、特定の装置に限定されないことを明確にする。構成要素の組合せを用いて実装されてもよい。また、様々なタイプの一般的用途の装置が、ここで述べたことに従って用いられてもよい。本発明について、特定の例を用いて説明してきた。しかし、それらは、単に説明のためのものであり、制限的なものではない。例えば、説明されたソフトウェアは、Ｃ＋＋，Ｊａｖａ（登録商標），Ｐｙｔｈｏｎ，Ｐｅｒｌ等の幅広い種類の言語で実現されてよい。さらに、本発明の技術の実装は、当業者にとって明らかであろう。
【００５２】
本発明は、唯一の包括的な基準を用いて同時に変換パラメータとＰＬＤＡパラメータを最適化し、ＯＯＤがＩＮＤに近くない場合であっても、ＯＯＤデータとＩＮＤデータを同じドメインに変換する。
【００５３】
図８は、本発明の概要を示すブロック図である。ドメイン適応を用いたパターン認識装置１０は、推定部１１を備える。推定部１１（例えば、パラメータ推定部３０４、推定部４１１、パラメータ推定部５０４、パラメータ推定部６０５）は、第１ドメインデータと第２ドメインデータの特徴から、その特徴に関する目的関数を最大化／最小化するように、ＰＬＤＡパラメータと変換パラメータとを推定する
【００５４】
実施形態の一部または全体は、以下の付記のようにも記載されるが、以下に限定されるわけではない。
【００５５】
（付記１）
第１ドメインデータと第２ドメインデータの特徴から、その特徴に関する目的関数を最大化／最小化するように、ＰＬＤＡ（Probabilistic Linear Discriminant Analysis）パラメータと変換パラメータとを推定する推定部を備える
ことを特徴とする、ドメイン適応を用いたパターン認識装置。
【００５６】
（付記２）
一方のドメインで観測された登録データおよびテストデータの特徴を、変換パラメータを用いて、他方のドメインに変換する特徴変換部と、
テストデータが登録データと同じクラスに属するかどうかを、ＰＬＤＡパラメータを用いて分類する分類部とを、さらに備える
付記１に記載のパターン認識装置。
【００５７】
（付記３）
第１ドメインデータおよび第２ドメインデータの一方の特徴を、変換パラメータを用いて、他方のドメインに変換する特徴変換部と、
テストデータが登録データと同じクラスに属するかどうかを、ＰＬＤＡパラメータを用いて分類する分類部とを、さらに備える
付記１に記載のパターン認識装置。
【００５８】
（付記４）
ＰＬＤＡパラメータが、第１ドメインデータの特徴から推定され、ＰＬＤＡパラメータおよび変換パラメータが目的関数を最大化／最小化するように、ＰＬＤＡパラメータを用いて、変換パラメータが、第２ドメインデータから推定される
付記１に記載のパターン認識装置。
【００５９】
（付記５）
複数のテストデータの特徴が、複数のテストデータのそれぞれが登録データと同じクラスに属するかどうかで分類され、登録データに最も類似するテストデータが選択される
付記２または付記３に記載のパターン認識装置。
【００６０】
（付記６）
同じクラスからのデータのペアのそれぞれが同じクラスタに割り当てられ、異なるクラスからのデータのペアのそれぞれが異なるクラスタに割り当てられるように、第１ドメインデータおよび第２ドメインデータの一方を、クラスタリングするクラスタリング部をさらに備え、ＰＬＤＡパラメータおよび変換パラメータは、クラスタの情報を用いて推定される
付記１に記載のパターン認識装置。
【００６１】
（付記７）
目的関数は、ＰＬＤＡと変換パラメータの尤度、事後確率、ベイズ確率のうちの少なくとも１つである
付記１に記載のパターン認識装置。
【００６２】
（付記８）
ＰＬＤＡパラメータと変換パラメータは、目的関数から導出される補助関数に従って、反復的に更新される
付記７に記載のパターン認識装置。
【００６３】
（付記９）
特徴変換は、第１ドメインデータと第２ドメインデータの間のアフィン変換として表される
付記１または付記４に記載のパターン認識装置。
【００６４】
（付記１０）
第１ドメインデータと第２ドメインデータの特徴から、その特徴に関する目的関数を最大化／最小化するように、ＰＬＤＡ（Probabilistic Linear Discriminant Analysis）パラメータと変換パラメータとを推定する
ことを特徴とする、ドメイン適応を用いたパターン認識方法。
【００６５】
（付記１１）
コンピュータに、
第１ドメインデータと第２ドメインデータの特徴から、その特徴に関する目的関数を最大化／最小化するように、ＰＬＤＡ（Probabilistic Linear Discriminant Analysis）パラメータと変換パラメータとを推定する推定処理
を実行させるための、ドメイン適応を用いたパターン認識プログラム。
【符号の説明】
【００６６】
３０３，４０３，５０３，６０３  特徴抽出部
３０４，５０４，６０５  パラメータ推定部
３０７，４０８，５０７，６０８  特徴変換部
３０８，４０９，５０８，６０９  ＰＬＤＡ分類部
４０４  ＰＬＤＡパラメータ推定部
４０６  変換パラメータ推定部
【図１】
0006620882.tif 000066
【図２】
0006620882.tif 000067
【図３】
0006620882.tif 000068
【図４】
0006620882.tif 000069
【図５】
0006620882.tif 000070
【図６】
0006620882.tif 000071
【図７】
0006620882.tif 000072
【図８】
0006620882.tif 000073
【図９】
0006620882.tif 000074
【図１０】
0006620882.tif 000075