(57)【要約】【課題】  改善された精度を維持しながらガウス分布を圧縮する改良された方法を提供すること。【解決手段】  対角共分散行列を伴う多次元ガウス分布を圧縮する方法に、複数のガウス分布を次元ごとに複数のクラスタにクラスタ化することが含まれる。各クラスタを、平均および分散を有する重心によって表すことができる。トレーニングデータセットの尤度の総減少を、複数のガウス分布の表現について最小化する。【選択図】  図４
2004280098.tif 000002
【特許請求の範囲】
【請求項１】
対角共分散行列を伴う多次元ガウス分布を圧縮する方法であって、
次元ごとに複数のクラスタで複数のガウス分布をクラスタ化することを含み、該各クラスタは、重心によって表され、各重心および各ガウス分布は、平均および分散を含み、
前記クラスタ化することは、
前記クラスタを形成する前記複数のガウス分布の前記平均の加重平均として各重心の平均を計算すること、および
前記クラスタを形成する前記複数のガウス分布の前記分散の加重平均の関数として各重心の分散を計算すること
を含むことを特徴とする方法。
【請求項２】
前記クラスタ化することは、さらに、重心とガウス分布との間の近さの表示を提供する非ユークリッド測度の関数としてガウス分布をクラスタに割り当てることを含むことを特徴とする請求項１に記載の方法。
【請求項３】
次元ＤのＫ個のガウス分布および対角共分散行列が提供され、ガウス分布ｋを、平均ベクトルｍｋ＝（ｍｋ［１］，ｍｋ［２］，．．．，ｍｋ［Ｄ］）および分散ベクトルｖｋ＝（ｖｋ［１］，ｖｋ［２］，．．．，ｖｋ［Ｄ］）によって表すことができ、次元ＤのそれぞれについてコードブックＣｄが提供され、｛Ｃ１，Ｃ２，．．．，ＣＤ｝、コードブックＣｄ内の各コードワードベクトルｎは、平均および分散を含む２次元ベクトル（μｎ［ｄ］，σｎ［ｄ］）であり、前記割り当てることは、
【数１】
2004280098.tif 000014
の形の近さの測度を使用することを含むことを特徴とする請求項２に記載の方法。
【請求項４】
各重心の分散を計算する前記ステップは、前記測度を量子化する際の誤差に対応する訂正係数を含むことを特徴とする請求項３に記載の方法。
【請求項５】
各重心の平均を計算する前記ステップは、
【数２】
2004280098.tif 000015
の形の式を使用することを含み、各重心の分散を計算する前記ステップは、
【数３】
2004280098.tif 000016
の形の式を使用することを含み、Ｃｋは、トレーニングで見られるガウス分布ｋの「カウント」であり、Ｖｎは、クラスタｎ内の前記複数のガウス分布であることを特徴とする請求項４に記載の方法。
【請求項６】
割り当てる前記ステップは、各クラスタの重心の平均値および分散値を繰り返して計算すること、およびすべてのクラスタにわたるすべての測度の合計の減少が選択された閾値未満になるまで、前記測度の関数としてガウス分布を割り当てることを含むことを特徴とする請求項５に記載の方法。
【請求項７】
クラスタ化する前記ステップは、ｋ平均クラスタ化を含むことを特徴とする請求項５に記載の方法。
【請求項８】
次元を一緒にグループ化することをさらに含むことを特徴とする請求項７に記載の方法。
【請求項９】
前記グループ化することは、２つの次元のすべての順列について近さの測度を計算すること、およびトレーニングセットの尤度の減少を最小にするために、近さの前記測度の増加する値の関数としてグループ化された次元の組を形成するためにグループ化される次元を選択することを含むことを特徴とする請求項８に記載の方法。
【請求項１０】
前記グループ化することは、グループ化された次元の組および次元のすべての順列の近さの測度を計算すること、およびトレーニングセットの尤度の減少を最小化するために、近さの前記測度の増加する値の関数としてグループ化される次元およびグループ化された次元の組を、次元およびグループ化された次元の組から選択することを含むことを特徴とする請求項９に記載の方法。
【請求項１１】
各対角共分散行列を伴う多次元ガウス分布を圧縮する方法であって、
次元ごとに複数のクラスタで複数のガウス分布をクラスタ化することを含み、該各クラスタは、重心によって表され、該各重心および各ガウス分布は、平均および分散を含み、
前記クラスタ化することは、
複数のガウス分布を表すために各重心の平均および分散を計算することであって、トレーニングデータセットの尤度の総減少が、前記複数のガウス分布の前記表現について最小化されること
を含むことを特徴とする方法。
【請求項１２】
クラスタ化する前記ステップは、さらに、尤度の前記総減少が最小になる形でガウス分布をクラスタに割り当てることを含むことを特徴とする請求項１１に記載の方法。
【請求項１３】
割り当てる前記ステップは、ガウス分布を割り当てるために、近さの数学的測度を有するメトリックを使用することを含むことを特徴とする請求項１２に記載の方法。
【請求項１４】
割り当てる前記ステップは、前記メトリックを最小化することを含むことを特徴とする請求項１３に記載の方法。
【請求項１５】
次元ＤのＫ個のガウス分布および対角共分散行列が提供され、ガウス分布ｋを、平均ベクトルｍｋ＝（ｍｋ［１］，ｍｋ［２］，．．．，ｍｋ［Ｄ］）および分散ベクトルｖｋ＝（ｖｋ［１］，ｖｋ［２］，．．．，ｖｋ［Ｄ］）によって表すことができ、次元ＤのそれぞれについてコードブックＣｄが提供され｛Ｃ１，Ｃ２，．．．，ＣＤ｝、コードブックＣｄ内の各コードワードベクトルｎは、平均および分散を含む２次元ベクトル（μｎ［ｄ］，σｎ［ｄ］）であり、前記割り当てることは、
【数４】
2004280098.tif 000017
の形の近さの数学的測度を使用することを含むことを特徴とする請求項１４に記載の方法。
【請求項１６】
各重心の分散を計算する前記ステップは、前記測度を量子化する際の誤差を訂正する訂正係数を含むことを特徴とする請求項１５に記載の方法。
【請求項１７】
平均および分散を計算する前記ステップは、
前記クラスタを形成する前記複数のガウス分布の前記平均の加重平均として各重心の平均を計算すること、および
前記クラスタを形成する前記複数のガウス分布の前記分散の加重平均の関数として各重心の分散を計算すること
を含むことを特徴とする請求項１６に記載の方法。
【請求項１８】
各重心の平均を計算する前記ステップは、
【数５】
2004280098.tif 000018
の形の式を使用することを含み、各重心の分散を計算する前記ステップは、
【数６】
2004280098.tif 000019
の形の式を使用することを含み、Ｃｋは、トレーニングで見られるガウス分布ｋの「カウント」であり、Ｖｎは、クラスタｎ内の前記複数のガウス分布であることを特徴とする請求項１６に記載の方法。
【請求項１９】
割り当てる前記ステップは、各クラスタの重心の平均値および分散値を繰り返して計算すること、およびすべてのクラスタにわたるすべての測度の合計の減少が選択された閾値未満になるまで、前記測度の関数としてガウス分布を割り当てることを含むことを特徴とする請求項１８に記載の方法。
【請求項２０】
次元を一緒にグループ化することをさらに含むことを特徴とする請求項１９に記載の方法。
【請求項２１】
前記グループ化することは、２つの次元のすべての順列について近さの測度を計算することと、トレーニングセットの尤度の減少を最小にするために、近さの前記測度の増加する値の関数としてグループ化された次元の組を形成するためにグループ化される次元を選択することとを含むことを特徴とする請求項２０に記載の方法。
【請求項２２】
前記グループ化することは、グループ化された次元の組および次元のすべての順列の近さの測度を計算すること、およびトレーニングセットの尤度の減少を最小化するために、近さの前記測度の増加する値の関数としてグループ化される次元およびグループ化された次元の組を、次元およびグループ化された次元の組から選択することを含むことを特徴とする請求項２１に記載の方法。
【請求項２３】
実施された時に、コンピュータに請求項１から１０の方法のいずれか１つ、または請求項１１から２２の方法のいずれか１つを実行させる、コンピュータによって読取可能な命令を含むことを特徴とするコンピュータ可読媒体。
【請求項２４】
請求項１から１０の方法のいずれか１つ、または請求項１１から２３の方法のいずれか１つを実行するように適合されていることを特徴とするシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンピュータ処理で使用される分類装置（ｃｌａｓｓｉｆｉｅｒ）に関する。具体的には、本発明は、音声認識に使用されるものなど、コンピュータ処理で使用されるガウスモデル（ｇａｕｓｓｉａｎ  ｍｏｄｅｌ）の圧縮に関する。
【背景技術】
【０００２】
音声認識システムは、音声信号を受け取り、音声信号によって表される一連の単語を識別するために、音声信号の復号を試みる。普通の音声認識装置（ｓｐｅｅｃｈ  ｒｅｃｏｇｎｉｚｅｒ）には、とりわけ、通常はトレーニング（訓練）データから形成される、音響モデルおよび言語モデルが含まれる。音響モデルでは、トレーニングデータに基づいて、発話単位（ｓｐｅｅｃｈ  ｕｎｉｔ）（音素（ｐｈｏｎｅｍｅ）など）の音響的特徴がモデル化される。言語モデルでは、トレーニングデータから見つけた単語順序がモデル化される。
【０００３】
音声信号が、音声認識のために受け取られる時に、音響的特徴が、音声信号から抽出され、音響モデルのモデルと比較されて、音声信号に含まれる発話単位が識別される。見込み単語（ｐｏｔｅｎｔｉａｌ  ｗｏｒｄ）が、言語モデルと比較されて、その履歴（または文脈）に対して単語が話された確率が判定される。
【０００４】
しばしば、音声認識精度を失わずに、処理能力の小さい、かつ／またはメモリ容量の少ないコンピュータシステムと共に使用できるように音声認識装置を設計することが望ましい。音声認識システムの著しいメモリ集中部分の１つが、音響モデルの記憶である。隠れマルコフモデル（ＨＭＭ）ベースの音声認識システムでは、音響モデルが、一般に、対角共分散行列（ｄｉａｇｏｎａｌ  ｃｏｎｖａｒｉａｎｃｅ  ｍａｔｒｉｘ）を伴う数万個の多次元ガウス確率分布からなる。たとえば、ガウス分布のそれぞれが、３３次元になる可能性がある。各次元が、平均と分散を必要とする。したがって、それぞれが平均および分散（通常は４バイト浮動小数点値として記憶される）を有する３３次元の４００００個のガウス分布をモデルが有する場合、音響モデルは、記憶に１０メガバイト以上を必要とする。
【０００５】
各平均を１バイト、各分散を１バイトで記憶することが、スカラ量子化を用いて可能になり、しばしば、誤り率の悪化なしで４倍の圧縮率がもたらされる（上の例のモデルが２．５ＭＢになる）。そのようなタイプのスカラ量子化の１つが、線形スカラ量子化であり、これは、各パラメータの最大値および最小値を見つけ、その間の点を線形に量子化することによって行うことができる。
【０００６】
既知のクラスタ化技法を使用して、音響モデルを圧縮することができ、その結果、音響モデルの記憶に奪われるメモリが少なくなる。一般に、この技法を、部分空間コード化（ｓｕｂｓｐａｃｅ  ｃｏｄｉｎｇ）と称し、この技法では、異なる構成要素のグループ化が用いられる。通常、代表的なガウス分布が、次元ごとにコードブックに格納される。コードブックが記憶されて、音響モデルを形成し、音声認識中に入力信号を処理するためにアクセスされる。代表的なガウス分布が使用されることを考慮すると、より小さい音響モデルという利益のためにかなりの精度が失われる。モデルの圧縮率が高くなるほど、その精度が低下する。現在の技法では、ユークリッド距離が使用されるが、これによって、複数の構成要素がグループ化されると、大きく精度が低下する。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
改善された精度を維持しながらガウス分布を圧縮する改良された方法が、常に有益である。より小さいがより正確なモデルが、音声認識に特に有益であるが、他の応用例でも、改善された性能をもたらすことができる。
【課題を解決するための手段】
【０００８】
本発明は、複数のガウス分布を次元ごとに複数のクラスタにクラスタ化することを含む、対角共分散行列を伴う多次元ガウス分布を圧縮する方法を提供する。各クラスタは、平均および分散を有する重心によって表すことができる。トレーニングデータセットの尤度（ｌｉｋｅｌｉｈｏｏｄ）の総減少が、複数のガウス分布の表現について最小化される。これから説明する実施形態では、近さの数学的測度を有するメトリック（距離関数）が、最小化され、ガウス分布の割当に使用される。部分空間コード化ではユークリッド測度がしばしば使用されるが、非ユークリッド測度によって、重心とガウス分布の間の近さのよりよい表示を提供することができる。
【０００９】
次元ＤのＫ個のガウス分布および対角共分散行列が設けられるもう１つの例では、ガウス分布ｋを、平均ベクトルｍｋ＝（ｍｋ［１］，ｍｋ［２］，．．．，ｍｋ［Ｄ］）および分散ベクトルｖｋ＝（ｖｋ［１］，ｖｋ［２］，．．．，ｖｋ［Ｄ］）を用いて表すことができる。各重心の平均および分散を、そのクラスタに属するガウス分布の加重平均から形成することができる。コードブックＣｄを、次元Ｄごとに設けることができ｛Ｃ１，Ｃ２，．．．，ＣＤ｝、ここで、コードブックＣｄの各コードワードベクトルｎは、平均および分散からなる２次元ベクトル（μｎ［ｄ］，σｎ［ｄ］）である。各重心の平均は、下記の形の式を使用して計算することができる。
【００１０】
【数１】
2004280098.tif 000003
各重心の分散は、下記の形の式を使用して計算することができる。
【００１１】
【数２】
2004280098.tif 000004
ここで、Ｃｋは、トレーニングで見られたガウス分布ｋの「カウント」であり、Ｖｎは、クラスタｎ内の複数のガウス分布である。個々のガウス分布を、下記の形の近さの測度を使用してクラスタに割り当てることができる。
【００１２】
【数３】
2004280098.tif 000005
【発明を実施するための最良の形態】
【００１３】
本発明の一態様は、より小さいサイズと改善された精度を有する部分空間コード化ガウス分布モデルの形成に関する。しかし、この態様および他の態様を詳細に説明する前に、本発明を使用することができる典型的なコンピューティング環境およびコンピュータ実施されるアプリケーションの１つの説明を示す。
【００１４】
図１に、本発明を実施することができる適切なコンピューティングシステム環境１００の例を示す。コンピューティングシステム環境１００は、適切なコンピューティング環境の１つの例にすぎず、本発明の使用の範囲または機能性に関する制限を暗示することを意図されたものではない。また、コンピューティング環境１００を、典型的なコンピューティング環境１００に示された任意の構成要素またはその組合せに対する依存性または要件を有するものと解釈してもならない。
【００１５】
本発明は、多数の他の汎用または専用のコンピューティングシステム環境またはコンピューティングシステム構成と共に動作する。本発明と共に使用するのに適する可能性がある周知のコンピューティングシステム、コンピューティング環境、および／またはコンピューティング構成の例に、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルドデバイス、ラップトップデバイス、マルチプロセッサシステム、マイクロプロセッサベースのシステム、セットトップボックス、プログラマブル家庭用電化製品、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、上記のシステムまたはデバイスのいずれかを含む分散コンピューティング環境、および類似物が含まれるが、これに制限はされない。
【００１６】
本発明を、コンピュータによって実行されるプログラムモジュールなどのコンピュータ実行可能命令の全般的な文脈で説明することができる。一般に、プログラムモジュールには、特定のタスクを実行するか特定の抽象データ型を実施する、ルーチン、プログラム、オブジェクト、構成要素、データ構造などが含まれる。本発明は、通信ネットワークを介してリンクされたリモート処理デバイスによってタスクが実行される分散コンピューティング環境でも実践することができる。分散コンピューティング環境では、プログラムモジュールを、メモリストレージデバイスを含むローカルおよびリモートの両方のコンピュータ記憶媒体に配置することができる。プログラムおよびモジュールによって実行されるタスクを、下記で、図面の助けを得て説明する。当業者は、何らかの形のコンピュータ可読媒体に書き込むことができるプロセッサ実行可能命令として、下記の説明および図面を実施することができる。
【００１７】
図１を参照すると、本発明を実施する典型的なシステムに、コンピュータ１１０の形の汎用コンピューティングデバイスが含まれる。コンピュータ１１０の構成要素には、処理ユニット１２０、システムメモリ１３０、および、システムメモリを含むさまざまなシステム構成要素を処理ユニット１２０に結合するシステムバス１２１を含めることができるが、これに制限はされない。システムバス１２１は、さまざまなバスアーキテクチャのいずれかを使用する、メモリバスまたはメモリコントローラ、周辺機器バス、およびローカルバスを含む複数のタイプのバス構造のいずれかとすることができる。制限ではなく例として、そのようなアーキテクチャに、Ｉｎｄｕｓｔｒｙ  Ｓｔａｎｄａｒｄ  Ａｒｃｈｉｔｅｃｔｕｒｅ（ＩＳＡ）バス、マイクロチャネルアーキテクチャ（ＭＣＡ）バス、Ｅｎｈａｎｃｅｄ  ＩＳＡ（ＥＩＳＡ）バス、Ｖｉｄｅｏ  Ｅｌｅｃｔｒｏｎｉｃｓ  Ｓｔａｎｄａｒｄｓ  Ａｓｓｏｃｉａｔｉｏｎ（ＶＥＳＡ）ローカルバス、およびメザニンバスとも称するＰｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ（ＰＣＩ）バスが含まれる。
【００１８】
コンピュータ１１０には、通常はさまざまなコンピュータ可読媒体が含まれる。コンピュータ可読媒体は、コンピュータ１１０によってアクセス可能なすべての使用可能媒体とすることができ、これには、揮発性および不揮発性の両方の媒体、取外し可能および取り外し不能の両方の媒体が含まれる。制限ではなく例として、コンピュータ可読媒体に、コンピュータ記憶媒体および通信媒体を含めることができる。コンピュータ記憶媒体には、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータなどの情報のストレージに関する任意の方法または技術で実施された、揮発性および不揮発性、取外し可能および取り外し不能の両方の媒体が含まれる。コンピュータ記憶媒体には、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、または他のメモリ技術、ＣＤ−ＲＯＭ、ディジタル多用途ディスク（ＤＶＤ）、または他の光学ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ、または他の磁気ストレージデバイス、あるいは、所望の情報を記憶するのに使用することができ、コンピュータ１１０によってアクセスできる他のすべての媒体が含まれるが、これに制限はされない。通信媒体によって、通常は、搬送波または他のトランスポート機構などの変調されたデータ信号でコンピュータ可読命令、データ構造、プログラムモジュール、または他のデータが実施され、通信媒体には、すべての情報配布媒体が含まれる。用語「変調されたデータ信号」は、信号内で情報を符号化する形で１つまたは複数の特性を設定または変更された信号を意味する。制限ではなく例として、通信媒体に、有線ネットワークまたは直接配線接続などの有線媒体と、音響、ＲＦ、赤外線、および他の無線媒体などの無線媒体が含まれる。上記のいずれかの組合せも、コンピュータ可読媒体の範囲に含まれなければならない。
【００１９】
システムメモリ１３０には、読取専用メモリ（ＲＯＭ）１３１およびランダムアクセスメモリ（ＲＡＭ）１３２などの揮発性メモリおよび／または不揮発性メモリの形のコンピュータ記憶媒体が含まれる。起動中などにコンピュータ１１０内の要素の間で情報を転送するのを助ける基本ルーチンを含む基本入出力システム１３３（ＢＩＯＳ）が、通常はＲＯＭ１３１に記憶される。ＲＡＭ１３２には、通常は、処理ユニット１２０から即座にアクセス可能かつ／または処理ユニット１２０によって現在操作されるデータおよび／またはプログラムモジュールが含まれる。制限ではなく例として、図１に、オペレーティングシステム１３４、アプリケーションプログラム１３５、他のプログラムモジュール１３６、およびプログラムデータ１３７を示す。
【００２０】
コンピュータ１１０に、他の取外し可能／取外し不能の揮発性／不揮発性のコンピュータ記憶媒体を含めることもできる。例としてのみ、図１に、取外し不能不揮発性磁気媒体から読み取り、それに書き込むハードディスクドライブ１４１、取外し可能不揮発性磁気ディスク１５２から読み取り、それに書き込む磁気ディスクドライブ１５１、およびＣＤ  ＲＯＭまたは他の光学媒体などの取外し可能不揮発性光ディスク１５６から読み取り、それに書き込む光ディスクドライブ１５５を示す。典型的なオペレーティング環境で使用することができる他の取外し可能／取外し不能の揮発性／不揮発性のコンピュータ記憶媒体には、磁気テープカセット、フラッシュメモリカード、ディジタル多用途ディスク、ディジタルビデオテープ、固体ＲＡＭ、固体ＲＯＭ、および類似物が含まれるが、これに制限はされない。ハードディスクドライブ１４１は、通常は、インターフェース１４０などの取外し不能メモリインターフェースを介してシステムバス１２１に接続され、磁気ディスクドライブ１５１および光ディスクドライブ１５５は、通常は、インターフェース１５０などの取外し可能メモリインターフェースによってシステムバス１２１に接続される。
【００２１】
上で説明し、図１に示したドライブおよびそれに関連するコンピュータ記憶媒体は、コンピュータ１１０の、コンピュータ可読命令、データ構造、プログラムモジュール、および他のデータのストレージを提供する。図１では、たとえば、ハードディスクドライブ１４１が、オペレーティングシステム１４４、アプリケーションプログラム１４５、他のプログラムモジュール１４６、およびプログラムデータ１４７を記憶するものとして図示されている。これらの構成要素を、オペレーティングシステム１３４、アプリケーションプログラム１３５、他のプログラムモジュール１３６、およびプログラムデータ１３７と同一または異なるもののいずれかとすることができることに留意されたい。オペレーティングシステム１４４、アプリケーションプログラム１４５、他のプログラムモジュール１４６、およびプログラムデータ１４７は、最小限でもそれらが異なるコピーであることを示すために、ここでは異なる符号を与えられている。
【００２２】
ユーザは、キーボード１６２、マイクロホン１６３、および、マウス、トラックボール、またはタッチパッドなどのポインティングデバイス１６１などの入力デバイスを介してコンピュータ１１０にコマンドおよび情報を入力することができる。他の入力デバイス（図示せず）に、ジョイスティック、ゲームパッド、衛星パラボラアンテナ、スキャナ、または類似物を含めることができる。上記および他の入力デバイスは、しばしば、システムバスに結合されたユーザ入力インターフェース１６０を介して処理ユニット１２０に接続されるが、パラレルポート、ゲームポート、またはユニバーサルシリアルバス（ＵＳＢ）などの、他のインターフェースおよびバス構造によって接続することができる。モニタ１９１または他のタイプのディスプレイデバイスも、ビデオインターフェース１９０などのインターフェースを介してシステムバス１２１に接続される。モニタの他に、コンピュータに、スピーカ１９７およびプリンタ１９６など、出力周辺インターフェース１９５を介して接続することができる他の周辺出力デバイスも含めることができる。
【００２３】
コンピュータ１１０は、リモートコンピュータ１８０などの１つまたは複数のリモートコンピュータへの論理接続を使用して、ネットワーク化された環境で動作することができる。リモートコンピュータ１８０は、パーソナルコンピュータ、ハンドヘルドデバイス、サーバ、ルータ、ネットワークＰＣ、ピアデバイス、または他の一般的なネットワークノードとすることができ、リモートコンピュータ１８０には、通常は、コンピュータ１１０に関して上述した要素の多数またはすべてが含まれる。図１に示された論理接続には、ローカルエリアネットワーク（ＬＡＮ）１７１およびワイドエリアネットワーク（ＷＡＮ）１７３が含まれるが、他のネットワークも含めることができる。そのようなネットワーキング環境は、オフィス、会社全体のコンピュータネットワーク、イントラネット、およびインターネットでありふれたものである。
【００２４】
ＬＡＮネットワーキング環境で使用される場合に、コンピュータ１１０は、ネットワークインターフェースまたはネットワークアダプタ１７０を介してＬＡＮ１７１に接続される。ＷＡＮネットワーキング環境で使用される場合に、コンピュータ１１０には、通常は、インターネットなどのＷＡＮ１７３を介する通信を確立する、モデム１７２または他の手段が含まれる。モデム１７２は、内蔵または外付けとすることができるが、ユーザ入力インターフェース１６０または他の適当な機構を介してシステムバス１２１に接続することができる。ネットワーク化された環境では、コンピュータ１１０に関して示されたプログラムモジュールまたはその諸部分を、リモートメモリストレージデバイスに記憶することができる。制限ではなく例として、図１に、リモートコンピュータ１８０に常駐するリモートアプリケーションプログラム１８５を図示する。図示のネットワーク接続が、典型的であり、コンピュータの間の通信リンクを確立する他の手段を使用することができることを理解されたい。
【００２５】
図２に、本発明のガウス分布の部分空間コード化から利益を得る音響モデルを有する典型的な音声認識システムのブロック図を示す。音声認識用の圧縮された正確な音響モデルの形成と、これによって本発明の一態様を含むのに特に有益ではあるが、下記で圧縮されたモデルの形成に関して説明する技法を、他の応用例で使用することができる。
【００２６】
図２では、話者４００が、マイクロホン４０４に話し掛ける。マイクロホン４０４によって検出されたオーディオ信号が、電気信号に変換され、この電気信号が、アナログディジタル（ＡＤ）コンバータ４０６に供給される。
【００２７】
ＡＤコンバータ４０６によって、マイクロホン４０４からのアナログ信号が、一連のディジタル値に変換される。複数の実施形態で、ＡＤコンバータ４０６によって、アナログ信号が１６ｋＨｚで１６ビット／サンプルでサンプリングされ、これによって、毎秒３２キロバイトの音声データが作成される。これらのディジタル値は、フレームコンストラクタ（ｆｒａｍｅ  ｃｏｎｓｔｒｕｃｔｏｒ：フレーム構成器）４０７に供給され、フレームコンストラクタ４０７によって、一実施形態では、値が、１０ミリ秒離れて開始される２５ミリ秒フレームにグループ化される。
【００２８】
フレームコンストラクタ４０７によって作成されるデータのフレームが、特徴エクストラクタ（ｆｅａｔｕｒｅ  ｅｘｔｒａｃｔｏｒ：特徴抽出器）４０８に供給され、特徴エクストラクタ４０８によって、各フレームから特徴が抽出される。特徴抽出モジュールの例に、線形予測符号化（ＬＰＣ）、ＬＰＣ派生ケプストラム、パーセプティブ線形予測（Ｐｅｒｃｅｐｔｉｖｅ  Ｌｉｎｅａｒ  Ｐｒｅｄｉｃｔｉｏｎ、ＰＬＰ）、聴覚モデル特徴抽出、およびメル周波数ケプストラム係数（Ｍｅｌ−Ｆｒｅｑｕｅｎｃｙ  Ｃｅｐｓｔｒｕｍ  Ｃｏｅｆｆｉｃｉｅｎｔｓ、ＭＦＣＣ）特長検出を実行するモジュールが含まれる。本発明が、これらの特長抽出モジュールに制限されないこと、また本発明の文脈で他のモジュールを使用できることに留意されたい。
【００２９】
特長抽出モジュール４０８によって、それぞれが音声信号の１フレームに関連する特長ベクトルのストリームが作られる。この特長ベクトルのストリームが、デコーダ４１２に供給され、デコーダ４１２によって、特長ベクトルのストリーム、辞書（ｌｅｘｉｃｏｎ）４１４、言語モデル４１６（たとえば、Ｎグラム、文脈自由文法、またはこれらの混成物）、および音響モデル４１８に基づいて、単語の最尤シーケンスが識別される。復号に使用される特定の方法は、本発明にとって重要でない。しかし、本発明の諸態様に、音響モデル４１８に対する修正およびその使用が含まれる。
【００３０】
仮定の単語（ｈｙｐｏｔｈｅｓｉｓ  ｗｏｒｄ）の最も確かなシーケンスを、任意選択の信頼性測定モジュール４２０に供給することができる。信頼性測定モジュール４２０によって、どの単語が、音声認識装置（ｓｐｅｅｃｈ  ｒｅｃｏｇｎｉｚｅｒ）によって不正に識別された可能性が最も高いかが識別される。これは、部分的に副音響モデル（図示せず）に基づくものとすることができる。信頼性測定モジュール４２０によって、仮定の単語のシーケンスが、どの単語が不正に識別された可能性があるかを示す識別子と共に、出力モジュール４２２に供給される。当業者は、信頼性測定モジュール４２０が本発明の実行に必要ではないことを理解するであろう。
【００３１】
トレーニング中に、トレーニングテキスト４２６に対応する音声信号が、トレーニングテキスト４２６の語彙トランスクリプション（ｌｅｘｉｃａｌ  ｔｒａｎｓｃｒｉｐｔｉｏｎ）と共にデコーダ４１２に入力される。トレーナ４２４によって、トレーニング入力に基づいて音響モデル４１８がトレーニングされる。本発明の一態様に、改善された精度を有する圧縮された音響モデル４１８の形成が含まれる。
【００３２】
本発明の部分空間グループ化技法または部分空間クラスタ化技法を説明する前に、音響モデル４１８に使用される従来のコーディング技法を再検討することが役立つであろう。背景技術の節で述べたように、通常の音響モデルは、数万個の多次元ガウス確率分布から形成され、これを表す。たとえば、一般的な音響モデルに、多数の３３次元直交ガウス確率分布が含まれる。この実施形態では、各ガウス分布が、次元ごとに１つの、３３個の平均（「ｍ」）および３３個の分散（「ｖ」）を有する。ガウス分布のすべてを維持するのではなく、本明細書で「重心」とも称する代表的なガウス分布を生じる形で、ガウス分布がクラスタ化またはグループ化される。図３Ａに、１つの次元の部分的なクラスタ化の概略を示す。図３Ａでは、点のそれぞれが、平均および分散を有するガウス分布を表し、図３Ａでは、平均値が水平軸５００、分散値が垂直軸５０２によって表される。クラスタ化には、類似するガウス分布を一緒にグループ化することが含まれ、これは、図３Ａでは破線５０４によって表される。図３Ａでは、４つのクラスタが示され、「０」、「１」、「２」、および「３」として示されている。
【００３３】
上で説明したように、重心を得て、ガウス分布のクラスタを表す。したがって、各重心に、対応する平均および分散が含まれる。コーディング技法の１つに、単一の数を用いて各重心（各平均および各分散）を表すことが含まれ、この単一の数を使用して、平均値および分散値を参照し、したがって得ることができる。この技法は、部分空間量子化の単純な形であり、図３Ｂに概略的に示されたコードブック５２０を形成することが含まれ、このコードブックは、本発明において、重心、あるいはその別々の平均および分散の集合とすることができる。上で説明したように、各重心は、それぞれコードブックに列５２２および５２４として記憶される対応する平均および分散を有する。第３の列５２６には、参照識別子が含まれ、この参照識別子は、図３のプロットで形成されるクラスタに対応する。コードブックは、任意の数のエントリ（コードワード）、たとえば０から１５（１６エントリ）、または０から２５５（２５６エントリ）を有することができる。図３Ａのプロットは、最初の４つのクラスタおよび対応する重心を表す。各平均および各分散を別々にコーディングすることもできることに留意されたい。
【００３４】
コードブック５２０に、処理中に使用され、第３の列５２６に対して参照される平均および分散が記憶される。たとえば、ガウス平均が、数２によって表される場合に、コードブックによって、１．４０３７４の平均を使用しなければならないことが示され、ガウス分散が、数３によって表される場合に、コードブックによって、分散に０．００５３の値を使用しなければならないことが示される。
【００３５】
音響モデルのサイズをさらに減らすために、部分空間コード化の技法を使用することができる。部分空間コード化について、複数の次元が一緒に表される。たとえば、次元１および２を一緒にグループ化し、対応する平均および分散を、上で１次元について説明したものに似た形で０〜２５５の単一の数を用いて表すことが可能である場合がある。図３Ｃに、次元１および３が一緒にグループ化されたコードブック５４０を示すが、ここで、列５４２および５４４によって、次元１の平均および分散が表され、列５４８および５５０によって、次元３の平均および分散が表され、これらのすべてが、識別子５４６に対して参照される。２つの次元を一緒にグループ化することによって、約２の倍率でモデルを縮小することができる。この技法を部分空間コード化と呼ぶのは、元のモデルが３３次元空間を有するが、縮小されたモデルが１７次元空間（１６次元が一緒に対にグループ化され、１つが単独で残される）を有し、これが元の３３次元空間の部分空間になるからである。図３Ｃに示されたものなど、単一の数の列５４６が２つの平均および２つの分散を表すコードブックを使用することによって、２の倍率によるさらなる縮小が達成されることにも留意されたい。
【００３６】
本発明の諸態様に、ＨＭＭで使用されるトレーニングデータの総尤度が最小に減る形で、各コードブックを独立に推定することが含まれる。一般に、これには、重心ごとに平均および分散を計算して、複数のガウス分布を表すことが含まれ、ここで、複数のガウス分布の表現について、尤度の総減少が最小化される。例示的実施形態では、ガウス分布を、近さの数学的測定値を有するメトリックを使用してクラスタ化して、ガウス分布を割り当て、ここで、メトリックが最小化される。他の態様に、クラスタごとに重心を得るための新しい計算と、クラスタ化および部分空間コード化に関する新しい測度が含まれる。
【００３７】
次元ＤのＫ個のガウス分布および対角共分散行列を有する系において、ガウス分布ｋを、平均ベクトルｍｋ＝（ｍｋ［１］，ｍｋ［２］，．．．，ｍｋ［Ｄ］）および分散ベクトルｖｋ＝（ｖｋ［１］，ｖｋ［２］，．．．，ｖｋ［Ｄ］）を用いて表すことができる。
【００３８】
それぞれがＮ＝２ｒ個のコードワードベクトルを含むＤ個のコードブック｛Ｃ１，Ｃ２，．．．，ＣＤ｝からなるシステムアーキテクチャに関して、コードブックＣｄの各コードワードベクトルｎは、平均および分散を含む２次元ベクトル（μｎ［ｄ］，σｎ［ｄ］）である。
【００３９】
下に、コードブック推定を示す。各コードブックは、ＨＭＭで使用されるトレーニングデータの総尤度が最小に減る形で独立に推定される。ガウス分布ｋの次元ｄの総対数尤度に対する寄与は、次式によって与えられる。
【００４０】
【数４】
2004280098.tif 000006
【００４１】
ここで、ξｔ（ｋ）は、バウム−ウェルチ（Ｂａｕｍ−Ｗｅｌｃｈ）アルゴリズムを介して得られる、ガウス分布ｋでのベクトルｘｔの事後確率であり、
【００４２】
【数５】
2004280098.tif 000007
【００４３】
は、トレーニングで見られるガウス分布ｋの「カウント（ｃｏｕｎｔ）」である。
【００４４】
（ｍｋ［ｄ］，ｖｋ［ｄ］）を（μｎ［ｄ］，σｎ［ｄ］）によって量子化すると、新しい（より小さい）尤度は、次式によって与えられる。
【００４５】
【数６】
2004280098.tif 000008
【００４６】
その結果、尤度の減少は、次式によって与えられる。
【００４７】
【数７】
2004280098.tif 000009
【００４８】
ここで、次元ｄのガウス分布ｋとコードワードｎの間の近さの測度として定義されるＳｄ（ｋ、ｎ）は、次式によって与えられる。
【００４９】
【数８】
2004280098.tif 000010
【００５０】
その測度を最小にするｎ
【００５１】
【数９】
2004280098.tif 000011
【００５２】
を選択することによって、１次元ガウス分布（ｍｋ［ｄ］，ｖｋ［ｄ］）を（μｎ［ｄ］，σｎ［ｄ］）に量子化する。μｎ［ｄ］およびσｎ［ｄ］を推定するために、尤度の総減少を最小にする。
【００５３】
【数１０】
2004280098.tif 000012
【００５４】
これは、導関数をとり、０と等しくすることによって得ることができる。
【００５５】
【数１１】
2004280098.tif 000013
【００５６】
ここで、Ｖｎは、クラスタｎに含まれるガウス分布の組である。
【００５７】
これらの式は、複数の次元ｄにまたがって式１でＳｄ（ｋ，ｎ）の合計をとることによって、複数の次元に拡張することができる。式２および３は、同一のままである。
【００５８】
クラスタの「最適」重心が、従来のＶＱ（ベクトル量子化）のような算術平均ではなく、式２および３によって示されるように、ある加重平均であることに留意することが重要である。さらに、「最適」距離測度（式１）は、ユークリッドのではない。
【００５９】
言い換えると、式２および３は、平均が、トレーニングの各ガウス分布の出現の数（すなわち、ガウス分布と一致するトレーニングベクトルの数）によって重みを付けられ、さらに、ガウス平均値の量子化の誤差に対応する分散推定値を増やす訂正係数があるという点で、標準偏差と異なる。式１の代わりに、平均の差（ベクトル平均とクラスタ重心平均）の二乗に、分散の差（ベクトル分散とクラスタ重心分散）の二乗を加えたものからなるユークリッド距離が使用される。しかし、ユークリッド距離では、尤度の総減少の最小化が試みられない。
【００６０】
手短に言うと、式２および３によって、所与の重心の平均値および分散値がもたらされ、式１は、各クラスタのガウス分布を確かめるのに使用される。
【００６１】
図４に、クラスタ化を実行するステップおよび部分空間コード化または部分空間グループ化を実行するステップも示す。この操作命令（method）は、ステップ６００で開始される。ステップ６０２で、各次元のガウス分布が、選択された数のクラスタにクラスタ化され、各クラスタは、代表的な重心または計算された重心を有する。上で述べたように、式２および３によって、重心の要素が計算され、式１は、どのガウス分布がどのクラスタに属するかを判定する手段である。クラスタ化には、さまざまな周知の標準技法がある。一般に、クラスタをどのように初期化するかを決定しなければならず、その後、所望の数のクラスタから開始されなかった場合に、クラスタを追加する方法を決定しなければならない。このステップで、Ｋ平均クラスタ化（Ｋ−ｍｅａｎｓ  ｃｌｕｓｔｅｒｉｎｇ）を使用することができる。たとえば、方法の１つに、ガウス分布のすべてを含む１つのクラスタだけから開始し、所望の個数のクラスタに達するまで、すべてのクラスタを周期的に分割することが含まれる。別法では、所望の個数のクラスタから開始し、初期クラスタの間で均等に確率分布を割り当てることができる。
【００６２】
図５に、クラスタ化に適切な操作命令（ｍｅｔｈｏｄ）６５０を示す。ステップ６５２で、初期クラスタを決定する（１つ、複数、所望の総数のいずれか）。このステップで、各クラスタを表す重心が選択される。
【００６３】
ステップ６５３で、式１を使用して、確率分布をクラスタに割り当てる。具体的に言うと、各ガウス分布が、各重心と比較され、式１の測度によって「最も近い」と判定される場合に、ガウス分布がそのクラスタに割り当てられる。クラスタごとの総測度ＳｄＴも、対応するクラスタに割り当てられるすべてのガウス分布に関する重心への各ガウス分布の個々の測度を合計することによって計算される。さらに、各クラスタの個々の総測度のすべての合計を含む総次元測度ＳＳｄＴも計算される。
【００６４】
ステップ６５４で、ステップ６５３で対応するクラスタに割り当てられたガウス分布に鑑みて、式２および３を使用してクラスタごとに新しい重心を計算する。
【００６５】
新しい重心が計算されたので、ステップ６５６で、ガウス分布をもう一度新しい重心と比較して、再割り当てが必要であるかどうかを調べる。本質的に、これには、ステップ６５４での計算の繰り返しが含まれ、ガウス分布の再割り当てに起因してすべてのクラスタの総次元測度が大きく（すなわち、選択された閾値未満に）低下した場合に、このアルゴリズムはステップ６５４に戻る。しかし、総次元測度が大きく低下しない場合には、この操作命令は、ステップ６５８に進む。
【００６６】
ステップ６５８で、存在するクラスタの数がクラスタの所望の数と等しい場合には、クラスタ化が完了しているが、そうでない場合には、ステップ６６２で、クラスタの一部またはすべてを２つに分割し、この操作命令は、ステップ６５３に戻る。
【００６７】
１つの次元のガウス分布だけに基づいてクラスタを形成する（ステップ６０２および６０４）ほかに、同一の技法を、次元の組の各組合せまたは順列（たとえば、次元０および次元１、次元０および次元２、次元０および次元３など）に適用することができる。図４のステップ６０６および６０８は、次元の組合せに関する、図５のクラスタ化およびコスト判定方法のステップを表す。この段階で、１つのグループが、２つの次元からなる。ステップ６１０で、さまざまな組合せのすべてを計算するまで、この処理を繰り返す。これを、図６として絵図的に示すことができるが、図６では、２次元配列によって、次元の各組合せの総次元測度を表す。具体的に言うと、対角要素（ＳＳｄＴ ０，０）が、単一次元に関するクラスタ化およびコスト判定（すなわちステップ６０２および６０４）に対応し、非対角要素（ＳＳｄＴ ０，２）が、２つの次元をマージするクラスタ化およびコスト判定に対応する。
【００６８】
ステップ６１２で、コストの最小の増加を有する２つの次元を、一緒にグループ化する。コストの最小の増加は、次式によって判定される。
グループＡおよびグループＢをマージするコスト＝コスト［Ａ＆Ｂ］−コスト［Ａ］−コスト［Ｂ］
ここで、最初の反復のＡおよびＢは、単一の次元（たとえば、０、１、２など）を表すが、後の反復のＡおよびＢは、既にマージされた次元（たとえば、１と２６、２と１３など）も表す場合がある。
【００６９】
図６に戻って、最初の反復（ｉｔｅｒａｔｉｏｎ）で、コスト［Ａ＆Ｂ］は、非対角要素の１つであり、コスト［Ａ］およびコスト［Ｂ］は、それぞれ対角要素から得られる。
【００７０】
ステップ６１２で２つの次元を一緒にマージしたので、次元の総数が、１つ減る（たとえば、３３次元から３２次元へ）。
【００７１】
ステップ６１４で、次元の所望の削減に達していない場合には、この処理は、ステップ６０６に戻り、他の次元のそれぞれに関して、新たに形成されたグループに基づいてクラスタ化およびコスト判定を計算する。絵図的には、これを、１行１列だけ減らされた２次元行列（すなわち、３２×３２）として表すことができ、ここで、新しい対角要素が、新たに形成されたグループのコストを表し、非対角要素が、他の次元のさまざまな組合せを反映するように増補される。やはり、ステップ６０８で、コストの最小の増加を有する２つのグループが、上の式１の計算に基づいてマージされる。元の次元のグループ化を介して所望の数の次元が達成されるまで、ステップ６０６、６０８、６１０、６１２、および６１４のさらなる反復が、繰り返される。部分空間コード化は、ステップ６１６で完了する。
【００７２】
図７Ａ〜７Ｔに、絵図的に、次元の削減がどのように行われるかを示す。図７Ａでは、各次元がリストされ、この状態が、図４のステップ６１２でのマージの直前の、元の次元（たとえば３３次元）に対応する。
【００７３】
図７Ｂでは、２つの次元、次元２３および次元２５が、ステップ６１２でのコストの最小の増加に基づいて選択されている。同様に、図７Ｃ〜７Ｊに、図４のステップ６０６、６０８、６１０、および６１２のさらなる反復を示すが、これによって、元の次元の２つに基づいてグループ化が形成される。
【００７４】
図７Ｋに、２つの以前に形成されたグループが、より大きいグループに形成されることを示す。同様に、図７Ｎに、２つの以前のグループがより大きいグループに形成されるもう１つの反復を示す。
【００７５】
図７Ｔに、部分空間コード化によって、元の３３次元から１４次元が作られた時の、最後の反復の完了を示す。
【００７６】
音声認識システムでは、コードブックが、音響モデル４１８の一部として記憶され、音声認識中に使用される。しかし、コードブックの記憶および使用は、本発明の一部を形成しない。短く言うと、コードブックは、部分空間次元ごとに生成される。数千個の多次元ガウス分布を含む元の音響モデルに戻ると、各部分空間次元の最善のクラスタが、ガウス分布ごとに見つけられる。新しい圧縮された音響モデルは、部分空間表現に基づく。
【００７７】
本発明を、特定の実施形態に関して説明したが、当業者は、本発明の趣旨および範囲から逸脱せずに、形態および詳細において変更を行うことができることを理解するであろう。
【図面の簡単な説明】
【００７８】
【図１】本発明に使用することができる環境の典型的な一実施形態を示す図である。
【図２】本発明の一実施形態による音声認識システムを示すブロック図である。
【図３Ａ】クラスタ内で形成されるガウス分布のプロットを示す図である。
【図３Ｂ】１次元の平均および分散を有するコードブックを示す概略図である
【図３Ｃ】２次元の平均および分散を有するコードブックを示す概略図である
【図４】クラスタ化および部分空間コード化の方法を示す流れ図である。
【図５】クラスタ化の方法をより詳細に示す流れ図である。
【図６】３３次元の近さの測度のすべての組合せの２次元配列を示す図である。
【図７Ａ】３３次元の部分空間コード化を示す典型的なステップの１つを示す図である。
【図７Ｂ】３３次元の部分空間コード化を示す典型的なステップの１つを示す図である。
【図７Ｃ】３３次元の部分空間コード化を示す典型的なステップの１つを示す図である。
【図７Ｄ】３３次元の部分空間コード化を示す典型的なステップの１つを示す図である。
【図７Ｅ】３３次元の部分空間コード化を示す典型的なステップの１つを示す図である。
【図７Ｆ】３３次元の部分空間コード化を示す典型的なステップの１つを示す図である。
【図７Ｇ】３３次元の部分空間コード化を示す典型的なステップの１つを示す図である。
【図７Ｈ】３３次元の部分空間コード化を示す典型的なステップの１つを示す図である。
【図７Ｉ】３３次元の部分空間コード化を示す典型的なステップの１つを示す図である。
【図７Ｊ】３３次元の部分空間コード化を示す典型的なステップの１つを示す図である。
【図７Ｋ】３３次元の部分空間コード化を示す典型的なステップの１つを示す図である。
【図７Ｌ】３３次元の部分空間コード化を示す典型的なステップの１つを示す図である。
【図７Ｍ】３３次元の部分空間コード化を示す典型的なステップの１つを示す図である。
【図７Ｎ】３３次元の部分空間コード化を示す典型的なステップの１つを示す図である。
【図７Ｏ】３３次元の部分空間コード化を示す典型的なステップの１つを示す図である。
【図７Ｐ】３３次元の部分空間コード化を示す典型的なステップの１つを示す図である。
【図７Ｑ】３３次元の部分空間コード化を示す典型的なステップの１つを示す図である。
【図７Ｒ】３３次元の部分空間コード化を示す典型的なステップの１つを示す図である。
【図７Ｓ】３３次元の部分空間コード化を示す典型的なステップの１つを示す図である。
【図７Ｔ】３３次元の部分空間コード化を示す典型的なステップの１つを示す図である。
【符号の説明】
【００７９】
４００  話者
４０４  マイクロホン
４０６  アナログディジタル（ＡＤ）コンバータ
４０７  フレームコンストラクタ
４０８  特徴エクストラクタ
４１２  デコーダ
４１４  辞書
４１６  言語モデル
４１８  音響モデル
４２０  信頼性測定モジュール
４２２  出力モジュール
４２４  トレーナ
４２６  トレーニングテキスト
【図１】
2004280098.tif 000020
【図２】
2004280098.tif 000021
【図３Ａ】
2004280098.tif 000022
【図３Ｂ】
2004280098.tif 000023
【図３Ｃ】
2004280098.tif 000024
【図４】
2004280098.tif 000025
【図５】
2004280098.tif 000026
【図６】
2004280098.tif 000027
【図７Ａ】
2004280098.tif 000028
【図７Ｂ】
2004280098.tif 000029
【図７Ｃ】
2004280098.tif 000030
【図７Ｄ】
2004280098.tif 000031
【図７Ｅ】
2004280098.tif 000032
【図７Ｆ】
2004280098.tif 000033
【図７Ｇ】
2004280098.tif 000034
【図７Ｈ】
2004280098.tif 000035
【図７Ｉ】
2004280098.tif 000036
【図７Ｊ】
2004280098.tif 000037
【図７Ｋ】
2004280098.tif 000038
【図７Ｌ】
2004280098.tif 000039
【図７Ｍ】
2004280098.tif 000040
【図７Ｎ】
2004280098.tif 000041
【図７Ｏ】
2004280098.tif 000042
【図７Ｐ】
2004280098.tif 000043
【図７Ｑ】
2004280098.tif 000044
【図７Ｒ】
2004280098.tif 000045
【図７Ｓ】
2004280098.tif 000046
【図７Ｔ】
2004280098.tif 000047
【外国語明細書】
2004280098000001.pdf