(57)【要約】監視人工ニューラルネットワーク学習などのマシン学習のための技術が、データを受け取ること、および主成分解析技法を使用して読取りデータの次元を検査し、その次元を縮減してマシン学習を向上させることを含む。この技術は、ニューラルネットワークアーキテクチャを指定すること、および、縮減された次元を含む読取りデータと予測値の間の結合を確立するように重みを初期設定することをさらに含む。また、この技術は、指定されたニューラルネットワークアーキテクチャ、初期設定された重み、ならびに縮減された次元を含むデータを使用して監視マシン学習を実行して値を予測することも含む。次に、予測値が、正規化されたシステム誤差しきい値と比較され、その比較の結果に基づいて初期設定された重みが修正されて、重み空間においてより小さい誤差を有する学習済みニューラルネットワークが生成される。学習済みニューラルネットワークは、既知の値を使用して検証された後、値を予測するために使用される。
2005504367.tif 000002
【特許請求の範囲】
【請求項１】
監視人工ニューラルネットワーク・マシーン学習のためのコンピュータによって実施される方法であって、
受取りデータの次元を縮減して、前記次元に基づいてマシン学習パフォーマンスを向上させるステップと、
監視ニューラルネットワークアーキテクチャを指定するステップと、
前記受取りデータと予測値の間の結合強度を確立するように重みを初期設定するステップと、
前記指定されたアーキテクチャ、初期設定された重み、ならびに前記縮減された次元を含む前記受取りデータを使用して監視マシン学習を実行して値を予測するステップと、
正規化されたシステム誤差しきい値に基づいて前記ネットワークの前記初期設定された重みを修正して、重み空間においてより小さい誤差を有する学習済みニューラルネットワークを生成するステップとを含む方法。
【請求項２】
前記データが、静的データおよびリアルタイムデータから成るグループから選択されたデータを含む請求項１に記載の方法。
【請求項３】
受取りデータの次元を縮減して、前記次元に基づいてマシン学習パフォーマンスを向上させるステップが、
データを受け取るステップと、
前記受取りデータの次元を検査するステップと、
前記検査の結果に基づいて前記受取りデータの前記次元を縮減してマシン学習パフォーマンスを向上させるステップとを含む請求項２に記載の方法。
【請求項４】
前記受取りデータの次元を検査して前記マシン学習中のパフォーマンスを向上させるステップが、
前記受取りデータの前記次元をしきい値と比較するステップと、
前記比較の結果に基づいて前記受取りデータの前記次元を縮減してマシン学習パフォーマンスを向上させるステップとをさらに含む請求項３に記載の方法。
【請求項５】
前記受取りデータの前記次元を縮減するステップが、主成分解析を使用して前記受取りデータ内の属性の数を縮減するステップを含む請求項４に記載の方法。
【請求項６】
前記受取りデータの前記次元をしきい値と比較するステップが、前記受取りデータ内の属性の数を前記しきい値と比較するステップを含む請求項４に記載の方法。
【請求項７】
前記しきい値が、２５に等しいか、または２５のより大きい属性を含む請求項６に記載の方法。
【請求項８】
受取りデータが静的データである場合、所定のウインドウ長を使用して前記受け取られた静的データのサンプルを読み取るステップと、
前記受取りデータがリアルタイムデータである場合、所定のウインドウ長の動的に変化するウインドウを使用して前記受け取られたリアルタイムデータのサンプルを読み取るステップとをさらに含む請求項２に記載の方法。
【請求項９】
前記受取りデータがリアルタイムデータである場合、所定のウインドウ長の動的に変化するウインドウを使用して前記リアルタイムを前記受け取るステップを繰り返すステップをさらに含む請求項８に記載の方法。
【請求項１０】
前記監視ニューラルネットワークアーキテクチャを指定するステップが、
入力ノードの数、隠れた層の数、層のそれぞれの中のノードの数、出力層におけるノードの数、および学習速度から成るグループから選択された前記ニューラルネットワークに関する学習パラメータを指定するステップと、
前記指定されたニューラルネットワークアーキテクチャを使用して前記初期設定された重みを更新するため、および各回の反復中に入力ノードと出力ノードの間における傾向を記憶するために動的ストレージを割り振るステップとを含む請求項２に記載の方法。
【請求項１１】
前記重みを初期設定するステップが、ランダムな重みを使用して前記重みを初期設定するステップをさらに含む請求項２に記載の方法。
【請求項１２】
正規化されたシステム誤差しきい値に基づいて前記ネットワークの前記初期設定された重みを修正するステップが、
前記予測値を正規化されたシステム誤差しきい値と比較するステップと、
前記比較の結果に基づいて前記ニューラルネットワークの前記初期設定された重みを修正して、重み空間においてより小さい誤差を有する学習済みニューラルネットワークを生成するステップとをさらに含む請求項２に記載の方法。
【請求項１３】
前記予測値を前記正規化されたシステム誤差しきい値と比較するステップが、
所望の値と前記予測値を使用することによって前記正規化されたシステム誤差を計算して、勾配降下技法を使用して重み空間における誤差を縮減するステップと、
前記計算された正規化されたシステム誤差を前記正規化されたシステム誤差しきい値と比較するステップとをさらに含む請求項１２に記載の方法。
【請求項１４】
前記計算された正規化された差の誤差が前記正規化されたシステム誤差しきい値に等しいか、前記正規化されたシステム誤差しきい値より小さくなるまで前記実行するステップおよび前記比較するステップを繰り返すステップをさらに含む請求項１３に記載の方法。
【請求項１５】
ヘッシアン行例を使用して前記ニューラルネットワークの前記学習速度を向上させるステップと、
関数近似近傍技法を使用して前記ニューラルネットワークの前記学習パラメータを摂動させて、前記ニューラルネットワークの前記学習速度をさらに向上させるステップとをさらに含む請求項１に記載の方法。
【請求項１６】
前記学習済みニューラルネットワークの信頼性を検証するように前記学習済みニューラルネットワークを検証するステップをさらに含む請求項１に記載の方法。
【請求項１７】
前記学習済みニューラルネットワークを検証するステップが、
前記学習済みニューラルネットワークを使用して監視学習を実行して前記値を予測するステップと、
前記予測値を既知の値と比較することによって前記予測値の精度を計算するステップと、
前記計算された精度を精度値と比較するステップと、
前記比較の結果に基づいて学習速度を前記変更するステップ、前記実行するステップ、前記比較するステップ、および前記検証するステップを繰り返して前記学習済みニューラルネットワークの信頼性をさらに向上させるステップとをさらに含む請求項１６に記載の方法。
【請求項１８】
未知の値を前記検出されたニューラルネットワークに入力するステップと、
前記検証されたニューラルネットワーク上で監視学習を実行することによって前記値を予測するステップとをさらに含む請求項１６に記載の方法。
【請求項１９】
データを受け取るステップと、
前記受取りデータの次元を検査するステップと、
前記検査するステップの結果に基づいて前記受取りデータの前記次元を縮減してマシン学習パフォーマンスを向上させるステップと、
監視ニューラルネットワークアーキテクチャを指定するステップと、
前記受取りデータと予測値の間の結合強度を確立するように重みを初期設定するステップと、
前記指定されたアーキテクチャ、前記初期設定された重み、ならびに前記縮減された次元を含む前記受取りデータを使用して監視マシン学習を実行して値を予測するステップと、
前記予測値を正規化されたシステム誤差しきい値と比較するステップと、
前記比較の結果に基づいて前記ニューラルネットワークの前記初期設定された重みを修正して、重み空間においてより小さい誤差を有する学習済みニューラルネットワークを生成するステップとを含む監視人工ニューラルネットワーク学習のためのコンピュータ実行可能命令を有するコンピュータ可読媒体。
【請求項２０】
前記データが、静的データおよびリアルタイムデータから成るグループから選択されたデータを含む請求項１９に記載のコンピュータ可読媒体。
【請求項２１】
前記受取りデータの次元を検査してマシン学習中のパフォーマンスを向上させるステップが、
前記受取りデータの前記次元をしきい値と比較するステップと、
前記比較の結果に基づいて前記受取りデータの前記次元を縮減してマシン学習パフォーマンスを向上させるステップとをさらに含む請求項２０に記載のコンピュータ可読媒体。
【請求項２２】
前記受取りデータの前記次元を縮減するステップが、主成分解析を使用して前記受取りデータ内の属性の数を縮減するステップを含む請求項２１に記載のコンピュータ可読媒体。
【請求項２３】
前記受取りデータの前記次元をしきい値と比較するステップが、前記受取りデータ内の属性の数を前記しきい値と比較するステップを含む請求項２１に記載のコンピュータ可読媒体。
【請求項２４】
前記しきい値が、２５に等しいか、または２５より大きい属性を含む請求項２３に記載のコンピュータ可読媒体。
【請求項２５】
受取りデータが静的データである場合、所定のウインドウ長を使用して前記受け取られた静的データのサンプルを読み取るステップと、
前記受取りデータがリアルタイムデータである場合、所定のウインドウ長の動的に変化するウインドウを使用して前記受け取られたリアルタイムデータのサンプルを読み取るステップとをさらに含む請求項２０に記載のコンピュータ可読媒体。
【請求項２６】
前記受取りデータがリアルタイムデータである場合、所定のウインドウ長の動的に変化するウインドウを使用して前記リアルタイムを前記受け取るステップを繰り返すステップをさらに含む請求項２５に記載のコンピュータ可読媒体。
【請求項２７】
前記監視ニューラルネットワークアーキテクチャを指定するステップが、
入力ノードの数、隠れた層の数、層のそれぞれの中のノードの数、出力層におけるノードの数、および学習速度から成るグループから選択された前記ニューラルネットワークに関する学習パラメータを指定するステップと、
前記指定されたニューラルネットワークアーキテクチャを使用して前記初期設定された重みを更新するため、および各回の反復中に入力ノードと出力ノードの間における傾向を記憶するために動的ストレージを割り振るステップとを含む請求項２０に記載のコンピュータ可読媒体。
【請求項２８】
前記重みを初期設定するステップが、ランダムな重みを使用して前記重みを初期設定するステップをさらに含む請求項２０に記載のコンピュータ可読媒体。
【請求項２９】
前記予測値を前記正規化されたシステム誤差しきい値と比較するステップが、
所望の値と前記予測値を使用することによって前記正規化されたシステム誤差を計算して、勾配降下技法を使用して重み空間における誤差を縮減するステップと、
前記計算された正規化されたシステム誤差を前記正規化されたシステム誤差しきい値と比較するステップとをさらに含む請求項２０に記載のコンピュータ可読媒体。
【請求項３０】
前記計算された正規化された差の誤差が前記正規化されたシステム誤差しきい値に等しいか、前記正規化されたシステム誤差しきい値より小さくなるまで前記実行するステップおよび前記比較するステップを繰り返すステップをさらに含む請求項２９に記載のコンピュータ可読媒体。
【請求項３１】
ヘッシアン行例を使用して前記ニューラルネットワークの前記学習速度を向上させるステップと、
関数近似近傍技法を使用して前記ニューラルネットワークの前記学習パラメータを摂動させて、前記ニューラルネットワークの前記学習速度をさらに向上させるステップとをさらに含む請求項１９に記載のコンピュータ可読媒体。
【請求項３２】
前記学習済みニューラルネットワークの信頼性を検証するように前記学習済みニューラルネットワークを検証するステップをさらに含む請求項１９に記載のコンピュータ可読媒体。
【請求項３３】
前記学習済みニューラルネットワークを検証するステップが、
前記学習済みニューラルネットワークを使用して監視学習を実行して前記値を予測するステップと、
前記予測値を既知の値と比較することによって前記予測値の精度を計算するステップと、
前記計算された精度を精度値と比較するステップと、
前記比較の結果に基づいて学習速度を前記変更するステップ、前記実行するステップ、および前記比較するステップを繰り返すステップとをさらに含む請求項３２に記載のコンピュータ可読媒体。
【請求項３４】
前記値を予測するために前記検証されたニューラルネットワークを使用するステップをさらに含む請求項３２に記載のコンピュータ可読媒体。
【請求項３５】
まばらなデータの環境におけるマシン学習のためのコンピュータシステムであって、
記憶デバイスと、
出力デバイスとを含み、
データを受け取るステップと、
前記受取りデータの次元を検査するステップと、
前記検査するステップの結果に基づいて前記受取りデータの前記次元を縮減してマシン学習パフォーマンスを向上させるステップと、
前記監視ニューラルネットワークアーキテクチャを指定するステップと、
前記受取りデータと予測値の間の結合強度を確立するように重みを初期設定するステップと、
前記指定されたアーキテクチャ、前記初期設定された重み、ならびに前記縮減された次元を含む前記受取りデータを使用して監視マシン学習を実行して値を予測するステップと、
前記予測値を正規化されたシステム誤差しきい値と比較するステップと、
前記比較の結果に基づいて前記ニューラルネットワークの前記初期設定された重みを修正して、重み空間においてより小さい誤差を有する学習済みニューラルネットワークを生成するステップとを含む方法を繰り返し実行するようにプログラミングされたプロセッサをさらに含むシステム。
【請求項３６】
前記データが、静的データおよびリアルタイムデータから成るグループから選択されたデータを含む請求項３５に記載のシステム。
【請求項３７】
前記受取りデータの次元を検査してマシン学習中のパフォーマンスを向上させるステップが、
前記受取りデータの前記次元をしきい値と比較するステップと、
前記比較の結果に基づいて前記受取りデータの前記次元を縮減してマシン学習パフォーマンスを向上させるステップとをさらに含む請求項３６に記載のシステム。
【請求項３８】
前記受取りデータの前記次元を縮減するステップが、主成分解析を使用して前記受取りデータ内の属性の数を縮減するステップを含む請求項３７に記載のシステム。
【請求項３９】
前記受取りデータの前記次元をしきい値と比較するステップが、前記受取りデータ内の属性の数を前記しきい値と比較するステップを含む請求項３７に記載のシステム。
【請求項４０】
前記しきい値が、２５に等しいか、または２５より大きい属性を含む請求項３９に記載のシステム。
【請求項４１】
受取りデータが静的データである場合、所定のウインドウ長を使用して前記受け取られた静的データのサンプルを読み取るステップと、
前記受取りデータがリアルタイムデータである場合、所定のウインドウ長の動的に変化するウインドウを使用して前記受け取られたリアルタイムデータのサンプルを読み取るステップとをさらに含む請求項３６に記載のシステム。
【請求項４２】
前記受取りデータがリアルタイムデータである場合、所定のウインドウ長の動的に変化するウインドウを使用して前記リアルタイムを前記受け取るステップを繰り返すステップをさらに含む請求項４１に記載のシステム。
【請求項４３】
前記監視ニューラルネットワークアーキテクチャを指定するステップが、
入力ノードの数、隠れた層の数、層のそれぞれの中のノードの数、出力層におけるノードの数、および学習速度から成るグループから選択された前記ニューラルネットワークに関する学習パラメータを指定するステップと、
前記指定されたニューラルネットワークアーキテクチャを使用して前記初期設定された重みを更新するため、および各回の反復中に入力ノードと出力ノードの間における傾向を記憶するために動的ストレージを割り振るステップとを含む請求項３６に記載のシステム。
【請求項４４】
前記重みを初期設定するステップが、ランダムな重みを使用して前記重みを初期設定するステップをさらに含む請求項３６に記載のシステム。
【請求項４５】
前記予測値を前記正規化されたシステム誤差しきい値と比較するステップが、
所望の値と前記予測値を使用することによって前記正規化されたシステム誤差を計算して、勾配降下技法を使用して重み空間における誤差を縮減するステップと、
前記計算された正規化されたシステム誤差を前記正規化されたシステム誤差しきい値と比較するステップとをさらに含む請求項３６に記載のシステム。
【請求項４６】
前記計算された正規化された差の誤差が前記正規化されたシステム誤差しきい値に等しいか、前記正規化されたシステム誤差しきい値より小さくなるまで前記実行するステップおよび前記比較するステップを繰り返すステップをさらに含む請求項４５に記載のシステム。
【請求項４７】
ヘッシアン行例を使用して前記ニューラルネットワークの前記学習速度を向上させるステップと、
関数近似近傍技法を使用して前記ニューラルネットワークの前記学習パラメータを摂動させて、前記ニューラルネットワークの前記学習速度をさらに向上させるステップとをさらに含む請求項３５に記載のシステム。
【請求項４８】
前記学習済みニューラルネットワークの信頼性を検証するように前記学習済みニューラルネットワークを検証するステップをさらに含む請求項３５に記載のシステム。
【請求項４９】
前記学習済みニューラルネットワークを検証するステップが、
前記学習済みニューラルネットワークを使用して監視学習を実行して前記値を予測するステップと、
前記予測値を既知の値と比較することによって前記予測値の精度を計算するステップと、
前記計算された精度を精度値と比較するステップと、
前記比較の結果に基づいて前記実行するステップ、および前記比較するステップを繰り返すステップとをさらに含む請求項４８に記載のシステム。
【請求項５０】
前記値を予測するために前記検証されたニューラルネットワークを使用するステップをさらに含む請求項４８に記載のシステム。
【請求項５１】
監視人工ニューラルネットワーク学習のためのコンピュータによって実施されるシステムであって、
データを受け取る受取りモジュールと、
前記受取りデータを読み取る読取りモジュールと、
前記読取りデータの次元を検査して、前記検査の結果に基づいて前記読取りデータの前記次元を縮減してマシン学習パフォーマンスを向上させる解析器であって、
ニューラルネットワークアーキテクチャを指定し、前記読取りデータと前記ニューラルネットワークを使用して獲得された予測値の間で結合強度を確立するように重みを初期設定し、前記指定されたアーキテクチャ、前記初期設定された重み、ならびに前記縮減された次元を含む前記読取りデータを使用して監視学習を実行して値を予測する解析器と、
前記解析器に結合され、前記予測値を正規化されたシステム誤差しきい値と比較する比較器とを含み、前記解析器が、前記比較の結果に基づいて前記ニューラルネットワークの前記初期設定された重みを修正して、重み空間においてより小さい誤差を有する学習済みニューラルネットワークを生成するシステム。
【請求項５２】
データを受け取り、記憶するように前記受取りモジュールに結合されたデータベースをさらに含む請求項５１に記載のシステム。
【請求項５３】
前記データが、静的データおよびリアルタイムデータから成るグループから選択されたデータを含む請求項５２に記載のシステム。
【請求項５４】
前記比較器が、前記読取りデータの次元をしきい値と比較し、前記解析器が、前記比較器による前記比較の結果に基づいて前記読取りデータの前記次元を縮減してニューラルネットワーク学習パフォーマンスを向上させる請求項５３に記載のシステム。
【請求項５５】
前記しきい値は、２５に等しいか、２５より大きい請求項５４に記載のシステム。
【請求項５６】
前記比較器は、前記読取りデータ内の属性の数を前記しきい値と比較する請求項５５に記載のシステム。
【請求項５７】
前記解析器は、主成分解析を使用して前記読取りデータ内の属性の数を縮減することによって前記読取りデータの次元を縮減する請求項５４に記載のシステム。
【請求項５８】
前記解析器が、数式
【数１】
2005504367.tif 000011
を使用して共分散行列を構成することによって前記読取りデータの次元を縮減し、ただし、前記受取りデータは、行列形式（例えば、Ｘｎｘｎ）で入力され、固有値および固有ベクトルが前記構成された共分散行列から数式
【数２】
2005504367.tif 000012
を使用して計算され、ただし、λ＝（λ１，λ２，．．．，λｎ）は、前記数式の根であり、前記数式（１）を解くことにより、固有値が与えられ、Ｕｉ＝（ｕｉ１，ｕｉ２，．．．，ｕｉｎ）により、対応する固有ベクトルが与えられ、主成分が、数式
【数３】
2005504367.tif 000013
を使用して選択され、ただし、βは、カットオフパーセンテージ（〜８５％）であり、特徴が、数式
【数４】
2005504367.tif 000014
を使用してさらに選択されて前記受取りデータ内の次元が縮減される請求項５７に記載のシステム。
【請求項５９】
前記読取りモジュールが、所定のウインドウ長を使用して前記受取りデータのサンプルを読み取る請求項５４に記載のシステム。
【請求項６０】
前記読取りデータが静的データである場合、前記読取りモジュールが、所定のウインドウ長を使用して前記受取りデータのサンプルを読み取り、前記読取りデータがリアルタイムデータである場合、前記読取りモジュールが、所定の長さの動的に変化するウインドウを使用して前記受取りデータのサンプルを読み取る請求項５９に記載のシステム。
【請求項６１】
前記受取りデータがリアルタイムデータである場合、前記読取りモジュールが、所定のウインドウ長の動的に変化するウインドウを使用して前記受取りデータのサンプルを前記読み取るステップを繰り返す請求項６０に記載のシステム。
【請求項６２】
前記解析器が、入力ノードの数、隠れた層の数、層のそれぞれの中のノードの数、出力層におけるノードの数、および学習速度、および前記初期設定された重みを更新するための動的ストレージから成るグループから選択された学習パラメータを使用して前記ニューラルネットワークに関する学習パラメータを指定する請求項５１に記載のシステム。
【請求項６３】
前記解析器が、およそ−０．５から０．５までの範囲内のランダムな値を使用して重みを初期設定する請求項５１に記載のシステム。
【請求項６４】
前記解析器が、所望の値と予測値を使用することによって正規化されたシステム誤差を計算し、前記比較器が、前記計算された正規化されたシステム誤差を正規化されたシステム誤差しきい値と比較して、前記比較の結果に基づいて勾配降下技法を使用して重み空間における誤差を縮減する請求項５１に記載のシステム。
【請求項６５】
前記勾配降下技法が、数式
【数５】
2005504367.tif 000015
を使用し、ただし、Ｗｉｊは、ｉ行ｊ列の空間における重みであり、ｏｊは、実際の出力であり、δｊは、所望の出力であり、ηは、学習速度である請求項６４に記載のシステム。
【請求項６６】
前記解析器が、ヘッシアン行列
【数６】
2005504367.tif 000016
を使用して重みの更新中に前記ニューラルネットワークの学習速度を向上させ、ただし、Ｈ［ｉ，ｋ］は、２次導関数の対角要素であり、ｉ、ｊ、およびｋは、ノードおよび隠れた層のアーキテクチャに依存する数であり、
【数７】
2005504367.tif 000017
であり、ただし、Ｇ［ｋ］は、重み空間に対する前回の誤差の勾配であり、ｉ、ｊ、およびｋは、ノードおよび隠れた層のアーキテクチャに依存する数である請求項６５に記載のシステム。
【請求項６７】
前記解析器が、数式
【数８】
2005504367.tif 000018
を使用して重みを更新するように関数近似近傍技法を使用して前記ニューラルネットワークの学習速度をさらに向上させ、ただし、ｎは、入力層の中のノードの数であり、ｍは、次の層の中のノードの数であり、δｒ（ｔ）は、時間の関数に基づくパラメータである請求項６６に記載のシステム。
【請求項６８】
前記学習速度を変化させるステップ、前記実行するステップ、および前記比較するステップを繰り返して前記正規化されたシステム誤差を縮減するステップをさらに含む請求項６７に記載のシステム。
【請求項６９】
前記解析器が、学習済みニューラルネットワークを使用して監視学習を実行して値を予測することによって前記学習済みニューラルネットワークの信頼性を検証するように前記ニューラルネットワークを検証し、前記解析器が、前記予測値を既知の値と比較することによって前記予測値の精度を計算し、前記比較器が、前記計算された精度を精度値と比較し、前記解析器が、前記比較器による前記比較の結果に基づいて前記監視学習を繰り返す請求項５１に記載のシステム。
【請求項７０】
ヘッシアン行列および関数近似近傍から成るグループから選択された技法を使用して前記ニューラルネットワークの学習速度を前記変化させるステップを繰り返すステップをさらに含む請求項６９に記載のシステム。
【請求項７１】
学習済みニューラルネットワークの信頼性を向上させるように前記ニューラルネットワークを前記実行するステップ、および前記検証するステップを繰り返すステップをさらに含む請求項７０に記載のシステム。
【請求項７２】
前記検証されたニューラルネットワークを使用して値を予測するように前記解析器に結合された出力モジュールをさらに含む請求項７１に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に、インテリジェント情報検索分野に関し、より詳細には、マシン学習に基づくインテリジェント情報検索に関する。
【背景技術】
【０００２】
インテリジェント情報検索の将来は、人工ニューラルネットワーク（Ａｒｔｉｆｉｃｉａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）（ＡＮＮまたはＮＮ）などのマシン学習技術を基礎とするように思われる。データの非線形関係を表現するＡＮＮの能力は、より良好な分類をもたらし、パターン認識、パターン予測、およびパターン分類などの情報検索アプリケーションに最も適している。
【０００３】
ＡＮＮ技術は、人間の脳のアーキテクチャおよび情報表現スキームを手本にして真似ようと試みる。ＡＮＮのアーキテクチャは、達成すべき目標に依存する。ＡＮＮにおける学習は、監督されることも、監督されないことも可能である。監視学習（ＳＬ）では、ＡＮＮは、（生徒に教える教師のように）結果がどのようなものであるべきかを想定する。この場合、我々が入力を提供し、出力が示すものを検査した後、正しい出力が与えられるまで、入力と出力のマッピング間の結合強度（重み）を調整する。ネットワークに可能な限り誤りがなくなるまで、すべての入力にこれを適用することができる。ＳＬ法は、入力のそれぞれに関して出力クラス宣言を必要とする。
【０００４】
現行のＳＬ法は、オフライン（静的）データまたはオンライン（動的／時系列）データを扱うことができるが、両方を扱うことはできない。また、現行のＳＬ法は、学習するのに長い時間がかかり、安定するのに著しく多くの回数の反復を要する。現行のＳＬ法は、静的データを使用している場合、マシン学習に関して共役一般化デルタ規則（Ｃｏｎｊｕｇａｔｅ  Ｇｅｎｅｒａｌｉｚｅｄ  Ｄｅｌｔａ  Ｒｕｌｅ）（共役ＧＤＲ）を使用し、大域的最適解を見出すことが保証されていない。時系列データに関して使用される確率的近似に基づくＧＤＲは、ＧＤＲがオフラインデータだけしか扱うことができないため、複雑であり、信頼できない。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
したがって、当技術分野において、静的データと時系列データをともに扱うことができるＳＬ技術の必要性が存在する。さらに、当技術分野において、受取りデータの次元（ｄｉｍｅｎｔｉｏｎａｌｉｔｙ）を縮減してマシン学習速度およびシステムパフォーマンスを向上させることができるＳＬ技術の必要性が存在する。
【課題を解決するための手段】
【０００６】
本発明の一態様は、監視人工ニューラルネットワーク学習などのマシン学習のための方法である。この方法は、データを受け取り、主成分解析（Ｐｒｉｎｃｉｐａｌ  Ｃｏｍｐｏｎｅｎｔ  Ａｎａｌｙｓｉｓ）（ＰＣＡ）技法を使用して、受取りデータの次元を検査し、その次元を縮減してマシン学習パフォーマンスを向上させることによって行われる。この方法は、ニューラルネットワークアーキテクチャを指定すること、および、縮減された次元を含む読取りデータと予測値の間の結合を確立するように重みを初期設定することをさらに含む。また、方法は、指定されたニューラルネットワークアーキテクチャ、初期設定された重み、ならびに縮減された次元を含む読取りデータを使用して監視マシン学習を実行して値を予測することも含む。次に、予測値が、正規化されたシステム誤差しきい値と比較され、その比較の結果に基づいて初期設定された重みが修正されて、重み空間においてより小さい誤差を有する学習済みニューラルネットワークが生成される。学習済みニューラルネットワークは、既知の値を使用して検証された後、値を予測するために使用される。
【０００７】
本発明の別の態様は、監視人工ニューラルネットワーク学習の方法を行うためのコンピュータ実行可能命令を有するコンピュータ可読媒体である。この方法によれば、ＰＣＡ技法を使用して受取りデータの次元が検査され、縮減されて、マシン学習パフォーマンスが向上させられる。この方法は、ニューラルネットワークアーキテクチャを指定すること、および、縮減された次元を含む読取りデータと予測値の間の結合を確立するように重みを初期設定することをさらに含む。また、方法は、指定されたニューラルネットワークアーキテクチャ、初期設定された重み、ならびに縮減された次元を含む読取りデータを使用して監視マシン学習を実行して値を予測することも含む。次に、予測値が、正規化されたシステム誤差しきい値と比較され、その比較の結果に基づいて初期設定された重みが修正されて、重み空間においてより小さい誤差を有する学習済みニューラルネットワークが生成される。学習済みニューラルネットワークは、既知の値を使用して検証された後、値を予測するために使用される。
【０００８】
本発明の別の態様は、監視人工ニューラルネットワーク学習のためのコンピュータシステムである。コンピュータシステムは、記憶デバイスと、出力デバイスと、方法を繰り返し行うためにプログラミングされたプロセッサを含む。この方法によれば、ＰＣＡ技法を使用して受取りデータの次元が検査され、縮減されて、マシン学習パフォーマンスが向上させられる。この方法は、ニューラルネットワークアーキテクチャを指定すること、および、縮減された次元を含む読取りデータと予測値の間の結合を確立するように重みを初期設定することをさらに含む。また、この方法は、指定されたニューラルネットワークアーキテクチャ、初期設定された重み、ならびに縮減された次元を含む読取りデータを使用して監視マシン学習を実行して値を予測することも含む。次に、予測値が、正規化されたシステム誤差しきい値と比較され、その比較の結果に基づいて初期設定された重みが修正されて、重み空間においてより小さい誤差を有する学習済みニューラルネットワークが生成される。学習済みニューラルネットワークは、既知の値を使用して検証された後、値を予測するために使用される。
【０００９】
本発明の別の態様は、監視人工ニューラルネットワーク学習のためのコンピュータによって実施されるシステムである。コンピュータシステムは、データを受け取る受取りモジュールを含む。読取りモジュールが、受取りデータを読み取る。解析器が、読取りデータの次元を検査し、その検査の結果に基づいて受取りデータの次元を縮減してマシン学習パフォーマンスを向上させる。解析器は、ニューラルネットワークアーキテクチャを指定すること、および、受取りデータとニューラルネットワークを使用して獲得された予測値の間の結合強度を確立するように重みを初期設定することをさらに行う。次に、解析器は、指定されたアーキテクチャ、初期設定された重み、ならびに縮減された次元を含むデータを使用して監視学習を実行して値を予測する。比較器が、その予測値を正規化されたシステム誤差しきい値と比較する。次に、解析器が、その比較の結果に基づいてニューラルネットワークの初期設定された重みを受け取り、重み空間においてより小さい誤差を有する学習済みニューラルネットワークを生成する。
【００１０】
本発明のその他の態様は、本発明の以下の詳細な説明を読み、本明細書の一部分を成す図面を参照することで明白となる。
【発明を実施するための最良の形態】
【００１１】
監視マシン学習が、静的データ環境とリアルタイムデータ環境の両方において行われる。
図１は、本発明によるコンピュータによって実施されるシステム１００の一実施形態の概略を示す図である。データベース１３０が、１１０で全体的に示される様々なタイプの受取りデータを受け取るように接続される。例えば、データベース１３０は、時系列データ１１１、テキスト／ドキュメントデータ１１２、静的な非構造化データ１１３、決定自動化データ１１４、および／または関数近似データ１１５などのデータを受け取ることができる。決定自動化データとは、コンピュータが人間の意思決定活動をサポートするのに必要な人間の判断および分野専門知識をソフトウェアシステムの中にカプセル化したデータを意味する。例えば、そのようなデータが、複雑な条件のリアルタイムのカプセル化された判断に基づいて専門的ブレーキング決定を行う制御システムを実現するために今日の自動車において既に使用されている。関数近似とは、実際の従属変数と計算された従属変数の間の緊密な関連を見出して１組の独立変数を獲得する曲線の当てはめ法を意味する。一部の実施形態では、固有数値表現モジュール１２０が、テキスト／ドキュメントデータ１１０を受け取るように結合され、受け取られたテキスト／ドキュメントデータを固有の数値表現に変換する。
【００１２】
受取りモジュール１４０がデータベース１３０に接続されて、データベース１３０からデータを受け取る。読取りモジュール１５０が受取りモジュール１４０に接続されて、受取りモジュール１４０から受取りデータのサンプルを読み取る。一部の実施形態では、読取りモジュールは、読取りデータのサンプルが所定のウインドウ長を有するように受取りデータのサンプルを読み取る。受取りモジュール１４０が静的データを受け取った場合、読取りモジュール１５０が、所定の長さの静的ウインドウを使用して、受け取られた静的データのサンプルを読み取る。受取りモジュール１４０がリアルタイムデータを受け取った場合、読取りモジュール１５０は、所定の長さの動的に変化するウインドウを使用して、受け取られたリアルタイムデータのサンプルを読み取る。
【００１３】
読取りモジュール１５０に結合された解析器１６０が、読取りデータの次元を検査し、その検査の結果に基づいて読取りデータの次元を縮減してマシン学習パフォーマンスを向上させる。一部の実施形態では、解析器１６０に結合された比較器１７０が、読取りデータの次元をしきい値と比較し、解析器１６０が、比較器１７０による比較の結果に基づいて読取りデータの次元を縮減して、マシン学習パフォーマンスを向上させる。一部の実施形態では、しきい値は、２５に等しいか、それより大きい。一部の実施形態では、比較器１７０は、読取りデータ内の属性の数をしきい値と比較し、解析器１６０が、主成分解析（ＰＣＡ）を使用して読取りデータ内の属性の数を縮減することによって読取りデータの次元を縮減する。
【００１４】
一部の実施形態では、解析器１６０は、以下の数式
【００１５】
【数１】
2005504367.tif 000003
【００１６】
を使用して共分散行列を構成することによって読取りデータの次元を縮減し、ここで、受取りデータは、行列形式（例えば、Ｘｍｘｎ）で入力される。次に、解析器１６０は、以下の数式
【００１７】
【数２】
2005504367.tif 000004
【００１８】
を使用して、構成された共分散行列から固有値および固有ベクトルを計算し、ここで、λ＝（λ１，λ２，．．．，λｎ）は、数式の根である。数式（１）を解くことにより、固有値が与えられ、Ｕｉ＝（ｕｉ１，ｕｉ２，．．．，ｕｉｎ）により、対応する固有ベクトルが与えられる。解析器１６０は、以下の数式
【００１９】
【数３】
2005504367.tif 000005
【００２０】
を使用して主成分を選択し、ここで、βは、カットオフパーセンテージ（〜８５％）である。解析器１６０は、以下の数式
【００２１】
【数４】
2005504367.tif 000006
【００２２】
を使用して受取りデータ内の特徴をさらに選択して受取りデータ内の次元を縮減する。
次に、解析器１６０は、ニューラルネットワークアーキテクチャを指定し、読取りデータとニューラルネットワークによって予測された値の間の結合強度を確立するように重みを初期設定する。指定されたアーキテクチャ、初期設定された重み、および読取りデータを使用して、解析器１６０は、監視学習を実行して値を予測する。一部の実施形態では、解析器１６０は、入力ノードの数、隠れた層の数、層のそれぞれの中のノードの数、出力層におけるノードの数、学習速度、および／または初期の重みを更新するための動的ストレージなどの学習パラメータを使用して学習パラメータを指定する。一部の実施形態では、解析器１６０は、およそ−０．５から０．５までの範囲内のランダムな値を使用して重みを初期設定する。
【００２３】
比較器１７０は、予測値を正規化されたシステム誤差しきい値と比較する。次に、解析器１６０が、その比較の結果に基づいてニューラルネットワークの初期設定された重みを修正して、重み空間においてより小さい誤差を有する学習済みニューラルネットワークを生成する。一部の実施形態では、解析器１６０が、所望の値と予測値を使用して正規化されたシステム誤差を計算する。次に、比較器１７０が、計算された正規化されたシステム誤差を正規化されたシステム誤差しきい値と比較して、その比較の結果に基づいて勾配降下技法を使用して重み空間における誤差を縮減する。
【００２４】
一部の実施形態では、解析器１６０は、数式
【００２５】
【数５】
2005504367.tif 000007
【００２６】
を使用することによって重み空間における前回の誤差を縮減し、ただし、Ｗｉｊは、ｉ行ｊ列の空間における重みであり、ｏｉは、実際の出力であり、δｊは、所望の出力であり、ηは、学習速度である。
【００２７】
一部の実施形態では、解析器１６０は、ヘッシアン行列を使用して前回の誤差を縮減しながら（計算された正規化されたシステム誤差が正規化されたシステム誤差しきい値を超えている場合）、ニューラルネットワークの学習速度を向上させる。これらの実施形態では、解析器１６０は、ヘッシアン行例に関して以下の数式
【００２８】
【数６】
2005504367.tif 000008
【００２９】
を使用してニューラルネットワークの学習速度を向上させ、ここで、Ｈ［ｉ，ｋ］は、２次導関数の対角要素であり、ｉ、ｊ、およびｋは、ノードおよび隠れた層のアーキテクチャに依存する数であり、
【００３０】
【数７】
2005504367.tif 000009
【００３１】
であり、ここでＧ［ｋ］は、重み空間に対する前回の繰り返し誤差の勾配であり、ｉ、ｊ、およびｋは、ノードおよび隠れた層のアーキテクチャに依存する数である。
一部の実施形態では、解析器１６０は、計算された正規化されたシステム誤差が正規化されたシステム誤差しきい値を超える場合、関数近似近傍技法を使用して前回の繰り返しにおける誤差を縮減しながら（計算された正規化されたシステム誤差が正規化されたシステム誤差しきい値を超える場合）、ニューラルネットワークの学習速度を向上させる。これらの実施形態では、解析器１６０は、関数近似近傍技法に関して以下の数式
【００３２】
【数８】
2005504367.tif 000010
【００３３】
を使用し、ここで、ｎは、入力層の中のノードの数であり、ｍは、次の層の中のノードの数であり、δｒ（ｔ）は、時間の関数に基づくパラメータである。
学習済みニューラルネットワークを使用して、解析器１６０は、監視学習を実行することによって値を予測する学習済みニューラルネットワークの信頼性を検証するように学習済みニューラルネットワークの検証を行う。予測値と既知であり、かつ／または予期されるデータを使用して、解析器１６０は、予測値の精度を計算する。比較器は、計算された精度を精度値と比較する。次に、解析器１６０は、比較の結果に基づき、監視学習を繰り返して重みを更新して、システム誤差をさらに縮減する。検証されたニューラルネットワークと未知の入力を使用して、解析器１７０に結合された出力モジュール１８０が、値を予測する。
【００３４】
図２は、本発明のプロセス２００の一実施形態の概要を示している。図２に示すとおり、本発明の一態様は、監視マシン学習のためのプロセス２００を行うためのコンピュータ実行可能命令を有するコンピュータ可読媒体である。
【００３５】
プロセスは、ステップ２１０で、時系列データ（例えば、時系列データには、株式市場データ、気象予報データ、エンジンデータ、および／または航空機メンテナンスデータなどのリアルタイムデータが含まれることが可能である）、テキストドキュメントデータ、および／または静的な非構造化データなどのまばらなデータを受け取ることで開始する。一部の実施形態では、受取りデータが静的データである場合、プロセスは、所定のウインドウ長を使用してデータを受け取ることを含み、受取りデータが動的データである場合、プロセスは、所定のウインドウ長の動的に変化するウインドウを使用して動的データを受け取ることを含む。一部の実施形態では、受取りデータがリアルタイムデータである場合、プロセスは、所定のウインドウ長の動的に変化するウインドウを使用して、受け取られたリアルタイムデータのサンプルの読取りを繰り返すことを含む。
【００３６】
ステップ２２０および２２５はそれぞれ、受取りデータの次元を検査すること、およびその検査の結果に基づいて受取りデータの次元を縮減してマシン学習パフォーマンスを向上させることを含む。一部の実施形態では、これは、受取りデータの次元をしきい値と比較すること、およびその比較の結果に基づいて受取りデータの次元を縮減してマシン学習パフォーマンスを向上させることを含む。一部の実施形態では、受取りデータの次元を比較することは、受取りデータ内の属性の数をしきい値と比較すること、およびその比較の結果に基づいてＰＣＡを使用して受取りデータ内の属性の数を縮減することを含む。ＰＣＡを使用して属性の数を縮減する技法は、図１を参照してより詳細に説明する。一部の実施形態では、しきい値は、２５の属性に等しいか、それより大きい。
【００３７】
ステップ２３０は、監視ニューラルネットワークアーキテクチャを指定することを含む。一部の実施形態では、これは、入力ノードの数、隠れた層の数、層のそれぞれの中のノードの数、出力層におけるノードの数、および／または学習速度などのニューラルネットワークに関する学習パラメータを指定することを含む。また、これは、初期設定された重みを更新するため、および指定されたニューラルネットワークアーキテクチャを使用して各回の反復中に入力ノードと出力ノードの間における傾向を記憶するために動的ストレージを割り振ることを含むことも可能である。ステップ２３５は、受取りデータと予測値の間で結合強度を確立するように重みを初期設定することを含む。一部の実施形態では、重みを初期設定することは、ランダムな重みを使用して重みを初期設定することを含む。
【００３８】
ステップ２４０は、指定されたアーキテクチャ、初期設定された重み、ならびに縮減された次元を含む受取りデータを使用して監視マシン学習を実行して値を予測することを含む。ステップ２４５および２５０はそれぞれ、予測値を所望の値と比較すること、およびその比較の結果に基づいてニューラルネットワークの初期設定された重みを修正して、重み空間においてより小さい誤差を有する学習済みニューラルネットワークを生成することを含む。一部の実施形態では、予測値を所定の値と比較することは、所望の値と予測値を使用することによって正規化されたシステム誤差を計算し、計算された正規化されたシステム誤差を正規化されたシステム誤差しきい値と比較して、勾配降下技法を使用して重み空間における誤差を縮減することを含む。勾配降下技法を使用して正規化されたシステム誤差を計算することについては、図１に関連してより詳細に説明している。これらの実施形態では、前述した検査するステップ、縮減するステップ、指定するステップ、実行するステップ、および比較するステップは、計算された正規化されたシステム誤差が正規化されたシステム誤差しきい値に等しいか、より小さくなるまでステップが行われる。
【００３９】
一部の実施形態では、ステップ２５５は、ヘッシアン行列を使用することによって監視ニューラルネットワークの学習速度を変化させてニューラルネットワークの学習を向上させることを含み、関数近似近傍技法を使用してニューラルネットワークの学習パラメータを摂動させて、ニューラルネットワークの学習速度をさらに向上させることをさらに含む。ヘッシアン行例および関数近似近傍技法を使用してニューラルネットワークの学習速度を向上させる技法は、図１に関連してより詳細に説明している。
【００４０】
ステップ２６０は、学習済みニューラルネットワークの信頼性を検証するように学習済みニューラルネットワークを検証することを含む。一部の実施形態では、これは、学習済みニューラルネットワークを使用して監視学習を実行して値を予測し、その予測値を既知の値と比較することによって予測値の精度を計算し、計算された精度を精度値と比較し、その比較の結果に基づいて実行するステップ、比較するステップ、および検証するステップを繰り返して学習済みニューラルネットワークの信頼性をさらに高めることを含む。一部の実施形態では、前述したステップは、計算された精度が、精度値に等しいか、それより小さくなるまで繰り返される。一部の実施形態では、学習速度を変化させるステップも、計算された精度を精度値と比較することによってニューラルネットワークを検証しながら、ニューラルネットワークの学習をさらに向上させるように繰り返される。
【００４１】
ステップ２７０は、検証されたニューラルネットワークに未知の値を入力し、検証済みのニューラルネットワーク上で監視学習を実行することによって値を予測することを含む。
【００４２】
図２に示した方法２００は、図１に示すとおり、受取りモジュール１４０、読取りモジュール１５０、解析器１６０、および／または比較器１７０として実装することができる。本発明の様々な態様は、図２に示した環境において、または任意の他の適切なコンピューティング環境において実行することが可能なソフトウェアで実装することができる。本発明は、いくつかの他の汎用、または専用のコンピューティング環境において機能する。一部のコンピューティング環境は、コンピュータ可読媒体上に記憶されたコードを実行するパーソナルコンピュータ、汎用コンピュータ、サーバコンピュータ、ハンドヘルドデバイス、ラップトップデバイス、マルチプロセッサ、マイクロプロセッサ、セットトップボックス、プログラマブル家庭用電化製品、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、分散コンピューティング環境等である。本発明は、部分的に、または全体をコンピュータによって実行されるプログラムモジュールなどのコンピュータ実行可能命令として実装することができる。一般に、プログラムモジュールには、特定のタスクを実行する、または特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造等が含まれる。分散コンピューティング環境では、プログラムモジュールは、ローカルの記憶デバイスまたは遠隔の記憶デバイスの中に配置することが可能である。
【００４３】
図３は、図１および２に示したような本発明の実施形態を実施するための適切なコンピューティングシステム環境３００の例を示している。本発明の様々な態様は、図３に示した環境において、または任意の他の適切なコンピューティング環境において実行することが可能なソフトウェアで実装することが可能である。本発明は、いくつかの他の汎用、または専用のコンピューティング環境で機能する。一部のコンピューティング環境は、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルドデバイス、ラップトップデバイス、マルチプロセッサ、マイクロプロセッサ、セットトップボックス、プログラマブル家庭用電化製品、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、分散コンピューティング環境等である。本発明は、部分的に、または全体をコンピュータによって実行されるプログラムモジュールなどのコンピュータ実行可能命令として実装することができる。一般に、プログラムモジュールには、特定のタスクを実行する、または特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造等が含まれる。分散コンピューティング環境では、プログラムモジュールは、ローカルの記憶デバイスまたは遠隔の記憶デバイスの中に配置することが可能である。
【００４４】
図３は、処理ユニット３０２、メモリ３０４、取外し可能なストレージ３１２、および取外し不可能なストレージ３１４を含むことが可能なコンピュータ３１０の形態で汎用コンピューティングデバイスを示している。メモリ３０４は、揮発性メモリ３０６および不揮発性メモリ３０８を含むことが可能である。コンピュータ３１０は、揮発性３０６メモリや不揮発性メモリ３０８、取外し可能なストレージ３１２や取外し不可能な媒体３１４などの様々なコンピュータ可読媒体を含むコンピューティング環境を含むか、その環境にアクセスを有することが可能である。また、コンピュータ可読媒体には、任意のタイプのネットワークによって異なるデバイス間で実行可能コードを伝送するのに使用される搬送波も含まれる。コンピュータストレージには、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭおよびＥＥＰＲＯＭ、フラッシュメモリまたは他のメモリ技術、ＣＤ  ＲＯＭ、デジタルバーサタイルディスク（ＤＶＤ）または他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージまたは他の磁気記憶デバイス、あるいはコンピュータ可読命令を記憶することができる任意の他の媒体が含まれる。コンピュータ３１０は、入力３１６、出力３１８、および通信接続３２０を含むコンピューティング環境を含むか、その環境にアクセスを有することが可能である。コンピュータは、１つまたは複数の遠隔コンピュータに対する通信接続を使用するネットワーク化された環境において動作することが可能である。遠隔コンピュータには、パーソナルコンピュータ、サーバ、ルータ、ネットワークＰＣ、ピアデバイス、または他の一般的なネットワークノード等が含まれることが可能である。通信接続には、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、または他のネットワークが含まれることが可能である。
【００４５】
結論
前述したコンピュータによって実施される技術は、静的データと時系列データの両方に関する監視人工ニューラルネットワークのための技術を提供する。さらに、前述した技術は、受取りデータの次元を縮減してマシン学習速度およびシステムパフォーマンスを向上させる。前述した技術は、自動化された電子メール応答、テキストマイニング、ドキュメント分類、情報探索、気象の予測、販売予測、株式市場データを予測すること、データの検証、および／またはリスク管理などのアプリケーションにおける値を予測するのに使用することができる。前述した技術は、産業自動化、プロセス制御、およびその他の同様なアプリケーションなどのアプリケーションのために使用することも可能である。
【００４６】
以上の説明は、例示的であり、限定するものではない。多くの他の実施形態が、当分野の技術者には明白であろう。したがって、本発明の範囲は、頭記の特許請求の範囲、およびそのような特許請求の範囲に認められる均等物の全範囲によって決定される。
【図面の簡単な説明】
【００４７】
【図１】本発明の教示によるコンピュータによって実施されるシステムの主な構成要素の一実施形態を示すブロック図である。
【図２】図１に示した実施形態の全体的な動作を例示する流れ図である。
【図３】図１および２に示したような本発明の実施形態を実施するための適切なコンピューティングシステム環境の例を示す図である。
【図１】
2005504367.tif 000019
【図２】
2005504367.tif 000020
【図３】
2005504367.tif 000021
【国際公開パンフレット】
2005504367.tif 000022
2005504367.tif 000023
2005504367.tif 000024
2005504367.tif 000025
2005504367.tif 000026
2005504367.tif 000027
2005504367.tif 000028
2005504367.tif 000029
2005504367.tif 000030
2005504367.tif 000031
2005504367.tif 000032
2005504367.tif 000033
2005504367.tif 000034
2005504367.tif 000035
2005504367.tif 000036
2005504367.tif 000037
2005504367.tif 000038
2005504367.tif 000039
2005504367.tif 000040
2005504367.tif 000041
2005504367.tif 000042
2005504367.tif 000043
2005504367.tif 000044
2005504367.tif 000045
2005504367.tif 000046
2005504367.tif 000047
2005504367.tif 000048
2005504367.tif 000049
2005504367.tif 000050
2005504367.tif 000051
2005504367.tif 000052
2005504367.tif 000053
2005504367.tif 000054
2005504367.tif 000055
【国際公開パンフレット（コレクトバージョン）】
2005504367.tif 000056
2005504367.tif 000057
【国際調査報告】
2005504367.tif 000058
2005504367.tif 000059
2005504367.tif 000060