(57)【要約】      （修正有）【課題】ブロードラーニングシステムを使用してネットワーク表現学習を高速に実現する方法を提出する。【解決手段】テキストベースのネットワークグラフモジュールを導入し、ネットワークトポロジー構造を辞書形式に解析し保存するステップと、ネットワークノードのランダムウォークを行い、ウォークシーケンスを生成するステップと、ブロードラーニングシステムに基づくネットワーク表現学習モデルを構築し、ウォークシーケンスおよび次元Ｋの特徴ベクトルを入力として、特徴ベクトル層でネットワークノードの特徴ベクトルを生成し、強化ベクトル層で活性化関数の導入によりネットワーク表現学習モデルの非線形分類能力を強化し、最終的にテキストベースのネットワークマルチラベル分類を実現するステップと、を含む。【選択図】図１
2020205029.tif 000002
【特許請求の範囲】
【請求項１】
テキストベースのネットワークグラフモジュールを導入し、ネットワークトポロジー構造を辞書形式に解析し保存するステップであって、辞書中のｋｅｙはネットワークノードを表し、ｋｅｙに対応するｖａｌｕｅは、該ノードが位置する端の他端のノードのシーケンスを表すリストであるステップＳ１と、
ネットワークノードのランダムウォークを行い、ウォークシーケンスを生成するステップＳ２と、
ブロードラーニングシステムに基づくネットワーク表現学習モデルを構築し、Ｓ２で生成されたウォークシーケンスおよび次元Ｋの表現ベクトルを入力として、特徴ベクトル層でネットワークノードの特徴ベクトルを生成し、強化ベクトル層で活性化関数の導入によりネットワーク表現学習モデルの非線形分類能力を強化し、最終的にテキストベースのネットワークマルチラベル分類を実現するステップＳ３と、
を含むことを特徴とするブロードラーニングシステムに基づく高速ネットワーク表現学習アルゴリズム。
【請求項２】
前記ステップＳ２におけるウォークシーケンスを生成するステップは、
ランダムウォークの回数をＮと仮定し、各ウォークの前に、ネットワークノードのシーケンスがランダム性を確保するようにネットワークノードのシーケンスをシャッフルし、各ネットワークノードから順番にウォークを開始し、指定された長さＬに達した後、次のネットワークノードから最後のネットワークノードまでウォークを行い、設定されたウォーク回数Ｎに従って、この過程を数回繰り返し、ランダムウォークのパスセットを形成することを特徴とする請求項１に記載のブロードラーニングシステムに基づく高速ネットワーク表現学習アルゴリズム。
【請求項３】
前記ステップＳ３におけるブロードラーニングシステムに基づくネットワーク表現学習モデルのトレーニング過程は、
入力データの特徴ベクトルへのマッピングを確立し、ネットワークノードの表現ベクトルに対する特徴ベクトルを生成する特徴ベクトルの生成過程と、
活性化関数の導入により特徴ベクトルを強化ベクトル層にマッピングさせ強化ベクトルを生成し、ネットワーク表現学習モデルの非線形分類能力を強化する過程と、
擬似逆行列を計算し、ブロードラーニングシステムに基づくネットワーク表現学習モデルのシステムに対する入出力の重みのトレーニングを完成する過程と、を含むことを特徴とする請求項１に記載のブロードラーニングシステムに基づく高速ネットワーク表現学習アルゴリズム。
【請求項４】
前記ステップＳ３におけるブロードラーニングシステムに基づくネットワーク表現学習モデルのトレーニング過程は、
ｎ１次元のランダム重み行列Ｗｅを生成し、各サンプル特徴に対してランダムな重み値で畳み込みおよびオフセットを１回実行し、正規化とスパース表現を行い、この時の入力はネットワークノードの特徴ベクトルであり、その次元はＫであり、特徴ベクトルＨ１の次元はｎ１であり、ウィンドウの数はｎ２である過程Ｓ３１と、
正規直行化のランダム重み行列Ｗｈを生成し、Ｓ３１で生成された特徴ベクトルを次元ｎ３の空間にマッピングして、強化ベクトルＨ２を生成し、且つ活性化関数の導入によりネットワーク表現学習モデルの非線形分類能力を強化する過程Ｓ３２と、
特徴ベクトルＨ１と強化ベクトルＨ２を合わせてブロードラーニングシステムに基づくネットワーク表現学習モデルの出力Ｈ３とする過程Ｓ３３と、
擬似逆行列を計算し、その中、出力をＨ３、次元をｎ１×ｎ２＋ｎ３、ラベルベクトルをＹ、両者のリンク重みをＷとする場合、Ｈ３・Ｗ＝Ｙとなり、Ｈ３はほとんどの場合逆行列が存在しないので、Ｈ３の擬似逆Ｈ＋３によりＷを解いて、Ｗ＝Ｈ＋３・Ｙを得、ブロードラーニングシステムに基づくネットワーク表現学習モデルのシステムに対する入出力の重みのトレーニングを完成する過程Ｓ３４と、を含むことを特徴とする請求項１に記載のブロードラーニングシステムに基づく高速ネットワーク表現学習アルゴリズム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自然言語処理の分野に属し、ブロードラーニングシステムを使用してネットワーク表現学習及びネットワークのノードをマルチラベル分類する方法を提出し、ネットワークのノードの特徴表現、ブロードラーニングシステムネットワークの分類モデルの構築、およびトレーニングデータの生成などに関する。
【背景技術】
【０００２】
ランダムウォークに基づくネットワーク表現アルゴリズムとして、例えば、２０１４年にＢｒｙａｎ  Ｐｅｒｏｚｚｉらによって提案されたＤｅｅｐＷａｌｋ（非特許文献１）は、ｗｏｒｄ２ｖｅｃの方法を用い、ネットワーク内のノードを自然言語処理中の単語に類比し、ネットワークの各リンクパスを自然言語処理中の文句に類比し、ＳｋｉｐＧｒａｍアルゴリズムによりネットワークノード間のリンク特徴を計算してノードのベクトル表現を生成した。これで、対応するネットワークノードとその隣接のノードとの接続の構造的特徴を反映するだけでなく、ノードの低次元ベクトル表現も実現することができた。このように、機械学習アルゴリズムを使用してネットワーク表現の問題を処理するためのアイディアを提供した。該文献において、ロジスティック回帰の方法を使用してネットワーク表現のマルチラベル分類を行い、より良い分類効果が実現できた。２０１６年に南京郵便電気通信大学より申請された特許（特許文献１、深層学習に基づくグラフノードマルチラベル分類方法）において、深層学習をグラフノードマルチラベル分類に導入して、ＤｅｅｐＷａｌｋ分類アルゴリズムよりも高い正確率が得られた。しかし、ロジスティック回帰の方法は深層学習などの方法より分類正確率が低く、深層学習アルゴリズムは所要する時間が長いとの問題があり、何れも高速で効率的な分類のニーズを満たすことは困難である。
【０００３】
上記のニーズを満たすために、ブロードラーニングシステム（Ｂｒｏａｄ  Ｌｅａｒｎｉｎｇ  Ｓｙｓｔｅｍ、  ＢＬＳ）モデルを採用することができる。ブロードラーニングシステムは、ランダムベクトル関数リンクニューラルネットワーク（Ｒａｎｄｏｍ  Ｖｅｃｔｏｒ  Ｆｕｎｃｔｉｏｎ  Ｌｉｎｋ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ、ＲＶＦＬＮＮ）に似た構造を採用しており、従来のニューラルネットワークの長時間を要するという問題を解決し、且つ分類効果も良好である。したがって、ブロードラーニングシステムは徐々に従来のニューラルネットワークおよびディープニューラルネットワークを最適化するための典型的な機械学習アルゴリズムになっている。
【０００４】
ブロードラーニングシステムは、特徴ベクトル層、強化ベクトル層、および出力層により構成されており、その中、特徴ベクトル層と強化ベクトル層はシステムの入力として使用される。特徴ベクトル層では、ランダムに生成された重みにより入力サンプルに対して特徴抽出を行う。強化ベクトル層では、正規直行化のランダム重みにより特徴ベクトルに対して強化計算を行い、かつ活性化関数を導入して、モデルの非線形分類能力を強化する。最終的に特徴ベクトル層と強化ベクトル層の合成行列に対して擬似逆行列を計算し、システムにおける入力から出力までの重み行列を取得でき、ネットワークノードのマルチラベル分類を実現することができる。
【０００５】
ネットワーク表現学習の目標は、ネットワーク内のノードを低次元のベクトル形式として表現して、より柔軟に様々なデータマイニングタスクに適用することである。従来のネットワーク表現学習では、隣接行列を使用してネットワークグラフを再構築し、隣接行列の列ベクトルをグラフノードの表現ベクトルとして使用する。このような表現形式の欠点は、ネットワークグラフ中の任意の二つのノードが必ず接続されているのではなく、通常、一つのノードにはわずかな隣接ノードしかないため、その隣接行列は疎行列である。大規模ネットワークを表現するとき、ノードの数が多いため、隣接行列を使用してネットワークグラフを直接表現する効率が顕著に低下する。
【０００６】
ネットワークノードのマルチラベル分類問題もネットワーク表現の中心的な問題の一つである。ネットワークノードのラベルの数は固定されていないため、マルチラベル分類問題は従来の二分法問題よりもはるかに複雑であり、分類のアルゴリズムに対する要求もより高い。同時に、その分類結果の評価指標も二分法とは異なり、通常はＦ１関数により分類結果の正確率と再現率を加重平均して評価する。異なるカテゴリのラベルの数におけるパフォーマンスは非常に不均一であるため、各カテゴリのＦ１関数を再度加重平均する必要があり、通常「マイクロ」、「マクロ」等の重み付け方法を含めて用いる。ただし、従来のネットワーク表現のマルチラベル分類の正確率は比較的低い。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】中国特許出願公開第１０６９９７４７４号明細書
【非特許文献】
【０００８】
【非特許文献１】Ｂｒｙａｎ  Ｐｅｒｏｚｚｉ  ｅｔ  ａｌ．、ＤｅｅｐＷａｌｋ：  Ｏｎｌｉｎｅ  Ｌｅａｒｎｉｎｇ  ｏｆ  Ｓｏｃｉａｌ  Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ、ＫＤＤ会議、２０１４年８月
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明は、大規模な無向ネットワークについて、ブロードラーニングシステムを使用してネットワーク分類モデルを構築し、ネットワーク表現学習を高速に実現する方法を提出する。
【課題を解決するための手段】
【００１０】
本発明は、以下のような技術手段を含む。
【００１１】
本発明のブロードラーニングシステムに基づく高速ネットワーク表現学習アルゴリズムは、具体的には、テキストベースのネットワークグラフモジュールを導入し、ネットワークトポロジー構造を辞書形式に解析し保存するステップであって、辞書中のｋｅｙはネットワークノードを表し、ｋｅｙに対応するｖａｌｕｅは、該ノードが位置する端の他端のノードのシーケンスを表すリストであるステップＳ１と、
ネットワークノードのランダムウォークを行い、ウォークシーケンスを生成するステップＳ２と、
ブロードラーニングシステムに基づくネットワーク表現学習モデルを構築し、Ｓ２で生成されたウォークシーケンスおよび次元Ｋの表現ベクトルを入力として、特徴ベクトル層でネットワークノードの特徴ベクトルを生成し、強化ベクトル層で活性化関数の導入によりネットワーク表現学習モデルの非線形分類能力を強化し、最終的にテキストベースのネットワークマルチラベル分類を実現するステップＳ３と、を含む。
【００１２】
前記ステップＳ２におけるウォークシーケンスを生成するステップは、具体的に、
ランダムウォークの回数をＮと仮定するし、毎回のウォークの前に、ネットワークノードのシーケンスがランダム性を確保するようにネットワークノードのシーケンスをシャッフルし、各ネットワークノードから順番にウォークを開始し、指定された長さＬに達した後、次のネットワークノードから最後のネットワークノードまでウォークを行い、設定されたウォーク回数Ｎに従って、この過程を数回繰り返し、ランダムウォークのパスセットを形成する。
【００１３】
前記ステップＳ３におけるブロードラーニングシステムに基づくネットワーク表現学習モデルのトレーニング過程は、
入力データの特徴ベクトルへのマッピングを構築し、ネットワークノードの表現ベクトルに対する特徴ベクトルを生成する特徴ベクトルの生成過程と、
活性化関数の導入により特徴ベクトルを強化ベクトル層にマッピングさせ強化ベクトルを生成し、ネットワーク表現学習モデルの非線形分類能力を強化する過程と、
擬似逆行列を計算し、ブロードラーニングシステムに基づくネットワーク表現学習モデルのシステムに対する入出力の重みのトレーニングを完成する過程とを含む。
【００１４】
前記ステップＳ３におけるブロードラーニングシステムに基づくネットワーク表現学習モデルのトレーニング過程は、
ｎ１次元のランダム重み行列Ｗｅを生成し、各サンプル特徴に対してランダムな重み値で畳み込みおよびオフセットを１回実行し、且つ正規化とスパース表現を行い、この時の入力はネットワークノードの特徴ベクトルであり、その次元はＫであり、特徴ベクトルＨ１の次元はｎ１であり、ウィンドウの数はｎ２であるＳ３１と、
正規直交化のランダム重み行列Ｗｈを生成し、Ｓ３１で生成された特徴ベクトルを次元ｎ３の空間にマッピングして、強化ベクトルＨ２を生成し、且つ活性化関数の導入によりネットワーク表現学習モデルの非線形分類能力を強化するＳ３２と、
特徴ベクトルＨ１と強化ベクトルＨ２を合わせてブロードラーニングシステムに基づくネットワーク表現学習モデルの出力Ｈ３とするＳ３３と、
擬似逆行列を計算し、ブロードラーニングシステムに基づくネットワーク表現学習モデルのシステムに対する入出力の重みのトレーニングを完成するＳ３４とを含む。その中、該擬似逆計算の過程は、出力をＨ３、次元をｎ１×ｎ２＋ｎ３、ラベルベクトルをＹ、両者のリンク重みをＷとする場合、Ｈ３・Ｗ＝Ｙとなり、Ｈ３はほとんどの場合逆行列が存在しないので、Ｈ３の擬似逆Ｈ＋３によりＷを解いて、Ｗ＝Ｈ＋３・Ｙを取得することである。
【発明の効果】
【００１５】
従来技術と比較して、本発明は以下の利点がある。
【００１６】
第１に、本発明のアルゴリズムでは、ブロードラーニングシステムモデルが採用され、ネットワークノードの表現学習を高速に完成することができる。
【００１７】
第２に、本発明で採用されるブロードラーニングシステムに基づくネットワーク表現学習モデルは、多層重み接続を必要とせず、且つ勾配降下を使用して重み付け値を更新する必要もないため、本発明が提案したアルゴリズムは、ネットワークのマルチラベル分類を高速に実現することができる。
【図面の簡単な説明】
【００１８】
本発明の実施例または従来技術の技術手段をより明確に説明するために、実施例または従来技術の説明で使用される図面を以下に簡単に説明するが、以下説明する図面は本発明のいくつかの実施例に過ぎず、当業者にとっては、創造的な労働をせずにこれらの図面に基づいて他の図面を得ることができるのは言うまでもない。
【００１９】
【図１】本発明の具体的な実施形態におけるブロードラーニングシステムに基づく高速ネットワーク表現学習アルゴリズムのフローチャートである。
【図２】ブロードラーニングシステムのネットワーク表現図である。
【発明を実施するための形態】
【００２０】
本発明の実施例の目的、技術手段、および利点をより明確にするために、本発明の実施例の添付図面を参照して本発明の実施例の技術手段を明確かつ完全に説明するが、説明する実施例は本発明の実施例の一部であり、すべての実施例ではない。本発明の実施例に基づいて、創造的な労働をせずに当業者によって得られるすべての他の実施例は、本発明の保護範囲に含まれるのは言うまでもない。
【００２１】
図１および図２に示すように、本発明のブロードラーニングシステムに基づく高速ネットワーク表現学習アルゴリズムは、具体的に、
テキストベースのネットワークグラフモジュールを導入し、ネットワークトポロジー構造を辞書形式に解析し保存するステップであって、辞書中のｋｅｙはネットワークノードを表し、ｋｅｙに対応するｖａｌｕｅは、該ノードが位置する端の他端に位置するノードのシーケンスを表すリストであるステップＳ１と、
ネットワークノードのランダムウォークを行い、ウォークシーケンスを生成するステップＳ２と、
ブロードラーニングシステムに基づくネットワーク表現学習モデルを構築し、Ｓ２で生成されたウォークシーケンスおよび次元Ｋの特徴ベクトルを入力として、特徴ベクトル層でネットワークノードの特徴ベクトルを生成し、強化ベクトル層で活性化関数を導入してネットワーク表現学習モデルの非線形分類能力を強化することによって、最終的にテキストベースのネットワークマルチラベル分類を実現するステップＳ３と、を含む。
【００２２】
前記ステップＳ２におけるウォークシーケンスを生成するステップは、具体的に、毎回のウォークを行う前に、ネットワークノードのシーケンスがランダム性を確保するようにネットワークノードのシーケンスをシャッフルし、その後、各ネットワークノードから順番にウォークを開始し、指定された長さＬに達した後、次のネットワークノードから最後のネットワークノードまでウォークを行い、設定されたウォーク回数Ｎに従って、この過程を数回繰り返し、ランダムウォークのパスセットを形成する。
【００２３】
ブロードラーニングシステムに基づくネットワーク表現学習モデルのトレーニング過程は、
ｎ１次元のランダム重み行列Ｗｅを生成し、各サンプル特徴に対してランダムな重み値で畳み込みおよびオフセットを１回実行し、且つ正規化とスパース表現を行い、この時の入力はネットワークノードの表現ベクトルＸであり、式φ（ＸＷｅｉ＋βｅｉ）に従って特徴ベクトルＺｚｉを生成し、Ｚｚｉの次元はｎ１であり、ｎ２個の特徴ベクトルＺ＝［ｚ１、ｚ２、…、ｚｎ２］を生成する過程Ｓ３１と、
正規直交化のランダム重み行列Ｗｈを生成し、Ｓ３１で生成された特徴ベクトルをｎ３次元の空間にマッピングして、強化ベクトルＨ２を生成し、ｓｉｇｍｏｉｄ活性化関数の導入によりネットワーク表現学習モデルの非線形分類能力を強化し、Ｚ＝［ｚ１、…、ｚｎ２］とすると、強化ベクトルＨ２を生成する式はξ（ＺＷｈ＋βｈ）である過程Ｓ３２と、
特徴ベクトルＨ１と強化ベクトルＨ２を合わせてＴ次元の特徴ベクトル）Ｈ３（Ｔ＝ｎ１×ｎ２＋ｎ３）とし、Ｈ３はブロードラーニングシステムに基づくネットワーク表現学習モデルの出力である過程Ｓ３３と、
表現ベクトルＨ３からラベルベクトルＹまでの、両者のリンク重み行列をＷとする場合、Ｈ３・Ｗ＝Ｙとなり、Ｈ３はほとんどの場合逆行列が存在しないので、Ｈ３の擬似逆Ｈ＋３によりＷを解いて、Ｗ＝Ｈ＋３・Ｙを得、ブロードラーニングシステムに基づくネットワーク表現学習モデルのシステムに対する入出力の重みのトレーニングを完成する過程Ｓ３４とを含む。
【００２４】
以上のように、本発明は、ネットワーク表現についてブロードラーニングシステムを使用する分類モデルを提出しており、従来のマルチラベル分類法と比較して、該アルゴリズムはより快速の分類が実現でき、且つ分類の正確率がより高い。
【００２５】
最後に、上記の各実施例は本発明の技術手段を例示するためにのみに使用されるものであり、それに限定されるものではないことに留意すべきである。上記の各実施例によって本発明を詳しく説明したが、本発明の趣旨を逸脱しない限り、当業者は上記の各実施例に記載の技術手段を修正したり、技術的特徴の一部またはすべてを同等に置換したりすることができ、これらの修正や置換もすべて本発明の保護範囲に含まれる。
【００２６】
（付記）
（付記１）
テキストベースのネットワークグラフモジュールを導入し、ネットワークトポロジー構造を辞書形式に解析し保存するステップであって、辞書中のｋｅｙはネットワークノードを表し、ｋｅｙに対応するｖａｌｕｅは、該ノードが位置する端の他端のノードのシーケンスを表すリストであるステップＳ１と、
ネットワークノードのランダムウォークを行い、ウォークシーケンスを生成するステップＳ２と、
ブロードラーニングシステムに基づくネットワーク表現学習モデルを構築し、Ｓ２で生成されたウォークシーケンスおよび次元Ｋの表現ベクトルを入力として、特徴ベクトル層でネットワークノードの特徴ベクトルを生成し、強化ベクトル層で活性化関数の導入によりネットワーク表現学習モデルの非線形分類能力を強化し、最終的にテキストベースのネットワークマルチラベル分類を実現するステップＳ３と、
を含むことを特徴とするブロードラーニングシステムに基づく高速ネットワーク表現学習アルゴリズム。
【００２７】
（付記２）
前記ステップＳ２におけるウォークシーケンスを生成するステップは、
ランダムウォークの回数をＮと仮定し、各ウォークの前に、ネットワークノードのシーケンスがランダム性を確保するようにネットワークノードのシーケンスをシャッフルし、各ネットワークノードから順番にウォークを開始し、指定された長さＬに達した後、次のネットワークノードから最後のネットワークノードまでウォークを行い、設定されたウォーク回数Ｎに従って、この過程を数回繰り返し、ランダムウォークのパスセットを形成することを特徴とする付記１に記載のブロードラーニングシステムに基づく高速ネットワーク表現学習アルゴリズム。
【００２８】
（付記３）
前記ステップＳ３におけるブロードラーニングシステムに基づくネットワーク表現学習モデルのトレーニング過程は、
入力データの特徴ベクトルへのマッピングを確立し、ネットワークノードの表現ベクトルに対する特徴ベクトルを生成する特徴ベクトルの生成過程と、
活性化関数の導入により特徴ベクトルを強化ベクトル層にマッピングさせ強化ベクトルを生成し、ネットワーク表現学習モデルの非線形分類能力を強化する過程と、
擬似逆行列を計算し、ブロードラーニングシステムに基づくネットワーク表現学習モデルのシステムに対する入出力の重みのトレーニングを完成する過程と、を含むことを特徴とする付記１に記載のブロードラーニングシステムに基づく高速ネットワーク表現学習アルゴリズム。
【００２９】
（付記４）
前記ステップＳ３におけるブロードラーニングシステムに基づくネットワーク表現学習モデルのトレーニング過程は、
ｎ１次元のランダム重み行列Ｗｅを生成し、各サンプル特徴に対してランダムな重み値で畳み込みおよびオフセットを１回実行し、正規化とスパース表現を行い、この時の入力はネットワークノードの特徴ベクトルであり、その次元はＫであり、特徴ベクトルＨ１の次元はｎ１であり、ウィンドウの数はｎ２である過程Ｓ３１と、
正規直行化のランダム重み行列Ｗｈを生成し、Ｓ３１で生成された特徴ベクトルを次元ｎ３の空間にマッピングして、強化ベクトルＨ２を生成し、且つ活性化関数の導入によりネットワーク表現学習モデルの非線形分類能力を強化する過程Ｓ３２と、
特徴ベクトルＨ１と強化ベクトルＨ２を合わせてブロードラーニングシステムに基づくネットワーク表現学習モデルの出力Ｈ３とする過程Ｓ３３と、
擬似逆行列を計算し、その中、出力をＨ３、次元をｎ１×ｎ２＋ｎ３、ラベルベクトルをＹ、両者のリンク重みをＷとする場合、Ｈ３・Ｗ＝Ｙとなり、Ｈ３はほとんどの場合逆行列が存在しないので、Ｈ３の擬似逆Ｈ＋３によりＷを解いて、Ｗ＝Ｈ＋３・Ｙを得、ブロードラーニングシステムに基づくネットワーク表現学習モデルのシステムに対する入出力の重みのトレーニングを完成する過程Ｓ３４と、を含むことを特徴とする付記１に記載のブロードラーニングシステムに基づく高速ネットワーク表現学習アルゴリズム。
【図１】
2020205029.tif 000003
【図２】
2020205029.tif 000004
【手続補正書】
【提出日】令和2年9月3日(2020.9.3)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
テキストベースのネットワークグラフモジュールを導入し、ネットワークトポロジー構造を辞書形式に解析し保存するステップであって、辞書中のｋｅｙはネットワークノードを表し、ｋｅｙに対応するｖａｌｕｅは、該ノードが位置する端の他端のノードのシーケンスを表すリストであるステップＳ１と、
ネットワークノードのランダムウォークを行い、ウォークシーケンスを生成するステップＳ２と、
ブロードラーニングシステムに基づくネットワーク表現学習モデルを構築し、Ｓ２で生成されたウォークシーケンスおよび次元Ｋの表現ベクトルを入力として、特徴ベクトル層でネットワークノードの特徴ベクトルを生成し、強化ベクトル層で活性化関数の導入によりネットワーク表現学習モデルの非線形分類能力を強化し、最終的にテキストベースのネットワークマルチラベル分類を実現するステップＳ３と、を含み、
前記ステップＳ３におけるブロードラーニングシステムに基づくネットワーク表現学習モデルのトレーニング過程は、
入力データの特徴ベクトルへのマッピングを確立し、ネットワークノードの表現ベクトルに対する特徴ベクトルを生成する特徴ベクトルの生成過程と、
活性化関数の導入により特徴ベクトルを強化ベクトル層にマッピングさせ強化ベクトルを生成し、ネットワーク表現学習モデルの非線形分類能力を強化する過程と、
特徴ベクトルと強化ベクトルを合わせてブロードラーニングシステムに基づくネットワーク表現学習モデルの出力とする過程と、
擬似逆行列を計算し、ブロードラーニングシステムに基づくネットワーク表現学習モデルのシステムに対する入出力の重みのトレーニングを完成し、最終的にテキストベースのネットワークマルチラベル分類を実現する過程と、
を含むことを特徴とするブロードラーニングシステムに基づく高速ネットワーク表現学習の方法。
【請求項２】
前記ステップＳ２におけるウォークシーケンスを生成するステップは、
ランダムウォークの回数をＮと仮定し、各ウォークの前に、ネットワークノードのシーケンスがランダム性を確保するようにネットワークノードのシーケンスをシャッフルし、各ネットワークノードから順番にウォークを開始し、指定された長さＬに達した後、次のネットワークノードから最後のネットワークノードまでウォークを行い、設定されたウォーク回数Ｎに従って、この過程を数回繰り返し、ランダムウォークのパスセットを形成することを特徴とする請求項１に記載のブロードラーニングシステムに基づく高速ネットワーク表現学習の方法。
【請求項３】
テキストベースのネットワークグラフモジュールを導入し、ネットワークトポロジー構造を辞書形式に解析し保存するステップであって、辞書中のｋｅｙはネットワークノードを表し、ｋｅｙに対応するｖａｌｕｅは、該ノードが位置する端の他端のノードのシーケンスを表すリストであるステップＳ１と、
ネットワークノードのランダムウォークを行い、ウォークシーケンスを生成するステップＳ２と、
ブロードラーニングシステムに基づくネットワーク表現学習モデルを構築し、Ｓ２で生成されたウォークシーケンスおよび次元Ｋの表現ベクトルを入力として、特徴ベクトル層でネットワークノードの特徴ベクトルを生成し、強化ベクトル層で活性化関数の導入によりネットワーク表現学習モデルの非線形分類能力を強化し、最終的にテキストベースのネットワークマルチラベル分類を実現するステップＳ３と、を含み、
前記ステップＳ３におけるブロードラーニングシステムに基づくネットワーク表現学習モデルのトレーニング過程は、
ｎ１次元のランダム重み行列Ｗｅを生成し、各サンプル特徴に対してランダムな重み値で畳み込みおよびオフセットを１回実行し、正規化とスパース表現を行い、この時の入力はネットワークノードの特徴ベクトルであり、その次元はＫであり、特徴ベクトルＨ１の次元はｎ１であり、ウィンドウの数はｎ２である過程Ｓ３１と、
正規直行化のランダム重み行列Ｗｈを生成し、Ｓ３１で生成された特徴ベクトルを次元ｎ３の空間にマッピングして、強化ベクトルＨ２を生成し、且つ活性化関数の導入によりネットワーク表現学習モデルの非線形分類能力を強化する過程Ｓ３２と、
特徴ベクトルＨ１と強化ベクトルＨ２を合わせてブロードラーニングシステムに基づくネットワーク表現学習モデルの出力Ｈ３とする過程Ｓ３３と、
擬似逆行列を計算し、その中、出力をＨ３、次元をｎ１×ｎ２＋ｎ３、ラベルベクトルをＹ、両者のリンク重みをＷとする場合、Ｈ３・Ｗ＝Ｙとなり、Ｈ３はほとんどの場合逆行列が存在しないので、Ｈ３の擬似逆Ｈ＋３によりＷを解いて、Ｗ＝Ｈ＋３・Ｙを得、ブロードラーニングシステムに基づくネットワーク表現学習モデルのシステムに対する入出力の重みのトレーニングを完成する過程Ｓ３４と、
を含むことを特徴とするブロードラーニングシステムに基づく高速ネットワーク表現学習の方法。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
本発明のブロードラーニングシステムに基づく高速ネットワーク表現学習の方法は、具体的には、テキストベースのネットワークグラフモジュールを導入し、ネットワークトポロジー構造を辞書形式に解析し保存するステップであって、辞書中のｋｅｙはネットワークノードを表し、ｋｅｙに対応するｖａｌｕｅは、該ノードが位置する端の他端のノードのシーケンスを表すリストであるステップＳ１と、
ネットワークノードのランダムウォークを行い、ウォークシーケンスを生成するステップＳ２と、
ブロードラーニングシステムに基づくネットワーク表現学習モデルを構築し、Ｓ２で生成されたウォークシーケンスおよび次元Ｋの表現ベクトルを入力として、特徴ベクトル層でネットワークノードの特徴ベクトルを生成し、強化ベクトル層で活性化関数の導入によりネットワーク表現学習モデルの非線形分類能力を強化し、最終的にテキストベースのネットワークマルチラベル分類を実現するステップＳ３と、を含み、
前記ステップＳ３におけるブロードラーニングシステムに基づくネットワーク表現学習モデルのトレーニング過程は、
入力データの特徴ベクトルへのマッピングを確立し、ネットワークノードの表現ベクトルに対する特徴ベクトルを生成する特徴ベクトルの生成過程と、
活性化関数の導入により特徴ベクトルを強化ベクトル層にマッピングさせ強化ベクトルを生成し、ネットワーク表現学習モデルの非線形分類能力を強化する過程と、
特徴ベクトルと強化ベクトルを合わせてブロードラーニングシステムに基づくネットワーク表現学習モデルの出力とする過程と、
擬似逆行列を計算し、ブロードラーニングシステムに基づくネットワーク表現学習モデルのシステムに対する入出力の重みのトレーニングを完成し、最終的にテキストベースのネットワークマルチラベル分類を実現する過程と、を含む。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】削除
【補正の内容】
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
第１に、本発明の方法では、ブロードラーニングシステムモデルが採用され、ネットワークノードの表現学習を高速に完成することができる。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
第２に、本発明で採用されるブロードラーニングシステムに基づくネットワーク表現学習モデルは、多層重み接続を必要とせず、且つ勾配降下を使用して重み付け値を更新する必要もないため、本発明が提案した方法は、ネットワークのマルチラベル分類を高速に実現することができる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
【図１】本発明の具体的な実施形態におけるブロードラーニングシステムに基づく高速ネットワーク表現学習の方法のフローチャートである。
【図２】ブロードラーニングシステムのネットワーク表現図である。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【００２１】
図１および図２に示すように、本発明のブロードラーニングシステムに基づく高速ネットワーク表現学習の方法は、具体的に、
テキストベースのネットワークグラフモジュールを導入し、ネットワークトポロジー構造を辞書形式に解析し保存するステップであって、辞書中のｋｅｙはネットワークノードを表し、ｋｅｙに対応するｖａｌｕｅは、該ノードが位置する端の他端に位置するノードのシーケンスを表すリストであるステップＳ１と、
ネットワークノードのランダムウォークを行い、ウォークシーケンスを生成するステップＳ２と、
ブロードラーニングシステムに基づくネットワーク表現学習モデルを構築し、Ｓ２で生成されたウォークシーケンスおよび次元Ｋの特徴ベクトルを入力として、特徴ベクトル層でネットワークノードの特徴ベクトルを生成し、強化ベクトル層で活性化関数を導入してネットワーク表現学習モデルの非線形分類能力を強化することによって、最終的にテキストベースのネットワークマルチラベル分類を実現するステップＳ３と、を含む。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正の内容】
【００２４】
以上のように、本発明は、ネットワーク表現についてブロードラーニングシステムを使用する分類モデルを提出しており、従来のマルチラベル分類法と比較して、該方法はより快速の分類が実現でき、且つ分類の正確率がより高い。