情報処理学会研究報告
IPSJ SIG Technical Report

リンク予測モデルによる多言語上位下位関係の自動抽出巩尧 1

福田悟志 1難波英嗣 1

概要：自然言語処理において、上位下位語関係は知識体系の中核であり、多くの下流タスクに役立つ。特許を対象とした技術動向調査や審査等はその一例である。しかし、このような用語間の関係を人手で整備するのには非常にコストがかかる。本稿では、日本語、英語、中国語で記載された特許テキストデータから上位下位関係を抽出し、多言語
シソーラスを自動構築する。提案手法は次に述べる 2 つのステップから構成される。まず、GAN(Generative
Adversarial Network)を用いて上位下位関係にある用語を識別する。次に、前の手順で構築された上位下位関係のグラフに対し、ConvE と GraphSAGE を組み合わせたリンク予測を行い、本来であれば上位下位関係にあるべき欠落したエッジを予測する。提案手法の有効性を確認するために行った実験では、GAN を用いた上位下位関係の識別およびConvE と GraphSAGE を組み合わせたリンク予測の両方において、提案手法が従来手法よりも優れていることがわかった。
キーワード：上位下位関係，多言語，GAN，リンク予測，情報抽出，特許

Automatic Extraction of Multilingual Hypernym-Hyponym Relation
Using Link Prediction ModelYAO GONG1 SATOSHI FUKUDA1HIDETSUGU NANBA1
Abstract: In natural language processing, hypernym-hyponym relations are the core of the body of knowledge (BOK) and isuseful for many downstream tasks. An example of this is technical trend analysis and examination of patents. However, it is very
costly to manually maintain these relationships between terms. In this paper, we extract hypernym-hyponym relations from patenttext data written in Japanese, English, and Chinese, and automatically construct a multilingual thesaurus. The proposed method
consisting of the following two steps. Firstly, we use GAN (Generative Adversarial Network) to identify the terms in a hypernymhyponym relation. Secondly, ConvE and GraphSAGE are combined to predict links on the graph of hypernym-hyponym relations
constructed in the previous step, predict missing edges that should be in a hypernym-hyponym relationship. Experiments conducted
to demonstrate the effectiveness of the proposed method, it was found that our method outperforms previous methods in both theidentification of hypernym-hyponym relations using GAN and link prediction using a combination of ConvE and GraphSAGE.
Keywords: hypernym-hyponym relation, multilingual, GAN, link prediction, information extraction, patent

1. はじめにに対し、次に述べる 2 つのステップで多言語シソーラスを構築する。まず、GAN(Generative Adversarial Network) [2]を

本稿では、日本語、英語、中国語で記載された特許テキ用いて、上位下位関係にある用語を識別する識別器を構築

ストデータから上位下位関係を抽出し、多言語シソーラス

する。次に、前の手順で構築された上位下位関係のグラフを自動構築する手法を提案する。用語の上位下位関係をまに対し、リンク予測技術を適用して、本来であれば上位下とめたシソーラスは、技術動向調査や審査等、様々な場面

位関係にあるべき欠落したエッジを予測する。

で役に立つ。その一方で、このような用語間の関係を人手

リンク予測タスクはノード間の欠落関係を予測し、大規で整備するのには非常にコストがかかるため、その自動構

模なグラフ構造のデータを自動的に理解するための重要な築が望まれている。

鍵である。これまでのリンク予測に関する研究では、大規定型表現を用いて上位下位関係を獲得する手法は早く

模な知識グラフ[3, 14]に焦点が当てられていたが、上位下から研究されてきている。Hearst[13]は語彙統語パターンを

位関係のリンクを予測する研究はこれまでにほとんどない。

用いて英語の新聞記事から上位下位関係を抽出している。

ConvE[1]などの CNN(Convolutional Neural Network)モデル

本研究でも、多言語シソーラス構築の第一歩として、「A やは、様々な予測タスクにおいて非常に役立つことが証明さ

B などの C」、“D such as E, F”と“G 包括 H 和 I ”といっれている。GNN(Graph Neural Network)に関する embedding

た多言語の定型表現を利用し、上位下位関係の候補となるを計算する手法のひとつである GraphSAGE[17]はリンク予

用語対を獲得する。

測タスクを解決するための有効なアプローチを提供されて定型表現を利用して抽出された上位下位用語対の候補いる。本研究では、ConvE と GraphSAGE を組み合わせ、新1 中央大学
Chuo Universityⓒ2023 Information Processing Society of Japan1

情報処理学会研究報告
IPSJ SIG Technical Report
たな手法を用いて欠落上位下位関係を予測する手法を提案する。上位下位関係のリンク予測では、図 1 に示すように各単語をグラフのノードへと変換し、グラフ中のノード間のリンク・エッジの存在を予測する。
図 2 は日本国特許(特開 2008-157094、特開 2012-182131)の内容であり、「A や B などの C」という定型表現を利用
し、図 3 に示すように上位語と下位語を獲得している。
「車

図 3：図 2 の日本語特許から抽出された上位下位関係の例

両」は上位関係に対して、「乗用車」と「トラック」が下位関係である。「大型電源」は上位関係に対して、「車載用電源」と「定置型電源」が下位関係である。
これにより構築された多言語シソーラスを用いること

2. 関連研究2.1 上位下位関係の抽出

で、多言語間での一貫性と正確性を高めることを目指して

上位下位関係を抽出する代表的な手法は、定型表現を用いる。また、専門文書や科学文献から新たな関係と知識のいた手法である。安藤ら[19]は、7 種の定型表現を利用し、発見が期待される。

新聞記事から名詞の下位語の自動抽出手法を提案している。
難波ら[20]は、「などの」「のような」「といった」「等の」の4 種類の定型表現を用いて日本語特許データベースから上位下位語を抽出している。直接上位下位関係にない用語対を検出される問題を解決するために、スコアの計算を導入している。同義語の区別をつけるために、引用分析手法を用いて同義語対の自動検出方法を提案している。上位下位関係を抽出する改善手法について、難波ら[21]は、分布類似度と定型表現を用いた手法を提案している。
Nanba ら[18]は、日本語と英語で記述された特許から定型表現を用いて上位下位関係の用語候補を抽出した後、統計的機械翻訳技術を用いて日英用語間の対応付けを行うこ

図 1：多言語上位下位関係のグラフとで、日英シソーラスを自動構築している。Nanba らの手法では、統計翻訳で対応付かない用語はすべて除外してし特開 2008-157094: 乗用車やトラックなどの車両に搭載まっているが、本研究では、GAN を用いることで翻訳の対されるガソリンエンジン、ディーゼルエンジンなどの内応が付かないが正しい上位下位関係は多言語シソーラス内

燃機関において、燃料を吸気ポートではなく、燃焼室（気に残すこと、さらに、リンク予測モデルを用いて定型表現

筒）に直接噴射する筒内噴射式内燃機関が従来から知ら法では抽出できていない上位下位関係を検出することから、れている。この筒内噴射式内燃機関では、吸気弁の開放より網羅性の高い多言語シソーラスの構築が期待できる。

時に、空気が吸気ポートから燃焼室に吸入され、この吸この他の多言語上位下位関係の検出の研究では、英語な

気行程時またはピストンが上昇して吸入空気を圧縮す

どの高リソース言語の上位下位関係の検出に主に焦点が当る圧縮行程時に、燃料噴射弁が燃焼室に対して燃料を直てられていた。Yu ら[4]は、低リソースの上位下位語を検出接噴射する。

する問題に対処する。リソース不足の問題を解決するため

特開 2012-182131: 一方、近年では環境問題やエネルギに、メタ学習を適用する手法を提案している。
「言語横断トー問題などの地球規模の課題を背景に、リチウム二次電レーニング」、「多言語トレーニング」と「メタ学習」3 つの池の車載用電源や定置型電源などの大型電源への応用

共同トレーニングパラダイム方法を比較する。実験結果ににも大きな期待が集まっている。しかし、このような電よって、3 つの設定の中でメタ学習の方法が優れているこ池は一般に、長期に及ぶ充放電の繰り返しに対する安定とが示している。小規模なデータセットの過剰適合を防ぐ性の確保が不可欠であり、さらには外気に晒される環境

ことにより、リソースが非常に少ない言語のパフォーマン

下での使用が見込まれているため、開発に当たっては氷スを大幅に向上させる。Upadhyay ら[6]は、言語横断の上位

点下のような低温環境下における電池特性、特に低温放下位関係検出のための教師なしアプローチ BISPARSE-DEP

電特性が重要視されている。

手法を提案している。バイリンガル embedding と教師なし

図 2：日本文特許データベースの例

含意スコアラーを利用し、上位下位関係を検出する。本研
究と先行研究と異なる点は、定型表現で抽出した多言語の上位下位関係を一つのグラフとして、リンク予測モデルをⓒ2023 Information Processing Society of Japan2

情報処理学会研究報告
IPSJ SIG Technical Report
用いて各言語の欠落関係を自動補完する。

R-GCN(Relational Graph Convolutional Networks)モデルを導2.2 GAN を用いた上位下位関係分類器の構築

入し、ノード上のグラフ構造における異なるエッジ関係のGAN を用いた従来の研究はデータの拡張、よりリアルな影響に対処している。Jiang ら[15]は、リンク予測モデル

画像や文の生成などの目的で行われている。Kober ら[11]ConvR を提案している。ConvR は、関係表現から畳み込み

は、上位下位関係を検出ために、GAN を利用してデータをフィルターを構築し、このフィルターをエンティティ表現

拡張する手法を提案している。この論文は既存の訓練デー

全体に適用し、畳み込み特徴を生成する。本研究では、リタを利用し、新しい学習例を生成するデータ補強方法を検ンク予測モデルとグラフ embedding 手法を結合し、多言語討している。言語学的な原理である上位下位関係の推移性

自動補完タスクに取り組んでいる。

と交差修飾語-名詞の構成を組み合わせ、上位下位関係が仮定できる。例えば、“small dog - dog” と “small dog - animal”のように、“animal”が dog の上位関係、“dog”が“small dog”

3. GAN を用いた上位下位関係分類器の構築の上位関係となった場合、“animal”が“small dog”の上位

本研究では、抽出した上位下位関係候補をフィルタリン

関係追加する。単語の適切な候補を見つけるために、名詞

グための分類器の構築手法を提案する。特許から抽出したに修飾語を組み合わせる必要がある。実験結果によって、上位下位関係を WordNet で対応付けられたデータセットを提案したデータ補強手法とデータセット拡張手法を利用し、作成し、GAN による上位下位関係を判定する分類器を構築

分類器の性能を大幅に改善することを分かっている。

する。分類器を用いて上位下位関係のグラフから不適切なDiscriminator を 分 類 器 と し て 利 用 す る 研 究 に つ い て 、ノードを削除する。図 4 に、GAN による上位下位分類器のChavdarova ら[16]は、SGAN という半教師あり GAN を提案

構築のアーキテクチャをまとめる。GAN は Generator としている。SGAN を利用し、多クラス分類タスクを行う。

Discriminator の 2 つの要素から構成されている。Generator

本研究では、上位下位語の分散表現を GAN に入力し、学の役割はランダムな分布から偽物データを生成する。一方、習済みの Discriminator を分類器として上位下位関係を識別

Discriminator はデータが本物か偽物か識別する。本研究でする点が異なる。

は 、 Discriminator に DeepWalk[12] か ら 生 成 し た 単 語

2.3 リンク予測

embedding を入力する。DeepWalk は、Perozzi らによって提近年、ディープラーニングは自然言語処理の数多くのタ案されたグラフの embedding 手法である。上位下位語をグスクにおいて優れた成果を上げている。その理由はニュー

ラフのノードに変換して、DeepWalk でベクトル化する。各

ラルネットワークに関するモデルとアルゴリズムの進化を

単語 200 次元を結合し、上位下位ペア 400 次元の embedding

遂げている。多くのニューラルリンク予測モデルに関するを生成する。Generator により与えられたノイズ Z から偽物研究が発表されている。Bordes ら[5]はディープラーニング

データを生成する。Generator と Discriminator をお互いに競により知識グラフを低次元の空間に埋め込む

合して学習させる。最後に、学習済みの Discriminator を分TransE(Translating Embedding)モデルを提案している。Yang

類器として上位下位関係かどうかを分類する。GAN に対応

ら[7]は、関係行列を対角行列に制限するアルゴリズム付けられた多言語データセットを学習させる。上位下位関DistMult(Bilinear Diagonal)を提案している。単純なバイリニ

係ペアの候補を学習済みの分類器に入力して分類する。

ア対角線を利用して、SOTA を達成することを示している。
Trouillon ら[8]は、ComplEx(Extension in the Complex Space)
モデルを提案している。著者らは複雑な埋め込みを使用して、対称関係と反対称関係などの様々な 2 元関係を処理する。
ディープラーニングをグラフ形式で表現した構造デー
タに関する研究が活発に行われている。構造データを扱うことができる GNN は 2016 年頃から大きな注目を集めている。GNN が扱う主な下流タスクは、リンク予測、グラフ分

図 4： GAN による上位下位分類器の構築

類やノード分類などが挙げられる。グラフ構造データに適用するために、Kipf ら[9]は、CNN の入力をグラフ構造に拡張できる GCN モデルを提案している。グラフ上で直接に操作できる畳み込みニューラルネットワークに基づいて拡張可能な教師あり学習アプローチを提案している。しかし、GCN はノード間の関係を考慮せずに、無視されている。
GCN の問題点を解決するために、Schlichtkrull ら[10]は、ⓒ2023 Information Processing Society of Japan

4. 多言語上位下位関係の自動補完本研究では、ConvE と GraphSAGE を組み合わせた多言語上位下位関係自動補完手法を提案している。リンク予測
タスクのための CNN モデル ConvE は単言語のリンク予測
タスクに利用できるが、多言語のデータセットに利用する

3

情報処理学会研究報告
IPSJ SIG Technical Reportのは容易ではない。この問題を解決するため、本研究では細を示す。

GraphSAGE を導入する。GraphSAGE は GNN におけるグラ
フ embedding の一手法である。グラフにおける GraphSAGE

表 1：日英中特許から抽出した上位下位語関係の結果

は近傍ノードの embedding を集約して、自身のノードの

特許データ

公開年

上位下位用語対

embedding を計算して更新する。ConvE はランダムな初期

日本

1993-2018

2,908,574

化値をノードの embedding とする。本研究では、DeepWalk

米国

1993-2018

4,506,946を用いて、単語の分散表現を処理する。DeepWalk により各

中国

2018, 2020, 2021

1,080,357

ノードの embedding を得られる。獲得された embedding をノードの初期化特徴量として使用されている。各ノードが実験方法

200 次元のベクトルを特徴量とする。WN18 の上位下位関

Python のライブラリ spaCy の品詞解析を利用して、名詞

係データセットを用いて提案手法の有効性を確認した。

(NOUN)と固有名詞(PROPN)のみを対象とする。各言語の定

図 5 にリンク予測モデルによる多言語上位下位語の補完型表現を利用し、対象文から上位下位関係候補を抽出した。

システムの構築を示す。GraphSAGE は近傍のサンプルサイ
ズ S とノードからの深さ K で範囲を指定している。本研究

実験結果

では、K=1、S=5 で設定されている。入力のトリプル(s, r, o)

実験結果を表 1 に示す。各言語の定型表現を用いて日本、を(上位語、上位下位関係、下位語)という形に変換し、上位

米国と中国語特許から計 8,495,877 件の上位下位候補を抽

下位関係をグラフのノードとして使用する。さらに、出した。

GraphSAGE によるソースノードの近傍ノードから情報を収集する。最後に、ConvE モデルを用いてソースノード 1

考察とターゲットノード 7 の欠落関係を予測する。欠落関係を各言語に誤って抽出した共通の原因は、抽出された上位

予測する際、ソースノードからターゲットノードの関係を下位語に余分な単語が含まれている。例えば、「酸化防止剤予測するだけではなく、ターゲットノードの隣接ノードをなどの各種添加剤」という文に対して、「各種」を含む余分考慮して予測している。ソースノード 1 の近傍ノードとソな単語が抽出してしまった。このような問題について、複ースノード 7 近傍ノードの間で対応付ける関係があれば、数のパラメータを利用し、一致している用語対のみを抽出

上位下位関係と判定される可能性が高い。次節で述べる実すると考えられる。

験では、各言語の上位下位関係を削除し、他の言語から欠5.2 GAN による上位下位関係識別器の構築

落関係を予測する。

実験データ
日英中特許から抽出した上位下位関係の中でMultilingual WordNet と対応が付けられた 3,794 件の多言語上位下位関係データを用いる。訓練データと評価データを70%と 30%の比率で分割する。各言語に訓練データ 2,656
件、評価データ 1,138 件に分けている。
実験手法

図 5:提案手法による多言語上位下位関係のリンク予測

GAN の実装は、PyTorch を用いて全結合ニューラルネッ
トワークにより作成する。評価指標には、精度、再現率および F 値を用いる。

5. 実験
5.1 上位下位関係の抽出

比較手法

実験データ
日本国特許は特許庁(https://www.publication.jpo.go.jp/)、中
国語特許は J-Platpat(https://www.j-platpat.inpit.go.jp/c1000)、
米 国 特 許 は

USPTO

Bulk

Data

Storage

System(https://bulkdata.uspto.gov/)からそれぞれデータを入手した。
中国語特許の明細書に含まれている 1,148,250,436 文、日本
語特許の明細書に含まれている 1,244,905,476 文と英語特許の明細書に含まれている 1,560,706,140 文のうち、頻度 3以上の上位下位関係候補を抽出した。表 1 に、データの詳ⓒ2023 Information Processing Society of JapanGAN のフレームワークを使わずに、Generator を削除し、Discriminator のみで二値分類器を構築した。また、ロジス
ティック回帰による二値分類器を構築した。
実験結果
提案手法の分類結果と比較手法によって分類されている
結果、を表 2 に示す。実験結果によって、提案手法は比較手法より高い精度、再現率とＦ値が得られたため、提案手

4情報処理学会研究報告
IPSJ SIG Technical Report
表 4 に示す実験では、日英中特許用語のうち、WordNet法の有効性が確認された。
図 6 は、日本語で学習した際、GAN の Generator とにも存在する上位下位関係 6,231 件を利用した。用語間のDiscriminator の損失関数の推移を示している。英語と中国関係には(is a hypernym, is not a hypernym, alignment)の 3 種

語で学習した時の損失の推移は同様の傾向がある。GAN の類が存在する。言語ごとにデータセットを訓練用 46,109 件、訓練のプロセスは損失が振動しながら学習が進むが、学習

検証用 9,970 件、評価用 9,242 件に分割した。

過程が不安定になっていることがわかる。Discriminator の損失が抑えられる一方で、Generator の損失が大きくなって

実験手法
PyTorch Geometric で ConvE モデルを構築し、GraphSAGEいる。

を導入する。評価指標には、MRR、H@1、H@3 と H@10 を
考察

用いる。

日本語で得られた精度、再現率、Ｆ値が英語と中国語より低い原因は、構築した日本語の用語リストに含まれる用語数が他の言語に比べ多いためであると考えられる。

比較手法
Dettmers ら[1]により提案された ConvE と Jiang ら[15]により提案された ConvR を比較手法とする。

表 2：多言語データセットにおける上位下位関係を識別した場合の言語ごとの結果
手法

評価指標

日本語

実験結果

中国語

英語

本研究で提案する手法 ConvE+GraphSAGE を用いた上位

精度

0.841

0.864

0.873

下位関係を予測された結果と比較手法によって予測された

再現率

0.524

0.644

0.645

結果を表 3 に示す。実験結果によって、H@1、H@10 と MRR

F値

0.645

0.738

0.742

の評価指標において本研究で提案する手法が優れているこ

精度

0.841

0.840

0.861

再現率

0.469

0.529

0.584

F値

0.602

0.649

0.696

GAN

精度

0.866

0.872

0.875

(Generator +

再現率

0.875

0.917

0.936

Discriminator)

F値

0.871

0.894

0.905

Logistic
Regression

CNN(Discriminator)とが分かっている。提案手法の有効性が確認した。自動補
完実験の結果を表 4 に示す。H@1 と MRR の評価指標において英語が他の言語を上回る結果を出すことが分かっている。H@3 と H@10 の評価指標において中国語が他の言語を上回る結果となった。
考察
日本語で得られた MRR が英語と中国語より低い原因は、グラフの中に切り離しノードの数が多いと思われる。
GraphSAGE を用いたノードの embedding を計算した際、近傍のノードの数が不足している。今後は、切り離しノードの数を減らすことで、MRR を向上させることができると考えられる。
表 3: WN18 上位下位関係データセットにおける上位下位関係を予測した場合の H@k および MRR の結果
手法

H@1

H@3

H@10

MRR

ConvR

42.9

49.3

55.4

47.5

ConvE

44.7

81.4

90.1

64.0

ConvE+GraphSAGE

52.3

80.1

90.2

67.1

図 6: 日本語で学習した時の損失関数の推移
5.3 多言語自動補完システムの構築
実験データ
表 3 に示す比較実験では、WN18 データセットの上位下位関係のみ(合計 18 の関係) 74,442 件のデータを利用した。

ⓒ2023 Information Processing Society of Japan5

情報処理学会研究報告
IPSJ SIG Technical Report
表 4: 多言語データセットにおける上位下位関係を予測した場合の言語ごとの H@k および MRR の結果
手法

評価指標

日本語

中国語

英語

H@1

29.4

25.2

35.0

ConvE +

H@3

62.3

71.4

65.5

GraphSAGE

H@10

92.0

97.3

90.4

MRR

49.4

50.1

53.3

6. おわりに本研究では、多言語定型表現を用いて日本語、英語と中国語の特許データから上位下位関係を抽出し、Multilingual
WordNet との対応付けにより多言語上位下位関係データセットを作成した。GAN を用いた学習済みの Discriminator を利用し、上位下位関係を識別できる分類器を構築した。英語で再現率 0.936 を達成した。CNN リンク予測モデル
ConvE と GNN アルゴリズム GraphSAGE を組み合わせ、欠落上位下位関係を自動補完できる新たな手法を提案し、中国語で H@10 指標 97.3 を達成した。今後は Multilingual
BERT や XLM-RoBERTa などの多言語モデルを使用した
embedding を組み込むことで、提案手法がどの程度改善されるか検討する。
謝辞

本研究は JSPS 科研費 22K12154 の助成を受けたもの

である。

参考文献
[1]

[2]

[3]

[4]

[5]

[6]

Dettmers,D., Minervini,P., Stenetorp,P., and Riedel,S.,
Convolutional 2D knowledge graph embedding,
Proceedings of the 32th AAAI Conference on Artificial
Intelligence, 2018.
Goodfellow, I., Pouget-Abadie, J., Mirza, M., Xu, B.,
Warde-Farley, D., Ozair, S., Courville, A. and Bengio, Y.,
Generative Adversarial Nets. Proceedings of the 27th
International Conference on Neural Information Processing
Systems, pp.2672-2680, 2014.
Huang, Z., Li, Z., Jiang, H., Cao, T., Lu, H., Yin, B.,
Subbian, K., Sun, Y., and Wang, W., Multilingual
Knowledge Graph Completion with Self-Supervised
Adaptive Graph Alignment. Proceedings of the 60th Annual
Meeting of the Association for Computational Linguistics,
pp.474-485, 2022.
Yu, C., Han, J., Zhang, H. and Ng, W., Hypernymy
Detection for Low-Resource Languages via Meta Learning.
Proceedings of the 58th Annual Meeting of the Association
for Computational Linguistics, pp.3651-3656, 2020.
Bordes, A., Usunier, N., García-Durán, A., Weston, J. and
Yakhnenko, O., Translating Embeddings for ModelingMulti-relational Data. In Proceedings of NIPS, pp.2787–
2795, 2013.
Upadhyay, S., Vyas, Y., Carpuat, M. and Roth, D., Robust
Cross-lingual Hypernymy Detection using Dependency
Context. The 16th Annual Conference of the North
American Chapter of the Association for Computational
Linguistics, pp.607-618, 2018.

ⓒ2023 Information Processing Society of Japan

Yang, B., Yih, W., He, X., Gao, J, and Deng, L.,
Embedding Entities and Relations for Learning andInference in Knowledge Bases. In Proceedings of ICLR
2015, 2015.
[8] Trouillon, T., Welbl, J., Riedel, S., Gaussier, É. andBouchard, G., Complex Embeddings for Simple Link
Prediction. In Proceedings of ICML 2016, pp. 2071–2080,
2016.
[9] Kipf, T,N. and Welling, M., Semi-Supervised Classification
with Graph Convolutional Networks. arXiv preprint
arXiv:1609.02907, 2016.
[10] Schlichtkrull, M., Kipf, T. N., Bloem, P., Berg, R. v. d.,
Titov, I. and Welling, M., Modeling Relational Data with
Graph Convolutional Networks. arXiv preprint
arXiv:1703.06103, 2017.
[11] Kober, T., Weeds, J., Bertolini, L. and Weir, D., Data
Augmentation for Hypernymy Detection. Proceedings ofthe 16th Conference of the European Chapter of the
Association for Computational Linguistics, pp1034-1048,
2021.
[12] Perozzi, B., Al-Rfou, R. and Skiena, S., DeepWalk: Online
Learning of Social Representations. Proceedings of the 20th
ACM SIGKDD international conference on Knowledge
discovery and data mining, pp.701-710, 2014.
[13] Hearst, M. A., Automatic Acquisition of Hyponyms from
Large Text Corpora, in Proceedings of the 14th
International Conference on Computational Linguistics,
pp.539-545, 1992.
[14] Chen, X., Chen, M., Fan, C., Uppunda, A., Sun, Y. andZaniolo, C., Multilingual Knowledge Graph Completion
via Ensemble Knowledge Transfer, In Findings of the
Association for Computational Linguistics: EMNLP 2020,
pp.3227-3228, 2020.
[15] Jiang, X., Wang, Q. and Wang, B., Adaptive Convolution
for Multi-Relational Learning, In Proceedings of the 2019
Conference of the North American Chapter of the
Association for Computational Linguistics, Vol.1, pp.978987, 2019.
[16] Chavdarova, T. and Fleuret, F., SGAN: An Alternative
Training of Generative Adversarial Networks, Proceedingsof the IEEE Conference on Computer Vision and Pattern
Recognition 2018, pp. 9407-9415, 2018.
[17] Hamilton,W.L., Ying, R. and Leskovec,J., Inductive
representation learning on large graphs, Proceedings of the
31st International Conference on Neural Information
Processing Systems, pp.1025–1035, 2017.
[18] Nanba, H., Mayumi, S., and Takezawa, T. Automatic
Construction of a Bilingual Thesaurus using Citation
Analysis. Proceedings of the 4th International CIKM
Workshop on Patent Information Retrieval (PaIR'11),
pp.25-30, 2011.
[19] 安藤まや，関根聡，石崎俊，定型表現を利用した新聞記事からの下位概念単語の自動抽出，情報処理学会研究報告 2003(98)，pp.77-82，2003.
[20] 難波英嗣，奥村学，新森昭宏，谷川英和，鈴木泰山，
特許データベースからのシソーラスの自動構築，言語学処理学会年次大会発表論文集 13th，pp.1113-1116，
2007.
[21] 難波英嗣，定型表現法と分布類似度を用いた特許デー
タベースからの用語の上位、下位関係の抽出，JAPIO
year book 2017，pp.226-228，2017.
[7]6