DEIM Forum 2019 G2-1

時系列横断の分散表現空間間の変換行列と単語の語意トラッキング
高橋 克郎†

大島 裕明†† 兵庫県立大学 応用情報科学研究科 〒 650–0047 兵庫県神戸市中央区港島南町 7–1–28
E-mail: †{ab18y501,ohshima}@ai.u-hyogo.ac.jp
あらまし

我々は，既知情報の例をクエリとして未知の情報を検索するための手法を提案する．例えば，2000 年代，

Bush，1980 年代という 3 つのエンティティが与えられた時に新聞記事のコーパスから「2000 年代における Bush」という関係から「1980 年代における X 」という関係の X にもっとも適切な語を検索するという手法だ．提案手法は, 語の分散表現空間間の変換行列を求める手法を基礎としている．特に，関係「2000 年代における Bush」と関係「1980年代における Reagan」の間の関係に似ていることを利用して変換行列を補正する手法に着目した．
キーワード 変換行列，アナロジー検索，類義語トラッキングて，ターゲット領域を 1980 年代とする. 検出目標の語はター

1 はじめに若いユーザは自分が生まれていない時代の流行や政治家などの知識を知らなかったり，高齢者は今の流行を知らないことが多い．いずれも，ユーザは既知の知識を利用して自分が知らない情報を検索できると便利である．例えば，若者が「2000 年代における Bush」から「1980 年代における Reagan」を検索する状況である．あるいは，高齢者が「1980 年代における Reagan」から「2000 年代における Bush」を検索する状況である．既知情報検索は既知の例をクエリとして, クエリとの類似性を元に情報を検索をする分野である．以後 「A における B」から最尤の「C における D」を検索する問題を (A, B) ∼ (C, D) 問題と表記する．このような (A, B) ∼ (C, D) 問題に関する関連研究としては以下のようなものが挙げられる．[1] は関係性の類似性を尺度とする手法を提案した. 彼らは, 語の組 (A, B) が与えられた時の言語的な (A, B) ∼ (C, D) を解こうとした. この手法は, SVM による分類がもっとも精度が高かった [1]. Kato ら はこの問題を Web
検索エンジンのインデックスに適用した. この研究で取り組んだ(A, B) ∼ (C, D) は，例えば (iP od, Apple) ∼ (X, M icrosof t)
における最尤の X を求める手法を提案した [2]. Duc ら はこの問題を Web コーパスを用いた言語横断での潜在比喩検索に適用した. この研究で取り組んだ (A, B) ∼ (C, D) は，例えば，(Japan, M t.F uji) ∼ (Germany, X) における最尤の X を求める手法を提案した [3].
歴史言語学では 異なる時代での語彙の意味の対応が重要な課題として提起されている ( [4], [5], [6]). ( [7], [8], [9]) により語意の対応関係を自動で算出する手法がいくつか提案されている. [7] は文脈から語の年代を３つにクラスタリングした. [8] は意味の変化を語の組を比較し分析している.

Zhang ら は時間横断の分散表現間の変換行列を算出する手法を提案した [9]. 1980 年代の Reagan を知らない若い人を想定してみる. 2000 年代の Bush という彼らにとって既知の情報をクエリとして, 1980 年代の Reagan を探すことは困難である.
この問題で, クエリは起点領域の一語 2000 年代の Bush としゲット領域の一語である（この場合は Reagan）. 図 1 に概念
図を示す.

[9] は 基 本 的 に は 二 つ の 時 代 の 間 の 共 通 語 を 利 用 し て ，(A, B) ∼ (C, D) 問題を解くための取り組みをした．[9] の手
法は，最終的に精度が一番良かったのは，上記の手法にさらに，
単語間の関係性を有向グラフとして表現し，そのグラフ間の比較を行う手法であった．この手法の計算コストはとても大きいため，実用には向かない．本研究では，より少ない計算コスト
で同様の性能が出ることを目的の一つとした．
目的の年代に一回で行き着くことは可能であるが，それが自然な変換である保証はどこにもない．入力の年代と出力の年代の隔たりが大きすぎて自然な変換になっていない場合は特にそうである．私たちの最終的な目的は，既知情報領域と未知情報領域の間に 500 年以上の隔たりがある場合の類義語トラッキン
グである．そのためには以下の問題の解決を必要とする．2000
年代では二人称複数形 You は英語の基本単語の一つです．しかし，1500 年代では Thou が使用され，You は使用されていな
かった．これは一例であるが，基本語彙ですら時代の隔たりが大きいと変化する．これは，時代の隔たりが大きいと極端に共通語が少なくなることを意味する．実際に Python での自然言語処理のためのライブラリである nltk の中に収録されている

York-Toronto-Helsinki Parsed Corpus of Old English Prose
は，古英語のコーパスの例である．このコーパスの中には現代英語との共通語が 100 語に満たない．古英語におけるエン
ティティと現代英語におけるエンティティの対応関係は歴史言語学などの文脈ですでに行われているが，この対応関係を理解するためには高度な専門知識を要する．システムがこの時間の隔たったエンティティの対応関係を保証する場合には，ユーザ
は専門知識を必要とせずに目的のエンティティを検索できる．
我々は，このシステムの適用先として，これらの専門知識を持たない若年層の歴史教育を例として挙げる．用意された加工されていないコーパスから自動的にこれらの検索が可能になれば，ユーザにかかる負担は最小限となる．当然のこととして，本手法は使用するコーパスに依存した回答が出力される．コーパス図 1 アナロジー検索例．入力（Bush, 2000s, 1980s）と出力（Reagan）.

に期待されるのは，時系列情報を含み，時間が隔たった場合の2. 2. 1 語の分散表現への変換

対応関係が取れるものが望ましい．この場合はいくつかに年代[10] は語彙をニューラルネットワークを用いて，その分散表を分けて順に変換していくのが自然である．先行研究はいずれ現に変換する手法である．Mikolov らは Skip-gram model を提もこのような複数の時代間の変換を考慮に入れていない．まず案した [11], [12]．これは，[10] のモデルの構造をニューラルネッ

我々は，一つのコーパス中での複数の時代間の変換に関してのトワークを用いて簡略化したものである．このモデルは文脈性質を精査する．我々は複数の変換を考慮にいれた [9] の拡張

語の関係性から語意を精密に捉え，平均化する手法であり，語された手法を提案する．

1,000,000 語単位の語彙を入力として必要とする．Di は Ti ∈ T

2 クエリに対しての補正を考慮に入れた変換

行列に変換する．n は語彙数，p は特徴ベクトルの次元で恣意

年代の文書をさす．Skip-gram モデルは文書 Di を n × p 次の的に指定可能である．n, p ∈ N. 結果として，語 wi の分散表現

2. 1 問題定義: アナロジー検索

は p 次元の実数ベクトルである．

一般に，(A, B)∼(C, D) 問題の入力はエンティティa，b，および c からなるタプル (a, b, c) である．このタプル (a, b, c)
を我々はクエリ q と呼ぶ．この解は適切なエンティティd を出力することである．本紙では，a，b，c および d を集合の元とし，以下で定義する．i, N ∈ N である．Di<を文字列=Nの全順序集合とする．{Di }i<
を Di (i <= N ) の族とする．
=N

Di (i <
= N ) を文書と呼ぶ．Di 中の文字列を文と呼ぶ．Wi を
Di に出現する異なり単語をアルファベット順に並べた全順序

2. 2. 2 直 接 変 換
我々は分散表現空間間の基底変換をその共通語の分散表現間の変換として算出する．共通語が k 語あり，それを {wi }(1<= i<=k)とする．vi を入力の分散表現空間での語 wi をさす分散表現とする．ui を出力の分散表現空間での語 wi をさす分散表現とす
る．vi に ui が対応するように分散表現をそれぞれスタックし，V と U とする．V と U の間の変換行列 Μ を最小二乗法により以下の式を最小化することにより算出する．

集合とする．各 Wi 中の単語の順序はアルファベット順である．

Wi = B, Wj = D (Wi , Wj ∈ {Wi }i<) とする．{Wi }i<
は
=N
=N
:=
Wi (i <
N)の族である．
W
∪
W
.
T
は
D
に
1
対
1
対
i<N
i
i
i
=
とする．A, C ∈ T とする．B, D ∈ {Wi }i<とする．Q を直=N
積 A × B × C とする．Q をクエリ集合と呼ぶ．D はクエリ応
答候補の全順序集合である．R : T × W → Rn を写像とする．

Sim : Rn × Rn → R は実数値関数であり，q と dk 間の類似度
rank(q, dk ) を返す．rank(q, dk ) は以下で定義される．
rank(q, dk ) := Sim(R(a, b), R(c, dk ))．

||M · vi − ui ||22 + γ||M ||2 . (2)i=1,vi ∈V,ui ∈U=応する文字列である．Ti を Di のラベルと呼ぶ．T := {Ti }i<
=N

|V |
∑

M := arg min

第 2 項は過学習防止のための正規化項である．ここで γ = 0.02とする．

2. 2. 3 クエリに対しての補正を考慮に入れた変換
Ui ⊂ W とする．Ui は 2 種類考える．Ui の元は Wi 中にmϕ ∈ N 回以上出現するすべての wi ∈ Wi である．vil ∈ Rp は
Wi の l 番目の元の分散表現であり，Skip-gram モデルによる写像(1)rank(q, dk ) により D をならべかえる．rank(q, dk ) によりな
らべかえられた D を出力 Rank(q) とする．特に，全順序集
合 Rank(q) の最初の元 d1 を出力と呼ぶこともある．例えば，
入力 q = (2000s, Bush, 1980s) が与えられた時，Reagan が

d1 ∈ Rank(q) として適切である．
2. 2 提案手法の枠組み
提案手法は以下の手順により構成される．

vi : Wi → Vi ; wil 7→ vil により対応づけられる．R(a, b) := vi (b)とする．i は a に依存する．Vi は任意の wil ∈ Wi に対応する

vil の集合である．vi の Uj による制限を，
vi |j := vi (Ui ∩ Uj ),(3)とする．より正確には，vi |j は任意の b ∈ B に対して vi |j (b)アルファベット順にスタックした行列である．行列 vi |j の次元
は |Ui ∩ Uj | × p とである．
提案手法は以下のように定義される．クエリ q に対して上記

手順 1. 語の分散表現への変換の最適化関数により求められた Mij を利用して，ターゲット

手順 2. 分散表現空間間の変換行列（直接変換/クエリに対す′ベクトルを求めるための Mij
を以下のように求める．vi (q) にる補正を考慮に入れた変換）

中でコサイン類似度が高い上位 1000 個のベ
対して vi(i<=|Wi |)

手順 3. 分散表現空間間の類似語のランキングづけ

クトル Vi′ をとる．さらに vi (q)Mij に対して vj (j <|Wj |) 中でコ=

サイン類似度が高い上位 1000 個のベクトル Vj′ をとる．このVi′ と Vj′ の間の変換行列を直接変換で定義した手法により求め′′たものが Mij
である．この操作をさらに Mij
を利用して求め′′′′′′′たものを Mij, Mij
を利用して求めたものを Mijとする．我々′′′
はクエリに対する最終的な変換行列を Mijとする．提案手法

は [9] の手法の自然な拡張と言える．

図 2 word vector の次元

図 3 学習コーパスの学習量

2. 2. 4 分散表現空間間の類似語のランキングづけ
以下に与えられる類似度により, q = (a, b, c) を提案手法により検索し, D のランキングが結果として出力される. c におけるb が a となるような D は期待される語 d の候補の集合である.
D 中の dk の位置は以下で定義される類似度により決定される.
Sim(RA×B (a, b), RC×D (c, dk )):= cos(v1 |(j) (b) · M1(j) , v(j) |1 (dk )) (j = 2, 3).

図 4 エポック数

図5

単語の最小出現頻度

図6

図7

勾配降下法の学習率(4)

すなわち，Rank(q, dk ) が Sim(RA×B (a, b), RC×D (c, dk )) で与えられる．

3 分散表現の構成

文脈語の窓幅

3. 1 New York Times Annotated Corpus
通常，Skip-gram モデルによる分散表現空間は Wikipedia を用いた Glove [13] などの汎用的なエンティティモデルを利用することが多い. しかし，エンティティモデルを使用した場
合は，学習コーパスの Wikipedia が記事に対して時系列情報を含んでいないため，作成された単語の分散表現が 2000 年代のものか 1980 年代のものか特定できない. 我々は New York

図9
図 8 ダウンサンプリング率

上記の最良パラメータを使用した場合の各年代のモデルの性能Times Annotated Corpus ( [14], 以後 NYTAC と記す) を分
散表現を作成するためのコーパスとして利用した. New Yorkは [11] で用意されている questions-words.txt 1 の意味カテゴ

Times Annotated Corpus は 1987 年から 2007 年まで発行さリーを使用した．調整したパラメータは学習コーパスの語彙数，

れた約 180 万記事が収録されている．我々はこのコーパスを分散表現の次元，エポック数，単語の最小出現回数，文脈語の後述の理由で 3 分割した．分割されたコーパスのラベルを T3 :

窓幅，最適化の学習率と誤差逆伝播法の時の単語のダウンサン[1987-1993], T2 : [1994-2000], T1 : [2001-2007] とする．分割さプリング率である．分散モデル作成のための入力コーパスの語れた記事はそれぞれ約 50 万記事，約 380, 000 語彙ずつ収録さ彙数を意味し，NYTAC の n 年分で表現した．分散表現の次元れている．

は出力される分散表現ベクトルの次元を表す．エポック数は順

我々は，このコーパスから本文のみを抽出する．次にアルファ伝播学習 1 回と誤差逆伝播法 1 回を一サイクルとした場合の学ベットと数字以外の文字を全て除去し，アルファベットを全て習サイクル数を表す．単語の最小出現回数は入力される単語の小文字に変換する．数字は全て 0 に直す．例えば，1, 200 は 0, 0

コーパス中の最小出現回数をさす．ここで設定された数より小のように変換する．その後，2-グラムと 3-グラムにより，頻出

さい出現回数の単語は入力として無視される．文脈語の窓幅がする複合 2 語と複合 3 語を部分的にフレージング処理する．上l であるとは，Bag of Words を作成するときに注目する単語の記の処理が終わった文字列から Bag of Words を作成する．分

前後 l 語を注目する単語の文脈語としてカウントすることを意

散表現の次元を 600 にし，文脈語の窓幅を 40，エポック数を 6味している．最適化の学習率とは，順伝播法の時の学習率をさに設定した．分散表現の学習は文単位で行った．パラメータのす．ダウンサンプリング率は誤差逆伝播法の時に重みが下げら

決定は次節にてのべる．

れる語彙の比率をさす．分散表現の次元を 200 にし，文脈語の3. 2 パラメータ調整
学習は Skip-gram モデルを使用して分散表現を作成した．誤

窓幅を 20，エポック数を 5，学習率を 0.25，ダウンサンプリン
グ率を 0.001 としたモデルを基本モデルとし，上記のパラメー
タ一つずつを変動させた際の性能差を観察した．

差逆伝播法は階層的ソフトマックス関数を使用した．分散表現

図 3 が学習コーパスの語彙数を変動させた結果である．習を作成するにあたり，一般的に考慮されているパラメータを調コーパスの語彙数が 7 年分の時適合率が最大になった．図 7 が整するためにその性能を以下の方法で評価した．評価セット
1：https://code.google.com/archive/p/word2vec/

科学技術，スポーツを含む．先行研究 [9] では，グラウンドト
ルースデータが存在しないために人手により, 95 組の正解デー
タを作成した．しかし，組を作成した詳細に関しての詳細説
明が存在しないため，著者はテストデータを再現できなかった．このため，誰でも客観的に使用できるテストデータを使用するのがシステムの性能を見る上で必要なため，上記のトピックに関する類義語のリストを作成した．表 2 に評価セットのカテゴリと仕様を記す．leader-world カテゴリには 123ヶ国の国の指導者のリストを 1987 年から 2007 年までの 21 年間分

Wikipedia から抽出した. 1987 から 2007 の期間で各項目を作
図 10 word2vec の word vector の長さと単語の出現回数の分布成した．表 2 の各期間の間隔は 1 または 5 年である．同様にして，leader-common-countries は leader-world のうち NYTACに頻出する上位 20ヶ国の指導者のリストである．GDP-Top15は各年の GDP の上位 15 カ国の国名のリストである．Sorp-

Opera-Top10 はアメリカで視聴率上位 10 位のテレビドラマの
番組名のリストである．Fortune-500-Top10 はフォーチュン誌のフォーチュン 500（アメリカ国内で売り上げの上位 500 位の
企業名のリスト）の上位 10 位までの企業名のリストである．

MVP は NYTAC に取り上げられている野球 (MLB)，アメリ
カンフットボール (NFL)，バスケットボール (NBA) の MVP
プレーヤーの歴代受賞者リストである．Person-of-Year は歴代の New York Times の Person of Year 受賞者名のリストであ図 11 word2vec の word vector の長さと単語の出現回数の分布上のヒストグラムる．評価セットは 162 リスト作成した．各リストには 21 年分のエンティティが含まれるため, 3402 個のエンティティが含まれている．我々は，時代によって単語が変化しやすい語義の類

表 1 評価セット：遷移類義語のカテゴリ
カテゴリ

リスト数 期間

leader-world

時間間隔

義語（以後，遷移類義語）を対象とした類義語トラッキングを123

1987-2007 1

目的としている．したがって，我々は “man” などの時代によっleader-common-countries 20

1987-2007 1て意味が変化しずらい語ではなく，遷移類義語のリストを作成

GDP-Top15

15

1985-2010 5

した．

Sorp-Opera-Top10

10

1987-2007 1

Fortune-500-Top10

10

1987-2007 1

MVP

6

1987-2007 1

我々は平均逆順位 (MRR) と normalized discounted cumu-

Person-of-Year1

1987-2007 1

lative gain(nDCG) により性能を評価した．MRR は以下のよ

4. 2 評 価 手 法

うに定義される．
文脈語の窓幅を変動させた結果である．文脈語の窓幅が 40 の時適合率が最大になった．図 4 がエポック数を変動させた結果

|D|

MRR =

である．エポック数が 8 の時適合率が最大になった．図 8 が1 ∑ 1,|D| i=1 reli(5)

ダウンサンプリング率を変動させた結果である．ダウンサンプ

reli は di ∈ D の順位適合性を表す．(B × D) に入出力が適合

リング率 0.001 の時適合率が最大になった．図 11 が上記で適していた場合，reli = 1.0 となり，それ以外の場合は reli = 0.0

合率が最大になったパラメータの値で設定した時のモデルの結となる．MRR はすべての b ∈ B に関して評価する．

果である．[11] のモデルは語彙数が 784M の学習コーパスを使

nDCG は以下で定義される．

用し， 56%の適合率である．我々は語彙数が 210M を使用し，

r∑r
2reli −1DCGr
i=1 log2 (i+1)
nDCG(D, r) :== ∑,r|D| 2reli −1
IDCGr( [11] のモデルの 30%の学習データ), ほぼ同等の 56% の適合率のモデルを作成した．

4 実験：類義語トラッキング
4. 1 学習データおよびテストデータ
学習データは 3. 1 節と同じものを使用する．テストデータ
に関しては以下を使用する．New York Times は政治，経済，(6)

i=1 log2 (i+1)

ここで relir は D の r の順位 i の取得した順位適合性とする．
我々は r = 10 とした．(B × D) に入出力が適合した場合はrelir = 1.0 であり，それ以外の場合は relir = 0.0 とする．すべての d ∈ D に関する nDCG(D, r) の平均を最終的な評価指標とした．これらの指標は高い値の時に高い適合性があることを示す．

表 2 遷移類義語のリスト例
年

1987

アメリカの大統領

Reagan Reagan Reagan Reagan Bush Bush Bush Clinton Clinton Clinton Clinton

年

1998

アメリカの大統領

Clinton Clinton Clinton Bush Bush Bush Bush Bush Bush Bush

1988

1999

表3 結

1989

1990

2000

2001

1991

2002

1992

2003

学習セット

MRR nDCG

DirectSwadesh

0.015

0.074

Sim-Correct Seadesh

0.025

0.082

Direct

10000

0.22

0.27

Sim-Correct 10000

0.24

0.29

Direct

1000

0.22

0.27

Sim-Correct 1000

0.24

0.29

表 4. 3 に実験結果を示す. Direct が [9] の手法であり，Sim-

Correct が提案手法である．学習セットとして Swadesh リストを使用した場合，10000 回以上出現した単語のうち二つの時代
区分間の共通語，1000 回以上出現した単語のうち二つの時代区分間の共通語とした場合のいずれも提案手法が優位であった．
本手法の得られた結果に関して，以下のように考察する．本
手法は MRR が高くなり，nDCG がそれほど変化しない特性を持つことがわかった．これは，正解データの一つが出力された候補ランキングの 1 位に来た場合，1 位の語の類義語が上位に引き上げられたためだと考えられる．したがって，正解データ
が 1 位に来ない場合には順位が下がる傾向にある．

5 おわりに我々は，既知情報の例をクエリとして未知の情報を検索するための手法を提案した．例えば，2000 年代，Bush，1980 年代という 3 つのエンティティが与えられた時に新聞記事のコーパスから「2000 年代における Bush」という関係から「1980 年代における X 」という関係の X にもっとも適切な語を検索するという手法である．提案手法は, 語の分散表現空間間の変換行列を求める手法を基礎としている．特に，関係「2000 年代における Bush」と関係「1980 年代における Reagan」の間の関係に似ていることを利用して変換行列を補正する手法に着目した．提案手法は各時代の分散表現を基底変換する手法を基礎としている．我々は時代間に成立する推移律に着目した．提案手法は評価実験において類義語トラッキングに関してある程度の有意性を示した．この実験により，現在から過去への類義語ト
ラッキングの性質と有用性を明らかにした．

辞本研究の一部は JSPS 科学研究費助成事業 JP16H02906，

JP17H00762，JP16H01756，JP18H03243 による助成を受けたものです．ここに記して謝意を表します．

2004

1994

2005

1995

2006

1996

1997

2007

文

果

手法

4. 3 実験結果と考察

謝

1993

献

[1] P.D. Turney and M.L. Littman, “Corpus-based learning of
analogies and semantic relations,” Proceedings of Machine
Learning, Vol. 60, Issue 1–3, pp.251–278, 2005.
[2] M.P. Kato, H. Ohshima, S. Oyama, and K. Tanaka, “Queryby analogical example: Relational search using web searchengine indices,” Proceedings of the 18th ACM Conference on Information and Knowledge Management, pp.27–
36, 2009.
[3] N.T. Duc, D. Bollegala, and M. Ishizuka, “Cross-language
latent relational search between japanese and english languages using a web corpus,” Proceedings of TALLIP, ACM,
Vol.11, Issue 3, pp.11:1–11:33, 2012.
[4] Aitchison J., “Language change, progress or decay?,” Cambridge University Press, pp.166–167, 2001.
[5] W. Labov, “Principles of linguistic change, social factors,”
2010.
[6] G. Hughes, “Words in time: A social history of the english
vocabulary,” Basil Blackwell, pp.253–261, 1988.
[7] R. Mihalcea and V. Nastase, “Word epoch disambiguation:
Finding how words change over time,” Proceedings of the50th Annual Meeting of the Association for Computational
Linguistics: Vol. 2, pp.259–263, 2012.
[8] A. Jatowt and K. Duh, “A framework for analyzing semantic change of words across time,” Proceedings of the
14th ACM/IEEE-CS Joint Conference on Digital Libraries,
pp.229–238, 2014.
[9] Y. Zhang, A. Jatowt, S. Bhowmick, and K. Tanaka, “Omnia mutantur, nihil interit: Connecting past with present
by finding corresponding terms across time,” Proceedingsof the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing, Vol. 1:, pp.645–655,
2015.
[10] D.E. Rumelhart, G.E. Hinton, and R.J. Williams, “Learning
representations by back-propagating errors,” Neurocomputing: Foundations of Research, pp.696–699, 1988.
[11] T. Mikolov, W.-t. Yih, and G. Zweig, “Linguistic regularities in continuous space word representations,” Proceedings of the 2013 Conference of the North American Chapterof the Association for Computational Linguistics: Human
Language Technologies, pp.746–751, 2013.
[12] T. Mikolov, I. Sutskever, K. Chen, G.S. Corrado, and J.
Dean, “Distributed representations of words and phrases
and their compositionality,” Advances in Neural Information Processing Systems 26, pp.3111–3119, 2013.
[13] J. Pennington, R. Socher, and C.D. Manning, “Glove:
Global vectors for word representation,” Empirical Methods
in Natural Language Processing (EMNLP), pp.1532–1543,
2014.
[14] E. Sandhaus, The New York Times Annotated Corpus,
vol.6, No. 12, Philadelphia, 2008.