DEIM Forum 2019 B5-4

ゼロショット学習によるテキストからのエンティティプロパティ同定
Wiradee

Imrattanatrai†

加藤

誠††

吉川

正俊†

† 京都大学大学院情報学研究科†† 京都大学国際高等教育院／ JST さきがけ
E-mail: †wiradee@dl.kuis.kyoto-u.ac.jp, ††mpkato@acm.org, †††yoshikawa@i.kyoto-u.ac.jp
あらまし

本研究では，テキストに記述されるエンティティのプロパティを抽出する方法を提案する．プロパティ抽

出は文の関係分類と似た問題であり，各プロパティについて訓練データを用意することで教師あり学習により実現できる．しかしながら，すべてのプロパティに対して訓練データを用意することは現実的ではないため，各プロパティ
について訓練データを必要としない，ゼロショット学習による方法を提案する．我々は，プロパティを知識ベースのグ
ラフ構造から得られる埋め込みによって表現し，ディープニューラルネットワークモデルと組み合わせることによって，訓練データのないプロパティの抽出を可能とした．実験では，独自データセットおよび公開データセットにて，訓練データがある場合とない場合を比較し，訓練データがないプロパティであっても訓練データのあるプロパティに匹敵する精度で抽出できることを明らかにした．
キーワード

ゼロショット学習，深層学習，関係分類

1. は じ め にり，これらのプロパティについて書かれた別の文書を提示することもできる．上記に加え，各文書が含むプロパティを検索結

多くのエンティティ関連のクエリ，および，Web において急果中に表示させ，ユーザの効率的な検索結果閲覧を助けること速に増加するエンティティ情報に対応するために，近年さまざもできる．例えばユーザが「Taylor Swift career highlights」

ま新機能が検索エンジンに導入されてきている [6, 17, 26] ．最というクエリで検索した場合，各検索結果に含まれるプロパも成功している機能の 1 つとして，エンティティカードが挙げティを検索結果中に提示できれば，適合する文書を選ぶのに役られる．これは，クエリに関連するエンティティの情報，例え立つはずである．したがって，テキストからのプロパティ同定ば，エンティティの簡潔な説明やファクト等を，検索結果ととタスクはエンティティ指向の検索において中心的なタスクであもに表示する機能である．特に，ユーザの情報要求に合致する

り，様々な応用が考えられる．

ようなエンティティ情報を含む場合には，エンティティカード

そこで，本論文では，テキストからエンティティのプロパ

はユーザの興味を引き有用であることが示唆されている [2]．

ティを同定する問題に取り組む．この問題は関係抽出タスクとユーザの情報要求に対して適合するようなエンティティの情類似している．関係抽出タスクでは，遠距離教師あり学習に報を提供するために，エンティティのプロパティ（例えば，エよって文分類を行う方法が主流である [9, 15, 20, 24]．この方法

ンティティ「テイラー・スウィフト」の「アルバム」や「ジャでは，知識ベース中のファクト（主語，述語，目的語により構

ンル」，エンティティ「スタンフォード大学」の「学校区分」や成される 3 つ組）を表現する文を教師データとして分類器を「キャンパス」など）を，文書や文などのテキストから抽出す学習させる．ある種のプロパティは知識ベース中の 1 つの述ることは重要なタスクである．このタスクでは，例えば，「2012

語に対応しており（例えば，エンティティ「テイラー・スウィ

album Red took Taylor Swift’s popularity to new levels andフト」のプロパティalbum は music.artist.album という述語

the universal appeal of I Knew You Were Trouble was a keyに対応する），もしある文がその述語の主語と目的語を含めばpart of that success」という文から，エンティティ「テイラー・

正例として訓練データに用いられる．一方で，プロパティがスウィフト」のプロパティ「アルバム」と「トラック」を特定述語パス，接続された述語集合，に対応することもある．例

することを目的とする．

えば，プロパティtrack は music.artist.track contributions とプロパティの特定は適合するエンティティ情報への効率的なmusic.track contribution.track という 2 つの述語によって知識アクセスを可能にする．ユーザにクリックされた文書や検索結ベース中で表現される．この種のプロパティの場合は，述語パ果の上位の文書に基づいて適合するエンティティのプロパティ

スを構成するファクト集合を用いて正例が特定される．この遠を推定することが可能であり，より適したエンティティカード

距離教師あり学習のアプローチは人手によるラベルづけが不要の提供や追加の適合文書を提示することに利用できる．例えば，

であり，多くの訓練データを用意するのに有用である．

エンティティ「テイラー・スウィフト」の「アルバム」や「トしかしながら，訓練データ獲得の成否は知識ベース中のファラック」に関する文書をユーザがクリックしたのであれば，そクトの表現に大きく依存し，もしあるプロパティに関連するファのユーザはこれらのプロパティに関心があると推定可能であり，クトが少なければ，ほとんど訓練用の文が得られないような場

これらのプロパティについてのエンティティカードを用意した

合も起こりうる．また，知識ベースには非常に多くの述語パス

が存在し，それらすべてに対して訓練データが得られることをい．多くの既存手法はファクトを構成するエンティティ対の存前提とするのは現実的ではない．教師あり学習に頼る場合には，在を仮定しているが，ファクトは日付や数量などの非エンティあるプロパティに対する訓練データが得られなければ，そのプ

ティからも構成されており，これらのファクトについては単にロパティに対応するテキストパターンを学習することができな対象外とされてきている．また，非エンティティから構成されいこととなる．この問題はゼロショット学習問題として知られるファクトに対しては，実際に訓練データを発見することが困ており，これまでに関係抽出タスクにおいて取り組まれてこな難であるため，前述のゼロショット学習問題が顕在化する．

かった問題である．特に，応用上，特定できるプロパティの網

ゼロショット学習は特に画像分類や物体認識問題などにおい羅性は非常に重要であり，ユーザが必要とする情報を取りこぼて注目を集めてきている．最近では，ゼロショット学習に対しさないためにも解決しなければならない問題である．

て既知クラスおよび未知クラスの埋め込みを利用する方法が多

本論文では，テキストからプロパティを特定する問題を文のく提案されており，これらの埋め込みはクラス属性 [11] や単語

マルチラベル問題として扱い，ニューラルネットワークに基づベクトル [5, 22, 25]，テキスト情報 [12, 19] などから学習される．

くモデルを提案する．このモデルは知識ベースのグラフ埋め

これらの埋め込みは訓練時に全く事例が与えられなかったクラ込み（例えば，TransE [1] など）を活用することによってゼロスへの分類を行う際に用いられることになる．

ショット学習問題に対応することができる．また，我々は知識

我々の研究ではゼロショット学習問題に対応するために，ク

ベースのグラフ埋め込みに基づいた様々なプロパティ表現の方

ラス埋め込みの考え方を利用する．特に重要な課題として，プ法についても提案を行う．実験では，新規に構築したデータ

ロパティをどのように表現するかという問題が挙げられる．知セット，および，既存の関係抽出用のデータセットを用い，既識ベースから得られるグラフ中において，プロパティはパスと存手法と提案手法の比較を行った．実験結果から，我々の提案して表現されるため，グラフ埋め込みによって得られるノード

手法が既存手法よりもより多くのプロパティを特定できること

やエッジの埋め込みからどのようにプロパティを表現すべきかを示した．これに加え，訓練用の文が与えられていないようなは明確ではない．そのため，我々は複数のプロパティ表現方法

プロパティも扱うことが可能であり，その性能は訓練用の文がを提案し，実験によって適切なプロパティ表現を明らかにする．

与えられた場合に匹敵するものであった．
本論文における我々の貢献は下記の 3 点である．

•

3. 提 案 手 法

テキスト中のプロパティを同定する問題を文のマルチラ

本節では，プロパティの埋め込みを利用することによってゼベル問題として扱い，ニューラルネットワークに基づくモデル

ロショット学習問題に対応した，ニューラルネットワークに基を提案した．

づくマルチラベル分類モデルを示す．

•

ゼロショット学習問題へも対応できるように，知識ベースのグラフ埋め込みから構築されたプロパティの埋め込みを利用する方法を提案した．

•

3. 1 問 題 設 定
プロパティ集合 Y を，文が分類されるクラスの集合であるとする．我々の問題は，各プロパティy ∈ Y がどの程度，あるエ

既存のデータセットよりも多くのプロパティを含む，新ンティティe を含む文 X によって表現されているかを推定する

規の文分類用データセットを構築し提案モデルの評価を行った．

問題である．学習時には，いくつかのプロパティに対してそれ

2. 関 連 研 究
本節では，関係抽出とゼロショット学習問題に関する既存研究について述べる．

らを表現する文が与えられており，これらのプロパティを既知
プロパティと呼び，Yseen ⊂ Y と表現する．テスト時には，既知プロパティYseen と未知プロパティYunseen ⊂ Y の両方を表すような文が分類対象となる．ここで，Yunseen ∩ Yseen = ∅ であ関係抽出は一般的に文分類問題として扱うことが可能であり，る．したがって，訓練時に利用できるのは一部のクラス（すな

文をいずれかのプロパティに分類する問題である．この問題に対

わち，Ytrain = Yseen ）の事例のみであり，テスト時には訓練時する初期のアプローチでは，人手によってラベルづけされた文をには事例が与えられなかったクラスを含む全クラス（すなわち，用いた教師あり学習手法を用いることであった [3, 4, 7, 16, 27]．

Ytest = Yseen ∪ Yunseen ）の事例を分類しなくてはならない．ここのアプローチは高い適合率と再現率を達成できるものの，大れはまさにゼロショット学習問題の設定と符合する．

量のラベルづけされた文を人手によって用意するのは困難であっ3. 2 モ デ ル

た．特に多くのプロパティが考慮されるべき状況においては，

図 1 に示す通り，我々の提案モデルは下記の 5 つの主要なコ

各プロパティに対して十分な量のデータを用意することができ

ンポーネントから構成されている．すなわち，(1) 低次元の単ない．この問題を克服するために，遠距離教師あり学習が提案

語ベクトルへ文中の単語を変換するための単語埋め込み，(2)

され最近の関係抽出研究で広く用いられている（ [9, 15, 20, 24]

文単位の表現を生成するための両方向長期短期記憶 (BLSTM)，など）．遠距離教師あり学習では，知識ベース中のファクトに(3) 文表現からプロパティの埋め込みへの写像，(4) エンティ

基づき，文とプロパティの対応づけが自動的に行われる．

ティの型に基づく予測プロパティの絞り込み，(5) 各プロパティ

遠距離教師あり学習によって，多くの種類のプロパティに対が表現されている確率の計算，である．

して大量の教師データを用意できるようになったものの，すべ

もっとも重要なアイデアは，ある文の表現がその文で表現さてのプロパティに対してこのアプローチが有効なわけではな

れているプロパティの埋め込みと似るように，文表現からプロ

…
𝐡"

𝐡&

⊕

𝐡+

⊕

𝐡%"

𝐡%&

𝐡'"

𝐡,

𝐡%+

g

𝐡∗

⊙
𝐪

⊕

⊕

𝐡'&

G
M
P

…
𝐡'+

𝐡%,

…
𝐞"

𝐞&

𝐞+

𝑥"

𝑥&

𝑥+

𝐡',

(1)
Word
𝑥 , embedding
𝐞,

𝐲"

(2)
BLSTM

𝐬∗

𝐬

𝐲&

𝐲+

𝐯𝐭𝐞

𝑦"
𝑦&

KG

(3)
Mapping of a sentence
representation and property
embeddings

S
I
G
M
O
I
D

𝑡)

𝑦+

(4)
Restriction by
an entity type(5)
Sigmoid
Function

図 1 提案モデルの構造．

パティ表現への写像を学習することである．これが実現できれメータである．de と dh は単語ベクトルの次元，ならびに，隠ば，プロパティの埋め込みさえ用意できていれば，プロパティ

れ状態の次元である．

ごとに訓練データを用意する必要はなくなり，ゼロショット学

単方向の再帰型ニューラルネットワークを用いた場合，入力系列が順方向で与えられるため，入力系列の先頭付近の情報は習問題に対応することができる．
以下の小節では，提案モデルの詳細について述べていく．

LSTM ユニットの最後の隠れ状態に反映されにくい．最後の隠3. 2. 1 単語埋め込み

れ状態を入力系列の表現として用いる際にはこのことが問題と提案モデルの最初のコンポーネントは，入力文中の各単語なる．この問題を解決するために両方向再帰型ニューラルネッ

を語の意味を捉えた単語ベクトルに写像する機能を有する．T

トワークが提案されている [21]．両方向再帰型ニューラルネッ

個の単語 X = {x1 , x2 , . . . , xT } を含む文が与えられた時，語トワークを用いる場合，前向き，および，後ろ向き方向の入力

xt はその One-hot 表現である，|V | 次元ベクトル vt によって系列を扱うために，再帰型ニューラルネットワーク層がもう 1表現される．ここで，vt は，語 xt のインデックスに対応する層追加されることになる．本研究では，両方向再帰型ニューラ

次元は 1，それ以外が 0 であるようなベクトルであり，V はルネットワークとして BLSTM を用いることにする．各ステッ

全語彙の集合である．各 One-hot ベクトル vt は単語埋め込

プ t における BLSTM の隠れ状態は前向き，および，後ろ向き

de ×|V |み行列 Ew ∈ R

により単語ベクトル et に変換される：の層の隠れ状態（それぞれ，hft ，hbt とする）同士の要素ごとの積によって得られる：

et = Ew vt ．ただし，de は単語ベクトルの次元を表す．
3. 2. 2 両方向長期短期記憶
文中の単語系列を扱うために，我々は両方向長期短期記憶

ht = hft ⊕ hbt(6)(BLSTM) を 2 つ目のコンポーネントとして採用している．長コンポーネントの最後にて，すべての隠れ状態 ht に対して期短期記憶 (LSTM) は入力系列の長期的な依存関係を扱う

大域的な最大プーリングを適用することによって，系列においために設計された再帰型ニューラルネットワークの一種であて発見された顕著な語のパターンのみを獲得する．大域的な最る [8]．LSTM は入力，忘却，出力の 3 種類のゲートとメモリ

大プーリングは以下の式によって定義される：

セルから構成されている．文 X から得られた単語埋め込み{e1 , e2 , . . . , eT } が与えられた時，各ステップ t において単語埋め込み et ，および，前の隠れ状態 ht−1 が LSTM ユニットに入力される．LSTM ユニットの隠れ状態 ht は以下のようにして得られる：

h∗i = max {ht (i)}t(7)

ただし，h∗i は，このコンポーネントの出力である h∗i の i 次元
目の値であり，ht (i) は ht の i 次元目の値である．

3. 2. 3 プロパティ埋め込みと文表現の対応づけ
it = σ (Wi [ht−1 , et ] + bi )(1)

3 番目のコンポーネントは，プロパティ埋め込みと文表現の対応づけを行うことによって，ゼロショット学習を実現する機

ft = σ (Wf [ht−1 , et ] + bf )(2)

ot = σ (Wo [ht−1 , et ] + bo )(3)

ct = ft ⊙ ct−1 + it ⊙ tanh (Wc [ht−1 , et ] + bc )(4)

るようにするため，まず前のコンポーネントの出力を非線型変

ht = ot ⊙ tanh (ct )(5)換を行う全結合層によって射影する：

ここで，σ はシグモイド関数，tanh はハイパボリックタン
ジェント関数，⊙ は要素ごとの積，Wi ，Wf ，Wo , Wc ∈Rdh ×(de +dh ) ，および，bi ，bf ，bo ，bc ∈ Rdh はモデルのパラ能を備えている．プロパティ埋め込みについては 3.4 節にて詳しく述べる．モデルが未知のプロパティに対しても分類を行え

g = ReLU(Wg h∗ + bg )(8)

ただし，ReLU は Rectified Linear Unit であり，Wg ∈ Rdh ×dh𝑋=“2012 album Red took Taylor Swift'spopularity to new levels and theuniversal appeal of I Knew You Were Trouble was a key part of that success.”

述の通り，Y ′ は訓練時には Ytrain ，テスト時には Ytest である
ようなプロパティ集合である．このエンティティ型ベクトルは前のコンポーネントの出力と要素ごとの積を取ることによって，妥当なプロパティを絞り込む：Sentence Representations∗ = s ⊙ vte

𝐖𝐪music.artist.album
Property Embedding Space

music.recording.releases
music.artist.track_contributions-music.track_contribution.track

Justin Bieber
PurposeDivide Ed Sheeran
KG Embedding

結果として，妥当なプロパティ以外の類似度が強制的に 0 になる．

3. 2. 5 出Love Yourself Nov 9, 2015
Shape of You

(11)

力

最後のコンポーネントによって，ある文が各プロパティをどJan 6, 2017のぐらいの確率で表現しているかを得る．これは，前のコン
ポーネントの出力の要素ごとにシグモイド関数を適用することにより達成することができる．

図 2 文表現とプロパティ埋め込みの対応づけ．

P (yi |X) = σ(s∗i )と bg ∈ R

dhは全結合層のパラメータである．

次に，dh 次元の文表現を dy 次元のプロパティ埋め込み空間へ射影する：(12)

ただし，s∗i は s∗ の i 番目の値である．

3. 3 パラメータ学習
モデルの学習では，交差エントロピーを目的関数として用い

q = Wq g + bq

(9)

ただし，Wq ∈ Rdy ×dh と bq ∈ Rdy はこの射影のパラメータである．
射影された文表現がどのプロパティに対応するかを定量化するために，射影された文表現とプロパティ埋め込みの類似度を内積によって求める．各行がプロパティの埋め込みを表すプロ|Y ′ |×dy

パティ埋め込み行列 Ey ∈ R′（Y は訓練時には Ytrain ，

る．y ，および，ŷ をそれぞれ正解プロパティを表すベクトル，
予測プロパティの予測確率を表すベクトルとする．我々は目的関数を以下のように定義した：

LCLF = −∑∑iyi,j log ŷi,j

(13)

j

ここで，i は訓練データ中の文のインデックス，j はプロパティのインデックスである．

テスト時には Ytest が用いられる），および，射影された文表現

パラメータの最適化には Adam [10] を用いる．Adam は確率q が与えられた時，これらの類似度ベクトル s は以下のように的勾配降下法の拡張であり，他の最適化方法と比べ優れている

して得られる：ことが示されている．

s = Ey q(10)

3. 4 プロパティ埋め込み
ここまで，モデルの各コンポーネントを説明し，提案モデ

図 2 に示すように，文中で表現されるプロパティの埋め込み

ルがゼロショット学習問題を克服するためにどのようにプロパ

がその文の表現と近くなるように学習された変換行列 Wq にティ埋め込みを利用して動作するかを説明してきた．本節では，よって，各文表現はプロパティ埋め込み空間に射影される．結プロパティ埋め込みをどのように構成するかについて述べる．

果として，学習されたモデルでは，ある文中で表現されるプロ

まず，述語パスに対応するプロパティの特徴について議論を行

パティとその文の類似度が高くなる．

い，TransE という知識ベース埋め込み手法に基づいて，プロ

3. 2. 4 エンティティの型に基づく予測プロパティの絞り込み
次のコンポーネントではエンティティの型を利用することで，パティ埋め込みを構成するいくつかの方法について説明する．

3. 4. 1 プロパティの特徴

妥当なプロパティを絞り込み，予測結果の向上を図る．文中にエンティティのプロパティはファクトにより構成される知識含まれるエンティティの型はその文が意味しうるプロパティ集

ベースの構造によって定義される．各ファクトは，(s, r, o) の 3 つ合を規定する．例えば，文中のエンティティの型が「映画」で組によって表現され，それぞれ，主語，述語，目的語を表す．知識あれば，「ジャンル」や「公開日」などが妥当なプロパティとな

ベースはグラフとしても表現され，主語と目的語はノード，述語

りうるが，「職業」や「出身地」などは文が表すプロパティとはエッジに対応する．あるファクト集合 K が与えられた時，任意して適切ではない．どのプロパティがどの型に対応するかにつの主語と述語間に存在する述語パスにより構成される 3 つ組の集

いては，知識ベースの構造を見れば明らかである．文 X 中に合を以下のように表すことができる：P = {(s, r, o)|(s, r1 , x1 ) ∈含まれるエンティティe に対して，エンティティの型を te と表K ∧ (x1 , r2 , x2 ) ∈ K ∧ · · · ∧ (xn , rn , o) ∈ K}．ここで，述語パ記する．そして，型 te は適切なプロパティ集合 Yte との対応

ス r = (r1 , r2 , · · · , rn ) は主語 s と目的語 o のパス上に存在する関係が取れているとする．このとき，エンティティ型ベクトル

述語の列であり，xi はこのパス上の主語や目的語を表現し，n|Y ′ |

は，yi ∈ Yte ならば i 番目の値が 1，そうでなは述語パスの長さを表す．本論文では，P 中の主語をエンティ

ければ 0 であるようなベクトルとして定義できる．ただし，前ティとし，述語列からなる述語パスをプロパティと定義する．

vte ∈ {0, 1}

3. 4. 2 TransE による知識ベース埋め込み
TransE は知識ベース K 中のファクトの構成要素である主語，

これらの方法で用いられている要素は以下のように定義される：
∑
∑
∑

s̄ =

s∈Sr s

|Sr |

，ō =

o∈Or o

|Or |

，n̄ =

o∈Nr o|Nr |if n > 1, otherwise

述語，目的語を表す，低次元空間への埋め込みを学習するモデ0．ただし，Sr = {s | (s, r, o) ∈ P}, Or = {o | (s, r, o) ∈ P},ルである．ファクト (s, r, o) ∈ K が与えられた時，翻訳ベクト

Nr = {o | (s, (r1 , r2 , · · · , rn−1 , r̃n ), o) ∈ P}, r̃n は述語 rn に

ル r によって表現される述語は主語の埋め込み s と目的語の埋

隣接する述語を表し，n は述語パスの長さを表す．

め込み o の間をつなぐ役目を果たし，s + r ≃ o を満たすように学習される．そのような埋め込みは以下のマージンに基づく
ランキング損失を最小化することで求められる：∑∑(s,r,o)∈K(s′ ,r,o′ )∈K′

LKG =

4. 実

験

実験では提案手法に関する下記の疑問に答えることを目的と[γ + d(s + r, o) − d(s′ + r, o′ )]+
(14)

′

した．

•

RQ1: ベースライン手法と比較して，提案モデルはゼロ

ショット学習問題に対して対処可能であるか．

•

RQ2: どのプロパティ埋め込みの構成方法が最も適して

ただし，K は K の主語か目的語を無作為に他の主語または目いるか．

的語に置き換えたファクト集合であり，d は非類似度，γ はマー•

ジンパラメータ，[x]+ は x が正のときは x で，負のときは 0 である．

RQ3: どのような状況において，提案モデルがゼロショッ

ト学習問題に対して有効に働くのか．
以下では，まず実験で用いたデータセット，および，評価指3. 4. 3 プロパティ埋め込みの表現

標について説明する．次に実験設定を示し，実験結果について

各プロパティの埋め込みを得るために，我々は知識ベース埋議論を行う．

め込みによって得られた，主語，述語，目的語の埋め込みを利

4. 1 データセット

用する．プロパティが意味的に似ていればその埋め込みも近く実験では 2 種類のデータセットを用いた．1 つ目のデータ

なり，また，逆も成り立つようなプロパティ表現が期待される．

セットは，Riedel ら [20] によって公開された NYT10 データ

プロパティをそれに対応する述語パスに含まれる述語の埋め込

セットであり，New York Times コーパスに対して知識ベース

みによって単純に表現することも可能ではあるが，プロパティ

Freebase のファクトを対応づけて生成されたデータセットであをより良く特徴づけるためには主語や目的語の埋め込みも重要る．このデータセットには 54 種類のプロパティが含まれていではないかと仮定し，いくつかのプロパティ埋め込み構成方法

る．しかしながら，我々はプロパティの同定に高い網羅性を求を以下では説明する．プロパティy ∈ Y とそれに対応する述語

めているため，多くのプロパティを含むようなデータセットが

パス r が与えられたとき，プロパティy の埋め込み ey を以下必要であった．加えて，既存のデータセットに含まれる少ないの 4 つの方法で表現する．

プロパティでは，ゼロショット学習問題に対して高い有効性を•示せない可能性があった．そのため，我々は 271 プロパティを

SUM-R: 述 語 パ ス に 含 ま れ る 述 語 の 埋 め 込 み の∑n
和 ， i=1 ri ．例 え ば ，プ ロ パ ティmusic.artist.track co含む独自のデータセット，WEB19 を構築した．以下では，こntributions–music.track contribution.track の 埋 めのデータセットの構築方法について述べる．

込みは述語 music.artist.track contributions，および，music.

4. 1. 1 WEB19 データセット

track contribution.track の埋め込みの和で構成される．

このデータセットを構築するために，まず FB15k データセッ•

CC-SO: 主 語 と 目 的 語 の 埋 め 込 み を 平 均 し 結 合 ，トに含まれる述語パスに基づいてプロパティ集合を選定した．

[s̄, ō]．例えば，主語「ジャスティン・ビーバー」と「エド・FB15k データセットは Bordes らによって公開され，知識ベース

シ ー ラ ン 」の 埋 め 込 み と ，そ れ ら の 楽 曲 で あ る よ う な 目

埋め込みを生成するに用いられてきた [1]．我々は Freebase（注 1）

的 語「Love Yourself」と「Shape of You」の 埋 め 込 み の 平

中で 100 ファクト以上と対応しているような述語パスをプロパ

均 を そ れ ぞ れ に 対 し て 求 め ，結 合 す る こ と に よって ，プティとして選定した．

ロ パ ティmusic.artist.track contributions–music.trackcontribution.track の埋め込みを表現する．
•

次に，各プロパティについて最大で 500 件の主語と目的語のペアを得て，Web 検索エンジン Bing を用いてこれらを含むよ

CC-RO: 述語パスの最初の述語の埋め込みと目的語のうな文を獲得した．これによって，各プロパティの正例である埋め込みの平均を結合，[r1 , ō]．述語パスの最初の述語は，述ような文を得ようとしたが，主語と目的語を含む文が必ずしも語パスの中で最も述語パス全体の意味を包含していると考えた

それらのプロパティを表していないという問題がある．

ため，このプロパティ埋め込み方法を提案している．

•

上記の問題を解決するために，我々は Amazon Mechanical

CC-SON: 主語，目的語，および，述語パス中の最後

Turk を用いて，人手によって獲得した文のラベルづけを実施の述語に隣接する述語の，目的語の平均をそれぞれ求め結合，した．各文について 3 名のワーカを割り当て，各プロパティが[s̄, ō, n̄]．この方法は 2 つ目の構成方法に似ているが，述語の埋文に含まれているかどうかを判定してもらった．ラベルづけのめ込みが適切に学習されなかった場合でもプロパティを頑健に品質を確認するために，Free-Marginal Multirater Kappa [18]特徴づけられるようにするために，述語パス中の最後の述語と主語を共有する述語の目的語を利用した．

（注 1）：https://developers.google.com/freebase

TrainValidation

Test

NYT10

-

-

WEB19

217/24,981

217/5,333
54/5,105

54/99,783
217/5,234
54/5,105

図 3 NYT10・WEB19 データセットにおける訓練，検証，テストデー
タのプロパティ数および文数．青と赤の四角はそれぞれ既知プ
ロパティと未知プロパティを表す．

を計算したところ 0.602 となり，並みの一致度であることを確認した．過半数，すなわち，2 名以上が文に含まれていると判定したプロパティのみを採用した．
図 3 は 2 つのデータセットの分割方法，および，プロパティと文の数を図示している．NYT10 データセットではすべてのプロパティを未知であるとみなし，WEB19 データセットではランダムに選択されたプロパティを未知であるとみなし残りを既知のプロパティとみなした．WEB19 データセットにおいて，既知プロパティの文は訓練，検証，テストに分割し，未知プロ
パティの文は検証とテストに分割した．検証データはハイパーパラメータの決定に利用した．
実験では，マルチラベル分類におけるサンプルに基づく評価
指標とラベルに基づく評価指標を用いて評価を行った．

Rand と Rand-T: これらの手法では n 個のプロパティ

ロパティを用い，Rand-T は文中のエンティティのエンティティ
タイプによってプロパティを限定し，その上でランダムなプロ
パティ選択を行っている．プロパティ数 n は WEB19 におけるプロパティ数の分布を利用してランダムに選択した．

•

RNN: RNN モデル [23].

•CNN: CNN モデル [28].

•BRNN: Bidirectional RNN モデル [29].

•

LSTM: LSTM モデル.

•BLSTM: Bidirectional LSTM モデル.

4. 4 実 験 結 果
4. 4. 1 RQ1: ベースライン手法と比較して，提案モデルはゼロショット学習問題に対して対処可能であるか
表 1 はベースライン手法と提案手法を平均精度，適合率，再現率，F 値，hit@k (k = 1) によって評価した結果を示している．提案手法はいくつかの変種を評価しており，各手法は，¬
エンティティタイプを利用しているか，­ プロパティ埋め込よって特徴付けられている．

RQ1 に回答するために，未知プロパティの性能に着目して考察する．NYT10 データセットでは提案手法 #7，プロパティ埋

4. 2. 1 サンプルに基づく指標
マルチラベル分類の性能はサンプル単位（本研究の場合，文単位）の性能で評価することができる．具体的には，Ys をある文

s に付与された正解プロパティの集合，Ŷs を予測確率が 0.5 よ
り高いような予測ラベルの集合として，下記の指標を文単位でs ∩Ŷs |
計算する：精度 Asample = |Y
，適合率 Psample = |Y|sŶ∩Ŷ| s | ，|Ys ∪Ŷs |s

2|Ys ∩Ŷs |s ∩Ŷs |．また，予再現率 Rsample = |Y|Y
，F 値 Fsample = |Y|+|Ŷ |s|ss

測されたプロパティのうち，予測確率の高い順で上位 k 件に含まれるプロパティに，少なくとも 1 つの正解を含むような文の割合を hit@k として用いる．

4. 2. 2 ラベルに基づく指標
文単位の評価とは別に，各プロパティに対する予測性能を測るために，ラベルに基づく指標でも評価を行った．Sl をあるプ
ロパティl が付与された文の集合，Ŝl をプロパティl が 0.5 より高いような予測確率で付与された文の集合として，ラベルに基2|Sl ∩Ŝl |づく F 値は Flabel = |Sと計算できる．
|+|Ŝ |
l

4. 3 実 験 設 定
4. 3. 1 埋 め 込 み
単語埋め込みを得るために，英語版 Wikipedia（注 2）を用いてスキップグラムモデルを学習した [14]．単語埋め込みの次元数
として 100, 200, 300 を用い，検証データにて最適な値を決定
し評価を行った．知識ベースの埋め込みを得るために，我々はBordes らによって公開されている FB15k データセットを用いた [1]．

4. 3. 2 比 較 手 法
実験では提案するニューラルネットワークによるモデルと（注 2）：https://dumps.wikimedia.org/enwiki•

を各文に対してランダムに選択する．ただし，Rand では全プみを利用しているか，® プロパティ埋め込みの構成方法，に4. 2 評 価 指 標l

ベースライン手法を比較した．ベースライン手法を下記に示す：

め込みを CC-SO によって構成した手法が最も高い精度，適合率，再現率，F 値を示しており，提案手法 #9，プロパティ埋め込みを CC-SON によって構成した手法が最も高い hit@1 を示している．一方で，WEB19 データセットでは提案手法 #6，
プロパティ埋め込みを SUM-R によって構成した手法が全ての指標で高い性能を示している．また，提案手法 #6 は既知のプロパティに匹敵する性能を未知のプロパティにおいて達成できていることが読み取れる．
ベースライン手法は既知プロパティしか出力できないため，
未知プロパティに対してほとんどの評価指標は 0 となっている．一方で，プロパティ埋め込みを用いる提案手法 #2-9 は，
既知プロパティにおける性能と比肩する性能を示すことからゼロショット学習問題に対処できていると言える．提案手法 #1
はプロパティ埋め込みを用いていないためゼロショット学習問
題には対処できていないが，既知プロパティに対しては高い適合率と hit@1 を示している．また，提案手法 #2-5 と提案手法#6-9 を比較することによって，エンティティタイプを利用することによって大きな改善が得られることがわかる．

4. 4. 2 RQ2: どのプロパティ埋め込みの構成方法が最も適しているか
表 1 から，NYT10 データセットでは提案手法 #7 と提案手
法 #9 が，WEB19 データセットでは提案手法 #6 が全ての指標で高い性能を示していることがわかる．
最も優れた手法がデータセットによって異なっていたため，
我々は適した手法が訓練データ中の既知プロパティの数に依存しているのではないかという仮説を立てた．各エンティティ
タイプごとの既知プロパティの数は NYT10 データセットでは

表 1 NYT10・WEB19 データセットにおける各プロパティ同定手法の実験結果．

AsampleNYT10
未知プロパティPsample Rsample Fsample

hit@1

Rand
Rand-T
RNN
CNN
LSTM
BRNN
BLSTM

0.002
0.268
0.000
0.000
0.000
0.000
0.000

0.004
0.323
0.000
0.000
0.000
0.000
0.000

0.006
0.402
0.000
0.000
0.000
0.000
0.000

0.004
0.344
0.000
0.000
0.000
0.000
0.000

#ID ¬ ­®
#1 3 #2- 3 SUM-R#3- 3 CC-SO#4- 3 CC-RO#5- 3 CC-SON#6 3 3 SUM-R#7 3 3 CC-SO#8 3 3 CC-RO#9 3 3 CC-SON

0.000
0.015
0.021
0.013
0.022
0.328
0.441
0.400
0.435

0.000
0.015
0.021
0.013
0.022
0.328
0.441
0.400
0.435

0.007
0.413
0.467
0.307
0.343
0.498
0.683
0.677
0.656

0.000
0.030
0.041
0.025
0.040
0.369
0.511
0.466
0.502

提案手法

ベースライン手法

手法

WEB19
Asample未知プロパティPsample Rsample Fsample

hit@1

Asample既知プロパティPsample Rsample Fsample

hit@1

0.003
0.336
0.000
0.000
0.000
0.000
0.000

0.005
0.162
0.000
0.000
0.000
0.000
0.000

0.005
0.175
0.000
0.000
0.000
0.000
0.000

0.006
0.178
0.000
0.000
0.000
0.000
0.000

0.005
0.172
0.000
0.000
0.000
0.000
0.000

0.008
0.179
0.012
0.019
0.026
0.021
0.016

0.005
0.129
0.031
0.145
0.137
0.147
0.161

0.006
0.181
0.041
0.188
0.170
0.183
0.198

0.007
0.173
0.032
0.162
0.167
0.178
0.197

0.006
0.159
0.035
0.164
0.157
0.168
0.185

0.007
0.181
0.212
0.270
0.294
0.339
0.315

0.000
0.002
0.001
0.001
0.004
0.325
0.433
0.398
0.471

0.000
0.028
0.136
0.056
0.101
0.395
0.283
0.354
0.282

0.000
0.028
0.142
0.058
0.107
0.414
0.298
0.369
0.295

0.000
0.336
0.234
0.230
0.170
0.450
0.337
0.429
0.343

0.000
0.051
0.164
0.090
0.121
0.418
0.306
0.380
0.306

0.022
0.017
0.229
0.012
0.234
0.420
0.297
0.372
0.297

0.331
0.154
0.169
0.162
0.171
0.322
0.321
0.323
0.333

0.423
0.194
0.206
0.197
0.207
0.402
0.401
0.402
0.416

0.373
0.193
0.227
0.224
0.231
0.377
0.390
0.387
0.392

0.374
0.179
0.199
0.192
0.201
0.366
0.370
0.370
0.380

0.518
0.308
0.306
0.302
0.317
0.416
0.422
0.421
0.435

0.919，WEB19 データセットでは 7.692 であった．多くの既知

sport
film_release_region
originfilm_regional_debut_venue

language country
produced_by
directed_by
written_by
actor
character

プロパティが存在する場合，プロパティ同士が区別できるようにプロパティの埋め込みは精密に行われる必要がある．一方
で，既知プロパティが少ない場合，未知プロパティと類似する

film_release_distribution_medium

characterseriesseasons

プロパティがなければ提案手法は適切に動作しないため，プロ

episodes_appeared_in
album

パティの埋め込みは比較的粗く行われる方が望ましい．提案手法のうち，SUM-R や CC-RO などの埋め込み構成手法は，述

fromtorelease_date

語の埋め込みを利用するためプロパティの埋め込みの粒度は細かく，一方で CC-SO や CC-SON などの手法は，主語と目的語を用い述語を用いないため，SUM-R や CC-RO などよりもfilm.film.*
music.artist.*
tv.tv_actor.*
sports.pro_athlete.*

粒度が粗くなる傾向がある．そのため，異なるデータセットにおいて適したプロパティ埋め込み方法が異なっていたのではな
いかと考えられる．

tofromrole track
album
career_start
career_end
numberteam
positionruntime

図 4 WEB19 データセットにおいて SUM-R によって得られたプロ
パティ埋め込み．

プロパティがどのように埋め込まれているかを視覚化するために，図 4 に，SUM-R によって得られた WEB19 のプロパティ

4

埋め込みを t-SNE [13] によって 2 次元平面に写像した結果を3

め込みで表現されていること（produced by，directed by，written by など），また，異なるエンティティタイプであっても類似するプロパティであれば似た埋め込みで表現されていFlabel示す．同じエンティティタイプの類似するプロパティが似た埋

2

1ること（origin と film regional debut venue など）が読
み取れる．

4. 4. 3 RQ3: どのような状況において，提案モデルがゼロ

0
4.0

5.0

6.0

7.0

8.0

9.0

10.0

ショット学習問題に対して有効に働くのか# of seen properties

11.0

12.0

13.0

図 5 に WEB19 データセットにおいて最も優れた性能を示し

図 5 WEB19 データセットにおける提案手法 #6 の未知プロパティ

た，提案手法 #6 の未知プロパティに対する相対 F 値（ベースに対する相対 F 値と同じエンティティタイプに属する既知プロライン手法 Rand-T を 1 としたときの F 値）を，同じエンティ

パティの数の関係．

ティタイプに属する既知プロパティの数と共に示す．この図から既知プロパティの数が増加すると共に，相対 F 値が緩やかに増加していっていることがわかる．したがって，同じエンティ
ティタイプに属する既知プロパティの数がゼロショット学習問
題を解く上で重要な要因であると考えられる．

5. ま と めを抽出する方法を提案した．特に，各プロパティについて訓練
データを必要としない，ゼロショット学習による方法を提案した．我々は，プロパティを知識ベースのグラフ構造から得られ
る埋め込みによって表現し，ディープニューラルネットワーク
モデルと組み合わせることによって，訓練データのないプロパ
ティの抽出を可能とした．実験では，訓練データがないプロパティであっても訓練データのあるプロパティに匹敵する精度で本研究では，テキストに記述されるエンティティのプロパティ抽出できることを明らかにした．

謝辞

本研究は JSPS 科研費 18H03244，18H03243，および，JST さきがけ JPMJPR1853 の支援の助成を受けたものです．ここに記して謝意を表します．

文

献[1] A. Bordes, N. Usunier, A. Garcia-Duran, J. Weston, andO. Yakhnenko. Translating embeddings for modeling multirelational data. In Advances in neural information processing systems, pages 2787–2795, 2013.
[2] H. Bota, K. Zhou, and J. M. Jose. Playing your cards right:
The eﬀect of entity cards on search behaviour and workload. In Proceedings of the 2016 ACM on Conference on
Human Information Interaction and Retrieval, pages 131–
140. ACM, 2016.
[3] R. C. Bunescu and R. J. Mooney. A shortest path dependency kernel for relation extraction. In Proceedings ofthe conference on human language technology and empirical methods in natural language processing, pages 724–731.
Association for Computational Linguistics, 2005.
[4] A. Culotta and J. Sorensen. Dependency tree kernels for relation extraction. In Proceedings of the 42nd annual meeting on association for computational linguistics, page 423.
Association for Computational Linguistics, 2004.
[5] A. Frome, G. S. Corrado, J. Shlens, S. Bengio, J. Dean,
T. Mikolov, et al. Devise: A deep visual-semantic embedding model. In Advances in neural information processing
systems, pages 2121–2129, 2013.
[6] J. Guo, G. Xu, X. Cheng, and H. Li. Named entity recognition in query. In Proceedings of the 32nd international
ACM SIGIR conference on Research and development in
information retrieval, pages 267–274. ACM, 2009.
[7] Z. GuoDong, S. Jian, Z. Jie, and Z. Min. Exploring various knowledge in relation extraction. In Proceedings ofthe 43rd annual meeting on association for computational
linguistics, pages 427–434. Association for Computational
Linguistics, 2005.
[8] S. Hochreiter and J. Schmidhuber. Long short-term memory. Neural computation, 9(8):1735–1780, 1997.
[9] R. Hoﬀmann, C. Zhang, X. Ling, L. Zettlemoyer, and
D. S. Weld. Knowledge-based weak supervision for information extraction of overlapping relations. In Proceedings ofthe 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies-Volume
1, pages 541–550. Association for Computational Linguistics, 2011.
[10] D. P. Kingma and J. Ba. Adam: A method for stochastic
optimization. arXiv preprint arXiv:1412.6980, 2014.
[11] C. H. Lampert, H. Nickisch, and S. Harmeling. Attributebased classification for zero-shot visual object categorization. IEEE Transactions on Pattern Analysis and MachineIntelligence, 36(3):453–465, 2014.
[12] J. Lei Ba, K. Swersky, S. Fidler, et al. Predicting deep zeroshot convolutional neural networks using textual descriptions. In Proceedings of the IEEE International Conference
on Computer Vision, pages 4247–4255, 2015.
[13] L. v. d. Maaten and G. Hinton. Visualizing data using t-sne.
Journal of machine learning research, 9(Nov):2579–2605,
2008.
[14] T. Mikolov, I. Sutskever, K. Chen, G. S. Corrado, andJ. Dean. Distributed representations of words and phrases
and their compositionality. In Advances in neural information processing systems, pages 3111–3119, 2013.
[15] M. Mintz, S. Bills, R. Snow, and D. Jurafsky. Distant supervision for relation extraction without labeled data. In Proceedings of the Joint Conference of the 47th Annual Meeting of the ACL and the 4th International Joint Conference

[16]

[17]

[18]

[19]

[20]

[21]

[22]

[23]

[24]

[25]

[26]

[27]

[28]

[29]

on Natural Language Processing of the AFNLP: Volume 2Volume 2, pages 1003–1011. Association for Computational
Linguistics, 2009.
R. J. Mooney and R. C. Bunescu. Subsequence kernels for
relation extraction. In Advances in neural information processing systems, pages 171–178, 2006.
J. Pound, P. Mika, and H. Zaragoza. Ad-hoc object retrieval
in the web of data. In Proceedings of the 19th international
conference on World wide web, pages 771–780. ACM, 2010.
J. J. Randolph. Free-marginal multirater kappa (multiraterk [free]): An alternative to fleiss’ fixed-marginal multiraterkappa. Online submission, 2005.
S. Reed, Z. Akata, H. Lee, and B. Schiele. Learning deep
representations of fine-grained visual descriptions. In Proceedings of the IEEE Conference on Computer Vision and
Pattern Recognition, pages 49–58, 2016.
S. Riedel, L. Yao, and A. McCallum. Modeling relations
and their mentions without labeled text. In Joint European
Conference on Machine Learning and Knowledge Discovery
in Databases, pages 148–163. Springer, 2010.
M. Schuster and K. K. Paliwal. Bidirectional recurrent
neural networks. IEEE Transactions on Signal Processing,45(11):2673–2681, 1997.
R. Socher, M. Ganjoo, C. D. Manning, and A. Ng. Zeroshot learning through cross-modal transfer. In Advancesin neural information processing systems, pages 935–943,
2013.
R. Socher, B. Huval, C. D. Manning, and A. Y. Ng. Semantic compositionality through recursive matrix-vector spaces.
In Proceedings of the 2012 joint conference on empiricalmethods in natural language processing and computational
natural language learning, pages 1201–1211. Association for
Computational Linguistics, 2012.
M. Surdeanu, J. Tibshirani, R. Nallapati, and C. D. Manning. Multi-instance multi-label learning for relation extraction. In Proceedings of the 2012 joint conference on
empirical methods in natural language processing and computational natural language learning, pages 455–465. Association for Computational Linguistics, 2012.
Y. Xian, Z. Akata, G. Sharma, Q. Nguyen, M. Hein, and
B. Schiele. Latent embeddings for zero-shot classification. In
Proceedings of the IEEE Conference on Computer Vision
and Pattern Recognition, pages 69–77, 2016.
X. Yin and S. Shah. Building taxonomy of web search intents for name entity queries. In Proceedings of the 19th
international conference on World wide web, pages 1001–
1010. ACM, 2010.
D. Zelenko, C. Aone, and A. Richardella. Kernel methods for relation extraction. Journal of machine learning
research, 3(Feb):1083–1106, 2003.
D. Zeng, K. Liu, S. Lai, G. Zhou, and J. Zhao. Relation classification via convolutional deep neural network. In
Proceedings of COLING 2014, the 25th International Conference on Computational Linguistics: Technical Papers,
pages 2335–2344, 2014.
D. Zhang and D. Wang. Relation classification via recurrent
neural network. arXiv preprint arXiv:1508.01006, 2015.