DEIM Forum 2019 B2-1

報道元と報道時期を利用した Web 記事による将来予測
加藤 郁之†

吉川 正俊††

加藤誠†††† 京都大学工学部情報学科 〒 606–8501 京都府京都市左京区吉田本町†† 京都大学大学院情報学研究科 〒 606–8501 京都府京都市左京区吉田本町††† 京都大学国際高等教育院／ JST さきがけ 〒 606–8501 京都府京都市左京区吉田本町
E-mail: †fumiyuki@db.soc.i.kyoto-u.ac.jp, ††yoshikawa@i.kyoto-u.ac.jp, †††kato@dl.kuis.kyoto-u.ac.jp
あらまし 本研究では，Web 上の記事を用いて将来における知識ベースの変化を予測する問題に取り組む．特に，記事の報道元と報道時期が，記事の内容から予測される結果の確信度に大きな影響を与えると仮定し，この仮定を明示的に表現する損失関数および特徴量を提案する．実験では，「サッカー選手の移籍予測」を題材として，記事の報道元と報道時期が予測精度に与える影響，および，提案する損失関数によって結果の確信度が正確に予測できるかを評価した．
キーワード Web 記事，将来予測，テキストマイニング
る結果の確信度に大きな影響を与えると仮定し，この仮定を明1 はじめに何らかの意思決定を行う際には，現在の状況だけでなく，将来どのような変化が起こりうるのかを予測することが重要となる．将来の予測を行うためには現状を網羅的に把握する必要があるが，Web 上で発信されるニュース記事はこれを行うためのもっとも有用なソースの 1 つである．例えば，Web である企業の買収に関するトピックを検索して Web 上の記事 (以下 Web
記事) を読み，その企業が買収される可能性が高いかを予測し，その企業へ投資を行うべきかどうかを判断する．
しかしながら，Web 記事から将来を予測することは容易ではなく，以下のような問題点が挙げられる．1 つは，Web から得られる記事が非常に膨大である点である．全ての記事をを精読し，それらから総合的に予測を行うのは容易ではない．もう1 つは，同一トピックであっても，各記事ごとに主張やその根
拠，その記事に書かれている内容の確からしさ，確信度などが異なっている点である．これは，報道メディア一般に言えることだが，Web において特に顕著である．同一トピックに対する異なる見解を持った記事が多数存在すれば情報の取捨選択が必要となる．記事の多様性を理解するためには，記事のコンテク
ストを考慮した上でその情報の真偽を判断する必要があり，正確な意思決定の難易度は上がる．
そこで本研究では，機械学習によってニュース記事に基づいた将来予測を行うことを目的とする．特に，事実の変化を予測することに焦点を当て，ある時刻における知識ベースが別の時刻においてどのように変化するかを予測するタスクに取り組む．
このタスクにおける入力は Web 記事の集合であり，出力は将来の知識ベースに追加されるであろう新規の「知識」である．
本研究おいては，Web 記事を利用する際にそのテキストデー
タを入力とすることに加えて，記事の報道元や報道時期を利用することで，その記事の確信度を学習し将来予測を行う．具体的には，記事の報道元と報道時期が，記事の内容から予測され示的に表現する損失関数および特徴量を提案する．
実験では，サッカー選手の移籍を題材にして将来予測を行う．
この題材の特徴としては，主に各報道元によって記事が多様であること，また，移籍にはあらかじめ定められた移籍可能期間があり，移籍が決定する直前に報道される記事の方が確信度が高いため，報道時期によって報道の確信度が顕著に異なることが挙げられる．Web から 20 の Web サイトを選定し，それぞれを報道元としてみなしてサッカー選手の移籍に関する Web 記
事を収集した．我々は，Web 記事のテキストデータのみによって学習されたベースライン手法と，先に述べた提案手法を比較を行なった．実験の結果，Web 記事からの将来予測がある程度の精度で達成できること，テキストデータに加え，報道元と報道時期から作成した特徴量を加えることで予測精度が上がることが示唆された．提案損失関数を使用した場合には，その損失関数の収束を実験的に確認することができたとともに，ベースライン手法と比較して，それ以上の精度で予測を行えることを示した．
この論文における貢献を以下に示す：(1) 報道元と報道時期の情報を考慮して確信度を学習することで予測精度の向上を提案
した．
（2）確信度を明示的に学習する損失関数を提案した．
（3）
実際にサッカー選手の移籍に関する記事データとその正解デー
タの収集を行なって実験を行なった．
本論文の構成は以下の通りである．2 節では，企業の買収予測を題材にした，Web 記事を利用した将来予測に関する関連研
究，また，Web 記事を利用した掲載ドメインの信頼度を学習す
る研究について簡単に述べる．3 節では，本研究における問題
設定，その解決策と提案手法について，4 節では本研究にて行う実験について，5 節では本論文のまとめについて述べる．

2 関連研究
本節では，Web 上のリソースから将来予測を行うことに関する関連研究について述べる．本研究のようにサッカー選手の記事からまとめて評価を行う方がより精度の高い評価が期待で移籍予測を行う研究は散見されないが，異なる特定の対象に対きる．ここで述べておきたいことは，この論文内において Web

し，Web 記事のコーパス等を利用してテキストデータを元に将記事の主張結果を評価することで，その元のドメインの信頼度

来予測を行う一連の流れをもつ研究は多数見られる．

を学習することができることが示唆された点である．この手法

以下，Web 記事を会社の買収予測に利用した研究 [14] についとは異なり，本研究においては，各記事のメタデータから記事て述べるとともに，サッカー選手の移籍予測についても類似すの確信度に寄与すると期待される特量量作成し，損失関数を工る性質を考える．会社の買収予測は，従来から研究が活発に行夫することで確信度の学習を行う．

われきた領域である．予測の方法として主流であるものは，財

この他にも，いくつかの類似の研究がある．病気の蔓延，死政に関するな数値，経営に関する数値を数理モデルの入力とし，者の増加，暴動の増加などの世界に起こる大きなイベントとそ

機械学習によってパラメータを推定する方法である．この入力

れらに関するニュース記事が類似の確率分布から生成されるとに加えて，Web 記事を用いて新たな特徴量を作成したのがこの仮定して，22 年分のニュースアーカイブと Web 記事を利用し研究の特徴であり，特定の企業に関する記事集合から LDA [2]て，そのようなイベントが起こるかどうかの未来予測を行ったを用いてトピック抽出を行う．学習したモデルを利用して，各

研究 [12] や，ニュース記事情報とその報道のタイミングや報道企業に関する Web 記事からトピックに関する特徴量を得る．

場所から未来の紛争の予測や，逃亡者の居場所の予測などがでその特徴量を，従来の特徴量に付加してベイジアンネットワー

きることが示唆した研究 [8] が行われている．将来予測のタスクを用いて学習を行なう．その結果，特に必要な特徴量が欠けクの対象は多岐に渡り，その手法やデータもいくつかの種類がているデータに対して，従来の手法の結果と比べて精度が改善

ある．映画の興行収入や成功を対象に予測を行なった研究では，されることが示された．LDA により抽出されたトピックごと

近年多くの解析が行われている Twitter 等のソーシャルメディ

の，頻出上位の単語を元に，ソーシャルネットワーク，スター

アを利用したもの [1]，映画に関する Web 上の大量のブログのトアップ，広告事業などのトピックが抽出されていると解釈さ

感情分析結果を基にしたもの [11]，批評家達のレビューのテキれている．この結果から，会社の傾向を Web 記事を通じてカストデータとそのメタデータを線形回帰の特徴量として予測をテゴライズできたということが分かる．また，実験結果から，行なった，手法として本研究に非常に近い研究 [5] などがある．

Web 記事から会社の傾向を掴んで，その情報が会社の買収予測

これらのトピックが Web の発展によって現在まで盛んに行わの改善に寄与していると言える．Web 記事を利用した将来予測れるようになったことがわかる．

が可能であることを示唆した研究の 1 つである．この手法においては，記事のテキストデータをトピック抽出に用いているのに対して，本研究ではテキストデータを TF-IDF でベクトル化
して特徴量としている．
企業の買収予測とサッカー選手の移籍予測は類似している部分がある．どちらもあるタイミングで明確に起こり，それまで

3 手

法

本節では，まず予測タスクの問題設定について述べ．次に，具体的なデータと問題の解決方法について説明を行う．

3. 1 問 題 設 定は何も起こらない．形式的に言うと，状態が時系列で変遷して本研究では，将来予測に結果の有無やタイミングの判定を特いくが，状態が 2 状態しかなく，あるタイミングで 1 度しか変定の知識ベースの知識の変化に対応させることで明確化する．

化しない．Web 記事はそれらの時系列の進度に追随して公開さ知識ベース内の知識は下記の RDF トリプルモデル [7] によっれるものであるために，これらの状態遷移予測に有効である．

て表現される．

次に，Web 記事の主張からその掲載元ドメインの信頼度を学習する手法 [13] について簡単に述べる．この手法では，様々な主張を掲載する Web ページを末端の子ノードとして，多数のWeb ページを持つドメインに向けてのグラフを構成（論文中では Credibility Assessment グラフと呼ばれる）する．末端の各Web ページの主張内容を評価して，その信頼性を統合的に上(s, p, o)それぞれ s は主語，o は目的語，p は述語に対応している．これを用いて，問題設定を以下のように書くことができる．
まずは以下の変数を定義する．

•

p′ : 予測対象の述語•

KBt : 時刻 t における知識ベース，

流のドメインに伝播させていくことで，ドメインの信頼性を学習する．複数のページから得られた信頼度を，一階述語論理を[0,1] の実数に緩めた Probabilistic Soft Logic (PSL) [6] によって統合し，ノード間で伝播させている．一般に，同一の Web サ
イト内においても，ある主張に対するいくつかのエビデンスが存在する．また，ドメインは当然ながら複数の Web ページを

各 s に対する (s, p′ , o) を 1 つのみもつように制限•

s ∈ S : S 全ての主語の集合•

o ∈ O : O 全ての目的語の集合•

t ∈ T : T は全報道期間•

as,o ∈ As,o : As,o は記事集合持っている．これらの関係を有向グラフに落とし込むことで情報源であるドメインを Web ページの文書の主張内容から遡って評価している．本研究では今回は 1 記事ごとにドメインの確信度の学習を行なったが，この研究内の手法のように，複数の

(t)

(t)

(t)

•

as,o : 時刻 t における (s, p′ , o) に関連する記事•

τ : (t − c <t より前の一定の幅を持った期間
=τ <
= t)，

(t)

83

≤"≤

(

これらを用いて以下のように入力と出力を設定する．

//

( (

) ≤"≤

(

7

7
7
7

2 0

7

8

:

入力

ある時刻 t，ある主語 s, s に対する記事集合

(t )

(t

(τ )
As,O

=
≤"≤

)

(As,o1 1 , ..., As,oMN )o1 , ..., oN は当記事集合に現れた o ∈ O

7

7

≤"≤

2 0

σ 後の知識ベース KBt+σ がもつ (s, p′ , o) に含まれる o

: 9

( (

) ≤"≤

9
9
9

9
9
9

t1 , ..., tM は当記事集合に現れた報道時刻
出力

7

(

6 1

図 1 データの全体構造

このように 問題を知識ベースによって定式化することができ，正しい o を出力することを目標とする．本研究において具事集合の数とする．これらを用いて，各単語における重み wi

体的には主語 s がサッカー選手に対応し，目的語 o ∈ O がチーは以下のようになる′ムに対応し，述語 p は「所属」で固定であり (s, p , o) が s が oに所属しているという事実に対応する．よって，選手 s に対し(T )wi = tf a(t) ,i × log
s,o

(τ )

て，時刻 t における各チームに関する記事集合 As,O を元に，一定時間後にどのチームに所属しているのかを予測する問題であると定義できる．ただし，上で定義した通り，(t − c <
= t)
=τ <

|AS,O |
df i(t)

よって，as,o のテキストデータは以下のように表される．
(t)ds,o= (w1 , w2 , ..., wn )を満たす．この問題設定の場合は選手がどこへも移籍しない場
合は，元々選手が所属していたチームが出力すべきチームにな

報道元に対応するベクトルは，One-hot-vector を用いる．つる．以下に例をあげると，当時プロサッカーチームである FC

まり，記事 as,o が i 番目の報道元から発表記事であった場合，(t)バルセロナに所属するリオネル・メッシ選手に対して，2015 年

7 月 1 日-2015 年 8 月 31 日の移籍期間に対応する 2015 年 1 月
31 日-2015 年 8 月 31 日に報道された移籍に関する記事が，移籍先チームの候補である，アーセナル，レアル・マドリード，
マンチェスター・ユナイテッドのチームごとにまとめられてい次式のように全ドメインに対応するベクトルのう i 番目のの次元に対応する値のみが 1 となり，それ以外は 0 となる．
i
∨

s(t)
s,o = (0, . . . , 0, 1 , 0, . . . , 0)
一般的にはドメイン数を m として次のようにかける．

る．それらの記事群を用いて，2015 年 7 月 1 日-2015 年 8 月

31 日の移籍期間終了時にリオネル・メッシ選手がどのチームに所属しているのかを予測する．予測の対象には，元々リオネ
ル・メッシ選手が所属していたバルセロナに残留するという選s(t)s,o = (s1 , s2 , ..., sm ), (sk ∈ {0, 1}, Σsk = 1)
報道時期は，該当の移籍期間で，その選手に関する最初の記事が出た時刻 tf irst からの経過日数を使用する．

択肢もある．
(t)ts,o= t − tf irst

3. 2 特徴量の抽出(t)

特徴量の抽出にあたり，各記事データに対しては as,o のように，時刻 t，選手 s，移籍先チーム o が適切に付加されている(t)と仮定する．また，as,o は記事情報として，記事の内容のテキ(t)

これらの特徴量を連結したベクトルによって，記事 as,o を表
現する．
(t)
(t)
(t)
x(t)
s,o = (ds,o , ss,o , ts,o )(1)

ストデータと，報道時期の情報，報道元の情報を含む．よって，
例えば図 1 ようなデータ構造になっている．メッシ選手に関し

3. 3 学習と出力(t)て，記事が移籍期間，移籍先チームごとに分類されていて，各

3.2 節で述べた記事のベクトル表現 xs,o (1) を用いて，学習に記事が本文と，記事の公開日，掲載元 Web サイトのドメインはロジスティック回帰モデルを用いて，各選手および移籍チーを持つ．その構造が選手ごとに存在していることを表している．
(t)
全ての as,o に対して，テキストデータは形態素解析とストッ

プワードの除去を行なってから TF-IDF によってベクトル化
する．

tf a(t) ,i =s,of (x(t)s,o ) =

1(t)

1 + e− WT xs,o

(2)

(t)

選手やチームは区別なく扱って，全て共通のモデルによって学

(t)

習を行う．

as,o における単語 i の出現頻度
as,o における全単語の出現頻度

df i = 単語 i を含む文書数(T )ムに対して，移籍するかしないかの 2 クラス分類問題として学習を行う．

また，|AS,O | を全ての報道期間の全ての主語と目的語を含む記

学習には 2 クラス分類問題としてのアプローチを取るのに対して，出力には異なるアプローチをとる．なぜなら，求めるべきものは 1 記事に対する出力でもロジスティック回帰により得られる確率値でもなく，その時期において得られる記事を統合

純に各記事に対する出力値の和になる．これを Flinear とする．

した上で得られる，最も移籍が起きそうなチームであるからである．まず，特定の選手 s に対して，ある特定の時刻 t までの各チームの各記事について，一定の期間 τ (t − c <=τ <= t) の全ての記事に対する出力を式 (2) のロジスティック回帰のモデルから得る．その上で，それらの出力結果を統合して出力チームを決定する．各記事データに対する出力結果を元に，チームごとのスコアを算出してそのスコアを基準に出力チームを決定す(τ )Flinear =∑k)f (x(t
s,o )

tk ∈τ

スコアの平均値に対して線形な関数に対して，h(N ) = log N ，とすると，より少ない記事数でも重要視するスコア Flog が得られ，h(N ) = αN 2 とするとより大きな記事数のみを重要視す
るスコア Fquad が得られる．

る．特定期間におけるチーム o の記事集合 As,o を用いて，ス

Flog = Flinear × log N

(t)
(τ )
コア Fs,o は F (As,o ) と書くことができる．さらに以下のよう
(t )
(τ )
に，式 (1) を用いて各 as,ok ∈ As,o に対応する特徴ベクトル
(t )
(t)
(t)
(t)
xs,ok を連結して Xs,o を定義し，Fs,o を F (Xs,o ) と書くこと

Fquad = Flinear × αN 2ができる．

その他にも、閾値を超える記事数をもつチームのみをスコアリ
ングの対象とすることなども考えられる。これらのスコアリン

(t1 )
(tN )
X(t)
s,o = (xs,o , ..., xs,o )グによって複数記事を統合的に扱うことができる．スコアの計
算にどの関数を選んだとしても，単純にスコアが最も高かった

tk ∈ τ, (k = 1, ..., N )チームを出力チームとする．
また，ハイパーパラメータ θ を用意して，出力が閾値 θ を下

t−c<
=t
=τ <

回った場合は移籍先チームなしと出力する．また，s が t 時点

(τ )

(τ )

ただし N は As,o 内の記事数 Ns,o を表す．
(t)

次に，スコア F (Xs,o ) の説明を行う．複数の出力を統合する
方法はいくつか考えることができるが，1 つは，以下のように
各チームごとの出力の平均値をとる方法がある．
∑(tk )tk ∈τ f (xs,o )Fmean (X(t)
)
=
s,o
(t)
Ns,o

(t)

でいたチーム ys,0 を定義する．つまり，選手 s，時刻 t に対し
ˆ(t)て以下のような出力 ys を得る．
(t)
arg max F (X(t)(maxo F (Xs,o ) >
s,o )
= θ)
ˆ(t)
o∈O
ys =

y (t)(otherwise)s,0
なぜこのような多クラス分類のタスクにおいて，2 クラス分

しかし，単純な平均であると，1 記事にしか出てこないチーム

類の学習方法をとっているのかについて補足しておく．今回ので，かつその記事が高いスコアを獲得していた場合に，強くそ

タスクでは，どのチームに移籍するかの多クラス分類問題としの影響を受けてしまう．そのようなケースは容易に考えられる．

て学習することが自然である．しかし，1 記事に出てくるチー

例えば，記事にたまたま 2 つのトピックが書かれていた場合に，

ム数はせいぜい数チームであり，このデータから 1000 チーム

1 つ目のトピックには，まさに対象の移籍に関する内容が書か以上ある全てのチームに対するクラス分類を学習するのは難し

れていて内容も移籍を強く示唆するものであり，記事に現れる

い．出力を 1 記事だけで決定するよりも，1 記事からはその記チームに移籍する確率は高く，高いスコアを与えられるべきで事の表現と移籍の実現性の関係のみを学習する方が現実的でああるが，2 つ目のトピックは全くそれと関係のない内容で，記る．そのため，先に述べたように，あらかじめ記事に移籍チー事に現れるチームは対象の移籍に全く関係ない．しかしながら，ムの候補を対応づけさせておくことで，共通モデルを用いた 2両方に大きなスコアがつけられてしまう．この時，後者のチー

クラス分類問題として学習することにした．

ムが，関連する記事集合内における別の記事中に現れる可能性

3. 4 提案損失関数は非常に低く，平均値をとってもこの記事のみがスコアに影響を与えることになる．結果として非常に高いスコアを得てしまう．複数の選手に関する移籍報道をまとめた記事などが多くあるため，これは想定すべきことである．このような事態を避けるために平均値以外の方法も用意しておくべきである．
偶然高いスコアを得た記事による影響を防ぐため，起こる可能性が高い移籍に対しての報道の数は比較的に多くなるという仮定に基づいて，記事数に応じてスコアに重みを加える関数を定義する．記事数に関する関数 h(N ) を導入して一般的に以下のように表すことができる．
(t)
Fgeneral (X(t)
s,o ) = h(Ns,o )∑通常ロジスティック回帰を用いた学習であるならば，損失関数は本研究のような場合は交差エントロピーを使用することが多い．だが，今回の学習を考えると，単純にどのデータに対しても同様の最適化を行うことは効果的ではない．なぜなら報道
初期の情報などは，判断材料に乏しく最終的な移籍結果を必ずしも予測できているとは限らない．また，初期の報道には必ずしも正確性が求められているわけではない．また，飛ばし記事の多い報道機関は知られており，確信度は報道元によって顕著に見られるということも考えられる．よって，どの記事に対しても均質に正解ラベルに応じた最適化を行うのは得策ではない．

k)f (x(t
s,o )

tk ∈τ

h(N ) = N1 の時，Fmean となる．また，h(N ) = 1 の時には単

そこで，その記事がどの程度確信があって報道されたものなのかを推定して，その確信度に応じて正解ラベルに対する最適化の度合いを調整する損失関数を以下に提案する．

L = γ(1 − g(z′ )) + g(z′ )(y − f (z))2とされる記事を無理やり学習してしまって，本来学習すべきでない特徴を学習してしまうことを防ぐことができる．例えば，
報道初期の記事に移籍決定と書いてあっても，それは飛ばし記γ ∈ [0, 1] ペナルティ係数z, z′ が入力ベクトルの部分集合で y が正解ラベルである．
g(z′ ) がその記事の確信度を [0, 1] で学習して，f (z) が移籍
確率を学習する．これは，あらかじめ入力ベクトルの部分集合z′ から確信度に類するものが学習できると仮定して入力ベク
トルの要素から 2 つのベクトル z′ ，z の要素をそれぞれ適当に選択して学習することを表している．損失関数の第 2 項目の(y − f (z))2 の部分は正解との二乗誤差である．確信度 g(z′ ) が1 に近ければ，つまり確信度が非常に高ければ，その二乗誤差
がそのまま損失として扱われる．逆に，確信度が０に近い，つまり確信度が非常に低い場合は，二乗誤差の項は小さくなって，代わりにペナルティ係数 γ に比例する損失が加わることになる．
ペナルティ係数が低ければ，二乗誤差の損失よりもペナルティ

事の可能性が高く，出版側も飛ばし記事という認識で書いている可能性がある．その記事に対して無理に学習をするのは，飛ばし記事である時点で正解不正解に関わらず，間違った学習になる．このような正当に学習すべきでない記事を、確信度を導入することで無理に学習しないでおくことが可能になる．また，各データから明示的に確信度が計算できることで結果の解釈可能性にも大きく貢献する．本研究においては，確信度が報道元と報道時期から推定できると仮定し，z′ にそれらから抽出される特徴量を用い，z には報道記事のテキストデータから得られる特徴量を用いることにする．つまり，式 (1) の入力ベクトル
(t)

(t)

(t)

(t)

xs,o = (ds,o , ss,o , ts,o ) を用いて，以下のように設定する．
(t)zs,o= (d(t)s,o )係数による損失の方が小さくなるため，全体的に確信度を非常に低く学習するようになる．逆に，ペナルティ係数が高ければ，

′

(t)
(t)
zs,o
= (s(t)s,o , ts,o )二乗誤差の損失よりも確信度が小さいことのペナルティが大きくなり，確信度を高く学習するようになると期待される．二乗誤差と確信度が [0, 1] の値をとる以上，第二項も [0, 1] の値をとるため，ペナルティ係数の大きさは必ず [0, 1] の間になくては4 実

験

4. 1 デ ー タ

ならない．これによって，確信度が低い場合は出力が正確であ本研究のデータセット及び，サッカー選手の移籍の特徴につるかどうかは学習に重視されず，確信度が高ければ，誤差の影いて述べる．本研究においては，移籍が起こったことを確認する

響が直接的に学習されることになる．直感的には，確信度に応対象の Web 上の知識ベースを transfermarket (https://www.

じた損失を被る代わりに，各時点において曖昧な回答を許すこtransfermarkt.com/) 上に記録された移籍の集合とした．デーとになる．

タセット作成時には，このサイトからクローリングしてきた

ペナルティ係数 γ について，以下詳細に議論する．出力(y − f (z))2 = α，g(z′ ) = g とおくと損失 L は簡単に以下のように表せる．

現在までの 15 年程度の累積した移籍データを元にして，各記事に対して該当の移籍が起こったかどうかの判定を行なった．
移籍記事については，あらかじめ 20 のドメインを指定して，′′

L = γ × (1 − g(z )) + g(z ) × (y − f (z))

2

= γ(1 − g) + αg

Google の検索 API を用いて 50 万記事程度の記事を収集した．
クエリに選手の名前を用いることで，特定の選手に対応する記事を収集したため、この段階で各記事に 1 選手が対応している．

もし f が正確な値を取れば α = 0 であるので，g = 1 となるよ

今回の実験においては，便宜的に報道元という概念をこれらのうに学習されることが望ましい．逆に f が不正確ならば，α > 0

ドメインに対応させることとした．また，各記事に対して，記となり，この時，γ と α の大小関係によって，下のように g の事の発表日抽出を行い，これを報道時期として利用する．

望ましい振る舞いは変化する．
0 (γ < α)g=
1 (α < γ)ごとにデータを利用する必要がある．そのため，各記事に対し

つまり，γ が決定しているのは，α との大小関係により，g を 0

るため，今回は，記事内に現れたチームを全て，その記事が主か 1 のどちらに近づけるようにするか，と言える．ここでもし張する移籍先チームだと判断することにした．例えば，記事内

γ が 0.25 より大きかった場合，α = 0.25，つまり f (z) = 0.5に 3 つのチーム名が現れていた場合は，その 1 つの記事は別々の時に確信度 g = 1 にするのがよいと学習されてしまう可能性の移籍先チームに対する 3 つの別の記事として扱う．記事にがある．f = 0.5 は完全にランダムな出力であり，最も望まし

よっては，非常に多くのチームが現れるものもあってノイズにくない学習である．よって γ は 0.25 より小さい値である必要なるので，記事中に現れるチーム数が 5 以下のものに制限してがある．

データを作成した．記事内のチームを抽出する方法には Web 上

本研究においては，選手，移籍先チーム，報道元，報道時期て移籍先チームを確定させる必要がある．各記事がどのチームに移籍すると主張しているのかを正確に判断するのは困難であしたがって，この損失関数を使用することで，確信度が低いの Wikification [10] サービスを用いた．Wikification とは，文状況で無理に出力の値を正解に合わせて学習する必要がなくな

書内の単語を実世界のエンティティに対応させてその実体を特る．そのため，そもそも正解か否かの正確な判断が非常に困難定するエンティティリンキングの 1 種であり，各エンティティ

表1

表 2 各段階のデータ数および割合

データ数と移籍数

データ

移籍

フィルタリング後

アンダーサンプリング後

データ総数

814000 移籍自体の総数 10276

移籍総数

3992

815

移籍した

14000

903

移籍した

482

482

移籍せず

800000

9373

移籍せず

3510

333

表 3 最終的なデータ数に Wikipedia(https://en.wikipedia.org/) の各記事を対応させ

学習データ

88797 検証データ 25943

ることでエンティティを特定するものが Wikification である．

移籍した

10272 移籍した

2314

Wikification の誤差で望んでいないものが抽出される可能性も移籍せず

78525 移籍せず

23629

あるが，もともと設定した知識ベースにあるチームの集合のみを抽出対象とした．これによって各記事に対して，文書内にど

ここから，実際に使用したデータは，以下のような条件を満のサッカーチームが現れているかを特定することができる．

たすもののみを抽出して，選手，移籍期間ごとにグループ分け

次に，該当の移籍が起こったかどうかのラベルづけについてを行なった：(1) 5 チームより多くのチームが記事に現れない．

説明する．サッカー選手の移籍は，移籍期間が年間で 2 回，毎(2) ある選手に対して，1 つの移籍期間に 50 データ以上のデー年同じ時期に固定されて設定されている．実際には，移籍期間

タが存在する．(3) 移籍日時より発表日時が前である．上の 3

は冬の移籍期間（1 月 1 日から 1 月 31 日）と夏の移籍期間（6つの条件でフィルタリングを行なった結果，表 2 のような結果

月 9 日から 9 月 1 日）に設定されている．例えば，4 月 30 日を得た．

に公開された記事は，その年の夏の移籍期間の移籍に対応して次に，学習を適切に行わせるために、学習データにおける正おり，10 月 3 日に公開された記事は次の年の冬の移籍期間の移のデータと負のデータ，すなわち，移籍が起こったデータと起籍に対応した記事であると言える．そのため，選手と報道時期

こらなかったデータの割合の差を小さくするように調節を行う．

が分かれば，その記事に対応した移籍が 1 つに定まり，対応し表 2 に示すフィルタリング後のデータをそのまま使用すると，た移籍でその選手がどのチームに移籍したのか，または移籍し負のデータの割合が圧倒的に多いために，正のデータの学習がなかったのかが分かる．これらの情報を元にして各記事に対しうまく行われない．一般にこのような性質のデータのことを不て正解データのラベルづけを行うことができる．

均衡データ [3, 4] と呼び，いくつかの有効な手法および，アル

また，学習の際には，学習データセットに工夫を加える．こゴリズムが提案されている．

こまでに述べた方法に従うと、1 つの記事に対して、記事内に

今回は，負のデータをアンダーサンプリング [9] を行なって現れるチーム数分に対応するデータが作成される．例えば、1数を減らす方法を採用した．これによって，データの不均衡性

つの記事の中に，バルセロナ，アーセナルという 2 種類のサッを取り除くことができる．サンプリング方法は，単純に，移籍

カーチームに対応する表現が含まれているとする．その記事はが実際には起こらなかった移籍をランダムに 10% 程度選んで移籍先の対象チームがバルセロナとされたデータと、アーセナ

それをデータとして使用して残りは使用しないようにした．4.1

ルとされたデータの，同様の記事内容を持った 2 つのデータに節末に述べた理由で，サンプリングの対象はデータ単位ではななる．しかし，学習データについては，正解チームがある場合

く，移籍単位で行う．ある移籍に対する記事は全て学習に使わは，それ以外のチームのデータは学習に使用しないことにした．

れるのが自然である．

つまり，上の例だと，正解移籍先のチームがバルセロナの場合，最後に，前述のとおり，学習効率を上げるために，学習デー

アーセナルのデータは削除する．この方が正解データを正しくタに対してのみ，正例データを含む記事に対して，同じ記事に学習できると判断した．なぜなら，この処理を行わない場合はおける負例データを削除する処理を行う．学習データの方が正正解である記事と全く同一の内容が，同時に不正解であると学

解ラベルのものの割合が高くなっていることが見て取れる．そ習されてしまうからである．なお，記事に移籍先チームが存在の結果得られたデータの分布を表 3 に示す．なお，サンプリン

しない場合は処理を行わない．ただし，検証時には同様のデー

グ以降の数字はどの移籍がサンプリングされるかによって変化タ処理を行なってはならない．そもそも検証時の時点では立場しうるのであくまで一例である．

的にどの記事が正解なのかは分かっていないため，削除を行う

4. 3 実 験 設 定のは不自然であるし，検証データが正解データに偏ってしまう．
データセットに関する注意として，検証データを適切に分割する必要がある．検証データは，検証の出力過程において，選手が各移籍期間単位でどのチームに移籍するのかを決定する
ため，移籍期間ごとにデータが全てまとまっていなくてはならない．

4. 2 データ選別
表 1 に 4.1 節で作成したデータセットのデータ数とそこに含まれる移籍数を示す．

評価指標として，真陽性，真陰性，偽陽性，偽陰性を拡張した以下のものを定義する：(1) どこにも移籍しないと予測したが，どこかのチームに移籍した．(False Negative:FN) (2) どこにも移籍しないと予測して，どこのチームにも移籍しなかった．

(True Negative:TN) (3) あるチームに移籍すると予測して，どこのチームにも移籍しなかった．(False Positive:FP) (4) あるチームに移籍すると予測して，そのチームに移籍した．(True

Positive:TP) (5) あるチームに移籍すると予測して，別のチームに移籍した．(False Another Positive:FAP) またこの定義を

表4 実験結果

mean accuracy

mean TNmean FN

mean TPmean FP

mean FAP

Baseline

0.423 (0.034) 46.43 (4.77) 38.20 (5.80) 24.30 (4.02) 23.60 (3.80) 34.30 (5.01)

Add Feature

0.432 (0.032) 47.77 (5.28) 39.22 (5.06) 24.35 (3.80) 22.26 (3.84) 33.23 (4.69)

Loss Function

0.442 (0.028) 48.78 (5.49) 38.97 (6.24) 25.00 (3.76) 21.25 (4.34) 32.83 (5.20)
以下，本結果から得られる知見と考察を述べる．まずは，予

表 5 ハイパーパラメータ
ハイパーパラメータ

測タスクの達成について評価したい．すなわち，どの程度良く

スコアリング関数

Flinear

出力閾値 θ

0.3

提案損失関数 出力閾値 θ

0.2

ペナルティ係数 γ

0.2

サッカー選手の移籍予測が的中しているのかを考える．本実験において使用した，各移籍における平均の移籍先候補のチーム数，つまり，予測対象の各 1 移籍に対する記事に現れたチームの数は平均で 20.5 チームであった．移籍しなかったケースを使用して精度 (Accuracy) は以下のようにかける．

無視すると、無作為にチームを選択した場合の正解確率の期待TP + TNTP + FAP + FP + FN + TN

値は 0.05 程度である．表からわかる通り，予測タスクにおける実験ではこれらの値を比較して考察を行う．

回っている．極端な例として、移籍しなかったケースの割合がAccuracy =正答率は最も高いモデルで 0.44 程度なので，これを大きく上

本研究では，まず，ベースライン手法として，記事のテキス大きいため、全てを移籍しなかったと出力すれば一定の精度がトデータのみを用いてロジスティック回帰で学習して実験を行出ると考えられる．だが、表より TrueTeam も相当数存在する

う．次に，従来からのテキストデータベースの学習に対して，

ため、そのような極端な学習でないことがわかる．よって，少提案する特徴ベクトルを加えることで，学習の精度がどのようなくとも予測タスクをある程度達成することができたと言える．

に変化するのかを調査する．本研究においては，いくつかハイ

続いて，それぞれの手法による比較を行う．結果から同一のパーパラメータが存在するが，3.4 節での γ に関する議論に加データで条件を揃えて実験を行うと，ベースライン手法，提案

えてチューニングを行い，表 5 のように決定した．

特徴量の付与，提案損失関数の使用の順に予測精度がわずかに結果の評価について考えておくと，ベースラインと，2 つの上がっていることが見て取れる．すなわち，報道元ベクトルの特養量を付与した手法との比較は，その評価指標を単純に比較

情報と報道時期の情報が予測精度の向上に寄与する可能性があすることができ，その特徴量が予測に貢献したのかどうかを判ることが示唆された．加えて，True Team の値も同様の順番

断すればよい．だが，損失関数を提案手法に変化させた時の比になっていることから，移籍が起こった場合についても効果が較をどのように行うのかについては少し考える必要がある．今あったことが分かる．

回は，上の 2 つと出来るだけ同じ条件で比較したいので，確信

ここでは，提案損失関数についての結果を観察する．確信度の影響が直接スコアに反映されるような形をとった．移籍確

度 g の最終的な学習状態における出力結果は，全ケースで率 f に確信度 g の値をかけてそれを出力とすることとした．こ[0.4904, 0.5445] の小さな範囲に収まっており，全てのデータがのようにして確信度の学習が予測に寄与しているのかどうかを同程度の確信度に学習されていることが分かる．そのため，相確認できると考えた．よって今回の場合は，損失関数のにおけ対的なスコアの大小には影響は小さく，損失関数を変更しても(t)
る f と g にはロジスティック回帰を用いるので，各データ xs,o(t)に対するスコア l(xs,o ) は以下のようにかける．

結果に大きな差は出なかったのだと考えられる．また，学習後その分布は [−0.0327, 0.0322] となっており，標準化されたデー

′

(t)
(t)
l(x(t)s,o ) = f (xs,o ) × g(zs,o )

=

1
(t)

1 + e− WT zs,o×のモデルのパラメータで報道時期に対応するものを確認すると，
タに対して掛け合わせるとほとんど 0 に近いため線型結合され

1
(t) ′

1 + e− WT zs,o
′

(t)
(t)
(ただし x(t)s,o = (zs,o , zs,o ))この方法であれば，上の 2 つの手法と同様に比較を行うことができる．また，損失関数の収束可能性についても結果を用いて確認する．

たスコアに対して、大きな影響はでない．加えて，値が負である場合に関して，本来は時間が経つにつれて記事の確信度が増していくのが直感的だが，それとは逆の結果が現れている事になる．報道元に対応するパラメータも同様に小さい値を取っていた．また，最も平均値が高かったものに対応する報道元は，
一般的に飛ばし記事が多いという評価を受けることが多い，イギリスの大衆紙「サン」の Web サイトであった．よって報道

4. 4 実 験 結 果
実験では，先の設定に基づき，訓練・検証データの分割，訓時期，報道元ともに，数値的にも意味的にも、想定していたよ
うに正しく確信度が学習できたとは言えない．

練データのアンダーサンプリングを無作為に 100 回行なって，このようになった原因としては，確信度を計算するモデルがそれぞれにおける各評価指標を計測し，その平均値を算出した．

単純でありすぎたこと，そもそも，データセット内の記事では

実験結果は表 4 の通りである．また，括弧内は各評価指標にどの時期にもどの報道元からもあまり偏りなく正解報道，不正おける 100 個の標準偏差を表す．

解報道が行われていたことなどが考えられる．報道記事に関した記事の確信度が学習できることを示すため，今回は比較的単

loss
0.24

train_loss
val_loss

0.23

複雑化すること，確信度を学習するためにロジスティック回帰
以外の最適なモデルの選択を行うことが挙げられる．また，本

0.22
loss

純に済ませた確信度を得るための特徴量の抽出をさらに工夫し研究の仮説が，より一般的な記事に対しても成立することを示

0.21

すことも今後の課題である．

0.20
0.19

謝辞 本研究は JSPS 科研費 18H03244 の助成を受けたものです．ここに記して謝意を表します．

0.18
0.17
0

50

100

150

200
batch

250

300

350

図 2 提案損失関数の損失推移ては，収集には Web 上のハブ的なサイトも使用していたため，記事自体が 1 次ソースでないこともあったこと，サイトドメイ
ンを単純に報道元としたことが原因となったかもしれない．また，移籍と関係のない記事がノイズとなった可能性もある．
とはいえ，影響は小さくとも g の値は [0.4904, 0.5445] の一定の幅を持って学習されていたので，提案損失関数にしてトー
タルでの精度が上がったことに対して，確信度が寄与している可能性はある．
次に，提案損失関数の収束可能性について考える．図 2 は，
提案損失関数使用時の各バッチにおける損失の大きさのグラフである．本研究の学習では，学習モデルのキャパシティの低さに対して，入力ベクトルの次元数がデータ数に対して非常に多いため，収束は早く，すぐに過学習してしまう可能性が非常に高い．よって，エポックごとの損失ではなく，バッチごとの損失を可視化する．図から，学習が進むごとに検証データにおける誤差（val loss）が訓練データにおける誤差（train loss）と同様に減少して，傾きが 0 に近づいていっていることが見て取れる．よって，グラフから実験的に提案損失関数の収束性について確認することができた．

5 ま と め本研究では，Web 上の記事を用いて将来における知識ベースの変化を予測する問題に取り組んだ．
特に，記事の報道元と報道時期が，記事の内容から予測される結果の確信度に大きな影響を与えると仮定し，この仮定を明示的に表現する損失関数および特徴量を提案した．
実験では，「サッカー選手の移籍予測」を題材として，記事の報道元と報道時期が予測精度に与える影響，および，提案する損失関数によって結果の確信度が正確に予測できるかを評価した．その結果，単純な方法で一定の精度で予測をすることができることが示せた．加えて，新しい特徴量を加えることで予測精度が向上することを示した．しかし，その特徴量から記事の正確な確信度を学習できたという確証を得ることはできな
かった．
今後の課題としては，本研究において明確に確認できなかっ文

献[1] S. Asur and B. A. Huberman. Predicting the future withsocial media. In Proceedings of the 2010 IEEE/WIC/ACM
International Conference on Web Intelligence and Intelligent Agent Technology-Volume 01, pages 492–499. IEEE
Computer Society, 2010.
[2] D. M. Blei, A. Y. Ng, and M. I. Jordan. Latent dirichlet allocation. Journal of machine Learning research, 3(Jan):993–
1022, 2003.
[3] N. V. Chawla. Data mining for imbalanced datasets: An
overview. In Data mining and knowledge discovery handbook, pages 875–886. Springer, 2009.
[4] H. He and E. A. Garcia. Learning from imbalanced data.
IEEE Transactions on Knowledge & Data Engineering,(9):1263–1284, 2008.
[5] M. Joshi, D. Das, K. Gimpel, and N. A. Smith. Movie reviews and revenues: An experiment in text regression. In
Human Language Technologies: The 2010 Annual Conference of the North American Chapter of the Association for
Computational Linguistics, pages 293–296. Association for
Computational Linguistics, 2010.
[6] A. Kimmig, S. Bach, M. Broecheler, B. Huang, and
L. Getoor. A short introduction to probabilistic soft logic.
In Proceedings of the NIPS Workshop on Probabilistic Programming: Foundations and Applications, pages 1–4, 2012.
[7] O. Lassila and R. R. Swick. Resource description framework(rdf) model and syntax specification. 1999.
[8] K. Leetaru. Culturomics 2.0: Forecasting large-scale humanbehavior using global news media tone in time and space.
First Monday, 16(9), 2011.
[9] X.-Y. Liu, J. Wu, and Z.-H. Zhou. Exploratory undersampling for class-imbalance learning. IEEE Transactions
on Systems, Man, and Cybernetics, Part B (Cybernetics),
39(2):539–550, 2009.
[10] R. Mihalcea and A. Csomai. Wikify!: linking documents
to encyclopedic knowledge. In Proceedings of the sixteenth
ACM conference on Conference on information and knowledge management, pages 233–242. ACM, 2007.
[11] G. Mishne, N. S. Glance, et al. Predicting movie sales fromblogger sentiment. In AAAI spring symposium: computational approaches to analyzing weblogs, pages 155–158,
2006.
[12] K. Radinsky and E. Horvitz. Mining the web to predict future events. In Proceedings of the sixth ACM international
conference on Web search and data mining, pages 255–264.
ACM, 2013.
[13] M. Samadi, P. P. Talukdar, M. M. Veloso, and M. Blum.
Claimeval: Integrated and flexible framework for claim evaluation using credibility of sources. In AAAI, pages 222–228,
2016.
[14] G. Xiang, Z. Zheng, M. Wen, J. I. Hong, C. P. Rosé, and
C. Liu. A supervised approach to predict company acquisition with factual and topic features using profiles and news
articles on techcrunch. In ICWSM, 2012.