一般社団法人 電子情報通信学会
THE INSTITUTE OF ELECTRONICS,
社団法人 電子情報通信学会
INFORMATIONAND COMMUNICATION ENGINEERS

信学技報
IEICE Technical Report
NLC2020-1(2020-09)

信学技報
TECHNICAL REPORT OF IEICE.

THE INSTITUTE OF ELECTRONICS,
INFORMATION AND COMMUNICATION ENGINEERS

ランキング学習を用いた関連記事候補の抽出
塩田宰†

嶋田 和孝†

野上 真司††

福山 修平††† 九州工業大学大学院 情報工学府 〒820–8502 福岡県飯塚市川津 680–4†† 株式会社西日本新聞社 経営企画局 新メディア戦略室 〒810–8721 福岡県福岡市中央区天神 1–4–1
E-mail: †{t_shiota,shimada}@pluto.ai.kyutech.ac.jp, ††{shinji.nogami,shuhei.fukuyama}@nishinippon-np.jp
あらましオンラインで発行されるニュース記事に付与されている関連記事は，読者が有益な情報にアクセスすることを容易にする役割があり，読者の情報収集の効率化に貢献している．そのため，発行記事に対して適切な関連記事を付与することは新聞社にとって重要な課題の 1 つである．しかしながら，関連記事候補の中から適切な関連記事を
人手で選択することは多大な労力を要する．そこで本研究は関連記事選択のコスト削減・自動化に向け，発行記事に対して関連記事候補をランキング形式で提示する手法について提案する．複数のランキング評価指標を用いた各モデ
ルの精度比較を行い，最も精度の高かったモデルによる実際の入出力例について報告する．
キーワード

関連記事抽出，ランキング学習，情報検索，業務支援

Related Article Extraction Using Learning to Rank
Tsukasa SHIOTA† , Kazutaka SHIMADA† , Shinji NOGAMI†† , and Shuhei FUKUYAMA††† Kyushu Institute of Technology 680-4 Kawazu, Iizuka-shi, Fukuoka, 820–8502 Japan†† The Nishinippon Shimbun Co. Ltd. 1–4–1 Tenjin, Fukuoka-shi Chuo-ku, Fukuoka, 810–8721 Japan
E-mail: †{t_shiota,shimada}@pluto.ai.kyutech.ac.jp, ††{shinji.nogami,shuhei.fukuyama}@nishinippon-np.jp
Abstract Related articles of a news article help readers to access other beneficial information eﬃciently, so it is an importanttask for newspaper companies to link appropriate related articles to a news article on news websites. However, it costs to selectrelated articles from the vast news articles that have been published in the past. To solve the issue, we introduce learning torank method to the related article extraction task to support business operation. We propose some ranking methods and report
the accuracy of each model with three evaluation metrics. We also show some input-output examples by the system that scores
the highest accuracy in our experiments.
Key words related article extraction, learning to rank, information retrieval, business support社に関係する重要な課題の 1 つである．関連記事の選択業務は

1. は じ め に

新聞社の記者の知識・経験に基づき人手で行われている．しかタブレットやスマートフォンに代表される電子デバイス，おしながら，新聞社の保有する記事は膨大で，かつ新聞社は 1 日

よび Web 技術の発展とともに，多くの新聞社が自社サイトやオに大量の記事を発行するため，1 つ 1 つの記事に対して適切なンラインポータルで Web 版のニュース記事を発行することが一

関連記事を選出する作業は多大な労力を要する．

般的になってきている．新聞社は新たな記事を Web 版としてそこで本研究は，記者の関連記事選択のコスト削減，更には発行する際に，過去に発行した類似トピックの記事や，発行記

関連記事選択の自動化に向け，関連記事候補となる過去の記事

事の背景や前提知識を補完する先行記事を関連記事として付与を入力記事に応じたランキング形式で出力する機械学習モデル

する．関連記事は，読者が現在読んでいる記事に関連する有益の構築を目指す．本研究では，Yahoo!ニュース Insights から得な情報へのアクセスを効率化し，読者の素早い情報収集に貢献られる「発行記事」「発行記事に付与されている関連記事」「関している．また新聞社としても，クリックスルー率（CTR）の連記事のクリックスルー率（CTR）」の三つの情報を組とする発高くなる記事を関連記事として付与することは，自社の記事を

行記事・関連記事のペアデータセットを構築する．そして，情より多くの読者に届ける有効な手段の一つである．そのため，報検索の分野で用いられるランキング学習 [1] に倣った，複数

発行する記事に対して読者の満足する適切な関連記事を過去ののランキング生成モデルの構築について説明する．その後，構記事から選出し，発行記事に付与することは，読者および新聞

築したモデルのランキング精度を複数の評価指標で比較した結

-1-

—1—
This article is a technical report without peer review, and its polished and/or extended version may be published elsewhere.
Copyright ©2020 by IEICE

果を報告する．加えて，高い精度となったモデルの出力した関

表 1 発行記事・関連記事ペアデータセット統計値

連記事ランキングについても確認する．

2. 定 式 化
本研究では新しく発行する記事へ付与する関連記事の選択を，ランキング学習 [1] によって関連記事候補群をランキングする

利用する

利用する

発行記事数

記事ペア数

訓練データ

2,800

16,7042,800

16,704

検証データ

330

1,650

330

1,650

テストデータ

330

1,650

299

1,495

発行記事数 記事ペア数問題として定式化する．ランキング学習とは，検索システムなどに用いられる手法で，ある入力クエリに対して検索結果の並

3. データセットの構築

び順を学習させる手法である．入力クエリと検索結果のペアは

本節では，ランキング学習を用いたランキング推定モデルの以下のように定式化される．
ある入力クエリ q とそれに対して Mq 件の検索結果 r ∈ Rq

構築に必要な「発行記事」「関連記事」「関連記事のクリックスという一対多のデータが N 件存在するとする．更に，各検索結ルー率（CTR）」の三つ組ペアである，発行記事・関連記事ペア果に対して任意の尺度でユーザの応答に関するスコア yq,r が付

データセットの構築について述べる．加えて，ランキング推定

与されているとする．このとき， 入力クエリ q と検索結果 r か

モデルを用いた関連記事抽出実験に必要な関連記事候補データら得られる特徴量 Xq,r とユーザの応答に関するスコア yq,r の∑ペアを N Mq 件作成することができる．

セットの構築について述べる．

3. 1 発行記事・関連記事ペアデータセット
発行記事および関連記事は「ヘッドライン」
「本文」
「配信日

Dataset = {(Xq,r , yq,r ) : q = 1, ..., N, r = 1, ..., Mq }(1)

時」「カテゴリ」の 4 つの属性から構成されている．データの獲特長量 Xq,r は入力クエリおよび検索結果それぞれから独立に得られる情報や，入力クエリと検索結果の組み合わせによって得られる情報から算出される．学習時は（1）の対をモデルが学習し，推論時はモデルが（1）の Xq,r から yq,r を推測し，その得には Yahoo!ニュース Insights を用いて，2019 年 1 月 1 日から 2019 年 12 月 31 日までに西日本新聞社が掲載したものの中で利用可能な記事計 3,460 件，20,004 ペア分のデータを獲得した．Yahoo!ニュースに掲載する記事に付与する関連記事は一般結果に基づいて検索結果を並び替えることでランキングを獲得には 5 件であるが，関連記事を任意のタイミングで差し替えるできる．

ことが可能であるため，1 つの発行記事に対して 5 件以上の関ランキング学習の手法は損失関数の定義によって pointwise，

pairwise，listwise の 3 つに分類される．pointwise な手法は，モデルの出力値 f (Xq,r ) が各検索結果に対するスコア yq,r を正しく推定できれば，出力結果をソートすることで正しいランキン
グが得られるという仮定を基にした手法である．損失は式（2）連記事が付与されている場合がある．精度検証・分析のために，
それらのデータは全て訓練データに割り振り，残りのデータを訓練データ，検証データ，テストデータの 3 つに 8:1:1 の割合となるようランダムに分割した．表 1 に獲得した発行記事数，
および発行記事・関連記事のペア数の統計値を示す．なお，テのように予測値と正解値の誤差を表現する形で定義される．

ストデータのうち全ての関連記事の正解スコア（CTR）が 0 の∑

データは一部の評価指標の値を不当に低下させるノイズとなっ

L pointwise =L( f (Xq,r ), yq,r )(2)てしまう．そこで本研究では，分割後のテストデータの中で上q,r記の条件に該当するデータが計 31 件観測されたため，それら

pairwise な手法は，任意の 2 ペアの順序関係を正しく推定できを取り除いた 299 件で精度評価を実施する．

れば，それらの順序関係が正しいランキングになるという仮定

3. 2 関連記事候補データセットを基にした手法である．損失は式（3）のように，2 ペアの順序

記者が関連記事を選択する際に利用している西日本新聞社の関係が尤もらしいかを確率値などで表現する形で定義される．

保有する記事リストが存在する．そのリストに登録されている

L pair wise =∑∑L( f (Xq,i ), f (Xq, j ))

記事，および発行記事・関連記事ペアデータセット中に存在す(3)

る全ての記事を統合し，関連記事候補データセットとした．関

q yq, i >yq, j :i, j ≤Mqlistwise な手法は，出力ランキング自体を MAP や NDCG など

連記事候補データセットに収録されている合計記事数は 53,023
件である．

のランキング評価指標で直接最適化する手法である．損失は式

4. 抽 出 手 法（4）のように，クエリに対する全ての予測値と正解値の誤差を表現する形で定義される．

Llistwise =∑L( f (Xq,1 ), yq,1, ..., f (Xq, Mq ), yq, Mq )本研究では，教師無しのランキング手法をベースラインとし，pointwise な教師あり手法 2 つ，pairwise な教師あり手法 1 つの(4)出力結果を実験によって比較する．それら 4 つの手法について

q

本研究では，「入力クエリ」を「発行予定の記事」，「検索結説明する．

果」を「関連記事候補」，「ユーザの応答」を「関連記事のクリッ（ 1 ） cos 類似度によるソート（CosSim）

クスルー率（CTR）」と対応させることで，発行記事に対する関発行記事のヘッドラインと関連記事候補のヘッドラインから連記事の抽出を目指す．

名詞，動詞，形容詞，副詞を抽出し，それらの分散表現の相加平

-2-

—2—

均をそれぞれのヘッドラインの分散表現とし，cos 類似度を算

5. 実

出する．その後，類似度が降順になるよう関連記事候補を並び験

替えることでランキングを作成する．これは「内容の似ている

3. 節で構築したデータセット，および 4. 節で述べた手法を用

記事は関連記事になりやすい」という人の直感を基にした手法

いて 2 種類の実験を実施した．1 つ目の実験では，発行記事とである．形態素解析器は MeCab1 を利用する．分散表現の獲得

正解関連記事 5 件を与え，モデルが関連記事を CTR の高い順には，発行記事・関連記事ペアデータセットおよび関連記事候に並べ替える精度を確認した（正解関連記事ランキング実験）．

補データセットに含まれるヘッドラインと本文から skip-gram

つまり，正解関連記事ランキング実験を通して，人が選んだ記を用いて事前学習した Word2Vec [2]（300 次元）を利用する．

事の CTR の順序関係を各提案手法が適切に識別できるかを確（ 2 ） Linear Regression（LR）

認する．2 つ目の実験では，発行記事と正解関連記事を含む関pointwise で線形な手法として Linear Regression（LR）を利用

連記事候補データセットを与え，モデルが CTR の高い順に並する．LR は特長量ベクトルから CTR を直接推定するように学

べ，かつ正解関連記事を上位に持ってくることができるかを確習を行う．実装には scikit-learn [3] の LinearRegression を利用認した（関連記事抽出実験）．つまり，関連記事抽出実験を通しする．モデルの予測した CTR を降順にソートすることで関連て，運用環境を想定し，各提案手法が膨大な記事の中から関連記事のランキングを作成する．

記事を抽出する検索エンジンとしての性能を確認する．はじめ（ 3 ） Support Vector Regression（SVR）に，本実験の結果を評価するために利用した評価指標について

pointwise で非線形な手法として SVM [4] を利用する．SVM

述べる．その後，正解関連記事ランキング実験，および関連記も同様に特長量ベクトルから CTR を直接推定するように学習

事抽出実験における各モデルの精度をまとめる．最後に，最もを行う．実装には scikit-learn [3] の SupportVectorRegression を精度の高いモデルに関して，検証データを用いた出力結果につ利用し，カーネルは rbf，C および γ はそれぞれ 1，0.01 とす

いても報告する．

る．LR と同様に，モデルの予測した CTR を降順にソートする

5. 1 評 価 指 標

ことで関連記事のランキングを作成する．

本研究では定量的な評価指標として，NDCG@k，MRR，Re-（ 4 ） LambdaMART

call@k を用いる．それぞれの評価指標の定義を以下に示す．

pairwise な手法として LambdaMART [5] を利用する．Lamb-（ 1 ） NDCG@k

daMART は 2010 Yahoo! Learning to Rank Challenge [6] で最高

NDCG@k（Normalized Discounted Cumulative Gain）はモデル

精度を獲得したランキング学習のモデルで，LambdaRank [7] との予測結果上位 k 件から得られる DCG（Discounted Cumlative

MART [8] を組み合わせた手法である．LambdaMART では正解

Gain）を，正解の上位 k 件から得られる理想的な DCG で割ってラベルに直接 CTR を利用できないため，学習の際には CTR を正規化した値である．NDCG@k は 0 から 1 の間の値を取り，1四捨五入した値（0 から 20：20% を超えるものについては全てに近いほどモデルが正解に近いランキングを出力できていると20 で統一）に変換したものを CTR ラベルとして学習を行う．

解釈できる評価指標である．式 5 に NDCG@k の定義を示す．

実装には LightGBM [9] を利用し，評価の metric は NDCG@k

ここで， N はテストデータ数， k は上位何件で評価値を計算す（k=1，2，3，4，5），learning_rate は 0.05，bagging_fraction おるかを示すインデックス， dcg@k はモデルの出力結果によるよび feature_fraction は共に 0.9 に設定する．

DCG 値， ideal_dcg@k は正解による理想的な DCG 値を表す．

LR，SVR，および LambdaMART に利用する特長量を発行記
N DCG@k =次元算出する．以下に特長量のリストを示す．なお，形態素解

(5)

i=1

析器および分散表現獲得のための事前学習モデルは CosSim と同様のものを利用する．

1 ∑dcgi @kN
ideal_dcgi @kN事，関連記事，そして発行記事と関連記事の組み合わせから 40

DCG の定義はいくつかあり，本研究では Järvelin ら [10] によって定義されたものを DCG1，Burges ら [11] らによって定•

ヘッドライン・本文の文字列長（4 次元）•

ヘッドライン・本文の内容語数（4 次元）

る．DCG1 および DCG2 の定義をそれぞれ式 6 および式 7 に•本文の文章数（2 次元）示す．ここで reli はランキング中の i 番目の記事の正解スコア•

文字列長・内容語数・文書数の差（5 次元）（= y(q,r),i ）を表す．

•

ヘッドライン・本文の分散表現間の cos 類似度（4 次元）•

ヘッドライン・本文の内容語間のシンプソン係数（4 次元）•

ヘッドライン・本文の形態素 uni-gram，bi-gram，tri-gram

義されたものを DCG2 とし，NDCG1 および NDCG2 を算出す

DCG1@k = rel1 +配信日時の日付差，時間差，日時差（3 次元）•

カテゴリの重複フラグ，重複率（2 次元）ii=2の重複率（12 次元）

•

k
∑
rel

DCG2@k =log2 ik∑2reli − 1i=1

log2 (i + 1)

(6)

(7)

なお，本研究において NDCG 算出に利用する正解スコアはLambdaMART に向けて作成した CTR を四捨五入した整数値と（注 1）：https://taku910.github.io/mecab/

している．

-3-

—3—

表 3 各手法による関連記事抽出の精度（1,000 件）

表 2 各手法による正解関連記事ランキングの精度

NDCG1@k
k=1

k=2

k=3

k=4

NDCG1@k
k=5

CosSim (baseline) 0.602 0.724 0.782 0.827 0.881

k=5

k = 10 k = 25 k = 50 k = 100

CosSim (baseline)

0.163

0.180

0.204

0.217

0.234

LR

0.484 0.598 0.706 0.765 0.832

LR

0.003

0.011

0.029

0.033

0.040

SVR

0.638 0.749 0.792 0.843 0.891

SVR

0.126

0.181

0.250

0.251

0.251

LambdaMART

0.758 0.811 0.838 0.875 0.915

LambdaMART

0.218

0.236

0.257

0.269

0.281

NDCG2@k
k=1

k=2

k=3

k=4

NDCG2@k
k=5

CosSim (baseline) 0.525 0.626 0.696 0.747 0.801

k=5

k = 10 k = 25 k = 50 k = 100

CosSim (baseline)

0.168

0.185

0.213

0.226

0.245

LR

0.389 0.479 0.594 0.660 0.733

LR

0.003

0.011

0.029

0.034

0.041

SVR

0.557 0.653 0.703 0.762 0.815

SVR

0.128

0.184

0.254

0.255

0.255

LambdaMART

0.707 0.761 0.794 0.836 0.872

LambdaMART

0.249

0.270

0.293

0.306

0.318

MRR

（ 2 ） MRR

Recall@k
k=5

CosSim (baseline) 0.331 0.123

MRR（Mean Reciprocal Rank）とは，モデルの出力したラン
キングを上位から順番に辿って最初に正解記事が出現した順位の逆数を全データ分足し合わせ，データ数で割った平均値のこ

k = 10 k = 25 k = 50 k = 100
0.157

0.229

0.288

0.363

LR

0.038 0.006

0.025

0.079

0.099

0.139

SVR

0.241 0.110

0.222

0.441

0.443

0.445

LambdaMART

0.395 0.118

0.152

0.211

0.260

0.321

とである．MRR は 0 から 1 の間の値を取り，1 に近いほどモデ
表 4 各手法による関連記事抽出の精度（10,000 件）

ルが正解記事を上位に持ってくることができていると解釈できる評価指標である．式 8 に MRR の定義を示す．ここで N はテ

NDCG1@kk=5

k = 10 k = 25 k = 50 k = 100

CosSim (baseline)

0.072

0.081

0.094

0.102

0.110

LR

0.000

0.000

0.000

0.001

0.004

SVR

0.028

0.034

0.047

0.063

0.094

LambdaMART

0.125

0.136

0.146

0.155

0.163

k=5

k = 10 k = 25 k = 50 k = 100

ストデータ数，rank i は初めて正解記事が出現した順位を表す．

M RR =

N
1 ∑

N

i=1

1
rank i(8)（ 3 ） Recall@k

NDCG2@k

Recall@k は発行記事に対する正解関連記事が，モデルによって出力されたランキング上位 k 件中に何割含まれているか示

CosSim (baseline)

0.081

0.090

0.103

0.112

0.122

す値である．Recall は 0 から 1 の間の値を取り，1 に近いほど

LR

0.000

0.000

0.000

0.001

0.004

モデルが人の選ぶ記事を上位 k 件に選出することができてい

SVR

0.036

0.041

0.057

0.074

0.105

ると解釈できる評価指標である．式 9 に Recall@k の定義を示

LambdaMART

0.143

0.156

0.167

0.177

0.187

す．ここで， N は評価データ数， itemgs は正解記事の集合，

MRR

result pred はモデルの出力した記事の集合を表す．
Recall@k =N
1 ∑ |itemgs,i ∩ result pr ed,i |N

i=1|itemgs,i |Recall@k
k=5

CosSim (baseline) 0.167 0.052(9)

k = 10 k = 25 k = 50 k = 100
0.071

0.107

0.131

0.168

LR

0.004 0.000

0.000

0.001

0.005

0.022

SVR

0.069 0.017

0.027

0.061

0.125

0.270

LambdaMART

0.226 0.056

0.077

0.096

0.123

0.156

5. 2 実 験 結 果
発行記事と正解関連記事 5 件を与える正解関連記事ランキ
ング実験，および発行記事と正解関連記事を含む関連記事候補
データセットを与える関連記事抽出実験を各モデルで実施した．
それぞれの結果を 5. 2. 1 節および 5. 2. 2 節にまとめる．

慮してランキングを評価する NDCG2 の両方で上回っている点を踏まえ，LambdaMART の方が SVR よりも優先度の高い関連記事を適切に並べる能力が高いと考えられる．以上の結果から，提案手法のモデルは CTR の順序関係を適切に学習できている

5. 2. 1 正解関連記事ランキング実験と結論づけられる．

表 2 に NDCG1@k および NDCG2@k による各モデルの正5. 2. 2 関連記事抽出実験

解関連記事ランキングの精度を示す．結果より，ヘッドライ
ンの意味的類似性のみを考慮して単純に並び替えるよりも，

SVM や LambdaMART のような教師あり学習による CTR 推
定モデルを利用した手法の方が適切に関連記事をランキング
できていることがわかる．続いて，ベースラインを上回った

SVR と LambdaMART の NDCG を比較すると，全体を通してLambdaMART の NDCG が高かった．つまり，正解ラベルの単
純なランキングを評価する NDCG1 と，正解ラベルの重みを考

関連記事候補データセットのデータ数を 1000 件，10000 件，

53023 件（全件）としたときの精度を表 3 から 5 に示す．なお，
ここでの評価値は「1 つの記事に対して過去の記者が選出した関連記事 5 件が（たとえ，結果的に CTR が低くても）最も最適であり，それ以外の記事を付与した場合は全て CTR が 0% であった」という制約を基にして算出したものである．NDCG@k お
よび MRR の 2 つの評価指標において LambdaMART が最も高

-4-

—4—

といった表層情報や，「花火」と「火災」が火に関する情報と

表 5 各手法による関連記事抽出の精度（53,023 件）

いうことを認識し，誤った予測を行ったと推測できる．本研究NDCG1@kk=5

k = 10 k = 25 k = 50 k = 100

で用いたデータセットの多くは本文データを自動獲得できずに

CosSim (baseline)

0.028

0.032

0.040

0.044

0.051

欠損している割合がとても高い．そのため，抽出手法で利用し

LR

0.000

0.000

0.000

0.000

0.000

ているモデルが本文の情報よりもヘッドラインの情報に重みを

SVR

0.016

0.017

0.021

0.023

0.029

LambdaMART

0.081

0.086

0.093

0.098

0.104

置いてランキングを生成している可能性があると考えられる．
従って今後は，欠損している本文データの追加などデータセッ

NDCG2@kk=5

k = 10 k = 25 k = 50 k = 100

CosSim (baseline)

0.028

0.033

0.042

0.047

0.055

LR

0.000

0.000

0.000

0.000

0.000

SVR

0.020

0.022

0.026

0.029

0.035

LambdaMART

0.092

0.099

0.108

0.115

0.120

MRR

トの品質向上を行った上で再実験することで，これらの事象が解決されるか確認をすることも重要な課題の 1 つである．

6. お わ り に本研究では，発行予定の記事に付与する関連記事を選択する

Recall@k
k=5

問題をランキング学習として定式化し，ベースラインを含む 4

k = 10 k = 25 k = 50 k = 100

CosSim (baseline) 0.051 0.025

0.034

0.052

0.071

0.099

LR

0.001 0.000

0.000

0.000

0.000

0.001

SVR

0.034 0.007

0.009

0.017

0.027

0.050

LambdaMART

0.140 0.035

0.043

0.057

0.072

0.092

つの手法を提案した．5 件の正解関連記事を CTR が高い順に並べ替えを行う正解関連記事ランキング実験，および関連記事候補から適切な関連記事候補を上位に選出する関連記事抽出実験の 2 つを実施し，各モデルの精度を確認した．また，最も精度の高い LambdaMART を用いたランキング生成モデルによる入い精度を示しており，LambdaMART が他の手法に比べ人が選んだ記事を上位に抜き出し，関連記事の並びの適切性が高いことがわかった．また，NDCG1 と NDCG2 のスコアを比較すると，

NDCG2 の方が全体的に高い値となっていることを確認した．
一方で，Recall@k については SVR やベースラインの CosSimの方が評価値が高い場合が多いという結果になった．以上のこ出力の事例についても報告した．今後は，データセットの品質向上およびモデルの再学習・再実験を実施することで，現状のモデルとしての課題をまとめていきたい．また，本研究で利用した手法を検索エンジンとし，記者が関連記事を選択する業務
支援システムの開発，それを用いた運用を行いながら出力の評
価・分析に取り組みたい．

とから，SVR や CosSim のように発行記事と関連記事のペアのスコアを独立で算出しているモデルが人の選ぶ記事を網羅的に上位に選ぶ性質がある．その一方，LambdaMART は高い CTRを見込めないと判断した記事については下位に配置しながらランキング全体を最適化する傾向にあると推測できる．本実験では運用環境を想定した膨大な候補の中から関連記事の抽出を行い，制約付きでの精度評価を行った．したがって今後は，記者とシステムそれぞれが選んだ記事を基に運用した結果を比較分析などを実施し，各提案手法の更なる精度検証を行っていく必
要がある．

5. 3 検証データによる出力例
本節では，検証データを入力として受け取り，LambdaMARTが実際に出力した結果について正例（表 6）および負例（表 7）を示す．表 6 の入力記事は，福岡知事選で自民県議が自民党推薦の立候補者ではなく，現職の知事を推薦するために会派を退会したことを報じた記事である．これに対して，LambdaMARTのモデルは本文の欠損があるにも関わらず，記者の選んだ CTRの高い記事を同様に上位に選出しており，他の正解関連記事についても 100 位以内に選出している．また，記者に選ばれていない記事で LambdaMART のモデルが抽出した記事の中に党内での派閥争いなどを扱った記事が上位にランキングされていることが確認できた．表 7 の入力記事は有明海花火フェスタが終了することを報じた記事である．花火に関連する記事が候補中に存在するにも関わらず，福岡県や佐賀県の火災を報じる記事を選出しており，ヘッドラインに含まれる「福岡県」「柳川市」

-5-

文

献

[1] T.-Y. Liu, Learning to Rank for Information Retrieval, Springer, 2011.
[2] T. Mikolov, I. Sutskever, K. Chen, G.S. Corrado, and J. Dean, “Distributed Representations of Words and Phrases and their Compositionality,” Proceedings of the 26th International Conference on Neural Information Processing Systems (NeurIPS2013), pp.3111–3119,
2013.
[3] F. Pedregosa, G. Varoquaux, A. Gramfort, V. Michel, B. Thirion, O.
Grisel, M. Blondel, P. Prettenhofer, R. Weiss, V. Dubourg, J. Vanderplas, A. Passos, D. Cournapeau, M. Brucher, M. Perrot, and E.
Duchesnay, “Scikit-learn: Machine Learning in Python,” Journal of
Machine Learning Research (JMLR), vol.12, pp.2825–2830, 2011.
[4] V. Vapnik, The Nature of Statistical Learning Theory, Springer, 2013.
[5] C.J. Burges, “From Ranknet to Lambdarank to Lambdamart: An
Overview,” 2010.
[6] O. Chapelle and Y. Chang, “Yahoo! Learning to Rank Challenge
Overview,” Proceedings of the Learning to Rank Challenge, pp.1–24,
2011.
[7] C.J. Burges, R. Ragno, and Q.V. Le, “Learning to Rank with Nonsmooth Cost Functions,” Proceedings of the 19th International Conferences on Neural Information Processing Systems (NeurIPS2006),
pp.193–200, 2006.
[8] J.H. Friedman, “Greedy Function Approximation: A Gradient Boosting Machine,” Annals of Statistics, vol.29, no.5, pp.1189–1232, 2001.
[9] G. Ke, Q. Meng, T. Finley, T. Wang, W. Chen, W. Ma, Q. Ye, andT.-Y. Liu, “Lightgbm: A Highly Eﬃcient Gradient Boosting Decision
Tree,” Proceedings of the 31st International Conference on Neural Information Processing Systems (NeurIPS2017), pp.3146–3154, 2017.
[10] K. Järvelin and J. Kekäläinen, “Cumulated Gain-based Evaluation of
IR Techniques,” ACM Transactions on Information Systems (TOIS),
vol.20, no.4, pp.422–446, 2002.
[11] C. Burges, T. Shaked, E. Renshaw, A. Lazier, M. Deeds, N. Hamilton,
and G. Hullender, “Learning to Rank Using Gradient Descent,” Proceedings of the 22nd International Conference on Machine Learning(ICML2005), pp.89–96, 2005.

—5—

表 6 検証データにおけるランキング例（正例）
発行記事
ヘッドライン
本文

福岡知事選で現職支持、自民県議が退会届「一身上の都合」

（欠損）

配信日時

2019 年 2 月 14 日 (木)

カテゴリ

社会

9:30
LambdaMART が選出した関連記事上位 10 件

予測順位

ヘッドライン1

現職支援を二階氏容認？

2"面従腹背"予告も 自民分裂の福岡知事選 議員の「結束」早くも不協和音

福岡知事選、自民議員対応巡り「発言に注文付ける必要はない」

3

私怨拭えず看板倒れ 麻生氏「心からおわび」

福岡知事選、自民推薦候補落選

4「反麻生」うねり一気

福岡知事選

5

自民「ねじれ」組織困惑

6「推薦だめなら副総理やめる」首相に迫った麻生氏の"執念"

7

福岡知事選は自民分裂

党本部、異例の新人推薦を決定

8「トトロ」に見える？

高さ 120 メートル、岩山が話題に

9「麻生色」払拭したい新人、現職は自民全面の「県民党」

10【混戦 参院選福岡】（上）しこり

権力争い拒否感あらわ

知事選、現職路線に揺らぎ「麻生氏の私怨」反発も自民分裂の福岡知事選

現職の要請退ける
長崎
福岡知事選、対照的な戦略【福岡コンフィデンシャル】

自民、挙党態勢に不安
記者の選んだ関連記事

正解順位

予測順位 ヘッドライン

1

2"面従腹背"予告も 自民分裂の福岡知事選議員の「結束」早くも不協和音

2

6「推薦だめなら副総理やめる」首相に迫った麻生氏の"執念"3

28「勝負あり」「意味ない」

4

94

麻生氏と「大御所たち」の覇権争い

5

17「与野党対決よくない」現職知事が異例の推薦辞退

保守分裂の福岡知事選、一気に拡散した"秘密"の調査
福岡知事選、狭まる"包囲網"福岡知事選、立憲民主が取り下げへ

表 7 検証データにおけるランキング例（負例）
発行記事
ヘッドライン

夏の風物詩「有明海花火」が終了

観覧者 10 万人超、渋滞が深刻化

福岡県柳川市

柳川市橋本町の干拓地で８月に開かれる「有明海花火フェスタ」が今年を最後に終了することが分かった。市観光課に本文よると近年、観覧者数が１０万人を超え、...（中略）... 今夏の第２０回大会では、世界最長クラスとなる全長２キロの打ち上げ方式の仕掛け花火「スカイナイアガラ」が人気を呼んだ。

配信日時2018 年 12 月 12 日 (水)

カテゴリ

社会

9:22
LambdaMART が選出した関連記事上位 10 件

予測順位

ヘッドライン1

福岡県飯塚市で建物火災か2

福岡県みやま市の火災は鎮火

3佐賀県鹿島市で林野火災か4福岡県久留米市で建物火災か

5

マイクロバス追突、13 人けが

6

福岡県の大曲副知事が再任へ

7

吉本興業が福岡に新劇場

8福岡県大川市で建物火災発生か

9

トヨタ 18 万台リコール

10

福岡ボート・オールスタークオカを 10 人に記者の選んだ関連記事

正解順位

予測順位 ヘッドライン

1

1350

「1 杯 1 万円」福岡の喫茶店に特別なコーヒー

1

7899

「今なら絶対に付けられない名前」

1

8905

「注文は必ずカツ丼」佐賀県唐津市に若い女性が押し寄せるワケ

1

13075

壁一面に「うまい棒」

1

43735

84 年の歴史、時が止まったビル シャッター開けてみたら

親しまれて 35 年、福岡市の焼き鳥店が閉店

月額 540 円でカレー食べ放題の店-6-—6—