SIGIR 2019参加報告
2019年11⽉23⽇

ヤフー株式会社
野本 昌⼦ Bhattacharjee Anupam
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

①SIGIR

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

①SIGIR

SIGIRとはü 情報検索分野のトップカンファレンス
ü 正式名称：International ACM SIGIR Conference on Research and Development in Information Retrieval
ü 1978年からは毎年開催

ü 主催組織：国際学会ACM(Association for Computing Machinery)の情報検索の分科会
SIGIR (Special Interest Group on Information Retrieval)
公式ページ：

http://sigir.org/

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

①SIGIR

⼤陸別SIGIR開催回数
開催地(2014-2022)

⼤陸別開催回数(1978-2019)

北⽶とヨーロッパが多かったが，近年はアジア・オセアニア，南北アメリカ，ヨーロッパを順に回っている[SIGIRLOC] を元に作成
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

年

開催地

2022

Madrid, Spain

2021

Montréal, Canada

2020

Xiʼan(⻄安), China

2019

Paris, France

2018

Ann Arbor, Michigan, USA

2017

Tokyo, Japan

2016

Pisa, Italy

2015

Santiago de Chile, Chile

2014

Queensland, Australia
ただし，2020以降は2019年9⽉24⽇時点の予定

①SIGIR

情報検索の周辺分野の国際会議

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

[Kamishima2019] ML, DM, and AI Conference Map. に追記

②SIGIR2019

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

②SIGIR2019

SIGIR2019
項⽬

SIGIR2019

回

42

会期

July 21-25 (5 days)

開催地

シテ科学産業博物館 (Paris, France)

参加者数(登録数)

1,025

フルペーパー84/426 (採択率 19.7%)

ショートペーパー

108/443 (24.4% )デモ

21/46 (45.7% )チュートリアル11*1

ワークショップ

8

SIRIP

基調講演2, 招待講演3, ⼀般9/12（75.0%）

TOIS(*2)31(⼝頭発表12＋ポスター19)*1: 13チュートリアルが採択され, 11チュートリアルに統合された．
*2: ACM Transactions on Information Systems (volume 36) の論⽂の紹介. SIGIR2017 から TOISの論⽂の著者はACM SIGIRが後援する CHIIR，SIGIR，ICTIR のいずれかの国際会議で⼝頭発表を⾏えることになった．
[TOIS][SIGIR2019DL]pp.iii-iv.
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

シテ科学産業博物館(Cité des Sciences et de l'Industrie)

パリ北東部

②SIGIR2019

SIGIR2016〜2019 概要
項⽬

SIGIR2019

SIGIR2018

SIGIR2017

SIGIR2016

回

42

41

40

39

会期

July 21-25 (5 days)

July 8-12 (5 days)

Aug 7‒11 (5 days)

July 17-21 (5 days)

開催地

Paris, France

Ann Arbor Michigan,
USA

Tokyo, Japan

Pisa, Italy

参加者数(登録数)

1,025 (過去最多)

740

911

566

フルペーパー84/426 (採択率 19.7%)

86/409 (21.0% )78/362 (21.5% ）62/341 (18.1%)

ショートペーパー

108/443 (24.4% )98/327 (30.0% )121/398 (30.4% )104/339 (30.7% )デモ

21/46 (45.7% )18/36 (50.0%)

17/36 (47.2% )21/35 (60.0% )チュートリアル

11

11

8

12

ワークショップ

8

10

8

7

SIRIP(Industry
Track)

⼀般9/12 (75.0%)

⼀般9/16 (56.3%)

⼀般5

⼀般12

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

[SIGIR2019DL]pp.iii-iv [SIGIR2018DL]pp.iii-iv[SIGIR2017DL]p.iii [SIGIR2016DL]pp.v-vi を元に作成

②SIGIR2019

SIGIR参加者数の推移(2001〜2017)
911

566

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

[Keyaki2017]p.9に追記.

②SIGIR2019

SIGIR参加者数の推移(2001〜2019)
1,025
911
740

20

18

An

n

20 Arb
19 or
Pa
ris

566

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

[Keyaki2017]p.9に追記.

(SIGIR2019 Opening, SIGIR2018 Openingの情報を元に作成)

②SIGIR2019

SIGIR2018 スポンサー企業
国

企業

2018

2017

2016

Microsoft

○

○

○

IBM

○

○

○

Bloomberg○

Google○○○Facebook

○

○

○

ebay

○

○

○

amazon○○○wayfair○

Home Depot
Alibaba

○
○

○

Baidu

○

○

Sogou

○

○

Byte Dance

○

kika

○

旅⾏(ライドシェア)

DiDi

○

韓国

IT

NAVER

○

スウェーデン

⾳楽

Spotify

○

⽶国

分類
IT

⼩売/eコマース

中国IT

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

○

○

○

⽶国(開催国)は⼩売/eコ
マースの企業が増加

アジアのIT企業が増加中[SIGIR2018DL] pp.xxxviii-xl,[SIGIR2017DL] pp.xxxv-xxxvi,[SIGIR2016DL] pp.xvii-xviiiを元に作成

②SIGIR2019

SIGIR2019 スポンサー企業
国

企業

2019

2018

2017

2016

Microsoft

○

○

○

○

IBM

○

○

○

○

Bloomberg○○

Google○○○○Facebook

○

○

○

○

Apple

○

ebay

○

○

○

○

amazon

○

○

○

○

IT

Criteo AI Lab

○

メディア

Technicolor

○

ドイツ

eコマース

Zalando○スウェーデン

⾳楽

Spotify○

⽇本

IT, ⼩売/eコマース

Rakuten

○

○

中国

IT

HUAWEI

○

○

韓国

IT

NAVER

○

インド

IT

ShareChat○

オーストラリア

IT

Appen

○

⽶国

分類
IT

⼩売/eコマースフランス

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

○

AppleがPlatinumで参加

○

○

○

○
○

アジア(特に中国IT企業) 減少[SIGIR2019DL] pp.xlii-xlv,[SIGIR2018DL] pp.xxxviii-xl,[SIGIR2017DL] pp.xxxv-xxxvi,[SIGIR2016DL] pp.xvii-xviiiを元に作成

②SIGIR2019

SIGIR2019の主な変化（運営）(1/3)
Whova(イベントアプリ)

https://whova.com/
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

②SIGIR2019

SIGIR2019の主な変化（運営）(2/3)
Whova(イベントアプリ)

⾃分の聴講予定も確認できる

パラレルセッションで同じ時間帯のセッションがわかる

https://whova.com/
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

②SIGIR2019

SIGIR2019の主な変化（運営）(3/3)
Whova
オーガナイザからの連絡

困ったらすぐ相談できる
⼈の動きや講演の⼈気度がわかる

https://whova.com/
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

②SIGIR2019

SIGIR2019 word cloud

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

(SIGIR2019 Opening)

②SIGIR2019

SIGIR2019 word cloud・ Search(検索)よりRecommendation(推薦)やLearning(学習)等が⽬⽴つCopyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

(SIGIR2019 Opening)投稿・採択状況

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

②SIGIR2019

フルペーパー投稿数,採択数,採択率の推移(SIGIR 1999〜2019)
SIGIR2019
SIGIR2019
採択率19.7%

・投稿

：426本

・採択

：84本

・採択率
平均採択率
19.3%

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

：19.7%

・SIGIR平均採択率(ʻ99-ʼ19):
19.3%[SIGIR2019DL]のPublication, Acceptance Rateの表より作成.

②SIGIR2019

フルペーパー国別投稿数・採択数 (SIGIR2017)
投稿数は中国がトップ
採択数は⽶国がトップ

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

[SIGIR2017OP]p.6に追記

②SIGIR2019

フルペーパー国別投稿数・採択数 (SIGIR2017)

SIGIR2017
国別採択数
1位 ⽶国
2位 中国
フルペーパー国別投稿数・採択数 (SIGIR2017)
採択数は⽶国がトップ

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

[SIGIR2017OP]p.6に追記

②SIGIR2019

フルペーパーの国別採択数の分布 (SIGIR2016〜2019)

SIGIR2017
国別採択数
1位 ⽶国
2位 中国

採択数はSIGIR2018から中国がトップ[SIGIR2019DL]p.iii, [SIGIR2018DL]p.iii, [SIGIR2016DL]p.v より作成
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

②SIGIR2019

フルペーパーの国別投稿数,採択数 (SIGIR2019)

国別投稿数

国別採択数

国別採択率
中国：25.5%(採択36/投稿141)
⽶国：22.2%(採択22/投稿99)
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

採択数ランキング(※投稿数ランキングも9位まで同じ)
1 中国
2 ⽶国
3 オーストラリア
4 シンガポール
5 オランダ
6 ⽇本(SIGIR2019 Opening) に追記

②SIGIR2019

フルペーパーの投稿論⽂の著者の国別分布 (SIGIR2016-2019)

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

①中国

②⽶国

①中国

②⽶国

①中国

②⽶国

①⽶国

②中国

[SIGIR2019DL]p.iii,[SIGIR2018DL]p.iii,[SIGIR2017DL]p.iii,[SIGIR2016DL]p.v を元に作成.
(訂正)予稿 図4のキャプションは正しくは「フルペーパーの投稿論⽂の著者の国別分布 (SIGIRʼ16-ʼ19)」．脚注11も上記に訂正.

②SIGIR2019

フルペーパーの国別投稿数,採択数 (SIGIR2019)
採択数/投稿数ランキング(※今回は9位まで同じ)

国別投稿数

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

国別採択数

1 中国
2 ⽶国
3 オーストラリア
4 シンガポール
5 オランダ
6 ⽇本(SIGIR2019 Openingに追記)②SIGIR2019

フルペーパー採択論⽂の著者例(⽇本⼈) (SIGIR2016-2019)
会議

セッション

SIGIR2019 1A: Learning to Rank 1

著者(*: 筆頭)
Kenta Takatsu (Cornell⼤)2C: Knowledge and Entities

Makoto P. Kato (筑波⼤) , Masatoshi Yoshikawa (京都⼤)7A: Relevance and Evaluation 1

Tetsuya Sakai*(早稲⽥⼤)

SIGIR2017 1A: Evaluation 1

Tetsuya Sakai* (早稲⽥⼤)4A: Evaluation 2

Tetsuya Sakai (早稲⽥⼤)

6B: Conversations and Question
Answering

Sosuke Shiga*, Hideo Joho (筑波⼤)SIGIR2016 1A: Evaluation I
5B: Novelty and Diversity

Tetsuya Sakai* (早稲⽥⼤)Tetsuya Sakai (早稲⽥⼤)調査⽅法：SIGIR2019 については著者名から⽇本⼈らしいと主観で判断した⼈名を選んだ. 他の回について網羅的な調査はしていない.
また，TOIS (ACM Transactions on Information Systems) のジャーナル論⽂の著者は含めていない.

[SIGIR2016HP][SIGIR2017HP][SIGIR2019HP]
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

②SIGIR2019

フルペーパーの所属グループ別著者数 (SIGIR2016〜2019)

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

[SIGIR2018AC] のfull paperの著者の所属，[SIGIR2019HP], [SIGIR2017HP]，[SIGIR2016HP] のプログラムの著者の所属を元に分類.

②SIGIR2019

フルペーパーの企業別著者数(SIGIR2016〜2019)■SIGIR2019■SIGIR2018■SIGIR2017■SIGIR2016

・全体として⼊れ替わりが激しい
・上位ではAlibabaとGoogleが増加、Microsoftは安定[SIGIR2018AC]，[SIGIR2019HP], [SIGIR2017HP], [SIGIR2016HP]の著者の所属を元に作成.
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

トラック

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

②SIGIR2019

トラックと投稿・選考の関係 (SIGIR2019-2018)

回

投稿

選考

SIGIR2019

関連トラックを1-2選択

全体 (トラック横断)

SIGIR2018

トラック別

トラック別

[SIGIR2019HP] [SIGIR2018HP]
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

②SIGIR2019

トラック別投稿・採択状況(SIGIR2019)
トラック(a) Search and Ranking(b) Future Directions(c) Domain-Specific Applications(d) Content Analysis, Recommendation andClassification(e) Artificial Intelligence, Semantics, and Dialog(f) Human Factors and Interfaces(g) Evaluation
投稿数の多かったトラック：①(d) コンテンツ分析, 推薦, 分類②(a) 検索とランキング(注意) SIGIR2019は1-2Trackを選択して投稿, Track横断で選考.

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

[SIGIR2019DL]p.iiiを元に作成

②SIGIR2019

トラック別投稿数(SIGIR2018〜2019)
SIGIR2019
トラック

SIGIR2018
採択/投稿数(採択率)

関連トラック(a) Search and Ranking

26/127(0.20)

Search and Ranking (Core IR)(b) Future Directions

4/41(0.10)

Foundations and Future Directions(c) Domain-Specific Applications

10/82(0.12)

Domain-Specific Applications(d) Content Analysis, Recommendation andClassification

34/197(0.17)

Content Recommendation, Analysis andClassification(e) Artificial Intelligence, Semantics, and Dialog

18/94(0.19)

Artificial Intelligence, Semantics, and Dialog(f) Human Factors and Interfaces

11/45(0.24)

Human Factors and Interfaces(g) Evaluation

7/31(0.23)-

投稿数の多かったトラック：①(d) コンテンツ分析, 推薦, 分類②(a) 検索とランキング

投稿数の多かったトラック：①(d) コンテンツ推薦, 分析, 分類(注意)
・SIGIR2019は1-2Trackを選択して投稿, Track横断で選考.
・SIGIR2018はTrack別に投稿＆選考.

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

[SIGIR2019DL]p.iii, [SIGIR2018DL] p.iii-iv

②SIGIR2019

トラック別投稿数(SIGIR2018〜2019)
SIGIR2019
トラック

SIGIR2018
採択/投稿数(採択率)

関連トラック(a) Search and Ranking

26/127(0.20)

Search and Ranking (Core IR)(b) Future Directions

4/41(0.10)

Foundations and Future Directions(c) Domain-Specific Applications

10/82(0.12)

Domain-Specific Applications(d) Content Analysis, Recommendation andClassification

34/197(0.17)

Content Recommendation, Analysis andClassification(e) Artificial Intelligence, Semantics, and Dialog

18/94(0.19)

Artificial Intelligence, Semantics, and Dialog(f) Human Factors and Interfaces

11/45(0.24)

Human Factors and Interfaces(g) Evaluation

7/31(0.23)-

投稿数の多かったトラック：①(d) コンテンツ分析, 推薦, 分類②(a) 検索とランキング
採択数の多かったトラック：①(d) コンテンツ分析, 推薦, 分類②(a) 検索とランキング
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

投稿数の多かったトラック：①(d) コンテンツ推薦, 分析, 分類
採択数の多かったトラック：①(c) 特定分野の応⽤②(f) Human Factors とインターフェイス[SIGIR2019DL]p.iii, [SIGIR2018DL] p.iii-iv

セッション

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

②SIGIR2019

SIGIR2019 セッション別論⽂数分類- 推薦 (⻘⾊)- 対話 (⾚⾊)- セマンティック関連 (緑⾊)- ユーザより (ピンク⾊)

論⽂数が多いセッション- (3A,7C) 推薦- (7A,9B) 適合性と評価- (1A,9C) ランキング学習

新しいセッション- (3B) 解釈性と説明性- (7B) 多⾔語とクロスモーダ
ル検索- (9A) ファッションマッチ

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

②SIGIR2019

SIGIR2016 セッション別発表論⽂数分類- 推薦 (⻘⾊)- 対話 (⾚⾊)- セマンティック関連 (緑⾊)- ユーザより (ピンク⾊)
論⽂数が多いセッション
- 推薦
- 評価
- 効率

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

[Nomoto2018HO]p.27

②SIGIR2019

SIGIR2017 セッション別発表論⽂数分類- 推薦 (⻘⾊)- 対話 (⾚⾊)- セマンティック関連 (緑⾊)- ユーザより (ピンク⾊)
論⽂数が多いセッション- フィルタリングと推薦- 検索モデルとランキング- 検索のインタラクション

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

[Nomoto2018HO]p.28

②SIGIR2019

SIGIR2018 セッション別発表論⽂数分類- 推薦 (⻘⾊)- 対話 (⾚⾊)- セマンティック関連 (緑⾊)- ユーザより (ピンク⾊)
論⽂数が多いセッション- ランキング学習- ユーザの⾏動の分析関連- 推薦関連新しいセッション- New IR Application- Social Good 等

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

[Nomoto2018HO]p.29に追記

②SIGIR2019

SIGIR2019 セッション別論⽂数分類- 推薦 (⻘⾊)- 対話 (⾚⾊)- セマンティック関連 (緑⾊)- ユーザより (ピンク⾊)

論⽂数が多いセッション- (3A,7C) 推薦- (7A,9B) 適合性と評価- (1A,9C) ランキング学習

新しいセッション- (3B) 解釈性と説明性- (7B) 多⾔語とクロスモーダ
ル検索- (9A) ファッションマッチ

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

②SIGIR2019

アプリ*1上の セッション別参加登録数・like数の分布(SIGIRʼ19)(知識とエンティティ)(検索意図)(クエリ)(推薦 2)(効率, 効果と性能)(適合性と評価 1)(解釈性と説明性)(ランキング 学習 1)※2019年9⽉23⽇時点
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

*1: Whova (https://whova.com/)

②SIGIR2019

アプリ*1上の セッション別参加登録数・like数の分布(SIGIRʼ19)(知識とエンティティ)(検索意図)(クエリ)(推薦 2)(効率, 効果と性能)(適合性と評価 1)(解釈性と説明性)(ランキング 学習 1)

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

*1: Whova (https://whova.com/)ニューラルネット
に関する動向Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

②SIGIR2019

ニューラルネットに関する動向(SIGIR2016)
SIGIR2016 基調講演
• Christopher Manning⽒が深層学習のSIGIRへの浸透を予測

Iʼm certain that deep learning will come to dominate
SIGIR over the next couple of years … just like speech,
vision, and NLP before it.

[Manning2016] p.72, Final thoughts.

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

②SIGIR2019

ニューラルネットに関する動向(SIGIR2017)
SIGIR2017 Neu-IRʼ17
・SIGIRの論⽂のうち約23%がNeural IR関連

「Neural Netsの年」[Mitra2017]p.3に追記
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

②SIGIR2019

SIGIR2018 セッション別フルペーパー論⽂数とニューラルネット関連論⽂数
ニューラルネット関連の論⽂
論⽂数・フルペーパーの約46.0% (40/87)

・調査は基本的にはキーワードベース(ʻneuralnetʼ，ʻdeep learningʼ)で, future workとして挙げたもの等,⾮該当と容易に判別できるもののみ除いた.
・セッション単位の分布では同じ名前で複数枠のセッション（例：Learning to Rank IとLearningto Rank II)は1セッションにまとめた.

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

②SIGIR2019

SIGIR2019 セッション別フルペーパー論⽂数とニューラルネット関連論⽂数
ニューラルネット関連の論⽂
論⽂数・フルペーパーの約73.8% (62/84)

・調査は基本的にはキーワードベース(ʻneuralnetʼ，ʻdeep learningʼ等)で, future workとして挙げたもの等,⾮該当と容易に判別できるもののみ除いた.
・セッション単位の分布では同じ名前で複数枠のセッションは1セッションにまとめた.

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

②SIGIR2019

SIGIR2018 セッション別フルペーパー論⽂数とニューラルネット関連論⽂数
ニューラルネット関連の論⽂
論⽂数・フルペーパーの約46.0% (40/87)

セッション単位の分布
・フルペーパーではテクニカルセッションの
約73.1% (19/26)
・調査は基本的にはキーワードベース(ʻneuralnetʼ，ʻdeep learningʼ)で, future workとして挙げたもの等,⾮該当と容易に判別できるもののみ除いた.
・セッション単位の分布では同じ名前で複数枠のセッションは1セッションにまとめた.

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

②SIGIR2019

SIGIR2019 セッション別フルペーパー論⽂数とニューラルネット関連論⽂数
ニューラルネット関連の論⽂
論⽂数・フルペーパーの約73.8% (62/84)

セッション単位の分布
・フルペーパーではテクニカルセッションの
約95.5%(21/22)
・調査は基本的にはキーワードベース(ʻneuralnetʼ，ʻdeep learningʼ等)で, future workとして挙げたもの等,⾮該当と容易に判別できるもののみ除いた.
・セッション単位の分布では同じ名前で複数枠のセッションは1セッションにまとめた.

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

②SIGIR2019

SIGIR2019 セッション別フルペーパー論⽂数とニューラルネット関連論⽂数
推薦
質問応答
対話
ファクトチェック, プライバシーと法(Legal)
Personalization, 個⼈情報の検索
多⾔語とクロスモーダル検索
ファッションマッチ
Hashing

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

②SIGIR2019

SIGIR2019 ニューラルネット関連論⽂のキーワード
結果：・attention・attention(40) (attention mechanism(18)を含む)
・BERT (4)・Transformer(少数)・RNN 系
・RNN(15) (Bi-directional RNN(数件)を含む)・GRU(15) (Bi-GRU(数件)を含む)
・LSTM(15) (Bi-LSTM(8)を含む)
・Seq2Seq(3)・CNN 系・CNN(14)
・VGG(2-3)
・GCN(2-3)
・GAN (2)Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

調査⽅法：
・ニューラルネット(NN) 関連の論⽂で使われた⼿法を論⽂中のキーワード⽂字列の出現で⽬視調査
・数字は論⽂数(全て概数)

受賞論⽂

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

②SIGIR2019[Best Paper] Variance Reduction in Gradient
Exploration for Online Learning to Rank

著者：Huazheng Wang (University of Virginia) , et al.

モデルのアップデート

概要：Dueling Bandit Gradient Descent(DBGD)のようなオンラ
インランキング学習において，勾配の予測のvarianceを⼩さくする⼿法の提案．クエリの重みの異なるランキングから合成した
検索結果をユーザに提⽰し，ユーザからのクリックを元にモデルをアップデートする際、実際にユーザが評価した⽂書空間に制限することでノイズを除去する.

Dueling Bandit Gradient Descent (DBGD)[Wang2019]p.838 Figure 1

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

[Oosterhuis2019] p.126, Dueling Bandit Gradient Descent: Visualization

②SIGIR2019

SIGIR2019受賞論⽂
award

title

authors

補⾜
DBGDのようなオンラインランキング学習において，勾配の予測のvarianceを⼩さくする⼿法の提案．クエリの重みの異なるランキングから合成した検索結果をユーザに提⽰し，ユーザからのクリックを元にモデルをアップデートする際、実際にユーザが評価した⽂書空間に制限することでノイズを除去する.

Best Paper
Award

9C: Learning to Rank 2
Variance Reduction in
Gradient Exploration for
Online Learning to Rank

Huazheng Wang (University ofVirginia) , et al.

Best Paper
Honorable
Mention

8B: Hashing
Online Multi-modal
Hashing with Dynamic
Query-adaption

Xu Lu (Shandong Normal
University) , et al.

Best Short
Paper Award

Short Research Papers 2A:
AI, Mining, and others
Block-distributed Gradient
Boosted Trees

Theodore Vasiloudis (RISE AI) ,Hyunsu Cho (Amazon Web
Services) , Henrik Boström(KTH Royal Institute ofTechnology)

Test of TimeAward(*1)

Novelty and diversity in
information retrieval
evaluation

Charles L.A. Clarke,
Maheedhar Kolla, Gordon V.
Cormack, Olga Vechtomova,
Azin Ashkan, Stefan Büttcher,and Ian MacKinnon(SIGIR2008) [Clarke2008]

情報検索の評価指標n-DCGの改良版(α-nDCG)の提案.
n-DCGはユーザのクエリに対する検索結果リストの適合度合をランキングを考慮して評価する指標．本研究ではクエリ⾃体の曖昧性を解決するためのdiversity と、重複した検索結果を避けるnoveltyに配慮した評価指標を提案．

*1: 過去10-12年のSIGIRがスポンサーの会議で最もインパクトの⼤きかった論⽂に贈られる賞. (参考) ACM Digital Library の本論⽂のダウンロード数(3,544.) 2019/9/20時点

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

基調講演

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

②SIGIR2019

The Importance of Interaction for Information Retrieval
講演者：W. Bruce Croft (マサチューセッツ⼤学
アマースト校, ロイヤルメルボルン⼯科⼤学)
テーマ：
・情報検索におけるインタラクションの重要性
トピック：
・ユーザーインタラクションに関するIR研究の歴史・質問応答, 対話的検索におけるインタラクション
・CIIR*1の研究例
・今後の課題What Next?
・Intent-awareな(意図意識型の)対話の応答(⽣成・検索のハイブリッドで)・⾃然⾔語理解と推論モデルの取り込み
・検索のための明⽰的/implicitな対話モデルの研究
・回答時のインタラクションと可視化に関するユーザスタディ
・インタラクティブな対話的検索のより良い評価⽅法の開発
・⼤規模なテストコレクションの開発
・インタラクションの他のmodesの開発
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

[Croft2019] p.54

*1 : Center for Intelligent Information Retrieval, a research center at the Department of Computer Science, UMass Amherst.

②SIGIR2019

Automatic Understanding of the Visual World (1/4)
講演者： Cordelia Schmid⽒ (フランス国⽴情報学⾃動制御研究所)

データ例：SURREAL Dataset

・コンピュータビジョンの研究
・Longuet-Higgins Prize(3回), Humbolt research award,
Inria & French Academy of Science Grand Prix,
Koenderink prize等受賞多数. 2018よりGoogle AIにも参加.

講演テーマ：⽬に⾒える世界の⾃動理解
講演内容：
・データ manual/synthetic/weakly-supervised
・動画の理解・実世界とのインタラクション

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

応⽤例：Body part segmentation[Schmid2019]

②SIGIR2019

Automatic Understanding of the Visual World (2/4)
マルチモーダルな弱教師学習
アプローチ
・Video-Bert[C.Sun et al. 2019]
・動画と発話の対応を事前学習

トレーニングデータ：
・YouTubeの料理/レシピ動画(320K)
・英語⾳声認識出⼒付き動画 (120K)

応⽤ zero-shot action classification
・評価 YouCook II
・結果・VideoBERTで動画と⾔葉の対応を学習できる・accuracyはfully-supervisedに近づいている・データ量が多いほど良い結果[Schmid2019]
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

②SIGIR2019

Automatic Understanding of the Visual World (3/4)
動画の理解

関係のモデル化の効果

・Structured model for action detection in video

hold

eat

時間の依存関係の学習の効果

sit[Schmid2019]
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

fall down

②SIGIR2019

Automatic Understanding of the Visual World (4/4)
⾏動予測
Relational action forecasting

予測と結果

Eat

Get up[Schmid2019]
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

チュートリアル

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

②SIGIR2019

チュートリアル概要
チュートリアルBuilding Economic Models and Measures of Search (資料)

資料
検索の経済モデルと評価指標.情報フォレージング理論等.

Effective Online Evaluation for Web Search (資料)Web 検索のオンライン評価.

Learning to Rank in theory and practice: From Gradient Boosting
to Neural Networks and Unbiased Learning (資料)
Deep Chit-Chat: Deep Learning for Chatbots
Example-driven Search: a New Frontier for Exploratory Search(資料)
ExplainAble Recommendation and Search (資料)
Web Table Extraction, Retrieval and Augmentation (資料)ランキング学習の理論と実際.勾配ブースティング，NN 応⽤，Unbiased Learning 等.
Deep Learning のチャットボットへの応⽤.

Deep Natural Language Processing for Search Systems (資料)

産業界からみた検索システム向けの Deep Learning ベースの⾃然⾔語処理.
ユーザの意図のマイニング，ソーシャルネットワークからのマイニング，評価等.
検索，推薦における Fairness(公平性).

example ベースの検索.
説明可能な推薦と検索.
Web テーブル抽出，検索，拡張.

Extracting, Mining and Predicting Usersʼ Interests from Social
Networks (資料)
Fairness and Discrimination in Retrieval and Recommendation(資料)
Learning to Quantify: Estimating Class Prevalence via Supervised Quantification(定量化).
Learning
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

②SIGIR2019

Effective Online Evaluation for Web Search(1/3)[チュートリアル] Effective Online Evaluation for Web Search (Web 検索のオンライン評価)[著者] Alexey Drutsa1, Gleb Gusev1, Eugene Kharitonov2, Denis Kulemyakin1, Pavel Serdyukov1, Igor Yashkov1(1: Yandex, 2: Facebook)[概要]

Web 検索のオンライン評価

・指標の構築・Yandexでのオンライン実験の実例
・テストの重要性, 限界, バイアス,
得られた教訓等.

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

[Drutsa2019] (Part3) Experimentation pipeline and workflow in the light of industrial practice, p.21.

②SIGIR2019

Effective Online Evaluation for Web Search(2/3)
検索

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

写真

ビデオ

地図

[Drutsa2019] (Part3) Experimentation pipeline and workflow in the light of industrial practice, p.22に追記.

②SIGIR2019

Effective Online Evaluation for Web Search(3/3)[Drutsa2019] (Part3) Experimentation pipeline and workflow in the light of industrial practice, pp.23-24.
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

SIRIP

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

②SIGIR2019

SIRIP
・SIGIR Symposium on IR in Practice
・企業でのIRの応⽤. Industry trackに相当.
・近年は本会議期間中にテクニカルセッションと並⾏して開催.
・4セッション
・基調講演2本, 招待講演3本, ⼀般講演9本(採択率75%), パネル

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

[SIGIR2019DL]p.iv

②SIGIR2019

Challenges in Search on Streaming Services: Netflix Case Study[著者]

Sudarshan Lamkhede, Sudeep Das (Netﬂix)[概要]

ストリーミングサービスのコンテンツ検索の事例紹介
ユーザの⾏動データを重視し, 従来の情報検索の範囲を超えたアプローチが必要
エンティティ検索の３分類
分類

クエリ例

再⽣タイトル

Fetch

ʻANIMAʼ(ʻANIMAʼというタイトルの作品) ANIMA

Find

ʻANIMALSʼ (動物がテーマの作品)

OUR PLANET

ExploreʻANIMEʼINUYASHA(アニメ作品)Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

[Lamkhede 2019]

②SIGIR2019

Challenges in Search on Streaming Services: Netflix Case Study[著者]

Sudarshan Lamkhede, Sudeep Das (Netﬂix)

デバイス別の平均クエリ⽂字数[概要]

ストリーミングサービスのコンテンツ検索の事例紹介
ユーザの⾏動データを重視し, 従来の情報検索の範囲を超えたアプローチが必要
エンティティ検索の３分類
分類

クエリ例

再⽣タイトル

Fetch

ʻANIMAʼ(ʻANIMAʼというタイトルの作品) ANIMA

Find

ʻANIMALSʼ (動物がテーマの作品)

OUR PLANET

ExploreʻANIMEʼINUYASHA(アニメ作品)ハングルの⼊⼒例

課題の例
・利⽤できないコンテンツの検索(13%) → 望ましい推薦/検索と推薦の組合せは？
・インスタントサーチ
・ショートクエリ → 検索意図が不明
・適切な評価指標がない → 新指標が必要（インタラクションの最⼩化等)
・⼊⼒システムによりキーストローク数が増⼤（ハングル等）→ 各⾔語に適したインデクシング
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

[Lamkhede2019]ワークショップ

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

②SIGIR2019

SIGIR2019ワークショップ概要
ワークショップ

トピック

回

WCIS2019

1

対話エージェント，インタラクションシステム.

FACTS-IR 20191

IR における Fairness(公平性), Accountability, Confidentiality , Transparency(透明性),
Safety(安全性).

EARS 20192

説明可能な推薦と検索.

BIRNDL 2019

3*1

ビブリオメトリクスによるデジタルライブラリの検索と⾃然⾔語処理.

OSIRRC 20193

ad hoc 検索のテストコレクションを⽤いた replicability チャレンジ.

NewsIR'19

3

ニュース情報検索. データジャーナリズム, フェイクニュース, ファクトチェック,
ニュース推薦等.

ROME 20191

ファクトチェック, 事実と異なるニュースの検出, ソーシャルメディアへの誤情報拡散の分析等.

ECOM'193

e コマース.

:新規*1: ワークショップ⾃体は4回⽬, SIGIRのワークショップとしては3回⽬.

[SIGIR2019HP]
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

②SIGIR2019

Deal or No Deal? End-to-End Learning of
Negotiation Dialogues

ワークショップ：WCIS2019(対話エージェントとインタラション)
著者：Mike Lewis (Facebook)
概要：AI ボット 同⼠の交渉の研究
・⾃然⾔語による交渉をAIのタスクとしてEnd-to-end学習.
・複数の種類の品物をどう分けるか交渉.
・相⼿のボットにとっての商品の価値は知らされず，⾃然⾔語の対話から推測.
・対話の応答候補をいくつか⽣成しておき，その後の展開を推定して最終的にもっとも
reward(報酬) が⾼くなる発話を選ぶ，
dialogue rollouts という⼿法が有効.

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

[Lewis2017]p.2447

②SIGIR2019

トレンド(SIGIR2019)ü NN 関連の論⽂がさらに増加 (フルペーパーの約 73.8%，テクニカルセッションの約 95.5%).
ü 国別では中国が躍進中. 投稿数，採択数とも⾸位.
ü トラック別投稿数は前回に続きコンテンツ分析・ 推薦・分類が多く，続いて検索とランキングが 多い.
ü セッション別論⽂数は推薦，適合性と評価が多い.
ü 新しいセッションは解釈性と説明性 (3B)，ファッションマッチ (9A)，クロスモーダル検索
関連(7B) 等.
ü 参加登録の多かったセッションは適合性と評価1(7A)，検索意図 (1C)，解釈性と説明性(3B)，ランキング学習 1(1A)，クエリ (4B)，知識とエン ティティ(2C) 等.
ü 新しいワークショップは対話エージェント関連， 情報の事実性や IR の倫理問題に関するもので， 全体として後者に関するトピックが増えている．
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

論⽂紹介

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

②SIGIR2019

⼈気セッション・発表（会場アプリ）1/3
sessiontitle

備考(41) 2C
Knowledge
and Entities(11) Identifying Entity Properties from Text with
Zero-shot Learning (Kyoto University, Universityof Tsukuba)

テキストからエンティティのプロパティ集合をZero-shot学習
で⾒つける. Knowledge graph embeddingから得たプロパティのembeddingを利⽤.

※()内の数字は2019年9⽉23⽇
時点のlike数(10) ENT Rank: Retrieving Entities for Topical
Information Needs through Entity-NeighborText Relations (University of New Hampshire)

トピックの情報要求に対し半構造知識データを⽤いて関連エンティティを検索.neighboring entities(co-mentioned or
mentioned-on-page)の情報, ⽂脈情報を利⽤.

(32) 1C
SearchIntents(11) Interactive Intent Modeling for Exploratory
Search (University of Helsinki, Aalto
University)(TOIS)

ユーザの検索セッションにおける検索意図をモデル化.ユーザのフィードバックを元にシステムは検索意図の予測を修正、可視化して提⽰．

(10) Generic Intent Representation in Web
Search (Microsoft Corporation)

ユーザの検索意図を捉える分散表現空間の学習.クリックの類似しているクエリは意図も近いと考え，クリックを利⽤した弱教師あり学習．

(9) Which Diversity Evaluation Measures Are"Good"? (Waseda University)

情報検索の評価指標(adhox(9)＋diversity(21)) が本当にユーザのpreferenceを反映しているか, 評価者15名がSERP(1,127)を評価して検証. Adhocの主な指標(nDCG等) は ⼈の評価とも合っていた．Diversityの指標は合っていないものも多い．

(7) Revisiting Online Personal Search Metrics
with the User in Mind (Google)

ユーザによる検索・閲覧⾏動の違いを考慮した新しいオンライ
ン評価指標pMetricsを提案．

(30) 7A
Relevance
andEvaluation 1

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

②SIGIR2019

⼈気セッション・発表（会場アプリ）2/3
sessiontitle

備考(27) 3B
Interpretability
andExplainability(8) Transparent, Scrutable andExplainable Use Models for
Personalized Recommendation(Google, USC Information
Sciences Institute)TransparencyとScrutabilityを備えた推薦システムを⽬指し、以下を満たすシステムを開発. SOTAのシステムと同等の性能.
(a) explainability(システムが認識しているユーザのpreferenceを本⼈に提⽰) (b) transparency (推薦メカニズムでシステムがどのような推論をしているか偽りなくユーザに提⽰) (c) scrutability (システムが認識したユーザのpreferenceをユーザ⾃⾝が直接編集して修正できる)(26) 4B
Queries(7) Information Needs, Queries,
and Query Performance
Prediction (Technion, Yahoo
Research, RMIT University)

従来のQPP(Query performance prediction)の⼿法では説明できなかった、
情報要求を表現する効果のクエリによる違いを明らかにする．また、同じ情報要求を表すクエリ群の情報を利⽤する新しいQPPのアプローチを提案．

(7) The Characteristics of Voice
Search: Comparing Spoken with
Typed-in Mobile Web Search
Queries (Ben-Gurion Universityof the Negev)

⾳声検索のクエリの特徴をテキストクエリと⽐較し分析．Yahoo mobile検索 のログ(500K,6ヶ⽉) 利⽤．カードでテキストクエリより⾳声クエリがトリガーになりやすいのは⾳楽ビデオ, CQA (community question
answering ),レシピ,地図等.⾳声クエリはテキストクエリより⾃然⾔語に近い. ⾳声検索の研究課題は⼭積．

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

②SIGIR2019

⼈気セッション・発表（会場アプリ）3/3
sessiontitle

備考(24) 1A
Learning to Rank 1(8) To Model or to Intervene: A
Comparison of Counterfactual andOnline Learning to Rank from User
Interactions (University of
Amsterdam)

ユーザとのインタラクションからのランキング学習におけるバ
イアスへの⼆種の対処⽅法を⽐較. (a)過去データからの学習の際に重みの調整等でバイアスを除去してユーザの⾏動モデルを構築 (b) ユーザモデルを使わずオンラインでバイアスに対応するための介⼊を⾏う．(a)(b)どちらが好まれるかは三種のバイアス(selection bias, position bias, interaction bias)が要因に.

(23) 7C
Recommendations 2(8) Bayesian Personalized Feature
Interaction Selection for
Factorization Machines (Universityof Amsterdam, Hefei University ofTechnology)

協調フィルタリングでよく⽤いられる⼿法の⼀つである
Factorization Machines(FMs) では全てのfeature interactionを対象とすることが多かった。不要なfeature interactionを除く
feature interaction selection(FIS) が最近注⽬を集めているが、ユーザによるfeature interactionの違いを考慮していない．本研究ではPersonalized Feature Interaction Selectionを提案．

(22) 5B
Efficiency,
Effectiveness andPerformance(7) Statistical Significance Testingin Information Retrieval: An
Empirical Analysis of Type I, II andType III Errors (Delft University ofTechnology)

統計的検定をIRのデータで検証.

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

②SIGIR2019

Which Diversity Evaluation Measures Are "Good"?(1/2)
著者：Tetsuya Sakai(Waseda
University), Zhaohao Zeng(Waseda
University)
課題：Offlineの評価ではどの指標が良いかわからない
概要：ユーザのSERPに対する
preferenceと各指標の相関*1を調査
Q1:「複数の検索エンジンユーザがこの同じクエリを⼊⼒したとします。
より多くのユーザを満⾜させるのはどちらの検索結果ですか。」

Q1

Q2

Q2:「全体として、どちらの検索結果がクエリに適合していますか？」*1

ケンドールの順位相関係数

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

[Sakai2019]p.601 Figure 1

②SIGIR2019

Which Diversity Evaluation Measures Are "Good"?(2/2)
結論

データ、評価環境の情報

・Adhoc検索の指標(nDCG等) は ⼈の適合性の評価と合っていた．
・多様性検索の指標は意図意識型(intent-aware)の指標の結果が良くなかった．

[Sakai2019]
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

Generic Intent Representation in Web Search
著者：Hongfei Zhang, Xia Song, et al.(Microsoft)
概要：ユーザの検索意図を捉える分散表現空間を学習する GEN Encoderの提案.
・クエリは検索意図を表すには不⼗分な場合もある．
・クリックが似ているクエリは意図も近いと考えた．
・クリックを 検索意図を表す implicit なフィードバックとして弱教師学習，同じ検索結果がクリックされた
クエリ(co-click queries)が近くなるように分散表現空間にマッピング.
・ablation studiesで検索意図の表現学習におけるクリックとマルチタスク学習の重要性を確認.

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

[Zhang2019] p.70 Table 4

②SIGIR2019

Identifying Entity Properties from Text
with Zero-shot Learning(1/1)

著者：Wiradee Imrattanatrai (Kyoto
University) , Makoto P. Kato (Universityof Tsukuba) , Masatoshi Yoshikawa(Kyoto University)

例⽂：1982年のアルバム、スリラーでマイケル・ジャクソンの⼈気は新しい段階に押し上げられたが、その成功は「ビリー・ジーン」と「ビート・イット」の普遍的な魅⼒によるところが⼤きいalbum• エンティティの関連情報の提⽰等に利⽤するため、テキストからエンティ
ティのプロパティ集合を認定する
track

エンティティ(Michael Jackson)のプロパティ(album, track)を認定[Imrattanatrai2019]
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

②SIGIR2019

Identifying Entity Properties from Text
with Zero-shot Learning(1/2)• Predicate paths: knowledge base(KB) 内のトリプ
ルをプロパティに相当するよう連結した連結述語

プロパティalbumのpredicate pathのトリプル• KBからPredicate pathsの(連結述語)に対する主語と⽬的語を抽出、これらを含む⽂を学習に利⽤• ゼロショット学習で訓練データにプロパティが直接現れない場合にも対応• KGのプロパティの埋め込み⽅法はKGの異なる部分を⽤いて⽐較
• さらにエンティティのタイプを⽤いて精度を⾼めた
Predicate paths(連結述語)の例. エンティティのプロパティ(album, track)に相当.

[Imrattanatrai2019]
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

②SIGIR2019

Transparent, Scrutable and Explainable User
Models for Personalized Recommendation(1/1)

Krisztian Balog (Google) , Filip Radlinski (Google) , Shushan Arakelyan (USC Information Sciences Institute)transparentかつscrutableな推薦システム•••

説明性(explainability) (システムが認識しているユーザのpreferenceを本⼈に提⽰)
透明性(transparency) (推薦メカニズムでシステムがどのような推論をしているか偽りなくユーザに提⽰)
scrutability (システムが認識したユーザのpreferenceをユーザ⾃⾝が直接編集して修正できる)(1)あなたはプリンセスブライドストーリーのようにアクションタグのついた映画、とりわけ剣を使った戦い、というタグがついた映画が好きです

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

[Balog2019]p.271 Table 3, Figure 4

②SIGIR2019

Transparent, Scrutable and Explainable User
Models for Personalized Recommendation(1/2)

Transparency(透明性)＋Scrutability

Baselines

透明性を備えながら従来システムと同等の性能.

Scrutabilityの効果を確認.
[Balog2019]p.272 Table 5, p.273 Table 7

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

③SIGIR2020に向けて

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

③SIGIR2020に向けて国内のコミュニティの動向
2017年12⽉, 初のACM SIGIRの⽀部が誕⽣[名称]

Tokyo ACM SIGIR Chapter(ACM SIGIR東京⽀部)[経緯]

SIGIR2017(⽇本開催)の成功が奏功[⽬的]

国内外の研究コミュニティの交流の促進
IR研究における⽇本のプレゼンス向上[活動内容]

SIGIR関連のイベント,会員向け情報発信等[委員⻑]

上保秀夫(筑波⼤学）[詳細情報]

公式ページ: http://sigir.jp/
twitter: https://twitter.com/acmsigirtokyo
会員登録 (無料):
http://sigir.jp/page/registration/

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

最近のイベント：
時期

イベント

説明

2020/1/16

POWIR 2020
Winter

SIGIR2020に向けたメンタリン
グワークショップ(会員限定)

2019/10/27

IR Reading
2019秋

SIGIR等の主要国際会議の論⽂
読み会
http://sigir.jp/post/irreading_2
019fall/③SIGIR2020に向けて

SIGIR 2020
回

第43回

会期

2020/7/25-30

開催地

Xiʼan(⻄安), China

公式ページ

https://sigir.org/sigir2020/

公式Twitter

https://twitter.com/sigir2020/

CFP

https://easychair.org/cfp/sigir2020

フルペーパー概要登録〆切

2020.1.15

フルペーパー投稿〆切

2020.1.22

General Co-Chairs

Yi Chang(吉林⼤学)
Xueqi Cheng(中国科学院)
Jimmy Huang(ヨーク⼤学)

Vice Chair

Yiqun Liu(清華⼤学)

Program Co-Chairs

Jaap Kamps (アムステルダム⼤学)
Vanessa Murdock (Amazon)
Ji-Rong Wen (中国⼈⺠⼤学)

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

③SIGIR2020に向けておわりに
SIGIR2019
ü SIGIR2019は2019年7⽉にパリで開催，過去最多の1,025名が参加.
ü 採択率約19.7%. 国別では投稿数，採択数とも中国がトップ.
ü NN 関連の論⽂がさらに増加 (フルペーパーの約 73.8%，テクニカルセッションの約 95.5%).
ü 推薦に関する論⽂が多い傾向が続く．

SIGIR2020に向けて
ü SIGIR2020は来年7⽉に⻄安で開催.
ü ACM SIGIR東京⽀部のメンタリングワークショップ(POWIR)は2020年1⽉に開催.

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

参考⽂献(1/5)[Balog2019] Krisztian Balog, Filip Radlinski, Shushan Arakelyan: Transparent, Scrutable and Explainable User
Models for Personalized Recommendation, Proceedings of the 42nd International ACM SIGIR Conference on
Research and Development in Information Retrieval, pp.265-274 (2019)[Clarke2008] Charles L.A. Clarke, et al. : Novelty and diversity in information retrieval evaluation, Proceedings of the
31st annual international ACM SIGIR conference on Research and development in information retrieval, pp.659-666(2008)[Croft2019] W. Bruce Croft: The Importance of Interaction for Information Retrieval,
http://www.sigir.org/sigir2019/slides/10.1145-3331184.3331185.pdf (accessed Nov 22, 2019)[Drutsa2019] Alexey Drutsa, Greb Gusev, Eugene Kharitonov, Denis Kulemyakin, Pavel Serdyukov, Igor Yashkov:
Effective Online Evaluation for Web Search, https://research.yandex.com/tutorials/online-evaluation/sigir-2019(2019)[Imrattanatrai2019] Wiradee Imrattanatrai, Makoto P. Kato, and Masatoshi Yoshikawa: Identifying Entity Properties
from Text with Zero-shot Learning, Proceedings of the 42nd International ACM SIGIR Conference on Research andDevelopment in Information Retrieval, pp.195-204 (2019)[Kamishima2019] Toshihiro Kamishima: ML, DM, and AI Conference Map,
http://www.kamishima.net/archive/MLDMAImap.pdf (accessed Nov 9, 2019)
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

参考⽂献(2/5)[Keyaki2017] 欅 惇志: SIGIR2017参加(開催)報告-会議概要とニューラルネットな情報検索-, 第11回テキストアナリティ
クス・シンポジウム, http://www.ieice.org/~nlc/attachment/NLC20170908-SIGIR-2017-Keyaki.pdf (2017)[Lamkhede2019] Sudarshan Lamkhede, Sudeep Das: Challenges in Search on Streaming Services: Netflix Case
Study, Proceedings of the 42nd International ACM SIGIR Conference on Research and Development in Information
Retrieval, pp.1371-1374 (2019)[Lewis2017] Mike Lewis, Denis Yarats, Yann Dauphin, Devi Parikh, and Dhruv Batra: Deal or No Deal? End-to-End
Learning of Negotiation Dialogues. In Proceedings of the 2017 Conference on Empirical Methods in Natural
Language Processing, EMNLP 2017, Copenhagen, Denmark, September 9-11, pages 2443‒2453. (2017)[Manning2016] Christopher Manning: Natural Language Inference, Reading Comprehension and Deep Learning,https://nlp.stanford.edu/manning/talks/SIGIR2016-Deep-Learning-NLI.pdf (2016)[Mitra2017] Bhaskar Mitra: Neu-IR 2017: welcome, https://www.slideshare.net/BhaskarMitra3/neuir-2017-welcome(2017)[Nomoto2018HO] Masako Nomoto: SIGIR2018参加報告, 第20回⼈⼯知能学会インタラクティブ情報アクセスと可視化
マイニング研究会(SIG-AM-20-06)発表資料, https://must.c.u-tokyo.ac.jp/sigam/sigam20/sigam2006prm.pdf (2018)

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

参考⽂献(3/5)[Oosterhuis2019] Harrie Oosterhuis, Rolf Jagerman, Maarten de Rijke, Unbiased Learning to Rank: Counterfactualand Online Approaches, http://ltr-tutorial-sigir19.isti.cnr.it/wp-content/uploads/2019/07/ULTR_SIGIR_tutorial.pdf(2019)[Sakai2019] Tetsuya Sakai, Zhaohao Zeng: Which Diversity Evaluation Measures Are "Good"?, Proceedings of the
42nd International ACM SIGIR Conference on Research and Development in Information Retrieval, pp.595-604 (2019)[Schmid2019] Cordelia Schmid: Automatic Understanding of the Visual World, Proceedings of the 42nd International
ACM SIGIR Conference on Research and Development in Information Retrieval, p.3 (2019)[SIGIR2016DL] Proceedings of the 39th International ACM SIGIR conference on Research and Development inInformation Retrieval, https://dl.acm.org/citation.cfm?id=2911451 (2016)[SIGIR2016HP] SIGIR2016, http://sigir.org/sigir2016/ (2016)[SIGIR2017DL] Proceedings of the 40th International ACM SIGIR Conference on Research and Development inInformation Retrieval, https://dl.acm.org/citation.cfm?id=3077136 (2017)[SIGIR2017HP] SIGIR2017, http://sigir.org/sigir2017/ (2017)

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

参考⽂献(4/5)[SIGIR2017OP] Arjen de Vries, Hang Li, Ryen White: ACM SIGIR 2017 - Opening - PC Chairs,
https://www.slideshare.net/arjenpdevries/acm-sigir-2017-opening-pc-chairs (2017)[SIGIR2018AC] ACM SIGIR 2018 Conference Organization: ACM SIGIR 2018 Accepted Papers,
http://sigir.org/sigir2018/accepted-papers/ (2018)[SIGIR2018DL] The 41st International ACM SIGIR Conference on Research & Development in Information Retrieval,
https://dl.acm.org/citation.cfm?id=3209978 (2018)[SIGIR2018HP] SIGIR2018, http://sigir.org/sigir2018/(2018)[SIGIR2019DL] Proceedings of the 42nd International ACM SIGIR Conference on Research and Development inInformation Retrieval, https://dl.acm.org/citation.cfm?id=3331184 (2019)[SIGIR2019HP] SIGIR2019, http://sigir.org/sigir2019/(2019)[SIGIRLOC] SIGIR: List of SIGIR Locations and History, http://sigir.org/general-information/history/ (accessed Nov
19, 2019)[TOIS]SIGIR: TOIS Presentation, http://sigir.org/conferences/tois-presentation/ (accessed Nov 19, 2019)

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

参考⽂献(5/5)[Wang2019]Huazheng Wang, Sonwoo Kim, Eric McCord-Snook, Qingyun Wu, Hongning Wang: Variance Reduction in
Gradient Exploration for Online Learning to Rank, Proceedings of the 42nd International ACM SIGIR Conference on
Research and Development in Information Retrieval, pp.835-844 (2019)[Zhang2019] Hongfei Zhang, Xia Song, Chenyan Xiong, Corby Rosset, Paul N. Bennett, Nick Craswell, Saurabh
Tiwary: Generic Intent Representation in Web Search, Proceedings of the 42nd International ACM SIGIR Conference
on Research and Development in Information Retrieval, pp.65-74 (2019)

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

補⾜資料

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

SIGIR 2019関連資料について
SIGIR 2019公式ページのスケジュールページの各論⽂タイトルのリンク(⼀部は動画や発表スライ
ドのリンクもあり)を会議から⼀年間は無料で閲覧できます．
http://www.sigir.org/sigir2019/program/schedule/

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

予稿 正誤表
予稿

誤正

本資料の関連ページ

p.59 脚注11[6]p.iii,[8]p.v[5]p.iii,[6]p.iii,[7]p.iii,[8]p.v

p.24

p.60 図４
キャプション

フルペーパーの著者の国別
分布 (SIGIRʼ16-ʼ19)

フルペーパーの投稿論⽂の著者の国別分布 (SIGIRʼ16-ʼ19)

p.24

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

②SIGIR2019

SIGIR2019: ⽇本の組織(企業)の参加例
企業

発表

mercari[8B Hashing](共著) Hao Zhang
Supervised Hierarchical Cross-Modal Hashing

Rakuten[Short Research Papers 1B: Recommendation and Evaluation](共著) Tianyu Li,
Item Recommendation by Combining Relative and Absolute Feedback Data

LINE

[Short Research Papers 2C: Search](筆頭) Wataru Sakata, et al.
FAQ Retrieval using Query-Question Similarity and BERT-Based Query-Answer RelevanceYahoo Japanリクルート
Cookpadデンソーアイティーラボラトリ
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

②SIGIR2019

SIGIR2019: ⽇本の組織(アカデミア)の参加例
組織
京都⼤学

セッション

発表

[2C]
Knowledge and Entities

Wiradee Imrattanatrai, Makoto P. Kato (University of Tsukuba) ,Masatoshi Yoshikawa[Short Research Papers 2C]
SearchWataru Sakata (LINE Corporation) ,Tomohide Shibata, Ribeka Tanaka, Sadao Kurohashi

筑波⼤学

[2C]
Knowledge and Entities

Wiradee Imrattanatrai (Kyoto University) , Makoto P. Kato,
Masatoshi Yoshikawa (Kyoto University)

早稲⽥⼤学

[7A]
Relevance and Evaluation 1

Tetsuya Sakai, Zhaohao Zeng

法政⼤学

[Workshop]
NewsIRʼ19

Hirotaka Kawashima, Hiroyuki Fujishiro
The diffusion of fake news through the ”middle media” contaminated online sphere in Japan

産業技術総合研究所[Short Research Papers 3B]
Recommendation and
Evaluation

Kosetsu Tsukuda, Satoru Fukayama, Masataka Goto
ABCPRec: Adaptively Bridging Consumer and Producer Roles for
User-Generated Content Recommendation

Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

SIGIR2017 タグクラウド[Keyaki2017]p.18
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

②SIGIR2019

ACM Digital Library ダウンロード数ランキング(1/4)
downloads

session

title

404

9C
Learning to Rank 2(404) Variance Reduction in Gradient Exploration for
Online Learning to Rank

399

3B Interpretability andExplainability(399) Transparent, Scrutable and Explainable Use
Models for Personalized Recommendation (Google,
USC Information Sciences Institute)

367

2A
Question Answering(367) Answering Complex Questions by Joining MultiDocument Evidence with Quasi Knowledge Graphs

341

1C
Search Intents(341) Generic Intent Representation in Web Search

309

7C
Recommendations 2(309) CTRec: A Long-Short Demands Evolution Model
for Continuous-Time Recommendation

備考
Award: Best Paper
Award※数字は2019年10⽉13⽇23:00時点のダウンロード数
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

②SIGIR2019

ACM Digital Library ダウンロード数ランキング(2/4)
downloads

session

title

備考

302

3A
Recommendation1(302) Interact and Decide: Medley of
Sub-Attention Networks for Effective
Group Recommendation

301

9A
Fashion Match(301) Personalized Fashion
Recommendation with Visual
Explanations based on Multimodal
Attention Network: Towards Visually
Explainable Recommendation

297

1A
Learning to Rank

(297) A General Framework forCounterfactual Learning-to-Rank

290

2B Collaborative Filtering(290) Neural Graph Collaborative
Filtering280

3B: Interpretability andExplainability(280) A Capsule Network for
Recommendation and Explaining What
You Like and Dislike

Neural Graph Collaborative Filtering(NGCF)※数字は2019年10⽉13⽇23:00時点のダウンロード数
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

②SIGIR2019

ACM Digital Library ダウンロード数ランキング(3/4)
downloads

session

title

備考

256

3B
(256) Reinforcement Knowledge Graph
Interpretability
Reasoning for Explainable Recommendationand Explainability

239

8B
Hashing(239) Online Multi-modal Hashing with
Dynamic Query-adaption

237

2C
Knowledge andEntities(237) Identifying Entity Properties from Text
with Zero-shot Learning

236

7A
Relevance andEvaluation 1(236) Which Diversity Evaluation Measures
Are "Good"?

Award: Best Paper Honorable Mention※数字は2019年10⽉13⽇23:00時点のダウンロード数
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

②SIGIR2019

ACM Digital Library ダウンロード数ランキング(4/4)
downloads

備考

session

title

236

1A
Learning to
Rank 1(236) To Model or to Intervene: A Comparisonof Counterfactual and Online Learning to
Rank from User Interactions

224

4B
Queries(224) Context Attentive Document Ranking
and Query Suggestion

223

7B
Multilingual
and Crossmodal
Retrieval(223) Scalable Deep Multimodal Learning for
Cross-Modal Retrieval※数字は2019年10⽉13⽇23:00時点のダウンロード数
Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.