文献アーカイブからのナレッジ抽出と情報アクセス
Information Access and Knowledge
Extraction from Document Archives
Adam Jatowt
NDL: 11 October, 20191

アジェンダ Talk Schedule
1. はじめに Introduction
2. 異なる時代における類似物（時間的アナローグ）の検出
Temporal Analog Detection– 時間を超えた類似性の説明
Across-time Term Similarity Explanation
3. 時間を超えた比較の要約
Across-time Comparative Summarization
4. 歴史に基づく実体のグループ化と要約
History-based Entity Summarization
5. 面白さに基づくアーカイブからの情報検索
Interestingness-oriented Archival Retrieval
6. 現在との関連性を志向する文献検索に向けて
Towards Present-relevance Oriented Document Search
7. 結び Conclusions
2

「ビッグアーカイブデータ」 Big Archival Data
• 近年、過去の文献を含む膨大なアーカイブが利用可能に。

ボーン
デジタル

例：新聞、図書、学術出版物、行政文書、
ウェブサイト、ソーシャルメディア、商品レ
ビュー等のアーカイブ• Massive archives containing past texts areavailable nowadays, e.g.:– Newspaper archives– Book archives– Scientific publication archives– Administrative archives– Web archives
Born– Social media archives
digital– Product review archives– Etc.

多様なジャンルのアーカイブが身近に存在するようになった。
Archives are common and span variety of genres

アーカイブは絶えず発展し、その重要性を増している。
They are continuously growing and becoming increasingly important to us

3

デジタル文献アーカイブ Digital Document Archives• 「ビッグアーカイブデータ」の例 Big archival data, e.g.:
•
•
•
•
•
•

Chronicling America - over 5.2 million individual newspaper pages
The Times Digital Archive - 3.5 million news articles (1785–2008)
Google Books - scanned over 5% of books ever publishedInternet Archive - 286 billion web pages since 1996 (15 petabytes of data)
Amazon - 142 million product reviews dataset (1994-2014)etc.

– ほぼ全ての国立図書館がデジタル化資料のアーカイブを持っている 。
Nearly all national libraries and archives have own digital collections [1]• 膨大な費用: 国立国会図書館の2009・2010年のデジタル化費用は合計137億円。
Big Costs: e.g., in 2009 and 2010 the budget of the Japanese National Diet Library for
digitization was 13.7 billion yen• 僅かな利用: 主に専門家や研究者によって活用されており、利用者の数が少ない。
Little usage: very few users utilize document archives, and mainly professionals

データ量・費用が膨大にも関わらず利用者の数は少ない。
Despite massive data and huge costs the number of users is very small

より便利で使いやすいアーカイブにすることで利用を促進する必要がある。
We need to popularize archives by making them useful and easy to use for everyone[1] N. Stroeker and R. Vogels, Survey Report on Digitization in European Cultural Heritage Institutions 20124

歴史学習・理解の重要性

Importance of Studying & Understanding History「過去から学べない者は、過ちを繰り返す。 」（ジョージ・サンタヤーナ）“Those who cannot remember the past are condemned to repeat it ” (George Santayana)• 歴史は過去と現在を理解し、未来をある程度予測する上でも、人生において重要な役割を果たしている。
History plays important role in our lives, helps to understand the past, thepresent and even helps to predict the future to some extent– Knowledge of history is essential for becoming prepared for an active life in thecontemporary society• 歴史への電算的アプローチ: コンピューターの活用による歴史分析、記述、活用、学習等の支援
Computational approaches to history: Harnessing computational power tosupport history analysis, writing, usage, studying, etc.
– 「デジタル人文学」の潮流の一部 Part of larger trend of “Digital Humanities”• Related fields: Computational Social Science [1], Web Science, etc.

[1] D. Lazer et al. Computationnel Social Science. Science, 323(5915): 721-723, 20095

文献アーカイブインターフェースの現状
Current Interfaces to Document Archives
q

q

q

q
q

q

q

q

時間
time

大規模な文献アーカイブ
Large Document Archiveq (例：1980年代の携帯音楽再生機器
e.g., portable music device in 1980s)

検索結果
search results…

q q q q q qq

検索結果の理解が困難！
Difficult to make sense of results!

6

過去を知るための検索エンジン
Towards Search Engine for the Past…
…

検索エンジン
Search Engine+

ナレッジベース
Knowledge bases(Wikipedia, Yago)

7

課題と未解決の問題
Challenges & Open Questions• 課題 Challenges:– データの量は膨大で、長期間に渡っている。
Data is large and distributed over time

– 語彙や文脈は時間を経て大幅に変化している。
Vocabulary & context in the past changed much

– 過去に関する利用者の知識は限られている。
Users’ knowledge of the past is limited

どうすれば現代の利用者に対し過去の情報や知識を効果的に渡せるか？
How can we effectively return information or knowledge from the past for present users?

利用されていないデータを活用する方法にはどのようなものがあるか？
What are the possible ways to utilize this untapped source of data?

ニュースアーカイブはどうすれば一般的な利用者にとって容易かつ面白く利用できるようになるか？
How news archives in particular can be made easy to use and interesting to ordinary users?

8

アジェンダ Talk Schedule
1. はじめに Introduction
2. 異なる時代における類似物（時間的アナローグ）の検出
Temporal Analog Detection– 時間を超えた類似性の説明
Across-time Term Similarity Explanation
3. 時間を超えた比較の要約
Across-time Comparative Summarization
4. 歴史に基づく実体のグループ化と要約
History-based Entity Summarization
5. 面白さに基づくアーカイブからの情報検索
Interestingness-oriented Archival Retrieval
6. 現在との関連性を志向する文献検索に向けて
Towards Present-relevance Oriented Document Search
7. 結び Conclusions
9異なる時代における類似物（時間的アナローグ）の検出
TEMPORAL ANALOG DETECTION
10
Y. Zhang, A. Jatowt, S. Bhowmick and K. Tanaka. Omnia Mutantur, Nihil Interit: Connecting Past with Present by Finding Corresponding Terms across Time, ACL 2015, 645-655
Y. Zhang, A. Jatowt, S. Bhowmick and K. Tanaka: The Past is Not a Foreign Country: Detecting Semantically Similar Terms across Time, IEEE TKDE, 2793-2807 (2016)背景：語彙のジェネレーションギャップ
Background: Terminology Gap– アーカイブ内検索を困難にする多くの要因のうち、語彙の違いに着目する。
• 専門的な知識を持たない利用者は適切な検索語を作成するのに苦労することが多い。
– Many different difficulties in enabling search within archives - We
focus on terminology gap:
• Often non-expert users have problems to construct correct queries

例: 「蓄音機」を知らない場合
E.g., query “phonograph” may be unknown

検索の目的: 100年前の人々がどのような機器を用いて音楽を聴いていたかに関する資料を見つけたい

Search intent: Find content on devices people used to listen tomusic 100 years ago?

11

時間的アナローグを探す意義
Motivation for Temporal Analog Detection• より大きな目標 Larger goal:– デジタル歴史学の発展とアーカイブ利用の普及/促進

Fostering Digital History and Popularizing/Facilitating Archival Usage• 具体的な課題 Concrete task:– 時間を超えて類似する実体を発見すること
Finding Analogical Entities across Time

• 適用方法 Applications:

1. 検索語を提案することでアーカイブ内検索を支援する
Supporting search in archives by query suggestion
2. 過去と現代における実体の類似性に関する新たな問いに答える
Answering new kind of questions on past-to-present similarity ofentities
3. 特定の事物に関する年表の自動生成
Automatic generation of object timelines
4. 類似する過去の出来事を見つける
Finding similar events from the past12

アナロジーと時間的/空間的アナロジー
Analogy & Temporal/Spatial Analogy
アナロジー(類推、類比) - 特定の事物に基づく情報を、他の特定の事物へ、それらの間の何らかの類似に基づいて適用する認知過程 [出典: 類推 - Wikipedia]
Analogy (from Greek ἀναλογία, analogia) - cognitive process oftransferring information or meaning from a particular subject (the analogue or source) toanother (the target), or a linguistic expression corresponding to such a process [Wikipedia]‒ 例：時間的アナロジー: 異なる時代に存在した事物の類似性に基づく比較
E.g., temporal analogy: a comparison of two things based on their being alike
where the things existed in different time periods‒ 例：空間的アナロジー: 異なる場所に存在した事物の類似性に基づく比較
E.g., spatial analogy: a comparison of two things based on their being alikein where the things exist in different spatial locations

Wikipedia page on "analogy" https://en.wikipedia.org/wiki/Analogy13時間的アナローグの例
Example Temporal Analogs

14時間的アナローグの例
Example Temporal Analogs

152種類の時間的アナローグ
Two Types of Temporal Analogs• 時間的アナローグ: 意味的に類似しているが、異なる時代に存在した実体。
Temporal Analogs: entities which are semantically similar, yetwhich existed in different time periods.

1. 名称が異なる同一の実体

Same entity with different name

例: ミャンマー(1989年以降)、ビルマ(1989年以前)
e.g. Myanmar (after 1989), Burma (before 1989)

2. 異なる実体 Different entities
例： iPod (2000年代)、Walkman (1980年代)
e.g. iPod (2000s), Walkman (1980s)

16時間的アナローグ検出の主要課題

Key Challenges for Temporal Analogy Computation
1. 言葉の変化 Language evolution
2. 辞書ツール（例:古い言葉に関するオンライン辞書や歴史文献に対応可能な品詞タグ付けプログラム）及びナレッジベースの欠如
Lack of lexical tools (e.g., WordNet for the past or POS taggers
for historical documents) or dedicated knowledge bases

3. OCRの誤認識 Large number of OCR errors
4. 古い時代に関するデータの少なさ
Sparse data for distant time periods

自然言語処理の伝統的な手法はあまり有効ではないかもしれない
Traditional techniques for natural language processing may not be very effective
W. Labov. Principles of Linguistic Change (Social Factors), Wiley-Blackwell, 2010.

17

「万物は流転する」
Panta Rei [Eng: Everything Changes]• 「万物は流転する」ため、時間的アナローグを取り巻く文脈も変化する。
Everything changes: thus contexts surrounding temporal analogs are different
Walkman (1980s)

iPod (2010s)

cassette
audio
video
tape
music
sony
digitalstereoearphonerecorder

apple
mp3
roqit
playermusic
geeks
jukeboxportablemacintoshdlink* Contexts in the New York Times corpus

簡単には解決できなさそうだ…
The task is not trivial…
18

文脈照合による時間的アナローグの検出

Temporal Analogy Computation by Context Matchingcassette

関連性？
correspondence?

mp3

関連性？
correspondence?

Y: walkman

関連性？
correspondence?

X: ipod

関連性？
correspondence?

sony

関連性？
correspondence?

……

apple

XとYが似ているかを推定するには、XとYそれぞれが含まれる
文脈が類似しているかを分析する必要がある。
To estimate if X and Y are similar, it is necessary to analyze if the contexts of X and context of Y are similar.

19時間的アナローグの検出のための文脈比較

Context Comparison for Finding Temporal Analogs

意味的に類似している = 類似の意味を持つ
文脈に含まれている
Semantically similar = surrounded by context with similar meaning
現在Present

iPod

≈

≈

Standard Bag of Words Approach=

従来のアプローチ(Bag of Words)

walkman{music, outdoor, cool, mp3…}={music, outdoor}

iPod
=

=

walkman

=

=

過去
Past

{music, outdoor}{music, outdoor, nice, cassette…}

今回提唱するアプローチ
Our Approach
20

Y. Zhang, A. Jatowt, S. Bhowmick, K. Tanaka. Omnia Mutantur, Nihil Interit: Connecting Past with Present by Finding Corresponding Terms across Time, ACL2015, 645-655

時間を超えた類似性：ニューラル
ネットワークを用いた単語埋め込み

Across-time Similarity: NN-based Term Embedding
分散ベクトル表現 [ミコロフ， 2013年]

tDistributed Vector Representations (NN) [Mikolov 2013]

𝑤𝑤1
𝑤𝑤2
⋮
𝑤𝑤𝑃𝑃

present time(e.g. 2003-2007)

past time(e.g. 1987-1991)

𝐷𝐷1
⋯
⋯
⋯
⋯

𝐷𝐷2 ⋯ 𝐷𝐷𝑚𝑚
⋯ ⋯ ⋯
⋯ ⋯ ⋯
⋯ ⋯ ⋯
⋯ ⋯ ⋯

Φ1 Φ2 ⋯ Φ𝑛𝑛𝜔𝜔1 ⋯ ⋯ ⋯ ⋯𝜔𝜔2 ⋯ ⋯ ⋯ ⋯⋮ ⋯ ⋯ ⋯ ⋯𝜔𝜔𝑄𝑄 ⋯ ⋯ ⋯ ⋯𝐷𝐷𝑖𝑖 と 𝛷𝛷𝑘𝑘 が各ベクトル空間の次元
𝐷𝐷𝑖𝑖 𝑎𝑎𝑎𝑎𝑎𝑎 𝛷𝛷𝑘𝑘 are the dimensions of each vector space

T. Mikolov, K. Chen, G. Corrado and J. Dean. Efficient Estimation of Word Representations in Vector Space. ICLR Workshop, 2013

21

単語のベクトル表現: Bag of Words vs ニューラルネットワーク

Word Representation: BOW vs. NNs• Bag of Wordsを用いたベクトル空間
Vector Space using Bag of Words (BOW)

Size of Vocabulary ≈ 400,000

ipod =car =aan … music … road … usa … zebra … zoo

50

150 …

a

an … music … road …

usa … zebra … zoo

60

180 …

350

200

50

…

5

…

200

...

...

100

…

…

0

0

…

0

…

0

• ニューラルネットワーク(Skip-gramモデル)を用いたベクトル空間
Vector Space using NNs (Skip-gram Model)

Size of Neurons of Hidden layer, usually 200 - 800

ipod =
car =

χ0

…

χi

…

χ200

0.1 -0.2 …

0.3

…

0.8

χ1

…

χi

…

χ200

0.4 0.1

…

-0.8

…

1.1

χ0

χ1

• Captures semantic meaning• Semantically similar words arelocated close in vector spaces
22時間を超えた類似性 Across-Time Similarity• 時間を超えたマッピング Mapping Across Time• 異なる時代における文脈を変換する
Transform background context across time
Present Vector Space (D=300)
iPod
music
mp3

ωi
ωm

Past Vector Space (D=200)

×walkmanMusic
Cassette
wi
wn

直接比較することはできない！
Can not be directly compared!
現在のベクトル空間から過去のベクトル空間へのマッピングを構築する必要がある
We have to build the mapping from the present vector space to past vector space23

時間を超えた類似性：ニューラル
ネットワークを用いた単語埋め込み

Across-time Similarity: NN-based Term Embedding
分散ベクトル表現 [ミコロフ， 2013年]

tDistributed Vector Representations (NN) [Mikolov 2013]

𝑤𝑤1
𝑤𝑤2
⋮
𝑤𝑤𝑃𝑃

present time(e.g. 2003-2007)

past time(e.g. 1987-1991)

𝐷𝐷1
⋯
⋯
⋯
⋯

𝐷𝐷2 ⋯ 𝐷𝐷𝑚𝑚
⋯ ⋯ ⋯
⋯ ⋯ ⋯
⋯ ⋯ ⋯
⋯ ⋯ ⋯

Φ1 Φ2 ⋯ Φ𝑛𝑛𝜔𝜔1 ⋯ ⋯ ⋯ ⋯𝜔𝜔2 ⋯ ⋯ ⋯ ⋯⋮ ⋯ ⋯ ⋯ ⋯𝜔𝜔𝑄𝑄 ⋯ ⋯ ⋯ ⋯?

𝐷𝐷𝑖𝑖 と 𝛷𝛷𝑘𝑘 が各ベクトル空間の次元
𝐷𝐷𝑖𝑖 𝑎𝑎𝑎𝑎𝑎𝑎 𝛷𝛷𝑘𝑘 are the dimensions of each vector space

T. Mikolov, K. Chen, G. Corrado and J. Dean. Efficient Estimation of Word Representations in Vector Space. ICLR Workshop, 201324

分析にあたっての仮説
Assumption behind Proposed Approachpresent time(e.g. 2003-2007)

𝐷𝐷2

player

ipod

仮説

mp3

𝐷𝐷1

past time(e.g. 1987-1991)

Φ2

walkmanrecorderそれぞれのベクトル空間
における単語の相対的な位置は一定である
Assumption
The relative positions ofterms in each vector spaceremain stablecasette𝐷𝐷125

変換マトリクスの構築
Constructing Transformation Matrix
分散ベクトル表現

対応する単語のK個のペア

Distributed Vector
Representations

K Pairs of corresponding terms (anchors){(𝑤𝑤𝑖𝑖 , 𝜔𝜔𝑖𝑖 ),…, (𝑤𝑤𝑗𝑗 , 𝜔𝜔𝑗𝑗 )}Present time 𝑤𝑤1(e.g. 2003-2007) 𝑤𝑤2
⋮
𝑤𝑤𝑃𝑃

𝐷𝐷1
⋯
⋯
⋯
⋯

𝐷𝐷2 ⋯ 𝐷𝐷𝑚𝑚
⋯ ⋯ ⋯
⋯ ⋯ ⋯
⋯ ⋯ ⋯
⋯ ⋯ ⋯

𝜔𝜔1
Past time(e.g. 1987-1991) 𝜔𝜔2⋮
𝜔𝜔𝑄𝑄

Φ1 Φ2 ⋯ Φ𝑛𝑛⋯ ⋯ ⋯ ⋯⋯ ⋯ ⋯ ⋯⋯ ⋯ ⋯ ⋯⋯ ⋯ ⋯ ⋯ 一般的かつ頻出する単語を選択: 単語が頻繁に使

𝐷𝐷1
𝐷𝐷𝑀𝑀 = 2⋮𝐷𝐷𝑚𝑚

Φ1 Φ2 ⋯ Φ𝑛𝑛⋯ ⋯ ⋯ ⋯⋯ ⋯ ⋯ ⋯⋯ ⋯ ⋯ ⋯⋯ ⋯ ⋯ ⋯

用される程、意味が変化しづらい [パーゲル，2007]
We choose common, frequent terms: the more frequently theword used, the harder is to change its meaning [Pargel 2007]
e.g. “man”, “woman”, “water”
26

M. Pargel et al. Frequency of word-use predicts rates of lexical evolution throughout Indo-European history. Nature, 449, 717-720, 2007

単語変換の大局的なアプローチ
Global Term Transformation Approach
Past Time

現在における「iPod」“iPod” inPresent Time[0.3

⋯ −1.1]

Dimensions=300

変換マトリクスTransformation
Matrix×𝑴𝑴

size=300x200

予想される
ベクトル
Expected
Vector= [0.1 ⋯ 0.7]

Dimensions=200

𝜔𝜔1 −1.1
𝜔𝜔2 0.3… 1.9
𝜔𝜔𝑄𝑄 −0.3⋯

cosinesimilarity

⋯
⋯

0.3
−1.1
3.4
0.4
⋯
⋯
⋯

⋯
⋯
⋯
⋯
⋯
⋯
⋯

1.2
−2
2.3
1.7
⋯
⋯
⋯

Results:

1. vcr
2. macintosh
3. 𝑤𝑤𝑤𝑤𝑤𝑤𝑤𝑤𝑤𝑤𝑤𝑤𝑤𝑤…

結果: 順位付けされた
時間的アナローグのリスト
Result: ranked list of
temporal analogs27大局的な単語変換の問題点
Problems with Global Term Transformation
最良の答えではない。。

Not the best answers..
記録/再生機能を持つビデオカセットレコーダーがiPodの類似物として発見された。
Appleにより生産されたMacintoshがiPodの類似物として発見された。
VCR was found to be a counterpart of iPod due to allowing to record/playback
Macintosh was found to be a counterpart of iPod as being produced by Apple

変換マトリクスTransformation Matrix

大局的な一致Global Correspondence

検索語とその周囲の文脈の関係が反映されていない
Relations between query and its local context are neglected

局所的な一致 Local Correspondence28局所的なグラフと参照ポイントを用いた変換方法

Transformation Using Local Graph by Using
Reference Points
過去 Past Time

現在（変換の対象）
Present Time(subject to transformation)

musicwalkmansimilar?

devicecassette

devicesimilar?
similar?

sony…

mp3 ipod apple

music

music
vcr
video disk

時間的アナ
ローグ候補
temporalanalogcandidates

sony
device29

実験：データセットと設定
Experiments: Dataset and Settings• データセット Dataset:
New York Times Annotated Corpus (1987-2007)– 1.8 million articles in total, 0.45 million articles in the present and past time
period, on average. Vocabulary size: 300K

• テストセット（人物、場所、事物） Test sets (persons, locations, objects):– 95 pairs of <query, temporal counterpart> for [2002-2007] to [1987-1991]• 変換マトリクスを学習させる Training Transformation Matrix– Feature dimension for Skip-gram model: 200– Number of Common Frequent Terms (CFTs): top frequent common words (5%)

30

実験：テストセット Experiments: Test Set• 52のクエリと95の（クエリ，時間的アナローグ）のペアによって構成されたテストセットを手動で作成。
Manually created a test set with 52 queries and 95 pairs of (query, temporal analog)
ID
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
..

q [2002,2007]
Putin
Chirac
iPod
FacebookLinux
spam
spreadsheet
email
superman
Pixar
Euro
MyanmarKoizumiRogge
Serbia, Croatia, Macedonia, Montenegro,
Kosovo, Slovenia, Bosnia
fridgeNATO
GoogleBoeingFlash drive, USB, CDROM, DVD…

t [1987,1991]
YeltsinMitterrand
Walkman
UsenetUnix
junk mail, autodialers, junk fax
database, word processor
messages, letters, mail, fax
superman, batman
Tristar, DisneyMark, Lira, Franc
Burma
Kaifu
Samaranch
Yugoslavia
fridge, freezer, refrigerator, ice_cubes
NATO
IBM, Microsoft, Matsushita, PanasonicBoeing, Airbus, Mcdonnell Douglas
floppy disc…

表1: テストセットの例（qが入力語、tが予測される時間
的アナローグ。tは複数存在する場合もある。）
Table 1. Examples of test
sets where term q is input
and term t is the expected
temporal analog (t can be
multiple)

クエリの種類:
1. 人物
2. 場所
3. 事物
Type of queries:
1.
2.
3.

Persons
LocationsObjects31

実験結果例：現在のクエリに対する過去のアナローグ検出
Example Results: Finding Past Analogs for Present Queries
クエリ
queries

1
2
3
4
5
6
7
9
10
11
12
14
15
16
17
19
20
21
22
24
25
27
28
30
…

正解
correct answers[2002,2007][1987,1991]

Putin
Chirac
iPod
FacebookLinux
spam
spreadsheet
email
email
email
email
superman
Pixar
Pixar
Euro
Euro
MyanmarKoizumiNATOfridgefridgeSerbiaKosovomp3…

YeltsinMitterrand
Walkman
UsenetUnix
junk maildatabasemessagesletters
mailfax
batman
Tristar
Disney
Mark
Franc
Burma
Kaifu
NATO
freezerrefrigerator
Yugoslavia
Yugoslavia
compact disk…

ベースラインbaselines

BOW
LSI+Com(baseline) (baseline)
1000+
1000+
1000+
1000+
1000+
1000+
1000+
1000+
1000+
1000+
1000+
1000+
1000+
1000+
1000+
1000+
1000+
1000+
1000+
1000+
1000+
1000+
1000+
1000+
…

51
6
6
1000+
5
1000+
395
1
1000+
119
1000+
46
110
1
1000+
1000+
3
66
1
7
4
12
27
44
…

方法 *Lexico-Syntactic Pattern used tomethods detect reference points

Global_
Tran
24
7
3
1
20
5
3
2
1
7
3
5
1
3
2
7
64
2
304
1
2
1
14
58
…

Local_Tran
(Lex)
2
2
1
1
1
1
1
7
1
6
4
2
1
2
1
3
46
1
141
1
2
1
10
19
…

正解の
順位付け

Rank ofcorrect
answers32

OCRの誤認識を軽減する方法
Solution to Alleviate OCR Errors
光学的文字読み取り(OCR)の問題(Optical Character Problem)• 辞書を構築して誤った綴りを正しいものにマッピングする
Build dictionary to map wrong spellings to correct ones
– 入力: 全ての単語のベクトル表現

Input: vector representation of all the words– 出力: 辞書{誤った綴り，正しい綴り}

Output: dictionary {wrong spelling: correct spelling}……

musio(1178)
mnusic(405)music(39063)
miusic(696) mnsic(358)musie(646)letter(85854)
lettor(277)ietter(333)lettcr(350) lettei(133)lotter(688) lctter(222)……

Vector Space of [1906, 1915]

Original Spelling

Correct Formmnusicmusic

miusic

music

musie

music

……

……

lettcrletterlettorletterlotterletter……

……

33

OCRの誤認識を軽減する方法
Solution to Alleviate OCR Errors• OCR問題を軽減するための前提 Assumptions for Alleviating OCR Problem:
(1)

(2)
(3)

誤って綴られた単語は正しい綴りと類似する文脈の中にある。
Wrongly spelled term has similar context with its
correctly spelled term;
正しい綴りは誤った綴りより頻出する。
The correct term is more dominant (or frequent)compared to its wrongly spelled ones;

誤った綴りは一箇所修正すれば正しい綴りになる。

lettcr(350)
lettet(90)lettor(277)letter(85854)
ietter(333)lettei(133)lotter(688)lctter(222)Wrongly spelled term has one edit-distance fromits correct term.

• 結果の例 Example Results– 修正なし Without Error Correction:• car [2004,2009]  [1906,1015] vehicle, tricycle, mnotor, rmotor, car, eycles– 修正あり With Error Correction:• car [2004,2009]  [1906,1915] vehicle, tricycle, motor, car, cycles

34アスペクトベースの時間的アナローグ抽出
Aspect-Based Temporal Analog Retrieval
クエリの形式: 実体, 観点, 時期
Query Pattern: Entity, Viewpoint, Target Time•

What similar to iPod 20 years ago, 80 or 100 years ago?
– iPod, listening to music, 20 years ago  Discman, minidisc, Walkman– iPod, listening to music, 80 years ago  Disc-based phonograph– iPod, listening to music, 100 years ago  Cylinder-based phonograph•

What was the computing/writing device in the past analogous to PC?
– PC, computing, past  calculator, abacus– PC, writing, past  typewriter•

Which president before Kennedy was also assassinated?
– Kennedy, assassinated president, past  Lincoln, Garfield, McKinley,
Spencer Perceval•

What was the old currency in China?
– 人民币(renminbi), currency, past  银元(Yinyuan)，交子(Jiaozi)•

What was a similar vehicle recall in the past to the one of Toyota in2007?
– Toyota recall (2007), floor mat problem, past  Audi recall (1982)35

アーカイブから類似の実体を抽出する
Similar Entity Retrieval from Archives
過去の類似する実体(アスペクトを考慮に入れる)
Similar entities in pastconsidering aspect...

aspect+entity過去の類似する実体
Similar entities in past...

entity36アスペクトベースの抽出システム
System for Aspect-based Retrieval

Y. Zhang, A. Jatowt, S. Bhowmick and Y. Matsumoto: ATAR: Aspect-based Temporal Analog Retrieval System for Document Archives, WSDM 201937

時間的アナローグの検出:
時間を超えた類似性の説明
TEMPORAL ANALOG DETECTION:ACROSS-TIME SIMILARITY EXPLANATION
38

Yating Zhang, Adam Jatowt, Katsumi Tanaka: Towards Understanding Word Embeddings: Automatically Explaining Similarity of Terms, IEEE BigData 2016

アジェンダ Talk Schedule
1. はじめに Introduction
2. 異なる時代における類似物（時間的アナローグ）の検出
Temporal Analog Detection– 時間を超えた類似性の説明
Across-time Term Similarity Explanation
3. 時間を超えた比較の要約
Across-time Comparative Summarization
4. 歴史に基づく実体のグループ化と要約
History-based Entity Summarization
5. 面白さに基づくアーカイブからの情報検索
Interestingness-oriented Archival Retrieval
6. 現在との関連性を志向する文献検索に向けて
Towards Present-relevance Oriented Document Search
7. 結び Conclusions
39

検出から説明へ
From Detection to Explanation• qの過去におけるアナローグは何か？

－例: 1980年代におけるiPodの類似物は何か？

What is an analog of q in past?

– e.g., What is counterpart of iPod in 1980s?

• なぜtはqの過去におけるアナローグなのか？
－例: なぜ1980年代におけるWalkmanはiPodに似ているのか？

Why t is an analog of q in past?

– e.g., Why is iPod similar to Walkman in 1980s?

Y. Zhang, A. Jatowt, and K. Tanaka : Towards Understanding Word Embeddings: Automatically Explaining Similarity of Terms, IEEE BigData 2016, 823-832 (2016)40

時間を超えた類似性の説明：問題の所在
Across-time Similarity Explanation:
Problem Statement
Input:

iPod : ?

≒Walkman : ?

複数の基準に基づく
Based on several criteria

Output:iPod : music
iPod : portable
iPod : MP3
iPod : Apple

≒
≒
≒
≒

Walkman : music
Walkman : portable
Walkman : cassette
Walkman : Sonyusage
characteristic
storage media
company

2つの実体が時間を超えて類似していることの理解を促すエビデンスの提供

Providing evidence to support understanding of similarity between two entities across time41

構造整列仮説（ゲントナー&マークマン，1997）

Theory of Structural Alignment Model(Gentner & Markman, 1997)• 共通性: 二つの実体の同一の属性
Commonality: identical attributes of two entities

cat

e.g.,

commonality– E.g., music (iPod) = music (Walkman)pet• 整列した差異: 二つの実体と同じ関係を持つが値が異なる属性Aligned Difference: attributes which have same relation

e.g.,

cat

to the two entities but have different values• 整列していない差異: 一方の実体のみに当てはまe.g.,

り、もう一方に対応する要素が存在しない属性

has no corresponding element in the other entity

dogaligned difference– E.g., mp3 (iPod) ≈ cassette (Walkman) [storage
media]

Non-aligned Difference: the element of one entity that

dog

mew

bark

cat

dog

Non-aligned difference– E.g., display panel (iPod) [no corresponding item
in Walkman]
D. Gentner and A. B. Markman. 1997. Structure mapping in analogy and similarity. American Psychologist, 52(1):45

catch mice42

問題の概念図Conceptual View of Problem
portable music

Outputportable music
Sony

Apple
song

iPod

song

Walkman

wj

mp3

wi

T1

cassette

ωi

ωj<music, music><portable, portable><Apple, Sony><mp3, cassette>…
<wi, ωi>

T2

特定の実体に文脈上関連する単語が、頻繁に共起する語の中から導き出される。
Context terms of a given entity are derived from frequently co-occurring terms
タスク: 共通性や整列した差異を示す単語のペアを見つける。
Task: find good word pairs denoting commonalities or aligned differences43時間を超えた類似性を説明する
Explaining Across-time Similarity
1. 関係性 Relatedness– ペアとなる単語はそれぞれ対象の実体と関係している。
– Terms in a pair should be related to their entities

2. 意味的類似性 Semantic similarity–ペアとなる単語自体が 互いに類似している。
– Terms should be similar to each other3. 関係的類似性 Relational similarity– ペアとなる単語とそれらが関係する実体との関係性が類似している。
– Terms should have similar relation to their entities
High relatedness

High relatedness

Weak relatedness

Weak relatedness

iPod : MP3≒ Walkman : cassette

iPod : man≒ Walkman : city

High relational
similarity

High semantic
similarity

Relationallydissimilar

Semanticallydissimilar

良い単語の組み合わせ
Good term pair

悪い単語の組み合わせ
Bad term pair44

実験結果 Experimental Resultsbaselines
methods
baselines

methods45

主成分分析に基づく視覚化
PCA based Visualization

iPod vs. Walkman

Vladimir Putin vs. Boris Yeltsin

USB vs. Floppy Disk46

時間を超えた比較の要約
ACROSS-TIME COMPARATIVESUMMARIZATION
Y. Duan, A. Jatowt: Across-Time Comparative Summarization of News Articles. WSDM 2019, pp. 735-743

47

アジェンダ Talk Schedule
1. はじめに Introduction
2. 異なる時代における類似物（時間的アナローグ）の検出
Temporal Analog Detection– 時間を超えた類似性の説明
Across-time Term Similarity Explanation
3. 時間を超えた比較の要約
Across-time Comparative Summarization
4. 歴史に基づく実体のグループ化と要約
History-based Entity Summarization
5. 面白さに基づくアーカイブからの情報検索
Interestingness-oriented Archival Retrieval
6. 現在との関連性を志向する文献検索に向けて
Towards Present-relevance Oriented Document Search
7. 結び Conclusions48

背景 Background• ニュースは質の良い情報の源泉として最も重要なものの一つである。
• News is one of the most important channels for acquiring high-quality
information• 利用者の調べたい内容によっては、異なる二つの時期のニュースの比較を行いたいと望む場合もある。
• Sometimes, users wish to compare two collections of news, which can befrom distant times, biased on query

政治家
Politician

News of 1990s

News of 2010sY. Duan, A. Jatowt: Across-Time Comparative Summarization of News Articles. WSDM 2019, pp. 735-743

49

動機 Motivation
クリントン大統領は1998年に中国を訪問した。
President Clinton
visited China in1998

トランプ大統領は2017年に中国を訪問した。
President Trump
visited China in 2017

News of 1990s

News of 2010s50

動機 Motivation
過去の類似
の状況から
知見を得る
Gaining insightsfrom similar
situations in past

過去の情報
を理解する
Understanding
information inpast

出来事の時間的アナローグを見つける

流行を分析する

Finding temporal analogs of events

Analyzing trends

Across-TimeComparison
News of 1990s

News of 2010s51

動機 Motivation

政治家
Politician

News of 1990s

News of 2010s

U.S. politician

Russian politician

English politician

Clinton…

Yeltsin…

Major…

Trump…

Putin…

May…

特定の検索クエリに基づいて、二つの異なる時期のニュースを比較する。
Compare two collections of news from distant times biased to agiven specific query.
52

問題の定式化 Problem Formulation
Input
𝐷𝐷𝐴𝐴

query
𝐷𝐷𝐵𝐵

𝑇𝑇𝐴𝐴

Output

𝑠𝑠1𝐴𝐴
𝑠𝑠1𝐵𝐵

関連性
Relevance

𝑠𝑠2𝐴𝐴
𝑠𝑠2𝐵𝐵

…

time

𝐴𝐴
𝑠𝑠𝑚𝑚

…

𝑚𝑚 relevant sentence pairs

類似性
Correspondence

𝑇𝑇𝐵𝐵

𝐵𝐵
𝑠𝑠𝑚𝑚

重要性
Saliency

多様性
Diversity53

課題 Challenges• 重要度の高い文の割合は非常に低い。

The ratio of salient candidate sentences over trivial candidate sentences is very low• 情報源となるニュースアーカイブが多様であるために、複数の潜在的サブグループに及ぶ可能性がある。
The input news archives can be very diverse as well as may cover multiple latent
subgroups• 文章の対応関係の測定は困難である（ニュース全体の文脈は異なっているかもしれない）。
To measure sentence correspondence is a difficult task
– The entire context of input news collections may be fairly different• 上述の全ての要素を考慮するのは困難な問題である。
Considering all the listed above factors is a challenging problem

方法：高品質な要約を作るために上述の四要素を全て考慮に入れた
結合整数線形計画法 (J-ILP)
Method: Joint integer linear programming framework (J-ILP) considering all thefour factors for high quality summary54直交変換 Orthogonal Transformation
Past time

Current time
iPodcassette
email
fax

Trump
Clinton

ベクトル空間表現
Vector Space Representation

L個のペアの学習用データが、過去と現在の両方の文書集合の中で学習され[ 𝑎𝑎1 , 𝑏𝑏1 , 𝑎𝑎2 , 𝑏𝑏2 , … 𝑎𝑎𝑛𝑛 , 𝑏𝑏𝑛𝑛 ]、以下の式を満たす変換行列
Wが得られる。
Given 𝐿𝐿 pairs of training data trained in both document collections[ 𝑎𝑎1 , 𝑏𝑏1 , 𝑎𝑎2 , 𝑏𝑏2 , … 𝑎𝑎𝑛𝑛 , 𝑏𝑏𝑛𝑛 ], transformation W should be learned as follows:
𝐿𝐿

𝑊𝑊 = 𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑤𝑤 � ||𝑎𝑎𝑖𝑖 − 𝑊𝑊𝑏𝑏𝑖𝑖 ||2𝐹𝐹 , 𝑠𝑠. 𝑡𝑡. 𝑊𝑊 𝑇𝑇 𝑊𝑊 = 𝐼𝐼
𝑖𝑖=1

55

WMDによる異なる時期の文の類似性計算
Across-time Sentence Similarity Computation
using WMD
Sentence 𝒔𝒔𝒔(now)

Sentence 𝒔𝒔(Past time)
Clintonspeaks
to
the
media
in
Illinois

Trump

ClintonIllinois Chicago
press
media

Trump
greetsthepressinChicagoベクトル空間表現
Vector Space Representation

文書間距離
Word Movers Distance56結合整数線形計画法
Joint Integer Linear Programming
多様で典型的な模範データを検出し、同時に対応する実体のペアを順位付けする、簡潔な 結合整数線形計画法 (J-ILP)フレームワークを提案します。
We propose a concise joint integer linear programming (J-ILP) framework which
detects diverse and representative exemplars and concurrently ranks
correspondent entity pairs from the detected exemplars.
𝑠𝑠2

𝑠𝑠4

𝑠𝑠4

𝑠𝑠1

𝑠𝑠6
𝑠𝑠3

Past

𝑠𝑠5

𝑠𝑠5

𝑠𝑠6

𝑠𝑠2
𝑠𝑠3

Present

他の実体に支持される実体を模範と呼ぶ。
We call an entity as exemplar if it is voted by other entities

𝑠𝑠1

57

実験：セットアップ Experiments: Setup• 実験には、New York Times Annotated Corpus（1987～2007年）を使用する。
• For the experiments we use the New York Times Annotated Corpus (1987- 2007).
# doc ≈
4.5𝑚𝑚

[1987, 1991]# doc ≈
4.5𝑚𝑚

[1992, 1996][1997, 2001]

Comparison[2002, 2007]

Time

58

実験：結果 Experiments: Results
ROUGE（要約システムの自動評価法）を用いたパフォーマンスの比較
Performance Comparison using ROUGE

適合率(Precision)を用いたパフォーマンスの比較
Performance Comparison using Precision59

例 Example

60

歴史に基づく実体のグループ化と要約
HISTORY-FOCUSED ENTITYGROUPING AND SUMMARIZING
61

アジェンダ Talk Schedule
1. はじめに Introduction
2. 異なる時代における類似物（時間的アナローグ）の検出
Temporal Analog Detection– 時間を超えた類似性の説明
Across-time Term Similarity Explanation
3. 時間を超えた比較の要約
Across-time Comparative Summarization
4. 歴史に基づく実体のグループ化と要約
History-based Entity Summarization
5. 面白さに基づくアーカイブからの情報検索
Interestingness-oriented Archival Retrieval
6. 現在との関連性を志向する文献検索に向けて
Towards Present-relevance Oriented Document Search
7. 結び Conclusions
62文献の時系列 Timeline Documents• 実体に関する多くの文献は時系列順に整理された出来事についての記述を含む。（例：「京都」のWikipediaページの「歴史」の項目）
Many documents about entities contain descriptions of chronologically arranged
events (e.g., history section of Wikipedia page on La Rochelle)• そうした文献に含まれる文の一つ一つには、その文に書かれた出来事がいつ起きたかを明かすタイムスタンプが付けられていると考えることができる。
We can assume that each sentence in such a document can be annotated with atimestamp revealing when an event expressed in the sentence took part
Tokyo History

Kyoto History…
time
Wikipedia: https://en.wikipedia.org…

63

実体のカテゴライズ Entity Categories• 実体はおおむねカテゴリに分けられる（例：フランスの街、19世紀ドイツの作曲家、米国の野球選手など）。
Entities are usually grouped in categories (e.g., French cities,
German composers in the 19th century, USA baseball players,etc.)• 実体を整理し、分析する上でカテゴリに分けることは自然なことである。
Entity grouping is natural strategy for arranging andreasoning about entities– Wikipedia contains over 1 million categories

しかし、カテゴリ分けと実体の歴史は一緒に記述されていないことが多い。
However, categorization and entity histories are usually not
combined together
64サブリサーチ①: 実体カテゴリの歴史の自動生成
SubResearch 1: Automatically Generating Histories of Entity Categories

ある実体の典型的な歴史はどのようなものか。
What was the typical history of a given entity category?

Example summary

Yijun Duan, Adam Jatowt, Katsumi Tanaka: Discovering Typical Histories of Entities by Multi-Timeline Summarization. HT 2017: 105-114

65

模範ベース・プロトタイプベースの要約
Exemplar and Prototype-based Summary
プロトタイプベースの要約
Prototype-based Summary

Summary

要約に含まれる出来事は別々の文書に由来する。
Summary events come fromdifferent entities

模範ベースの要約
Exemplar-based Summary

Summary

要約に含まれる全ての出来事は最も典型的な実体に由来する。
All summary events come from themost representative entity

Yijun Duan, Adam Jatowt, Katsumi Tanaka: Discovering Typical Histories of Entities by Multi-Timeline Summarization. HT 2017: 105-114

66

システムの概要 System Overview
歴史関連の文献
History-related Documents
要約
SummaryEra
Detection

プロトタイプベース
Prototype-based
Document
Pre-Processing

Topic
Detection

Mutually
Recursive
Random Walk
(MRW)

Generalization

Redundancy
RemovalHITS
Event
Representation

模範ベース
Exemplar-based

Event/Doc Importance Calculation

Yijun Duan, Adam Jatowt, Katsumi Tanaka: Discovering Typical Histories of Entities by Multi-Timeline Summarization. HT2017: 105-114

67

要約の例 Summary Example
日本の550の市から共有された歴史
Shared history of
550 cities in Japan68

サブリサーチ②:実体カテゴリの歴史の自動比較

SubResearch 2: Automatically Generating
Comparative Histories of Entity Categories
Timeline
Comparison

時系列順に整理された二つの文献コレクションを比較することで、両者の共通点や違いを発見したいと望む利用者もいる。
Sometimes, users would like to compare two collections of timeline documents inorder to discover commonalities and differences between them.
例1
Example 1

日本の都市の歴史と中国の都市の歴史の共通点は何か？
What are similarities between histories of Japanese cities andthe histories of Chinese cities?

例2
Example 2

20世紀のヨーロッパの科学者と同世紀のアメリカの研究者の生活はおのように違うのか。
How different are lives of European scientists in the 20th century andthose of American scientists at the same century?
69

例 Example

70

サブリサーチ③:歴史に基づく実体カテゴリの自動生成

SubResearch 3: Automatically Generating
Entity Categories based on their Histories
ｚｚｚｚｚｚｚｚ
ｚｚｚｚｚｚｚｚｚｚｚｚｚｚｚｚｚｚｚｚｚｚ
ｚｚｚｚｚｚｚｚｚｚｚｚｚｚｚｚｚｚｚｚｚｚ
ｚｚｚ

実体を歴史上の関連性に基づいて大きなカテゴリーに分類することを望む利用者もいる。
Sometimes, users may want to group entities in large categories according totheir historical correspondence
例1
Example 1

日本の都市の歴史的成り立ちの類似性に基づいたサブカテゴリを作るにはどうしたら良いか。

How to find meaningful sub-categories of Japanese cities based on thesimilarities of their historical developments?
例2
Example 2

20世紀ヨーロッパの科学者を、伝記の共通パターンにより分類するにはどうしたら良いか。
How to divide European scientists alive in the 20th century based on thecommon patterns in their biographies?

Yijun Duan, Adam Jatowt and Katsumi Tanaka: History-driven Entity Categorization, Proceedings of the 3rd APWeb-WAIM Joint Conference on Web and
Big Data (APWEB-WAIM 2019), Springer LNCS, Chengdu, China, August 201971

例 Example

72

面白さに基づくアーカイブ収集: ニュースアー
カイブから面白そうなコンテンツを推薦する
INTERESTINGNESS-ORIENTED ARCHIVALRETRIEVAL: RECOMMENDING INTERESTINGCONTENT FROM NEWS ARCHIVES
Hung, I. C., Färber, M., and Jatowt, A. Towards Recommending Interesting Content in News Archives. ICADL 201873

アジェンダ Talk Schedule
1. はじめに Introduction
2. 異なる時代における類似物（時間的アナローグ）の検出
Temporal Analog Detection– 時間を超えた類似性の説明
Across-time Term Similarity Explanation
3. 時間を超えた比較の要約
Across-time Comparative Summarization
4. 歴史に基づく実体のグループ化と要約
History-based Entity Summarization
5. 面白さに基づくアーカイブからの情報検索
Interestingness-oriented Archival Retrieval
6. 現在との関連性を志向する文献検索に向けて
Towards Present-relevance Oriented Document Search
7. 結び Conclusions
74

アイデア Idea
• 平均的な利用者にとって、アーカイブの利用はあまり一般的ではない。
The usage of archives is not very popular for average users• 平均的な利用者にとってアーカイブをより魅力的に見せるには、コ
ンテンツを推薦する機能が便利ではないかと思われる。
Special kind of content recommendation could be useful for archives
to increase their attractiveness for average users– アーカイブにアクセスした人は、過去の文献から面白い情報を発見し、文化資産を鑑賞することができる。
visitors could discover “interesting” information in past
documents to appreciate our heritage• 面白さを志向するメカニズムは、アーカイブの検索エンジンに組み込むことができる。
Interestingness-oriented mechanisms can beincorporated into search engines operating
on archives

75

コンテンツの面白さの多面性
Varying Aspects of Content Interestingness• 面白いコンテンツとはどのようなものか？
What can be considered as interesting content?

– 利用者の関心や趣味に関連するコンテンツ
Content related to user interests and hobbies– 現在起きている重要な出来事に関連するコンテンツ
Content relevant to ongoing important events– 魅力的なストーリーを伝えるコンテンツ
Content describing captivating stories– 重要な教訓を教えてくれるコンテンツ

Content that can teach us valuable lessons– etc.

面白さ＝意外性Interestingness = Unexpectedness

時間の経過に起因する驚き
Surprise resulting from passage of time76

例 Example• アイスカッターとは何か？ What is Ice cutter ?

1800s「アイスカッター」は、冷蔵庫の普及以前、氷を凍った池や川から切り出していた頃には人あるいは職業を指す言葉であった。
Ice cutter was a person (or a job). Before thewidespread use of refrigerators, ice was cut
from frozen lakes and rivers by men.

now

77

相互再帰的ランダムウォーク(1/2)
Mutually Recursive Random Walk (MRRW) Method (1/2)
仮説1：過去のコンテンツは、現在ありふれているコンテンツと異なっていて過去のコンテンツの中にあってはありふれている時に面白いと感じられる。
Hypothesis 1: Past content is interesting if it is different from content common in present
and if it was common in the past

相互再帰的ランダムウォークは①過去における重要性、②真新しさと物珍しさを反映すると予測される。
MRRW is expected to reflect:past importance
novelty and unfamiliarity

Dpast

similarity

dissimilarity

Dnow

similarity

78

相互再帰的ランダムウォーク(2/2)

Mutually Recursive Random Walk (MRRW) Method (2/2)
ノードの値は以下の式によって補強される：• Reinforced by:•

当初の重要性Initialimportancesimilarity

値はレイヤー内及びレイ
ヤー間の伝播によりアップ
デートされる
The score will be updated
by within- and betweenlayer propagation

dissimilarity

similarity

Yun-Nung Chen and Florian Metze. Two-layer mutually reinforced random walk for improved multiparty meeting summarization. In
Proceedings of the 4th IEEE Workshop on Spoken Language Tachnology, pp. 461–466, 201279

トピック共起法における分岐
Divergence in Topic Co-occurrence Method
仮説2：過去のコンテンツは、現在はあまり一般的ではない複数のトピックの組
み合わせである時に面白いと感じられる。
Hypothesis 2: Past content is interesting if it is about the common combination of topics
which are uncommon in present

相互再帰的ランダムウォークは意外性と驚きを反映すると予測される。
Expected to reflect:


Dpast

Dnow

Unexpectedness and surpriseTopicmodeling
LDA

トピック共起の比較
comparison of topic co-occurrences
80

実験方法
Experimental Settings
New York Timesの記事アーカイブを使用する：
New York Time corpus used as target archive:
About 1.7mln articles published between
1987-2007



クラウドソーシング（Figure Eight社）を利用し、1文あたり5つの判断基準により評価を行う。（各検索結果の上位15件の記事から1,800個の文を使用。）
Evaluation by crowdsourcing (figure-eight) with 5 judgments per sentence(1,800 sentences from 15 top-ranked results by each method)
Input




OutputUser queries (20)Dpast : 1987 - 1989
Dnow : 2005 - 2007

Ranked sentences extracted
from Dpast
81

結果 Results
平均逆順位（MRR）スコア（高い程良い）
Mean Reciprocal Rank (MRR) scores (the higher the better)

MethodExample Sentence

MRRW

LEAD: The chairman of the Florida Seminole tribe was acquitted
today of state charges of killing an endangered Florida panther.

Divergencein Topic Cooccurrence

Of the 715 apartment fires in Moscow last month, 90 wereblamed on exploding television sets, a statistic the Soviet press
has viewed as an alarming commentary on soviet technology.
82

現在との関連性を志向する
文献検索に向けて
TOWARDS PRESENT-RELEVANCEORIENTED DOCUMENT SEARCH
83

アジェンダ Talk Schedule
1. はじめに Introduction
2. 異なる時代における類似物（時間的アナローグ）の検出
Temporal Analog Detection– 時間を超えた類似性の説明
Across-time Term Similarity Explanation
3. 時間を超えた比較の要約
Across-time Comparative Summarization
4. 歴史に基づく実体のグループ化と要約
History-based Entity Summarization
5. 面白さに基づくアーカイブからの情報検索
Interestingness-oriented Archival Retrieval
6. 現在との関連性を志向する文献検索に向けて
Towards Present-relevance Oriented Document Search
7. 結び Conclusions84アーカイブの検索 Archival Search• 専門家（例：歴史家）は自分が何を探したいかを知っている。
Professionals (e.g., historians) know what theywant to find
– 検索意図が明確に定義されている。
They have well-defined search intent

85

アーカイブの検索 Archival Search• 一般的な利用者は検索意図があまり定義されていないかもしれない。
General users may have less defined search intent–

現在に関連する文献を探そうとするかもしれない。
例1：現在の出来事の背景となった出来事/人物/場所
例2：現在の出来事に類似した出来事/人物/場所
They may try to find documents related to the present.
Ex1. Events/figures/places that are background for present events
Ex2. Events/figures/places similar to present events• 時間の経過により、過去の文献の現在との関連度にはばらつきがある。
Due to time passage, past documents have varying level of relation
to the present

86

例 Example
1988年の文献A
Document A from1988 [3]1987年の文献B
Document B from1987 [4][3] https://www.nytimes.com/1988/04/12/business/credit-markets-neiman-shifts-key-executives.html[4] https://www.nytimes.com/1987/01/06/nyregion/anti-peddler-drive-pleases-fifth-ave-merchants.html

87どうすれば過去の文献から現在と関係するものを見つけられるでしょうか？
How can we find past documents
which are related to present?

88アプローチの考え方 Approach Idea
• 現在との関連性は、多くの分野にまたがる複雑な構造である。
Present relevance is a complex construct thatinvolves many aspects• 一つの技術や機能により現在との関連性を把握することは難しい。
We believe that it is difficult to capture present
relevance with a single technique or feature• したがって、文献と現在との関連を示すことができるかもしれない一連の機能を次に示す。
We then propose a range of features that likely
indicate present relevance of documents89アプローチの概要 Approach Overview
固有表現の
認識

実体に関係する
特性の抽出

文献検索
出来事の符号化

出来事に
基づく
類似性

文献コレクション:D（1996年、1998年）

コンテンツに基づく類似性

ユーザークエリ

現在との関連度
により順位付けされた文献

参考文献コレクション:Dref（2016年、2019年）

90

結び＆今後の課題 Conclusions & Future Work
情報アクセスの新しい手法と長期間に渡るニュースアーカイブからのナレッジ抽出
Novel Ways of Information Access andKnowledge Extraction from Long-term News Archives
1. はじめに Introduction
2. 異なる時代における類似物（時間的アナローグ）の検出
Temporal Analog Detection– 時間を超えた類似性の説明
Across-time Term Similarity Explanation
3. 時間を超えた比較の要約
Across-time Comparative Summarization
4. 歴史に基づく実体のグループ化と要約
History-based Entity Summarization
5. 面白さに基づくアーカイブからの情報検索
Interestingness-oriented Archival Retrieval
6. 現在との関連性を志向する文献検索に向けて
Towards Present-relevance Oriented Document Search (Future)
7. 語義変化の分析
Word Meaning Evolution Analysis (Future)91

ご清聴ありがとうございました。
Thank you for the attention

Q&A

92