# Early Discovery of Disappearing Entities in Microblogs

赤崎智 $\dagger$

## 1 はじめに

本稿では ACL2023で採択された表題の論文 (Akasaki et al. 2023)について, 着想から採択までの経緯や論文の概要について述べる。紙面の都合上説明を大幅に省略している箇所が多々あるが，適宜論文の方を参照していただけると幸いである。

## 2 着想までの経緯

筆者は博士後期課程在籍時, マイクロブログからの情報抽出を大枠のテーマとしていた. その枠の一つとして取り組んでいた研究 "Early Discovery of Emerging Entities in Microblogs (Akasaki et al. 2019)”が IJCAI2019 に採択され，次の課題を考えている時期のことである．IJCAI2019 の研究はマイクロブログから新作の映画や音楽，新しくできる場所やイベントといった新エンティティを発見するという取り組みであり，これに続く課題はないかと思案していた。あれこれ考えああでもないこうでもないと唸り，Twitter（現X）のアプリを開いては時間を潰すということを繰り返していた。いつものようにタイムラインを眺めていると，筆者がかつて訪ねたとある飲食店が閉店したというツイートが目に入った。「いつの間に閉店したんた」，「閉店前にもう一度行きたかった」と残念がると同時に，ある閃きを得た。

先の取り組みで対象とした新エンティティというのは現実世界に新しく誕生したエンティティを指し，いわゆるエンティティの“最初”というものを扱っている。逆に言えば先ほど挙げた閉店してしまった飲食店のように，エンティティの“最後”というものがあるのでは？と考えた．我々人間や生物は死んでしまうことで世から消えてしまうし，音楽グループや政治団体などもそのうち解散し，お店やサービスもいつしか終了し利用ができなくなってしまう。このような, エンティティが現実世界から消失するという情報も，新しく誕生するという情報に劣らず重要であり，知識ベースの整備やトレンド分析に役立てることができる。また，お店やイベントなどについては，（先の例で筆者が後悔したように）消失後に認識してしまうという機会損失を防ぐため，それ以前のなるべく早い段階で消失を知ることが重要である。これらを踏まえ，消失エンティティを早期に発見するという課題に取り組むこととした.


## 3 新エンティティの発見

最初に, 本研究で用いた手法のベースとなった Akasaki et al. のマイクロブログから新エンティティを発見する手法について概要を説明する。この研究では, 新エンティティはマイクロブログで最初に言及される時,「新作」,「発表」，「予定」などの，そのエンティティの新規性を示唆する文脈が現れることを報告している。そのため，これらの新規文脈を含む投稿を収集し機械学習モデルに学習させることで，新エンティティをそれが現れてすぐに発見することができるモデルを構築できる. しかしながら, 人名や作品など様々な夕イプを持つ新エンティティの新規文脈を言語毎に人手でアノテーションしデータセットを構築することは労力がかかる.

そこで知識ベースとマイクロブログの投稿のタイムスタンプを利用した Distant supervision (Mintz et al. 2009) である Time-sensitive distant supervision （図 1）を提案し, Wikipedia のエンティティの最初期の投稿を大量かつ自動的に収集することで新規文脈を獲得した. このとき，機械学習を行うためには負例となる文脈を収集する必要がある。そのため, 新規文脈の対となる文脈，すなわちエンティティの新規性が失われ世間に普及した文脈を普及文脈とみなし，新規文脈を収集した時期からしばらく経った投稿を集めることでそれらを獲得した. 収集した新規文脈と普及文脈を固有表現抽出モデルで学習し，新規文脈で現れる新エンティティを認識するモデルを構築した。

図 1 新エンティティの発見手法の概要図. Wikipedia の各エンティティの最初期の投稿を新規文脈（正例）そこから時間が経った投稿を普及文脈（負例）として収集する。正例のエンティティにのみエンティティ文字列の位置を示す 'BIES'タグ，それ以外に ' $\mathrm{O}$ 'タグを割り当て，固有表現抽出モデルを学習する.

## 4 消失エンティティの発見

ここまでで勘のいい読者であれば，消失の際に「終了」，「閉店」，「死亡」などの消失文脈が現れる消失エンティティも，同様の手法を用いることで発見することが可能だと考えるだろう. しかしながら，エンティティについて最初の時期の投稿が新規文脈となる新エンティティと異なり, エンティティについて最後（最新）の投稿が消失文脈になるとは限らない. なぜならば,消失エンティティはそれが実際に消失した後でも, 言及され続けることがあるからだ（図 2 下）. そのため, 単純に Time-sensitive distant supervision を適用，すなわちエンティティについて最後の投稿を集めると，消失文脈とは関係のないノイジーな投稿を収集してしまうことになる.

## 4.1 Time-sensitive distant supervision の改良

そこで，単純に最後の投稿を収集するのではなく，エンティティが実際に消失する夕イミングの投稿を収集することを考える。ここで我々は，Wikipedia においてエンティティが消失した年が記載される1ことに気づいた。そのため, Time-sensitive distant supervision を行う際にこれらの年に言及頻度が高い時期を対象として投稿を収集した。これにより消失文脈を含んだ投稿を集めることが可能となる。そしてここで集めた時期より十分に前の投稿を，負例の消失前文脈として収集し, 固有表現抽出モデルを学習するためのデータセットを構築した（図 2）.

図 2 消失エンティティの発見手法の概要図. Wikipedia の各エンティティが消失した年に最も言及頻度が高いタイミングの投稿を消失文脈（正例）そこから十分に前の投稿を消失前文脈（負例）として収集する。正例のエンティティにのみエンティティ文字列の位置を示す 'BIES'タグ，それ以外に'O'タグをを割り当て，固有表現抽出モデルを学習する。
^{1}$ https://en.wikipedia.org/w/index.php?title=Category:Endings_by_year\&from=2000
}

## 4.2 事前学習済み単語分散表現の追加学習

また，学習した固有表現抽出モデルで消失エンティティを検出する際も工夫を加えた。モデルを適用するマイクロブログの投稿は短くノイジーであるため，ニュースや新聞記事などの整つたテキストを対象とする際よりも検出精度が下がりやすい。これに対し，マイクロブログにおいて関連する話題の投稿が短期間で複数出現することに着目し, この特徴をモデルに加える方法を提案した（図 3)，具体的には，モデルに入力する検出対象の投稿について，その投稿日のマイクロブログのテキストストリームを用いて事前学習済みの単語分散表現の追加学習を行う. これにより更新した単語分散表現を図のように追加で入力することにより, 検出モデルは入力投稿外の大域的な投稿群をも考慮しつつ, 頑健に消失エンティティの認識を行うことができる.

## 4.3 実験設定

実験ではマイクロブログとしてTwitter（現X）を用い, 実際に Time-sensitive distant supervision を用いて日英のデータセットを構築した。これらのデータセットを用いて BERT による固有表現抽出モデルの学習および fastTextを用いた事前学習済み単語分散表現の追加学習を行う。ベー スラインとしては, 改良なしの Time-sensitive distant supervision, すなわちエンティティについて単に最後の投稿を正例，そこから十分に前の時期の投稿を負例として集める手法でデータセットを構築し，BERTによる固有表現抽出モデルを学習した。

これらのモデルを別途人手で作成したテストデータ用の投稿に適用し, 固有表現抽出の性能評価を行った。また，消失エンティティが消失前に早期発見できるかを確認するため, Wikipedia 上で消失エンティティが消失したと記録されたタイミングを編集履歴から取得し，そのタイミングよりどれだけ早くにTwitter から消失エンティティを発見できるかを評価した。

図 3 消失エンティティを発見するモデルの図. モデルに入力される投稿の日付を利用し，その日付の投稿群で学習済み単語分散表現の追加学習を行う（右），得られた単語分散表現をモデルに入力する (左).

## 4.4 実験結果

結果としては，改良した Time-sensitive distant supervision を用いた手法がベースラインの性能を上回り, 単語分散表現の追加学習を行うことで更なる精度向上が可能なことを確認した.

早期発見についても，日英ともにWikipedia の更新より平均して一ヶ月以上早く（人名タイプを除けば四ヶ月以上早く）消失エンティティを発見できることを確認した。

## 4.5 採択までの経緯

本研究は冒頭で述べた通り 2019 年には構想が出来ていたが, 先に賞味期限の短い別の課題に取り組んだ都合上発表は NLP2022 が初出となった。そこで幸いにも若手奨励賞を頂き，英語化したものを COLING2022に投稿したが不採択で，続くEACL2023でも不採択であった。主な指摘点は IJCAI2019 の論文からの差分が不明膫であることや，モデル及び評価指標の妥当性についてであった. 本研究のような新タスク系の課題はベンチマーク系の課題のように競争となることが基本的にはなくのんびりと研究に取り組めるが，論文化の際にタスクに説得力を持たせることが難しい. ACL2023への投稿時はその部分を重点的に推敲し，無事採択へと至った.

## 参考文献

Akasaki, S., Yoshinaga, N., and Toyoda, M. (2019). "Early Discovery of Emerging entities in microblogs." In Proceedings of the 28th International Joint Conference on Artificial Intelligence (IJCAI), pp. 4882-4889.

Akasaki, S., Yoshinaga, N., and Toyoda, M. (2023). "Early Discovery of Disappearing entities in microblogs." In Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (ACL), pp. 4507-4520.

Mintz, M., Bills, S., Snow, R., and Jurafsky, D. (2009). "Distant Supervision for Relation Extraction without Labeled Data." In Proceedings of the Joint Conference of the 47th Annual Meeting of the Association for Computational Linguistics and the 4th International Joint Conference on Natural Language Processing (ACL-IJCNLP), pp. 1003-1011.

## 略歴

赤崎智：2022 年東京大学大学院情報理工学系研究科博士後期課程修了. 日本学術振興会特別研究員 DC1 を経て, 2022 年 4 月より, LINEヤフー株式会社 LINE ヤフー研究所（旧 Yahoo! JAPAN 研究所）主任研究員. 自然言語処理，特に情報抽出，対話システム，ウェブマイニングを対象とし研究活動を行っている. 博士 (情報理工学).