# 訪問場所表現グラウンディングのためのアノテーション

大友寬之 ${ }^{1}$ 大内啓樹 1,2 星野智紀 ${ }^{1}$ 井手佑翼 ${ }^{1}$ 渡辺太郎 ${ }^{1}$
1 奈良先端科学技術大学院大学 2 理化学研究所
\{otomo.hiroyuki.ob7, hiroki.ouchi\}@is.naist.jp
\{hoshino.tomoki. ho6, ide.yusuke.ja6, taro\}@is.naist.jp

## 概要

新たなタスク「訪問場所表現グラウンディング」 を提案する. 文章中の人物が訪れた場所の言語表現を抽出し，地図上にグラウンディングすることを目的とする。ここれが可能になれば，旅行プランニングなど多様なアプリケーションへの展開が期待できる.その第一歩として, 本稿ではデータセット構築のためのアノテーション基準を策定する．実際にアノテーション実験を行い，比較的高い作業者間アノテーション一致率が得られることがわかった.

## 1 はじめに

古来から人間は地球上のさまざまな場所を訪れ， その記憶を自然言語で書き留めてきた。旅行記や紀行文はその代表であり，訪れた場所での個人的な経験や感想が記述される.これらの文書を計算機によって読み解き, 訪問場所に関する言語表現と地図上の位置を紐付け，そこで個人が何を経験したのかを抽出できれば，旅行プランニングや観光地ナビゲーションをはじめ多様なアプリケーションへ有効活用できる情報源になると期待できる．特に昨今のコロナ禍により壊滅的な打撃を受けた観光業の再興のため, 位置情報と紐づく主観情報（その場所の体験談や感想）は重要な役割を担う。

本研究では，訪問場所を表す言語表現を地図上へグラウンディングすることを見据え，そのデータセット構築のためのアノテーション基準を策定することを目的とする．具体的には，旅行ブログを対象テキストとし, 著者が実際に訪れた場所（地名や施設名）を複数の作業者にアノテーションしてもらう.ここで重要なのは，「著者が実際にその場所を訪れたかどうか」の判断である.この判断には周辺文脈を読み解く必要があり，時には明示的に書かれていない情報を推測しないと正確に判断できない事例も少なくない. そこで，作業者間のアノテーショ
ン一致率を算出し，どのような事例でアノテーションの一致/不一致が生じるかを分析する. 実験結果として, 全体では比較的高い一致率が得られることがわかった。事例分析の結果，個人の経験に関する言及と一般的な言及が同一文中に混在する場合に不一致が起きやすくなることがわかった.

## 2 訪問場所表現グラウンディング

## 2.1 問題設定と技術的焦点

本稿で提案するタスク「訪問場所表現グラウンディング」を図 1 に示す. 大力文章中で著者が訪れた場所を表す場所参照表現を抽出（ラベリング）し，地図上の適切な位置（緯度・経度）に紐付けること （グラウンディング）を目的とする。例えば図 1 において，著者は「西本願寺」と「銀閣寺」を訪れており，それらを地図上にグラウンディングしている.

本タスクの技術的なポイントは，著者が実際にその場所を訪れたか否かの判定にある。つまり，著者の行動の事実性を文脈から判断する必要がある．例えば図 1 中の「京都」は，場所を参照する言語表現であるが，著者の訪問経験を意味しているわけではなく，一般的な事実への言及であるため，地図にはグラウンディングしない.

ここで，あるタイプのテキストには位置情報が付与されていることもあり，わざわざ本タスクを行う必要はないのではないかという指摘もありうる. たしかに Twitter などのマイクロブログテキストには位置情報が付与されている場合もある. しかしながら，位置情報付きツイートの割合は 1 パーセントに満たないという報告がある [1]. また，著者が発信している場所と文章中で言及している場所は異なる場合も多く, これは本質的な問題である。これらの問題を鑑みると，場所参照表現を正確に抽出し，地図上に紐付けるためのタスク設計およびデータ整備，システム開発は有用であると言える。

図 1 訪問場所表現グラウンディングの概略図

## 2.2 先行研究との関係

関連する研究分野の一つに「場所参照表現解析 (Geoparsing, Toponym Resolution)」[2, 3, 4, 5, 6] が挙げられる。このタスクでは，テキスト中に現れる場所参照表現を抽出し, 各表現に位置情報（緯度・経度）を付与する．典型的には位置情報付き地名・施設名辞書を用いることを前提とし，該当する項目を場所参照表現で辞書引きして位置情報を取得するため，エンティティリンキング (Entity Linking) [7] の一種として捉えることもできる. これらの基本設定に加え，本研究では著者が実際にその場所を訪問したかどうかを問題とする。この新たな視点の導入によって，場所参照表現の周辺文脈をより正確に読み解かなければタスクを解くことはできない．特に，前述したような図 1 中の「京都」の例のように，事実性 (時制，アスペクト，モダリティ）を正確に解析し，一般的な言及なのか著者の実体験に関する言及なのかを峻別する必要がある．このような点から，従来の場所参照表現解析と比べ，本タスクでは意味解析の要素が色濃く要求される点が特色である.

もう一つの関連研究分野として「経験マイニング (Experience Mining)」 [8, 9, 10] が挙げられる.このタスクでは，商品やサービスなどの事物の利用に関する個人の経験を文章から抽出する．経験マイニングでも事実性解析などの意味解析が重要を役割を担う点は我々の提案タスクと共通する。しかしながら，我々の提案タスクは経験マイニングには収まらない問題を含んでいる。それは地図へのグラウンディングである．テキストの世界と地図の世界を繋ぐマルチモーダル処理を目的とする点が明確に異なる. 将来的には，訪問場所における個人の経験や感想を地図上に重ね合わせて表示することによって，拡張地図 (Augmented Map) の生成を目指す。そのための第一歩として，本稿では訪問場所参照表現のアノテーションを行う.

## 3 アノテーション実験

本節では，訪問場所参照表現の人手によるアノテーション実験を行い，作業者間アノテーション一致率をはじめとする種々の分析を行う。

## 3.1 アノテーションの概要

アノテーション作業として，(1) 場所参照表現の抽出と (2) その場所に訪れたと文中で言及しているか否かを表すラベルを付与する。一つ目の作業では，文章中に現れる地名・施設名などの場所参照表現のテキスト範囲を文字単位で同定する。二つ目の作業では，同定済みの場所参照表現の指し示す場所を，文章の著者が実際に訪れ，かつ，文中で訪れていることに言及している場合はVISIT のラベルを付与し，それ以外は OTHER のラベルを付与する。

## 3.2 アノテーションの手順

2 名のアノテーション作業者が実際の作業を行った. データとして，KNB コーパス [11]を利用した. KNB コーパスは 249 記事，4,186 文から構成される解析済みブログコーパスであり，係り受けや固有表現などのアノテーション情報が含まれる。また， KNB コーパスに含まれる記事は，京都観光，携帯電話，スポーツ，グルメのいずれかのテーマで執筆されている. 本稿では京都観光に属する 81 件の記事の内，「旅行記」に該当する記事 29 件をアノテー ション対象の文章とした．KNB コーパスに含まれる各記事の 1 行目はテーマ名とタイトルを表しており，2 行名以降が本文を表している．そこで，旅行記 29 件の各記事の 2 行目以降をアノテーション対象とし，全体の文数は 455 となった. アノテーションツールとして doccano1)を用いた。なお，アノテー ション作業中に場所参照表現かどうかわからない表現があった場合，検索エンジンを用いて調べてよいこととした.

表 1 アノテーションされたラベルの数

作業者 A 作業者 B

表 2 作業者間アノテーション一致率 ( $\mathrm{F}_{1}$ 値)

VISIT OTHER VISIT+OTHER

$\begin{array}{lll}78.33 & 69.71 & 75.00\end{array}$

## 4 結果と考察

表 1 は，2名の作業者によってラベル付けされた VISIT と OTHER の数を表している.

## 4.1 作業者間アノテーション一致率

表 2 は作業者間のアノテーション一致率を表している. 本実験では，一致率として $\mathrm{F}_{1}$ 値を採用する. $\mathrm{F}_{1}$ 值を算出するにあたり，2 名の作業者によるアノテーションのラベルおよびスパンの両方が一致していれば真陽性（True Positive）とみなす。表 2 中のVISIT は，アノテーション結果が VISIT のラベルについて一致率を調べた結果であり, OTHER も同様である。また，表 2 中の VISIT+OTHER は，VISIT と OTHER の両方のラベルの一致率について調べた結果である.

この結果は比較的高い数値であると解釈できる.本アノテーション作業では「実際に著者がその場所を訪れたか」の判断がポイントとなるが，これは事実性（時制，アスペクト，モダリティ情報）の認識に深く関わる。この認識は個人の主観によって摇れる。例えば関連するものとして，日本語 TimeBank のアノテーション作業が挙げられ，概ね 6 割ほどの作業者間アノテーション一致率であったとの報告がある [12]. もちろん, 本稿でのアノテーション作業と異なるため公平な比較はできないが，全体でも 7 割を超える一致率であり，最も重要な VISIT の一致率は 8 割に迫るため悪くない数値であると言える。

## 4.2 固有表現の再現率

実際に本アノテーション（場所参照表現の抽出とラベル付与）を自動化する場合，シンプルな方法として，第一段階目で場所参照表現を抽出し，続いて第二段階目で抽出済み場所参照表現をVISIT や OTHER に分類するといった二段階処理（これは典型表 3 固有表現の再現率

的な Entity Linking や Entity Typing と同じ方法）が考えられる。そこで本節では，第一段階目の場所参照表現抽出のために，一般的な固有表現抽出システムを用いるとどの程度場所参照表現を抽出できるか， その再現率の目安を付けるための分析を行う. さらに，固有表現抽出システムとの比較のため，人手による固有表現のアノテーションの再現率も確認する.

本稿では固有表現抽出システムとして spaCy2)の ja_core_news_lg $\mathrm{g}^{3}$ を用い，モデルの予測結果のうち， FAC，LOC，GPE，ORGのいずれかのラベルを自動付与された言語表現のみをシステム出力（以下，自動 NER）とした。なお，FAC，LOC，GPE，ORG以外のラベルとして予測されたアノテーションは全体の $3 \%$程度であり，システム出力に含まれない．また，人手によってラベル付けされたデータセットとして， KNB コーパスの固有表現アノテーションを用いた.固有表現アノテーションのうち，ラベルが LOCATION もしくは ORGANIZATION の言語表現をシステム出力 （以下，人手 NER）とした. 作業者 2 名によるアノテーションを正解データとして各アノテーションで再現率を計算し，その平均を本節で報告する。

表 3 はラベルごとの再現率を表している。自動 NER において，VISIT+OTHER の再現率が 7 割程度という結果から，固有表現抽出システムが抽出できていない場所参照表現が 3 割程度存在することがわかる. 言い換えると，一般的なサイズの固有表現デー タセットを用いた NER モデルの学習・構築では十分に場所参照表現を抽出できないことが示唆された.したがって，場所参照表現の追加アノテーションデータを用いた NER モデルのファインチューニングや，地名・施設名辞書を用いた新たな手法を考案することによって, 場所参照表現の抽出精度を高めていくことが今後の技術的課題である。

## 4.3 事例の分析

本節では，アノテーション結果のより詳細な分析を行い，現状の到達点や改善点を洗い出す． 2 名の

(a) アノテーションが一致した例

日曜日友人二人を誘って、 ${ }_{\text {VISIT/VISIT }}^{\text {伏見 }}$ の酒蔵見学に行ってきた。朝 10 時、京阪中書島駅で降りて、 5 分程歩くと、月桂冠大倉記念館がある。

VISIT/VISIT

(b) アノテーションが不一致だった例

嵐山に行くのには、寮の前から嵐山行きのバスが都合よく出ているので、それに乗っかればいいだけだが、この際、 $\underset{\text { OTHER/OTHER }}{\text { 京都 }}$ の路面電車もぜひ試してみたいと考えて、京福電鉄を使うルートで行くことにした。

(c)一方の作業者のみによってラベルが付与された例

作業者によってアノテーションされた各事例を，(a) アノテーションが一致した例, (b) 不一致だった例, (c)一方の作業者のみによってラベルが付与された例に分類する. アノテーションが一致した例は 234 件, 不一致だった例は 52 件, 一方の作業者のみによってラベルが付与された例は 52 件確認された.表 4 の上段に示すように，基本的な場所参照表現の抽出とラベル付与は作業者間で概ね一致していることが確認された.

表 4 の中段に，作業者間でアノテーションの判断に不一致が起きた事例を示す.ここでは，文の前半では地名に関する一般的なことを述べているが，後半では著者の経験に言及している。つまり，文頭の 「嵐山に行くのには」の部分は一般的なことを述べている。一方, 文末の「行くことにした。」という述語は著者の経験を述べており, その目的語はゼロ代名詞として扱われている（省略されている）が「嵐山」である.このように，異なる述語との兼ね合いを正確に読み解く必要があるような事例では, 作業者間でVISIT，OTHER のどちらを付与するか判断が分かれやすい傾向が見られた。

表 4 の下段に，一方の作業者のみによってラベルが付与される事例を示す。「五十塔」は「仁和寺」の敷地内に存在する目立つランドマークである。このようなランドマークに対してもアノテーションするかどうかの判断が作業者間で分かれたと考えられる. 類似の例として，「東大寺」の敷地内にある「大仏」や「渋谷駅前」の「ハチ公」などが考えられる。 これらの例のように，ある施設の敷地（領域）内に存在するランドマークもアノテーションするか否かを明確化する必要性が示唆された。

## 5 おわりに

本稿では，新たなタスク「訪問場所表現グラウンディング」を提案し，そのためのアノテーション実験を行った. 結果として，アノテーション作業者間で比較的高い一致率を得ることができた。また，事例の分析によって, アノテーション基準のさらなる明確化の必要性も示唆された. 今後, これらの知見をもとにアノテーション基準を改善した後，大規模なテキストへのアノテーション作業に取り掛かり，本タスクのデータセットを構築する予定である.

## 謝辞

本研究は JSPS 科研費 JP19K20351 の助成を受けたものである.

## 参考文献

[1] Stuart E Middleton, Lee Middleton, and Stefano Modafferi. Real-time crisis mapping of natural disasters using social media. IEEE Intelligent Systems, Vol. 29, No. 2, pp. 9-17, 2013.

[2] Jochen L Leidner. An evaluation dataset for the toponym resolution task. Computers, Environment and Urban Systems, Vol. 30, No. 4, pp. 400-417, 2006.

[3] Jochen L Leidner. Toponym resolution in text: Annotation, evaluation and applications of spatial grounding of place names. Universal-Publishers, 2008.

[4] Grant DeLozier, Jason Baldridge, and Loretta London. Gazetteer-independent toponym resolution using geographic word profiles. In Twenty-Ninth AAAI Conference
on Artificial Intelligence, 2015.

[5] Koji Matsuda, Akira Sasaki, Naoaki Okazaki, and Kentaro Inui. Annotating geographical entities on microblog text. In Proceedings of The 9th Linguistic Annotation Workshop, pp. 85-94, Denver, Colorado, USA, June 2015. Association for Computational Linguistics.

[6] Davy Weissenbacher, Arjun Magge, Karen O'Connor, Matthew Scotch, and Graciela Gonzalez-Hernandez. SemEval-2019 task 12: Toponym resolution in scientific papers. In Proceedings of the 13th International Workshop on Semantic Evaluation, pp. 907-916, Minneapolis, Minnesota, USA, June 2019. Association for Computational Linguistics.

[7] Wei Shen, Jianyong Wang, and Jiawei Han. Entity linking with a knowledge base: Issues, techniques, and solutions. IEEE Transactions on Knowledge and Data Engineering, Vol. 27, No. 2, pp. 443-460, 2014.

[8] Kentaro Inui, Shuya Abe, Kazuo Hara, Hiraku Morita, Chitose Sao, Megumi Eguchi, Asuka Sumida, Koji Murakami, and Suguru Matsuyoshi. Experience mining: Building a large-scale database of personal experiences and opinions from web documents. In 2008 IEEE/WIC/ACM International Conference on Web Intelligence and Intelligent Agent Technology, Vol. 1, pp. 314-321. IEEE, 2008.

[9] Keun Chan Park, Yoonjae Jeong, and Sung Hyon Myaeng. Detecting experiences from weblogs. In Proceedings of the 48th Annual Meeting of the Association for Computational Linguistics, pp. 1464-1472, Uppsala, Sweden, July 2010. Association for Computational Linguistics.

[10] Yunzhong Liu, Yi Chen, Jiliang Tang, and Huan Liu. Context-aware experience extraction from online health forums. In 2015 International Conference on Healthcare Informatics, pp. 42-47. IEEE, 2015.

[11] 橋本力, 黒橋禎夫, 河原大輔, 新里圭司, 永田昌明. 構文・照応・評価情報つきブログコーパスの構築. 自然言語処理, Vol. 18, No. 2, pp. 175-201, 2011.

[12] Masayuki Asahara, Sachi Yasuda, Hikari Konishi, Mizuho Imada, and Kikuo Maekawa. BCCWJ-TimeBank: Temporal and event information annotation on Japanese text. In Proceedings of the 27th Pacific Asia Conference on Language, Information, and Computation (PACLIC 27), pp. 206-214, Taipei, Taiwan, November 2013. Department of English, National Chengchi University.