言語処理学会 第30回年次大会 発表論文集（2024年3月）

地理的エンティティ情報が与えられた
文書ジオロケーションモデルの有効性検証
山本祐耶
筑波大学情報学群
s2012003@s.tsukuba.ac.jp

乾孝司
筑波大学大学院 システム情報工学研究群
inui@cs.tsukuba.ac.jp

概要
SNS 投稿文書などの投稿位置を推定する文書ジオ
ロケーション課題では、文書内に含まれる地名（「茨城」）やランドマーク（「ディズニーランド」）への言及が有力な手がかりになることが多いが、これら言及のみから常に十分な情報が得られるとは限らない。本研究では、これらの言及情報をより効果的に活用するため、各言及からそれらが指し示す実世界上の実体（エンティティ）を同定し、同定されたエンティティに関する情報を利用することを考える。
評価実験を通して、エンティティ情報のうち、エンティティの所在情報に注目して文書ジオロケーションモデルに情報を取り込むことで、文書ジオロケーションの性能が改善することが確認できた。

1 はじめに位置情報が付与された SNS 投稿文書は、ソーシャルセンシングに欠かせない情報源であるものの、SNS 投稿文書のうち位置情報が付与された文書はその一部に過ぎないという問題がある。この問題に対して、位置情報が付与されていない SNS 投稿文書が与えられた時に、その文書に対応する位置情報を推定する文書ジオロケーションに関する研究が進められている [1, 2, 3]。
文書ジオロケーション課題では、文書内に含まれる地名やランドマークなどへの言及が有力な手がかりになることが多いが、言及のみから常に十分な情報が得られるとは限らない。例えば、千葉県にある東京ディズニーランドを訪れた旅行者が『ディズニーランドに到着！』と SNS に投稿したと仮定する。この投稿の投稿位置は言及「ディズニーランド」に関連することが予想されるものの、言及「ディズニーランド」が手がかりとして十分に機能するには、これが千葉県に所在する東京ディズニー

図1

実世界上の実体を同定しモデルで利用ランドへの言及であるのか、あるいは米国カリフォルニアに所在する Disneyland への言及であるのかを文書ジオロケーションモデルが把握できていることが望ましい。
文書ジオロケーションに外部知識を利用する研究は既にあるものの [4, 5] 、実世界上の実体（エンティティ）を同定し、その情報の利用に注目した議論はなされていない。そこで本研究では、文書内に含まれる言及からそれらのエンティティを同定し、同定されたエンティティの情報を文書ジオロケーションに利用することに注目する（図 1）。具体的には、エンティティ情報を文書ジオロケーションモデルに取り込むにあたり、エンティティ情報のうちどのような情報を、どのように埋め込み表現に変換し、どのようにモデルに取り込むかについて議論する。

2 構成要素本稿の主要な内容に入る前に、本研究の構成要素について説明する。
地理的エンティティ：文書ジオロケーションでは地名やランドマークなどの地理的位置に関する地理的エンティティが特に重要であると考えられる。そこで、本研究では地理的エンティティに対象を絞って検討する。具体的には、東北大学で公開されている日本語 Wikipedia エンティティベクトル1）に収録されているエンティティのうち、森羅プロジェク
ト 2）の拡張固有表現ラベル 3）で組織名、地名、施設
1） https://www.cl.ecei.tohoku.ac.jp/∼m-suzuki/jawiki vector/2） https://2022.shinra-project.info/
3） http://ene-project.info/― 1306 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

図 3 埋め込み表現獲得手法の違い

図2

ConvertedBERTVec は、文書ジオロケーション課題

エンティティ情報の取り込み例向けに本研究で提案する新規な方法である。

名、イベント名に割り当てられるエンティティを地• EntityVec[8]：エンティティ（Wikipedia ページ）

理的エンティティとして用いた。の見出し語から埋め込み表現を獲得する。実装

文 書 ジ オ ロ ケ ー シ ョ ン：入 力 文 書 に 対 し て 47
クラスの都道府県を出力する都道府県レベルのとしては、日本語 Wikipedia エンティティベク

文書ジオロケーション課題を扱う。さきほどの例

報を考慮した word2vec[9] によって埋め込み表『デ ィ ズ ニ ー ラ ン ド に 到 着！』の 場 合、千 葉 県 が期待される出力クラスとなる。また、文書ジオロ現を学習したものである。
• ConvertedEntityVec：予備調査から、都道府県名

ケーションのモデルには BERT に基づく文書分類を含む文書であれば、エンティティ情報を取モデル [6] として、Huggingface 4）で公開されているり込むことなく良好な分類性能を達成できるBertForSequenceClassiﬁcation を基本モデルとして採ことを確認した。そこで、EntityVec のようにエ用した。本モデルの詳細設定を付録 A.1 節に示す。

ンティティの見出し語を使うのではなく、エエンティティ・リンキング：文書内のある言及（メンティティの所在都道府県のエンティティ情ンション）と実世界のエンティティを結びつける課報（都道府県エンティティ）を利用する。元エ題はエンティティ・リンキング課題と呼ばれ、特ンティティを都道府県エンティティに変換したにエンティティとして Wikipedia ページを仮定したあとの処理は EntityVec と同様である。元エントルを用いる。これは、Wikipedia のリンク情Wikiﬁcation[7] に関する研究活動が盛んである。本

ティティの所在都道府県は、Okajima ら [10] を研究でも Wikiﬁcation を前提にして、Wikipedia ペー参考に、元エンティティである Wikipedia ペー

ジの情報をエンティティ情報として文書ジオロケーションモデルに取り込む。使用した Wikipedia デー

ジの本文に初めて登場する都道府県とした。
• ConvertedBERTVec：ConvertedEntityVec と同様にタ 5）は 2023 年 8 月に取得したダンプデータである。

エンティティの所在都道府県情報を利用する。
ただし、ConvertedEntityVec のように埋め込み3 エンティティ情報の取り込み表現の獲得に EntityVec を用いるのではなく、文書ジオロケーションモデルにエンティティ情報

BERT への元入力テキストへ所在都道府県名をを取り込む例を図 2 に示す。この図は、Wikiﬁcation挿入する。この操作によって、挿入された都道によって言及「ディズニーランド」から東京ディズ

府県名は元テキストとあわせて BERT の学習過ニーランドのエンティティ情報が得られた場合の程を通して埋め込み表現に変換される。

取り込み例である。本研究では、言及に対するエ• MentionVec[11]：エンティティ情報を利用するンティティが与えられた時、エンティティ情報かことの有効性を検証するための比較手法としら埋め込み表現を獲得する手法（図 2 の黒矢印にて、同定されたエンティティの情報ではなく、相当）として、以下の４種類を検討する。図 3 に埋エンティティ候補群の情報から埋め込み表現をめ込み表現獲得手法の違いの概略をまとめる。こ獲得する。具体的には、エンティティ候補ごとの内、EntityVec と MentionVec は既存研究で採用されている方法である。一方、ConvertedEntityVec とに EntityVec で埋め込み表現を獲得し、その平

4） https://huggingface.co/5） https://dumps.wikimedia.org/other/cirrussearch/

均ベクトルを用いる。
つぎに、上記のいずれかの方法で獲得された埋め込み表現の取り込み位置（図 2 の黄矢印に相当）と― 1307 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

して、以下の２種類を検討する。

表1

実験結果

concatinfuse[START] を加え、その後ろにエンティティ情報

MentionVec

74.71

74.80を取り込む。これは中本ら [12] を参考にした方EntityVec

75.34+75.30+

法である。もし、エンティティ情報が複数ある

ConvertedEntityVec

75.41+

75.46++

ConvertedBERTVec 76.06++

75.86++• concat：ト ー ク ン 列 の 末 尾 に 特 殊 ト ー ク ン場合は言及の出現順に並べて取り込む。
• infuse：トークン列に対して、言及の直前に特殊トークン [MENTION] を挿入、かつ言及の直後に [START] と [END] で挟む形でエンティティ情報を取り込む。これは Faldu ら [13] を参考にした方法である。図 2 は EntityVec を infuse で取り込む例である。

ページ内でメンション 𝑚 がアンカー文字列としてリンクしているエンティティ 𝑒 𝑖 の集合 𝐸 (𝑚) を 𝑚のエンティティ候補とした。ただし、以下の条件を満たすものは、ノイズとなる可能性が高いため、候補から削除した。
1. 𝑒 𝑖 の見出し語と 𝑚 の間に文字列的な包含関係

4 評価実験がない。
2. 𝑒 𝑖 への総リンク回数に対して、𝑚 から 𝑒 𝑖 へのリ

4.1 実験設定

ンク回数が 1%未満である。

第 2 節 で述べた BERT に基づく文書分類モデルに結果として、エンティティ候補数が 0 になる場合が対して、前節の方法でエンティティ情報を取り込んある。この場合は、続くエンティティ同定の処理はだモデルをそれぞれ構築し、それらの性能を比較すおこなわない。また、後述の評価実験でメンションる。事前学習およびファインチューニングの詳細設数を数える際、エンティティ候補数が 0 になるメン定は付録 A.2 節 に示す。

ションは数えないことにした。

文書ジオロケーション用の文書データには、観光ドメイン日本語 Twitter 投稿文書データ [14] を用いた。このデータセットは、2014 年から 2015 年にかけて 47 都道府県から投稿された日本語ツイートをエンティティ情報の有効性を検証するためには、可能な限り正確な情報を利用することが望ましい。
そこで、一部のメンションに対しては、人手で正確にエンティティを同定した。ただし、作業負荷の観基に構成されている。すべての投稿に付与された点から全てのメンションへの人手作業は困難であジオタグを逆ジオコーディングすることで得られるため、評価データに対しては人手で同定し、学習た投稿位置の都道府県情報を正解ラベルとして用いた。データセット中の文書数は、学習データがデータに対しては自動的に同定することにした。人

197,741 件、検証データが 4,000 件、そして評価デーれた候補の中からエンティティをひとつ選択するタが 7,000 である。

手同定では、候補生成時に得たリンク回数で並べら作業をおこなった。この際、必要に応じて該当するエンティティ情報の取得対象メンションは文書Wikipedia ページが参照できる作業環境を用意した。

を GiNZA 6）で解析した際、場所を表す固有表現クラ

自動同定では、候補生成時に得たリンク回数が最もス7）と認識されたフレーズとした。次に、あるメン多いエンティティ候補を自動的に選択した。

ション 𝑚 に対して、陰山ら [11] に倣い、Wikipedia

評価尺度には以下の分類正解率を用いた。

6） https://megagonlabs.github.io/ginza/
7） す な わ ち、Airport,Amusement Park Archaeological Place
OtherBay,Bridge,Canal,Car
Stop,City,Company,Continental
Region Corporation Other,Country,County,Domestic Region
Earthquake,Facility Other,Facility Part,Game,Geological Region
Other GOE Other,Government,GPE Other,International Organization Island,Lake,Location Other,Mountain,Museum,Occasion
Other Organization Other,Park,Port,Postal Address,Pro Sports
Organization
Province,PublicInstitution,Railroad,Religious
Festival,Research Institute,River,Road,School,Sea,Show Organization,Spa,Sports Facility,Sports League,Sports Organization
Other Station,Theater,Tumulus,Tunnel,War,Water Route,WorshipPlace,Zoo.

分類正解率

=

正しく分類できた文書数
入力文書数

4.2 実験結果
実験結果を表 1 に示す8）。MentionVec とそれ以外の手法との間で符号検定を実施し、有意水準 5% で有意差があった結果に「+」、有意水準 1% で有意差があった結果に「++」を付けている。
8） 参考情報として、エンティティ情報を取り込まない純粋なBERT 文書分類モデルによる分類正解率は、74.33 であった。

― 1308 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表 2 文書内に含まれている言及数ごとの結果 (concat)#言及

MentionVec EntityVec ConvertedEntityVec ConvertedBERTVec

事例数 (割合)

045.89

45.44

45.44

46.85

1,556 (22.23)

173.50

74.69

74.89

74.79

2,023 (28.90)

2

86.50

87.36

87.36

88.40

1,733 (24.76)

391.25

91.82

92.01

92.39

1,051 (15.01)

4 ≤

89.64

90.58

90.42

90.89

637 (9.10)

表 3 文書内に含まれている言及数ごとの結果 (infuse)#言及

MentionVec EntityVec ConvertedEntityVec ConvertedBERTVec

01

44.79

45.57

73.90

45.76
74.15

286.56391.82

4 ≤

90.89

事例数 (割合)
1,556 (22.23)

75.14

45.63
75.38

87.13

86.79

87.77

1,733 (24.76)

92.01

91.91

92.39

1,051 (15.01)

91.37

91.52

91.52

637 (9.10)

2,023 (28.90)

表 1 から、concat と infuse のどちらにおいても、ティ情報を取り込んだモデルでの分類結果の例を

MentionVec に 比 べ て そ れ 以 外 の 手 法 で は 性 能 が以下に示す。事例（c1）は、エンティティ情報を利向 上 し て お り、文 書 ジ オ ロ ケ ー シ ョ ン モ デ ル に用することで正解に変化した事例である。この例で地理的エンティティ情報を与えることが有効では、「成田」からエンティティ「成田国際空港」の情

あ る こ と が 確 認 で き る。埋 め 込 み 表 現 の 獲 得 手
法 間 で 比 較 す る と、都 道 府 県 名 へ の 変 換 を お こ報を経由してその所在地である「千葉県」の情報が与えられたことで正しく分類できるようになってい

なう ConvertedEntityVec および ConvertedBERTVec がた。一方、事例（w1）は、EntityVec では正解できてEntityVec よりも分類正解率が高い。また、都道府県いたが、都道府県名への変換処理を挟むことで誤り変換をおこなう両者の比較では、BERT を通して埋に変化した例である。蔵王連峰は山形県と宮城県のめ込み表現を獲得する ConvertedBERTVec が良い結

県境に所在するが、ConvertertedBERTVec では宮城果となっていた。今回の設定では、BERT へ外部知県として埋め込み表現を獲得したことで、誤りに繋識を取り込む際、BERT とは独立に獲得された埋めがっていた。この例のように、都道府県名への変換込み表現を利用するよりも外部知識を表層的に入が悪い影響を及ぼす事例の存在も確認できた。

力文書内に取り込んだ方が効果が高いことが示唆•（c1）【正解：千葉県／出力：千葉県】

される。なお、取り込み位置に関しては、concat と飛行機乗れなくて成田成田国際空港（千葉県）で酔っ

infuse で明確な違いは見られなかった。

払うなう Sapporo ⇒Tokyo東京都（東京都）

次に、文書内に含まれている言及数ごとの結果を•（w1）【正解：山形県／出力：宮城県】

表 2 および表 3 に示す。これらの表から、まず、言及数が 0 の場合は性能が著しく低くなることが確認できる。このことからも、言及情報が文書ジオロケーションにおいて有力な手がかりになっていることがわかる。文書内に言及が含まれている場合は言及数が増えるにつれて分類正解率が向上する傾向が伺える。ただし、言及数が４以上になると、分類正解率は下降している。言及数がある程度多い文書では、複数地点間を移動する内容であったり、あるいは複数地点間の比較に関する内容であったりと、内容が複雑化することが多く、このような原因から分類正解率が下降していると考えられる。

雪だ□□#蔵王蔵王連峰（宮城県）#寒いわけだ...

5 おわりに文書ジオロケーションモデルへの地理的エンティティ情報の取り込みについて述べた。評価実験の結果から、地理的エンティティの有効性を示した。特に、エンティティの所在情報に注目して獲得した埋め込み表現が有効に機能することがわかった。今後の課題としては、Wikipedia 等のエンティティ情報を拡充することや、LUKE [15] の枠組みによるエンティティ情報の埋め込み表現学習の検討等がある。

ConvertedBERTVec と concat に よ っ て エ ン テ ィ― 1309 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

謝辞
本研究は JSPS 科研費 21K12137 の助成を受けたものです。

参考文献[1] Han Bo, Cook Paul, and Baldwin Timothy. Geolocation
prediction in social media data by ﬁnding location indicative words. In Proceedings of COLING 2012, pp. 1045–1062, 2012.
[2] Jey Han Lau, Lianhua Chi, Khoi-Nguyen Tran, andTrevor Cohn. End-to-end network for twitter geolocation prediction and hashing. In Proceedings of the EighthInternational Joint Conference on Natural LanguageProcessing, pp. 744–753, 2017.
[3] Binxuan Huang and Kathleen Carley. A hierarchicallocation prediction neural network for twitter user geolocation. In Proceedings of the 2019 Conference onEmpirical Methods in Natural Language Processing andthe 9th International Joint Conference on Natural Language
Processing (EMNLP-IJCNLP), pp. 4732–4742, 2019.
[4] Taro Miyazaki, Afshin Rahimi, Trevor Cohn, and Timothy Baldwin. Twitter geolocation using knowledge-based
methods. In Proceedings of the 2018 EMNLP Workshop
W-NUT: The 4th Workshop on Noisy User-generated Text,
pp. 7–16, 2018.
[5] 平川冬尉, 乾孝司. 地理的知識グラフを取り込んだ
ニューラル文書ジオロケーションモデル. 情報処理学会論文誌, Vol. 63, No. 12, pp. 1870–1883, dec 2022.
[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina
Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. In Proceedingsof the North American Chapter of the Association for
Computational Linguistics, pp. 4171–4186, 2019.
[7] Rada Mihalcea and Andras Csoma. Wikify! linking documents to encyclopedic knowledge. In Proceedings of thesixteenth ACM conference on Conference on Information
and Knowledge Management, pp. 233–242, 2007.
[8] 鈴 木 正 敏, 松 田 耕 史, 関 根 聡, 岡 崎 直 観, 乾 健 太 郎.
Wikipedia 記事に対する拡張固有表現ラベルの多重付与. 言語処理学会第 22 回年次大会, pp. 797–800,2016.
[9] Tomas Mikolov, Kai Chen, Greg Corrado, and Jeﬀrey
Dean. Eﬃcient estimation of word representations invector space. In Proceedings of the 1st International
Conference on Learning Representations, 2013.
[10] Seiji Okajima and Tomoya Iwakura. Japanese placename disambiguation based on automatically generated
training data. In Proceedings of the 19th International
Conference on Computational Linguistics and Intelligent
Text Processing, 2018.
[11] 陰山宗一, 乾孝司. 言及に対する地理的特定性指標の提案と文書ジオロケーションへの適用. 情報処理学会自然言語処理研究会 (NL-253-19), 2022.
[12] 中本裕大, 瀬在恭介, 元川凱喜, 麻生英樹, 岡崎直観.
日本語大規模言語モデルにおける知識グラフを活用した意味理解性能の向上. 言語処理学会第 29 回年次大会, pp. 2140–2145, 2023.
[13] Keyur Faldu, Amit Sheth, Prashant Kikani, and Hemang
Akbari. Ki-bert: Infusing knowledge context for better
language and domain understanding, 2021.
[14] 平川冬尉, 乾孝司. 日本語地理的位置推定課題に
お け る イ ン ジ ケ ー タ 付 deepgeo 法 の 提 案 と 評 価.
人 工 知 能 学 会 全 国 大 会 論 文 集, Vol. JSAI2020, pp.
3Rin473–3Rin473, 2020.
[15] Ikuya Yamada, Akari Asai, Hiroyuki Shindo, Hideaki
Takeda, and Yuji Matsumoto. Luke: Deep contextualized
entity representations with entity-aware self-attention. InProceedings of the 2020 Conference on Empirical Methods
in Natural Language Processing (EMNLP), pp. 6442–6454, 2020.
[16] Ilya Loshchilov and Frank Hutter. Decoupled weight decay
regularization. In Proceedings of International Conference
on Learning Representations, 2017.
[17] Chi Sun, Xipeng Qiu, Yige Xu, and Xuanjing Huang. How
to ﬁne-tune bert for text classiﬁcation? In Proceedings ofChinese Computational Linguistics, pp. 194–206, 2019.
[18] 笹沢裕一, 岡崎直観. 属性情報を追加した事前学習済
みモデルのファインチューニング. 言語処理学会第27 回年次大会, pp. 765–770, 2021.

― 1310 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

A

表 5 エンティティ情報を取り込んだモデルの設定

付録

ネットワークA.1 ベースとなる BERT 文書分類モデルの詳細

全体

パラメータ値

バッチサイズ

16

エポック数

4

第 2 節で述べた本研究のベースとなる BERT 文書

入力次元200

分類モデルの詳細設定について述べる。事前学習済

出力次元768

学習率

1e-3

ドロップアウト率0.1

知識埋め込み層

み BERT モデルとして、東北大学が公開している
bert-base-japanese-v3 （2023 年 5 月公開）9）を使用した。文書ジオロケーションのためのファインチュー

表 6 埋め込み表現獲得手法ごとの BERT 学習率

ニングには、4 節で述べた学習データを用いた。最埋め込み表現

適化手法には AdamW [16] を使用し、損失関数として Cross Entropy Loss を使用した。その他のハイパー

情報の取り込み値

concat1e-6

infuse1e-6

concat5e-6

infuse2e-6

concat1e-5

infuse1e-6

concat5e-6

infuse1e-5

MentionVec

パラメータの設定を表 4 に示す。BERT の Encoder
Layer は、分類に用いる最終 4 層のみ学習対象としており、Sun ら [17] を参考に複数の学習率を使用しEntityVecている。Twitter 投稿文書はメタ情報を持っているた

ConvertedEntityVec

め、入力文書として、投稿テキストを 1 文目、投稿者プロフィールの居住地情報を 2 文目として BERTConvertedBERTVecへの入力とした。
表 4 ベースモデルの設定

ネットワーク
全体BERT

分類器

Embeddings と Token Type Embeddings は事前学習済

パラメータ値みの Word Embeddings と同じものを用いる。その他

バッチサイズ32のハイパーパラメータのうち、ベースモデルと値がエポック数5異なるものを表 5 に示す。ここで、エンティティ情最大入力トークン長512

報を取り込んだ文書ジオロケーションモデルではモ

語彙数32,768

デルを知識埋め込みに適応させるため、BERT の最隠れ層サイズ

768

終 4 層の Encoder Layer 以外の層も学習対象とした。

ドロップアウト率

0.1

BERT 学習の学習率は、笹沢ら [18] を参考にし、埋Encoder Layer (9) 学習率

5e-6

め込み表現獲得手法ごとに変更した。各手法の学習

Encoder Layer (10) 学習率

1e-5率を表 6 に示す。知識埋め込み層や分類器の学習率

Encoder Layer (11) 学習率
Encoder Layer (12) 学習率

2e-55e-5と比べて小さな値である 1e-5 から 1e-6 までの間で精度が高かった値を採用している。

入力次元

768
47A.3 エンティティ情報の自動同定での実験結果

5e-5

評価実験において、評価データに対しては人手で出力次元学習率

A.2 エンティティ情報を取り込んだモデルの詳細
エンティティ情報を取り込んだ文書ジオロケー
ションモデルの詳細設定について述べる。基本的

正確なエンティティを同定し、学習データに対しては自動的に同定した。参考情報として、評価データと学習データの双方に対してエンティティを自動同定した場合の実験結果を表 7 に示す。

な設定は上述のベースモデルと共通であるが、エンティティ情報を取り込むため、中本ら [12] にな
らい全結合層を知識埋め込み層としてベースモデルに追加したネットワーク構成としている。エンティティ情報の埋め込み表現に加える Position

表 7 エンティティ自動同定データでの実験結果

concatinfuse74.83
75.4074.91
75.30

ConvertedBERTVec 75.94

75.74

EntityVec
ConvertedEntityVec9） https://huggingface.co/cl-tohoku/bert-base-japanese-v3― 1311 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).