言語処理学会 第30回年次大会 発表論文集（2024年3月）

数式識別子の文書内曖昧性の解消
朝倉卓人
東京大学
takuto@is.s.u-tokyo.ac.jp

概要
数式識別子の文書内曖昧性解消は、自然言語中の数式理解を実現する上で重要である。文書をまたいだ数式識別子の曖昧性解消については一定の進展が得られてきたが、文書内曖昧性は十分に研究されないまま残されてきた。本研究では、どのような情報が文書内曖昧性解消に必要であるのかを明らかにする。我々は文書内の位置データと数式識別子周辺の数式内ローカル構造が特に有効であると結論付けた。構築した多層パーセプトロンモデルは、人間アノテータに近い精度（一致率 85%、カッパ値 0.73）で文書内曖昧性解消を実現する。また、重要な情報種は対象文書の科学分野に依存しないことを確認した。

1

宮尾祐介
東京大学
yusuke@is.s.u-tokyo.ac.jp
ればこの曖昧性解消を実現できるのかを明らかにする。
図 1 に文書内曖昧性の具体例を示す（図中の例文は PRML [6] から）。この例では、太字の y は機械学習アルゴリズムの挙動に対応する関数（概念 1）とその出力ベクトル（概念 2）の 2 つの意味で用いられている。我々の目的は、この例における第 1、第3 の出現に概念 1 を、第 2 の出現に概念 2 を割り当てることである。同じ概念が割り当てられた出現同士は共参照関係にあるとみなせることから、このタスクは数式識別子に対する共参照解析とも言える。

はじめに科学技術文書の自動理解を達成する上で、数式の解析は避けて通れない。数式の性質は自然言語の性質とは大きく異なる。これらの重要な違いの 1 つは、単語の性質と数式識別子の性質の違いである。
数式識別子には、多くの分野で慣習的に単一のアルファベットや記号、あるいは数文字程度の文字列が用いられ、説明的ではない。また数式識別子
は、しばしば単一の文書内でも複数の意味で用いられるため、正しい数式理解には数式識別子の文
書内曖昧性の解消が必須である。こうした問題はPresentation-to-Computable (P2C) 変換や数式情報抽出(MathIR) などの応用タスクにおいて重大な問題として認識されてきた [11, 16, 20]。しかし、数式識別子の文書内曖昧性の分析に役立つデータ資源が不足していたため、これまでこの曖昧性について深くは知られてこなかった。そのため、どのような情報があればこうした文書内曖昧性の解消を行うことができるのかも不明であった。本研究では、独自に構築したデータセットを用いることで数式識別子の文書内曖昧性の自動解消に取り組み、どのような情報があ

図12

数式識別子の文書内曖昧性の例

関連研究

数式識別子などの数式内の小構造に対する解析タ
スクは、数学言語処理の中でも抽出タスクとして整理される。これらのタスクにはいくつかのバリエーションがあるが、説明アライメントと呼ばれるタスクが中心的である。このタスクは数式内の文字や記号（数式トークン）に対して、文書内外から対応する説明を見つけ出して付与するもので、Gaussianheuristic ranking [12] や 𝐾-means クラスタリングとSVM [14, 15]、Odin 文法に基づくルールベース手法 [2] を用いた自動化手法が提案されている。説明アライメント以外の抽出タスクとしては、VariableTyping [18] や Part-of-Math (POM) タグ付け [20] が提案されている。これらの多くのタスクと手法は、数式トークンの意味が単一の文書内において複数ある場合を考慮していない。
限定的な設定で数式トークンの文書内曖昧性を― 385 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

考慮した研究は少数ある。Shan ら [16] は上付き添

しばその概念が定義されていることは注目に値す

字、プライムなど数種類の数式構造について、そる。初出位置情報はこのタスクにおける正解ラベル

れらの意味的な役割の分類を行う手法を提案した。の一部に相当するが、数式識別子の出現数は数学概

Symlink [9] は複数のサブタスクから成る shared task

念の数よりも圧倒的に多い（表 1 参照）ため、与えで、このうち関係抽出タスクには単一段落内にあられる正解ラベルは全体の 10%程度である。

る数式トークン間の共参照関係の特定が含まれる。
この関係抽出タスクの SOTA 手法 [10] は 𝐹1 スコア

本研究では、多層パーセプトロン（MLP）モデル37.19 と相対的に低く、大きな改善余地がある。

3

多層パーセプトロンモデル

5を用いて上記タスクを解決する。このタスクは、ラデータセットベルセット（数式識別子に割り当てる数学概念）が本研究では、我々が以前提案した数式グラウン

一定ではなく文書ごとに異なることから単純な多ク

ディングデータセット1）[5] を量的に拡張したもの

ラス分類問題とみなすことはできず、MLP の使用にを利用した（表 1）。この拡張データセットでは、対は工夫が必要となる。具体的には「割り当てを行い象の arXiv 論文の中に現れるすべての数式識別子出現（計 27,657）に対して、対応する数学概念が手作たい識別子出現の特徴」と「割り当て候補となる数学概念の特徴」のペアのベクトルを作成し、これを業によりラベル付けされている。データセットに含MLP の入力とする（図 2）。その上で、MLP はそのまれる 40 本の論文のうち、半数の 20 本が NLP 分野ペアが正解である尤もらしさを出力するように訓練の論文である。残りは 8 本が天文学、5 本が NLP 以する。最終的に、出現・候補ペアのうち最も確率が外の情報科学、3 本が経済学、2 本が数学のものと、高いものを選択することで、概念の割当を行う。

物理学と生物学のものが各 1 本ずつである。我々はNLP 分野の論文を MLP モデルの学習と評価の両方に利用し、それ以外の分野の論文は評価のみに利用した。また、NLP 論文のうち 4 本を最初に評価用データとして予約し、残り 16 本のデータを用いてモデル開発と訓練を行った。限られたデータを有効図2利用するため、モデルの開発時には原則として一つ抜き交差検証を利用した。

MLP アーキテクチャ

モデル性能の評価は著者らがデータセット構築時

表 1 数式グラウンディングデータセットの拡張
データセット論文

単語

識別子タイプ

出現

概念

オリジナル
拡張版

1540

86098
237062

680
1742

12352
27657

1418
3603のアノテータ間一致率の算出に用いたのと同じ方法を用いる [5]。すなわち人間アノテータによって与えられた概念との完全一致率および Cohen のカッパ値 [8] を算出する。

4

タスク

モデルの学習にあたっては、平均二乗誤差を loss

数式識別子の文書内曖昧性解消を具体的な機械学習タスクとして定式化する。このタスクの目的は、各数式識別子出現に対して対応する数学概念を割り当てることである。タスクの入出力を次に示す。

関数として用いる。各種のハイパーパラメータはOptuna [1] を 用 い て 探 索 し た。探 索 の 結 果、オ プ
ティマイザには SGD、活性化関数には ReLU を採用した。隠れ層のサイズ、学習率、バッチサイズなどの重要度は相対的に低いが、いずれもモデルごとに機械的な探索により値を決定した（付録 A）。

入力： • 構造化文書データ（XHTML）• 概念情報（各概念の紐付く初出位置）
出力：各出現に割り当てる概念

特徴量エンジニアリング

6

割り当て候補となる数学概念の情報は、各概念に紐付く最初の数式識別子出現の位置（初出位置）情報として与えられる。こうした初出位置では、しば
1） https://sigmathling.kwarc.info/resources/
grounding-dataset/ よ り 入 手 可。今 回 の 拡 張 デ ー タも後日同じリンク先より新バージョンとして提供予定。

MLP への入力を作成するにあたって、3 種類の情報を入力から抽出した（表 2）。第一の特徴は識別子出現周辺のテキスト文脈である。文脈を MLP に入力可能なベクトル表現に変換するにあたってはSentence Transformer [13] を利用した。事前学習モデ― 386 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表2

数式識別子出現から抽出された 3 種類の特徴

特徴説明例

文脈出現前後のテキスト

the feature vector $v’ {x}}$ extracted from the

接辞タイプ 数式内のローカル構造

プライムの有無、添字の有無、etc.

位置データ

Cascade 効果：あり、距離：20 単語

Cascade 効果の有無と初出からの距離

ルとしては MiniLM [19]、MPNet [17]、SciBERT [7]を比較し、本タスクにおいて最もよい性能を発揮した MiniLM をモデルの評価実験に利用した。文脈を特徴として利用する場合、本タスクは Semantic
Textual Similarity (STS) タスクに類似するが、STS 用に ﬁne-tuning されたモデルを用いても性能の向上は認められない。また文脈の window size や文脈内に現れる数式のエンコード方法（LATEX または特殊タグ）は性能にほとんど影響を及ぼさない。
第二の特徴は接辞タイプと呼ばれる識別子周辺のローカルな数式構造である。例えば、ある出現が上付き添字やプライムなどの修飾子を持つかどうかといった情報が該当する。我々のデータセットには
26 種類の接辞タイプが人手でアノテーションされている。これらの情報は我々が作成したルールベースの検出器により、開発データにおいて精度 90.56%で判別することが可能である。表 3 にこの検出器

表 3 接辞タイプの検出精度
接辞タイプ（例）

出現再現率

適合率

𝐹1

subscript (𝐵 𝑎 )superscript (𝐵 𝑎 )comma (𝐵(𝑎 0 , 𝑎 1 ))semicolon (𝐵(𝑎 0 ; 𝑎 1 ))prime (𝐵′ )asterisk (𝐵∗ )ˆ
hat ( 𝐵)˜tilde ( 𝐵)¯bar ( 𝐵)→−over right arrow ( 𝐵 )←−over left arrow ( 𝐵 )open parenthesis (𝐵(𝑎))close parenthesis (𝐵(𝑎))open bracket (𝐵[𝑎])close bracket (𝐵[𝑎])open brace (𝐵{𝑎})close brace (𝐵{𝑎})vertical bar (𝐵(𝑎 0 | 𝑎 1 ))leftside base (𝑎 𝐵 )

1914
548
150
26
117
92
93
44
146
4
4611
611
4
4
5
5
82
13

0.971
0.987
0.940
0.961
0.931
1.000
0.924
1.000
0.863
1.000
1.000
0.901
0.901
1.000
1.000
1.000
1.000
0.878
1.000

0.898
0.646
0.613
0.641
1.000
0.978
0.934
1.000
0.984
1.000
1.000
0.880
0.880
1.000
1.000
0.454
0.454
0.900
0.812

0.933
0.781
0.742
0.769
0.964
0.989
0.929
1.000
0.919
1.000
1.000
0.890
0.890
1.000
1.000
0.625
0.625
0.888
0.896

がカバーする2）すべての接辞タイプの検出精度を示す。この検出器のエラーの多くは以下のいずれかにている [5]。すなわちある数式識別子出現の意味は、同じ識別子タイプの直近出現の意味と同一である可分類される。
• パターンでは区別不能：例えば、上付き添字が能性が最も高い。したがって、各概念の初出位置以べき乗の演算子かインデックスかはパターンの外では一切スコープの切替が起こらないと仮定すみでは見分けられない。

る単純なルールベース手法（Cascade ベースライン）• アノテーションのエラー：カンマなどの一部のは、機械学習モデルを使わなくてもそれなりによい接辞タイプは見落とされやすい。

精度となる（次節の図 3 を参照）。位置データの 1

ただし接辞タイプ検出器の性能が数%程度向上しても、最終的なタスク性能にはごくわずかな影響しか与えない。そのため、検出器のルールを極端に複雑にしてまで精度向上を求める必要はない。
第三の特徴は位置データで、これには 2 種類の情報が含まれる。1 つは出現とペアになっている概念が最も直近で初登場したものかどうかを表す真偽値である。2 つめは出現の位置とペアの概念の初出位置の相対距離を [−1, 1] にスケールした値である。
データセットの分析結果から、数式識別子のスコープは Cascade 効果の影響を強く受けることが知られ
2） この検出器は一部のルールベースのみで検出することがまったく不可能な接辞タイプ（2 種類）や、開発データの中には現れない接辞タイプ（5 種類）はサポートしていない。

つめの真偽値は、この Cascade ベースラインの出力そのものである。

実験 I：モデル比較

7

本タスクの解決に重要な情報種を特定するため、先の 3 種類の特徴をさまざまな組み合わせで MLPモデルの入力とし、それらの性能を比較した。モデルは NLP 論文 16 本から成る開発データで訓練し、残り 4 本の NLP 論文を用いて評価した。20 個の異なるランダムシードで実験を行い、その平均を以ってモデルの評価とした。
比較のため、3 種類のベースラインを用意した。
Random ベースラインはすべての割当をランダムに行う。Mode ベースラインは最初に登場した数学概― 387 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

念をすべての出現に割り当てる。もう 1 つはすでに3 つの特徴すべてを利用するモデルの性能は位置説明した Cascade ベースラインである。また、同じデータと接辞タイプの組み合わせモデルとほとんど評価データについて 2 名の人間アノテータが独立に変わらない。

作業した場合のアノテータ間一致率も算出した。
図 3 にモデル評価の結果を示す。まず今回比較を

実験 II：分野依存性

8

行った 3 つの特徴は、いずれも本タスクの解決に有前節の実験結果の分野依存性を確認するため、効である。それぞれを単独で利用したモデルは、いNLP 分野の論文で学習した MLP モデルを、非 NLPずれも Random/Mode ベースラインの性能を上回る。

分野の論文で評価した。3 節で述べたように、NLP

今回の評価データには文書内曖昧性が一切ない識別以外の各分野の論文本数にはばらつきがあるが、こ子タイプも含まれるため、Random/Mode ベースライ

こでは特定の分野の影響が大きくならないよう各分ンであっても一致率はある程度の値になるが、カッ野の論文数が最大 3 となるように制限した。

パ値は 0 となることに留意されたい。

結果を図 4 に示す。この図が示すモデル性能の傾

3 つの特徴の中では位置データが最も効果的であった。位置データ単独のモデルは Cascade ベース

向は、前節で述べたモデル性能の傾向と一致する3）。

ラインの性能とほぼ一致する。一方、残る 2 つの特すなわち 3 種の特徴の中では位置データが最も有効である。位置データと接辞タイプの組み合わせが最徴は単独で使用した場合には Cascade ベースライン高性能となる。位置データに文脈を加えても性能のの性能を下回る。

向上は認められない。

続いて 2 つの特徴を組み合わせたモデルの評価に着目すると、位置データに接辞タイプを組み合わせたモデルは Cascade ベースラインの性能を上回り、今回の実験の中で最も精度が高い。一方、位置デー
タに文脈を加えてもほとんど性能の向上は認められない。このことは文脈から得られる情報のほとんどが位置データに包含されることを示唆している。前節で述べたように、文脈中の数式表現を LATEX 数式から特殊タグに置き換えても性能の劣化が見られないことから、文脈ベクトルには数式内部の情報がほとんど含まれていないこともうかがえる。一方、接辞タイプは数式内部の構造に関する情報をもつの

図4

非 NLP データによる評価結果

で、位置データがカバーしない情報を提供する。

結論

9

本研究では、ルールベース手法により抽出したさまざまな特徴量を利用して MLP モデルを訓練することで、どのような情報種が数学概念の割当タスクに有効かを特定した。具体的には、3 種類の特徴量を対象に比較実験を行い、その中で文書内の位置データが最も有効であることが明らかになった。次に有効な情報は接辞タイプと呼ばれる数式内のローカル構造である。数式前後の自然言語の文脈は 3 種類の特徴量の中では最も効果が限定的であった。これらの傾向は、対象論文の分野に依存しない。
図 3 モデルの評価結果。モデルの名称は使用した特徴を示す。c は文脈、a は接辞タイプ、p は位置データで、使用の場合は +、不使用の場合は − が付される。例えば、c+/a+/p-は文脈と接辞タイプを利用するモデル。各点に付されたエラーバーは標準偏差。次の図も同じ。

3） 単純一致率は識別子タイプごとの割当難易度の差（候補概念が 2 つしかない場合もあれば、10 以上の場合もある）を考慮しないので、比較にはカッパ値を用いるのが妥当である。

― 388 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

SemEval-2022 Task 12: Machine Reading Com-

謝辞

prehension and Span Pair Classiﬁcation for Link-

本研究は JST ACT-X (JPMJAX2002) の支援を受け

ing Mathematical Symbols to Their Descriptions.”て実施しました。

In Proceedings of Proceedings of the 16th Interna-

参考文献

tional Workshop on Semantic Evaluation.

[1][11] Jordan Meadows, André Freitas. “Introduction

Takuya Akiba, et al. “Optuna: A next-generation

to Mathematical Language Processing: Informal

hyperparameter optimization framework.” In Pro-Proofs, Word Problems, and Supporting Tasks.”

ceedings of the 25th ACM SIGKDD international

Transactions of the Association for Computationalconference. 2019.
[2]

Linguistics (2023).

Maria Alexeeva, et al. “MathAlign: Linking For-[12] Robert Pagel and Moritz Schubotz. “Mathematicalmula Identiﬁers to their Contextual Natural Lan-

Language Processing Project.” In Joint Proceedings

guage Descriptions.” In Proceedings of the 12thof the MathUI, OpenMath and ThEdu Workshops

Language Resources and Evaluation Conference(LREC 2020).
[3]Takuto Asakura, André Greiner-Petter, Akiko

and Work in Progress track at CICM (2014).
[13] Nils Reimers and Iryna Gurevych. “SentenceBERT: Sentence embeddings using siamese bert-Aizawa, Yusuke Miyao. “Towards Grounding ofFormulae.” In Proceedings of First Workshop on
[4]

[5]

[6]
[7]

networks.” arXiv:1908.10084 (2019).
[14] Moritz Schubotz, et al. “Semantiﬁcation of Identi-

Scholarly Document Processing (SDP 2020).

ﬁers in Mathematics for Better Math Information

Takuto Asakura, Yusuke Miyao, Akiko Aizawa,Retrieval.” In Proceedings of the 39th International

Michael Kohlhase. “MioGatto: A Math Identiﬁer-

ACM SIGIR Conference on Research and Develop-

oriented Grounding Annotation Tool.” In 13thment in Information Retrieval (SIGIR2016).

MathUI Workshop at 14th Conference on Intelligent[15] Moritz Schubotz, et al. “Evaluating and Improv-

Computer Mathematics (MathUI 2021).

ing the Extraction of Mathematical Identiﬁer Deﬁ-

Takuto Asakura, Yusuke Miyao, Akiko Aizawa.

nitions.” In Experimental IR Meets Multilinguality,“Building Dataset for Grounding of Formulae —Multimodality, and Interaction (CLEF2017).

Annotating Coreference Relations Among Math[16] Ruocheng Shan, Abdou Youssef. “Towards MathIdentiﬁers.” In Proceedings of 13th Conference onLanguage Resources and Evaluation (LREC2022).

Terms Disambiguation Using Machine Learning.”

Christopher M. Bishop. Pattern Recognition andIn Intelligent Computer Mathematics (CICM2021).
[17] Kaitao Song, et al. “MPNet: Masked and per-Machine Learning. Springer, 2006.

muted pre-training for language understanding.” Ad-Iz Beltagy, Kyle Lo, Arman Cohan, “SciBERT: Avances in Neural Information Processing Systems 33pretrained language model for scientiﬁc text.” In[8][18] Yiannos Stathopoulos, et al. “Variable typing: As-Methods in Natural Language Processing and thesigning meaning to variables in mathematical text.”

9th International Joint Conference on Natural Lan-In Proceedings of the 2018 Conference of the Northguage Processing (EMNLP-IJCNLP2019).

American Chapter of the Association for Computa-

Jacob Cohen. “A coeﬃcient of agreement for nom-tional Linguistics (NAACL2018).

inal scales.” Educational and Psychological Mea[9](2020).

Proceedings of the 2019 Conference on Empirical[19] Wenhui Wang, et al. “MiniLM: Deep self-attention

surement. 1960.

distillation for task-agnostic compression of pre-Viet Lai, et al. “SemEval 2022 Task 12: Symlink —trained transformers.” Advances in Neural Informa-Linking Mathematical Symbols to their Descrip-tion Processing Systems 33 (2020).

tions.” In Proceedings of Proceedings of the 16th
International Workshop on Semantic Evaluation.

[20] Abdou Youssef. “Part-of-Math Tagging and Applications.” In Intelligent Computer Mathematics[10] Sung-Min Lee, Seung-Hoon Na, “JBNU-CCLab at― 389 ―(CICM2017).

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

A

ハイパーパラメータ
モデルにより入力の次元数が異なることから、それぞれに Optuna [1] により最適化を行った。最終的に採用した値を次に示す。
表 4 各モデルのハイパーパラメータmodelinput size

hidden size

lrbatch sizec+ / a− / p−

768

694 0.639

23c− / a+ / p−c− / a− / p+522

47 0.328
3 0.2447085

c+ / a+ / p−

820

701 0.310

21c+ / a− / p+

770

335 0.483

57c− / a+ / p+54

340.698

35c+ / a+ / p+822

108 0.414

36― 390 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).