<figure><img src="image_1.png" /></figure>

HAL
open science

# Apprentissage multimodal modulaire pour l'extraction de théorèmes et de preuves dans des documents scientifiques longs

Shrey Mishra, Antoine Gauquier, Pierre Senellart

► To cite this version:

Shrey Mishra, Antoine Gauquier, Pierre Senellart. Apprentissage multimodal modulaire pour l'extraction de théorèmes et de preuves dans des documents scientifiques longs. Extraction et Gestion des Connaissances, EGC'2025, Jan 2025, Strasbourg, France. hal-04806300

HAL Id: hal-04806300

https://inria.hal.science/hal-04806300v1

Submitted on 27 Nov 2024

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_2.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
Apprentissage multimodal modulaire
pour l'extraction de théorèmes et de preuves
dans des documents scientifiques longs

Shrey Mishra*, Antoine Gauquier*, Pierre Senellart*,**

* DI ENS, ENS, CNRS, Université PSL, Inria

** IUF

# 1 Introduction

Les articles scientifiques dans les domaines mathématiques incluent des théorèmes (ainsi que d'autres environnements similaires) avec leurs preuves. Dans le cadre du projet TheoremKB (Mishra et al., 2024b), qui vise à transformer la littérature scientifique d'une collection de PDF en une base de connaissance centrée autour des théorèmes, nous résumons nos travaux sur l'extraction automatique des théorèmes et de leurs preuves depuis des PDF (Mishra et al., 2024).

Pour être précis, nous utilisons le terme *théorème* de la même manière qu'il est utilisé en LATEX (p. ex., par la commande \newtheorem) : un environnement de type théorème est un énoncé structuré, éventuellement numéroté, formaté d'une manière spécifique et utilisé pour représenter un énoncé formel (en général mathématique) : cela peut être un théorème, un lemme, une proposition, etc., mais également une définition, une remarque formelle ou un exemple. Une *preuve* est ce qu'on met habituellement dans un environnement *proof* en LATEX : la démonstration ou ébauche de démonstration d'un résultat.

Nous approachons ce problème d'identification des théorèmes et des preuves en concevant une approche basée sur l'apprentissage multimodal qui classifie chaque paragraphe d'un article en des classes *Basique*, *Théorème* et *Preuve*, en fonction du texte en anglais, d'informations typographiques et du rendu visuel des articles PDF. De plus, nous prenons en compte la *séquence* des paragraphes, leur coordonnées spatiales et les numéros de pages, afin d'exploiter le fait que l'étiquette d'un paragraphe dépend de celle des paragraphes précédents (ou suivants).

Notre contribution, résumée en Fig. 1, comporte ainsi : (i) Trois modèles unimodaux (vision, texte, information de police) pour le problème d'identification des théorèmes et preuves qui reposent sur des techniques modernes d'apprentissage profond (CNN, transformeurs, LSTM) avec un accent mis sur des modèles efficaces plutôt que de très grands modèles ; le modèle de texte requiert le pré-entraînement d'un modèle de langue spécifique à notre corpus, qui peut avoir d'autres applications. (ii) Un modèle multimodal par fusion tardive qui combine les plongements des trois modalités. (iii) Une approche séquentielle au niveau des paragraphes, à base de transformeur, qui peut être utilisée pour améliorer la performance de n'importe quel modèle unimodal ou multimodal en capturant les dépendances entre paragraphes. (iv) Une évaluation expérimentale sur un jeu de données d'environ 200 000 articles en anglais issus d'arXiv, avec un jeu de données de validation séparé de 3 500 articles (soit ≈ 529 000 paragraphes).
<figure><img src="image_3.png" /><figcaption>FIG. 1 – Chaîne de traitement pour l'inférence multimodale</figcaption></figure>

<table><caption>TAB. 1 – Comparaison des performances (précision et F₁ moyen sur les trois classes) des modèles unimodaux et multimodaux, avec ou sans approche séquentielle ; 1 lot = 1 000 documents</caption><thead><tr><th>Modalité</th><th>Modèle</th><th>Approche séq.</th><th>#Lots</th><th>#Paramètres (M)</th><th>Précision (%)</th><th>F<sub>1</sub> moyen (%)</th></tr></thead><tbody><tr><td>Basique</td><td>Prédit toujours Basique</td><td>—</td><td>—</td><td>—</td><td>59.41</td><td>24.85</td></tr><tr><td>Top-k premier mot</td><td>Utilise le premier mot</td><td>—</td><td>—</td><td>—</td><td>52.84</td><td>44.20</td></tr><tr><td>Ligne à ligne</td><td>Bert (affiné)</td><td>—</td><td>—</td><td>110</td><td>57.31</td><td>55.71</td></tr><tr><td rowspan="3">Polices</td><td rowspan="3">LSTM 128 cellules</td><td>-</td><td>11</td><td>2</td><td>64.93</td><td>45.48</td></tr><tr><td>CRF</td><td>11+8</td><td>2</td><td>71.50</td><td>64.51</td></tr><tr><td>Transformeur FG</td><td>11+8</td><td>2</td><td>76.22</td><td>71.77</td></tr><tr><td rowspan="3">Vision</td><td rowspan="3">EfficientNetV2m</td><td>-</td><td>9</td><td>53</td><td>69.44</td><td>60.33</td></tr><tr><td>CRF</td><td>9+8</td><td>53</td><td>74.63</td><td>70.82</td></tr><tr><td>Transformeur FG</td><td>9+8</td><td>65</td><td>79.59</td><td>77.66</td></tr><tr><td rowspan="3">Texte</td><td rowspan="3">RoBERTa entraîné sur propre corpus</td><td>-</td><td>20</td><td>124</td><td>76.45</td><td>72.33</td></tr><tr><td>CRF</td><td>20+8</td><td>124</td><td>83.10</td><td>80.99</td></tr><tr><td>Transformeur FG</td><td>20+8</td><td>129</td><td>87.50</td><td>86.67</td></tr><tr><td rowspan="3">Multimodal</td><td rowspan="3">Attention cross-modale</td><td>-</td><td>2</td><td>185</td><td>78.50</td><td>75.37</td></tr><tr><td>CRF</td><td>2+8</td><td>185</td><td>84.39</td><td>82.91</td></tr><tr><td>Transformeur FG</td><td>2+8</td><td>198</td><td><strong>87.81</strong></td><td><strong>87.18</strong></td></tr></tbody></table>

## 2 Résultats

Nous comparons dans le Tab. 1 les performances de nos modèles, avec ou sans modèle séquentiel (CRF ou transformeur à fenêtre glissante), à trois compétiteurs : un prédicteur constant, pour référence ; une approche inspirée de (Ginev et Miller, 2020) se focalisant sur le premier mot de chaque paragraphe ; le classifieur textuel ligne à ligne de (Mishra et al., 2021).

## Références

* Mishra, S., A. Gauquier, et P. Senellart (2024). Modular multimodal machine learning for extraction of theorems and proofs in long scientific documents. In *JCDL*.

* Mishra, S., Y. Brihmouche, T. Delemazure, A. Gauquier, et P. Senellart (2024b). First steps in building a knowledge base of mathematical results. In *SDP*.

* Mishra, S., L. Pluvinage, et P. Senellart (2021). Towards extraction of theorems and proofs in scholarly articles. In *DocEng*.

* Ginev, D. et B. R. Miller (2020). Scientific statement classification over arXiv.org. In *LREC*.