# Fine-Tuning vs. Prompting: Évaluation de la Construction de Graphes de Connaissances avec les LLMs

Hussam Ghanem, Christophe Cruz

► To cite this version:

Hussam Ghanem, Christophe Cruz. Fine-Tuning vs. Prompting: Évaluation de la Construction de Graphes de Connaissances avec les LLMs. Extraction et Gestion des Connaissances, EGC'2025, Jan 2025, Strasbourg, France. hal-04930507

HAL Id: hal-04930507

https://hal.science/hal-04930507v1

Submitted on 5 Feb 2025

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
# Fine-Tuning vs. Prompting : Évaluation de la Construction de Graphes de Connaissances avec les LLMs

Hussam Ghanem*, Christophe Cruz *

*ICB, UMR 6306, CNRS, Université de Bourgogne, 21000 Dijon, France

## 1 Introduction, Contexte et Travaux Connexes

Les Graphes de Connaissances (Knowledge Graphs ou KGs) constituent aujourd'hui un pilier fondamental pour de nombreuses applications avancées. Néanmoins, leur construction à partir de données textuelles non structurées demeure un défi majeur. Les récents progrès des grands modèles de langage (LLMs) ouvrent de nouvelles opportunités pour la construction de KGs. Cet article présente une synthèse de notre publication (Ghanem et Cruz, 2024) traitant des forces et des faiblesses des trois méthodes de construction de KG basées sur des LLMs : Zero-Shot Prompting (ZSP), Few-Shot Prompting (FSP) et Fine-Tuning (FT). Les techniques traditionnelles de construction de KG reposent souvent sur des pipelines séquentiels d'extrac- tion d'information. Les approches de bout en bout présentent un potentiel d'amélioration. Les LLMs tels que GPT-3¹, LLaMA<fnref n="2" />, Mistral<fnref n="3" /> et Starling<fnref n="4" /> offrent des capacités accrues pour la construction de KGs à partir de texte (T2KG), exploitables via ZSP, FSP et FT. Les travaux précédents ont utilisé des métriques telles que Triple Match F1 (T-F1), Graph Match F1 (G-F1) et Graph Edit Distance (GED) pour l'évaluation (Han et al., 2023), mais négligent souvent les taux d'hallucination et d'omission.

## 2 Méthodologie, Résultats et Discussion

Nous avons mené des expérimentations avec le jeu de données WebNLG+2020. Trois LLMs (Llama 2 7B, Mistral, Starling) on fait l'objet de notre évaluation. Chaque modèle a été testé avec ZSP, FSP (7 exemples) et FT. Les métriques d'évaluation incluent T-F1, G-F1, G-BS, GED, BLEU-F1 5, ROUGE-F1 6 et nous utilisons Optimal Edit Paths (OEP) 7, pour quantifier les hallucinations et omissions. Le tableau 1 résume les résultats des différents LLMs et mé- thodologies sur le jeu de données WebNLG+2020. Les résultats montrent que l'affinage (FT) surpasse généralement ZSP et FSP, avec Mistral et Starling (affinés et 7 exemples) affichant de

<footnote n="1">1. Language Models are Few-Shot Learners: https://arxiv.org/abs/2005.14165</footnote>

<footnote n="2">2. LLaMA: Open and Efficient Foundation Language Models: https://arxiv.org/abs/2302.13971</footnote>

<footnote n="3">3. Mistral 7B: https://arxiv.org/abs/2310.06825</footnote>

<footnote n="4">4. Starling-7b: https://starling.cs.berkeley.edu/</footnote>

<footnote n="5">5. BLEU: https://aclanthology.org/P02-1040.pdf</footnote>

<footnote n="6">6. ROUGE: https://aclanthology.org/W04-1013/</footnote>

<footnote n="7">7. NetworkX - optimal edit paths: https://networkx.org/documentation/stable/index.html</footnote>
Fine-tuning vs. prompting pour la construction de KG

<table><caption>TAB. 1 – Résultats de différents modèles sur WebNLG+2020. Des valeurs plus faibles indiquent de meilleures performances pour GED, Hall. et Omis.</caption><thead><tr><th>Modèle | Métrique</th><th>G-F1</th><th>T-F1</th><th>G-BS</th><th>GED</th><th>F1-Bleu</th><th>F1-Rouge</th><th>Hall.</th><th>Omis.</th></tr></thead><tbody><tr><td>PiVE</td><td>14.00</td><td>18.57</td><td>89.82</td><td>11.22</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td>Mistral-0</td><td>2.30</td><td>0.00</td><td>77.87</td><td>15.93</td><td>54.97</td><td>55.15</td><td>20.63</td><td>31.48</td></tr><tr><td>Mistral-7</td><td>18.72</td><td>28.44</td><td>87.54</td><td>10.13</td><td>55.09</td><td>63.94</td><td>17.88</td><td>21.14</td></tr><tr><td>Mistral-FT-0</td><td>31.93</td><td>44.08</td><td>86.89</td><td>8.25</td><td>63.88</td><td>69.08</td><td>13.55</td><td>18.27</td></tr><tr><td>Mistral-FT-7</td><td>34.68</td><td><strong>49.11</strong></td><td><strong>91.99</strong></td><td>6.69</td><td><strong>71.78</strong></td><td><strong>77.43</strong></td><td>15.01</td><td><strong>14.45</strong></td></tr><tr><td>Starling-0</td><td>5.23</td><td>7.83</td><td>86.29</td><td>13.35</td><td>34.64</td><td>14.61</td><td>17.48</td><td>33.24</td></tr><tr><td>Starling-7</td><td>21.30</td><td>33.77</td><td>90.41</td><td>8.96</td><td>60.47</td><td>69.34</td><td>17.31</td><td>14.61</td></tr><tr><td>Starling-FT-0</td><td>21.47</td><td>28.29</td><td>72.86</td><td>11.87</td><td>44.07</td><td>47.69</td><td>10.17</td><td>42.78</td></tr><tr><td>Starling-FT-7</td><td><strong>35.69</strong></td><td>48.49</td><td>91.95</td><td><strong>6.60</strong></td><td>71.51</td><td>76.67</td><td>11.35</td><td>18.27</td></tr><tr><td>Llama2-7b-0</td><td>0.00</td><td>0.46</td><td>54.20</td><td>18.29</td><td>20.23</td><td>17.98</td><td>4.83</td><td>81.53</td></tr><tr><td>Llama2-7b-7</td><td>11.80</td><td>20.88</td><td>82.78</td><td>12.66</td><td>45.48</td><td>54.29</td><td>20.74</td><td>30.02</td></tr><tr><td>Llama2-7b-FT-0</td><td>3.82</td><td>15.41</td><td>59.19</td><td>15.78</td><td>16.82</td><td>17.95</td><td>6.07</td><td>79.20</td></tr><tr><td>Llama2-7b-FT-7</td><td>18.77</td><td>32.63</td><td>87.19</td><td>10.16</td><td>58.48</td><td>66.35</td><td>25.24</td><td>18.66</td></tr></tbody></table>

<table><caption>TAB. 2 – Résultats sur KELM-sub.</caption><thead><tr><th>Modèle | Métrique</th><th>G-F1</th><th>T-F1</th><th>G-BS</th><th>GED</th><th>F1-Bleu</th><th>F1-Rouge</th><th>Hall.</th><th>Omis.</th></tr></thead><tbody><tr><td>PiVE</td><td><strong>23.11</strong></td><td>7.50</td><td><strong>87.70</strong></td><td><strong>11.35</strong></td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td>Mistral-7</td><td>5.61</td><td>10.89</td><td>71.29</td><td>14.28</td><td>56.56</td><td>61.11</td><td>2.33</td><td>77.33</td></tr><tr><td>Mistral-FT-7</td><td>2.83</td><td>8.73</td><td>68.55</td><td>14.54</td><td>26.35</td><td>38.76</td><td>1.78</td><td>78.17</td></tr><tr><td>Starling-7</td><td>5.61</td><td><strong>13.82</strong></td><td>83.16</td><td>12.85</td><td><strong>65.79</strong></td><td><strong>71.20</strong></td><td>5.33</td><td><strong>59.44</strong></td></tr><tr><td>Starling-FT-7</td><td>3.11</td><td>9.82</td><td>67.79</td><td>14.53</td><td>27.37</td><td>39.49</td><td>1.22</td><td>78.67</td></tr></tbody></table>

meilleures performances que Llama 2, et que FT est mieux que ZSP et FSP sur les modèles originaux (sans FT). L'augmentation du nombre d'exemples dans FSP améliore généralement les performances. Les modèles affinés surpassent nettement une base précédente (PiVE). Cependant, sur le sous-ensemble KELM-sub (tableau 2), les modèles non affinés avec 7 exemples surpassent parfois les modèles affinés, suggérant des défis de généralisation qui méritent une exploration approfondie. Ainsi, de travaux futurs devraient se concentrer sur le raffinement des métriques pour gérer les synonymes et exploiter les LLMs pour l'augmentation de données afin d'améliorer la généralisation.

Références

Ghanem, H. et C. Cruz (2024). Fine-tuning vs. prompting : Evaluating the knowledge graph construction with llms. *International Workshop On Knowledge Graph Generation From Text (TEXT2KG)*, Co-located with the Extended Semantic Web Conference (ESWC), https://ceur-ws.org/Vol-3747/text2kg_paper7.pdf.

Han, J., N. Collier, W. Buntine, et E. Shareghi (2023). Pive : Prompting with iterative verification improving graph-based generative capability of llms. *arXiv preprint arXiv :2305.12392*.