FinancialSupport commited on
Commit
8f8bf04
1 Parent(s): 168eacf

Update src/about.py

Browse files
Files changed (1) hide show
  1. src/about.py +17 -3
src/about.py CHANGED
@@ -22,18 +22,30 @@ NUM_FEWSHOT = 0 # Change with your few shot
22
 
23
 
24
  # Your leaderboard name
25
- TITLE = """<h1 align="center" id="space-title">Classifica generale degli LLM italiani</h1>"""
26
 
27
  # What does your leaderboard evaluate?
28
  INTRODUCTION_TEXT = """
29
  Benvenuti nella pagina della open ita llm leaderboard!
30
- In questa dashboard potrete trovare tutti i risultati delle performance dei Large Language Models nella lingua italiana sui principali eval
31
- La classifica è 100% open source, chiunque può contribuire e aggiungere il proprio modello :)
 
 
 
 
32
  """
33
 
34
  # Which evaluations are you running? how can people reproduce what you have?
35
  LLM_BENCHMARKS_TEXT = f"""
36
  ## Come funziona
 
 
 
 
 
 
 
 
37
 
38
  ## Reproducibility
39
  Per riprodurre i risultati scaricate la [repo](https://github.com/EleutherAI/lm-evaluation-harness) eseguite:
@@ -73,4 +85,6 @@ If everything is done, check you can launch the EleutherAIHarness on your model
73
 
74
  CITATION_BUTTON_LABEL = "Copy the following snippet to cite these results"
75
  CITATION_BUTTON_TEXT = r"""
 
 
76
  """
 
22
 
23
 
24
  # Your leaderboard name
25
+ TITLE = """<h1 align="center" id="space-title">🚀 Classifica generale degli LLM italiani 🚀</h1>"""
26
 
27
  # What does your leaderboard evaluate?
28
  INTRODUCTION_TEXT = """
29
  Benvenuti nella pagina della open ita llm leaderboard!
30
+ In questa dashboard potrete trovare tutti i risultati delle performance dei Large Language Models nella lingua italiana sui principali eval effettuati grazie al fantastico [Eleuther AI Language Model Evaluation Harness](https://github.com/EleutherAI/lm-evaluation-harness).
31
+ Maggiori info nella sezione "about"
32
+
33
+ P.s. la classifica è 100% open source, chiunque può contribuire e aggiungere il proprio modello tramite questo [form](https://forms.gle/Gc9Dfu52xSBhQPpAA) nel mentre che la submission automatica sarà operativa :)
34
+ Se avete idee/miglioramenti/suggerimenti [scrivetemi pure] (https://www.linkedin.com/in/samuele-colombo-ml/) oppure mi trovate sul [discord della community] (https://discord.gg/kc97Zwc4ze)
35
+
36
  """
37
 
38
  # Which evaluations are you running? how can people reproduce what you have?
39
  LLM_BENCHMARKS_TEXT = f"""
40
  ## Come funziona
41
+ Valutiamo i modelli tramite <a href="https://github.com/EleutherAI/lm-evaluation-harness" target="_blank"> Eleuther AI Language Model Evaluation Harness </a>, il framework più utilizzato dalla community internazionale per l'evaluation dei modelli
42
+ Nella classifica troverete i dataset di benchmark più famosi, adatti alla lingua italiana. I task sono:
43
+ - hellaswag_it
44
+ - arc_it
45
+ - m_mmlu_it (5 shots)
46
+
47
+ Per tutti questi task, a un punteggio migliore corrisponde una performance maggiore
48
+
49
 
50
  ## Reproducibility
51
  Per riprodurre i risultati scaricate la [repo](https://github.com/EleutherAI/lm-evaluation-harness) eseguite:
 
85
 
86
  CITATION_BUTTON_LABEL = "Copy the following snippet to cite these results"
87
  CITATION_BUTTON_TEXT = r"""
88
+ Paper coming soon!
89
+ Pls dateci credits se usate i nostri benchmarks :)
90
  """