Spaces:
Restarting
on
CPU Upgrade
Restarting
on
CPU Upgrade
FinancialSupport
commited on
Commit
•
8f8bf04
1
Parent(s):
168eacf
Update src/about.py
Browse files- src/about.py +17 -3
src/about.py
CHANGED
@@ -22,18 +22,30 @@ NUM_FEWSHOT = 0 # Change with your few shot
|
|
22 |
|
23 |
|
24 |
# Your leaderboard name
|
25 |
-
TITLE = """<h1 align="center" id="space-title"
|
26 |
|
27 |
# What does your leaderboard evaluate?
|
28 |
INTRODUCTION_TEXT = """
|
29 |
Benvenuti nella pagina della open ita llm leaderboard!
|
30 |
-
In questa dashboard potrete trovare tutti i risultati delle performance dei Large Language Models nella lingua italiana sui principali eval
|
31 |
-
|
|
|
|
|
|
|
|
|
32 |
"""
|
33 |
|
34 |
# Which evaluations are you running? how can people reproduce what you have?
|
35 |
LLM_BENCHMARKS_TEXT = f"""
|
36 |
## Come funziona
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
37 |
|
38 |
## Reproducibility
|
39 |
Per riprodurre i risultati scaricate la [repo](https://github.com/EleutherAI/lm-evaluation-harness) eseguite:
|
@@ -73,4 +85,6 @@ If everything is done, check you can launch the EleutherAIHarness on your model
|
|
73 |
|
74 |
CITATION_BUTTON_LABEL = "Copy the following snippet to cite these results"
|
75 |
CITATION_BUTTON_TEXT = r"""
|
|
|
|
|
76 |
"""
|
|
|
22 |
|
23 |
|
24 |
# Your leaderboard name
|
25 |
+
TITLE = """<h1 align="center" id="space-title">🚀 Classifica generale degli LLM italiani 🚀</h1>"""
|
26 |
|
27 |
# What does your leaderboard evaluate?
|
28 |
INTRODUCTION_TEXT = """
|
29 |
Benvenuti nella pagina della open ita llm leaderboard!
|
30 |
+
In questa dashboard potrete trovare tutti i risultati delle performance dei Large Language Models nella lingua italiana sui principali eval effettuati grazie al fantastico [Eleuther AI Language Model Evaluation Harness](https://github.com/EleutherAI/lm-evaluation-harness).
|
31 |
+
Maggiori info nella sezione "about"
|
32 |
+
|
33 |
+
P.s. la classifica è 100% open source, chiunque può contribuire e aggiungere il proprio modello tramite questo [form](https://forms.gle/Gc9Dfu52xSBhQPpAA) nel mentre che la submission automatica sarà operativa :)
|
34 |
+
Se avete idee/miglioramenti/suggerimenti [scrivetemi pure] (https://www.linkedin.com/in/samuele-colombo-ml/) oppure mi trovate sul [discord della community] (https://discord.gg/kc97Zwc4ze)
|
35 |
+
|
36 |
"""
|
37 |
|
38 |
# Which evaluations are you running? how can people reproduce what you have?
|
39 |
LLM_BENCHMARKS_TEXT = f"""
|
40 |
## Come funziona
|
41 |
+
Valutiamo i modelli tramite <a href="https://github.com/EleutherAI/lm-evaluation-harness" target="_blank"> Eleuther AI Language Model Evaluation Harness </a>, il framework più utilizzato dalla community internazionale per l'evaluation dei modelli
|
42 |
+
Nella classifica troverete i dataset di benchmark più famosi, adatti alla lingua italiana. I task sono:
|
43 |
+
- hellaswag_it
|
44 |
+
- arc_it
|
45 |
+
- m_mmlu_it (5 shots)
|
46 |
+
|
47 |
+
Per tutti questi task, a un punteggio migliore corrisponde una performance maggiore
|
48 |
+
|
49 |
|
50 |
## Reproducibility
|
51 |
Per riprodurre i risultati scaricate la [repo](https://github.com/EleutherAI/lm-evaluation-harness) eseguite:
|
|
|
85 |
|
86 |
CITATION_BUTTON_LABEL = "Copy the following snippet to cite these results"
|
87 |
CITATION_BUTTON_TEXT = r"""
|
88 |
+
Paper coming soon!
|
89 |
+
Pls dateci credits se usate i nostri benchmarks :)
|
90 |
"""
|