Update app.py

app.py

@@ -4,38 +4,68 @@ import pandas as pd
 csv_filename = 'leaderboard.csv'
 url = 'https://docs.google.com/spreadsheets/d/1Oh3nrbdWjKuh9twJsc9yJLppiJeD_BZyKgCTOxRkALM/export?format=csv'
 
-def get_data():
-    return pd.read_csv(url)
+def get_data_classifica():
+    dataset = pd.read_csv(url)
+    if 'model ' in dataset.columns:
+        dataset.rename(columns={'model ': 'model'}, inplace=True)
+    df_classifica = dataset[['model', 'helloswag_it acc norm', 'arc_it acc norm', 'm_mmul acc shot 5']]
+    df_classifica['media'] = df_classifica[['helloswag_it acc norm', 'arc_it acc norm', 'm_mmul acc shot 5']].mean(axis=1)
+    df_classifica['media'] = df_classifica['media'].round(2) 
+    df_classifica = df_classifica.sort_values(by='media', ascending=False) 
+    df_classifica = df_classifica[['model', 'media', 'helloswag_it acc norm', 'arc_it acc norm', 'm_mmul acc shot 5']]
+
+    return df_classifica
+
+def get_data_totale():
+    dataset = pd.read_csv(url)
+    if 'model ' in dataset.columns:
+        dataset.rename(columns={'model ': 'model'}, inplace=True)
+    return dataset
 
 with gr.Blocks() as demo:
-        with gr.Tab('Classifica'):
 
-            gr.Markdown("# Classifica degli LLM italiani")
-            form_link = "https://forms.gle/Gc9Dfu52xSBhQPpAA"
-            gr.Markdown(f"Nella tabella la classifica dei risultati ottenuti confrontando alcuni modelli LLM italiani utilizzando questa [repo github](https://github.com/C080/open-llm-ita-leaderboard) da me mantenuta. I modelli sono testati su SQuAD-it e ordinati per F1 Score e EM (Exact Match). Si ringrazia il @galatolo per il codice dell'eval. Se volete aggiungere il vostro modello compilate il form {form_link}.")
-            gr.Dataframe(pd.read_csv(csv_filename, sep=';'))
+        with gr.Tab('Classifica Generale'):
 
-            gr.Markdown('''# Community discord
-Se volete contribuire o semplicemente partecipare unitevi al nostro [discord](https://discord.com/invite/nfgaTG3H) per rimanere aggiornati su LLM in lingua italiana. 
+            gr.Markdown('''# Classifica generale degli LLM italiani''')
+            discord_link = 'https://discord.com/invite/nfgaTG3H'
+            gr.Markdown('''
+            I modelli sottostanti sono stati testati con [lm_evaluation_harness](https://github.com/EleutherAI/lm-evaluation-harness) su task specifici per l'italiano introdotti con questa [PR](https://github.com/EleutherAI/lm-evaluation-harness/pull/1358).
+            L'intero progetto, i modelli e i dataset sono rigorosamente open source e tutti i risultati sono riproducibili lanciando dei comandi come questo:
+                * lm_eval --model hf --model_args pretrained=HUGGINGFACE_MODEL_ID  --tasks xcopa_it,hellaswag_it,lambada_openai_mt_it,belebele_ita_Latn,m_mmlu_it  --device cuda:0 --batch_size 8 
+            ''')
+            gr.DataFrame(get_data_classifica, every=3600)            
+            gr.Markdown(f"Contributore principale: @giux78")
 
-# Sponsor
-Le evaluation sono state sponsorizzate da un provider cloud italano [seeweb.it](https://www.seeweb.it/) molto attento al mondo dell'AI e con un ottima offerta di GPUs ed esperienza di sviluppo.
 
+        with gr.Tab('Classifica RAG'):
 
-# NON E' una classifica ma una evaluation 
+            gr.Markdown('''# Classifica RAG degli LLM italiani''')
+            gr.Markdown(f'''In questa sezione i modelli sono valutati su dei task di Q&A e ordinati per F1 Score e EM (Exact Match). La repo di riferimento è [questa](https://github.com/C080/open-llm-ita-leaderboard).
+                        I modelli in cima alla classifica sono ritenuti preferibili per i task di Retrieval Augmented Generation.''')
+            gr.Dataframe(pd.read_csv(csv_filename, sep=';'))
+            gr.Markdown(f"Si ringrazia il @galatolo per il codice dell'eval.")
+            
 
-In questa tabella una serie di evaluations create con [lm_evaluation_harness](https://github.com/EleutherAI/lm-evaluation-harness) e sponsorizzate da un cloud provider italiano [seeweb](https://www.seeweb.it/)  su tasks appositi per l'italiano. Abbiamo anche contribuito con questa [PR](https://github.com/EleutherAI/lm-evaluation-harness/pull/1358) in attesa di essere mergiata aggiungendo il task per multilingual mmul e contiamo di migliorare gli eval sull'italiano con altre PR.
+        with gr.Tab('Eval aggiuntive'):
 
-Dopo aver installato [lm-evaluation-harness](https://github.com/EleutherAI/lm-evaluation-harness) per generare i risultati i comandi:
+            gr.Markdown('''# Altre evaluation''')
+            gr.Markdown('''Qui ci sono altri test di altri modelli, che non sono ancora stati integrati nella classifica generale.''')
+            gr.DataFrame(get_data_totale, every=3600) 
 
-    lm_eval --model hf --model_args pretrained=HUGGINGFACE_MODEL_ID  --tasks xcopa_it,hellaswag_it,lambada_openai_mt_it,belebele_ita_Latn,m_mmlu_it  --device cuda:0 --batch_size 8 
+        with gr.Tab('Informazioni'):
+            
+            form_link = "https://forms.gle/Gc9Dfu52xSBhQPpAA"
+            gr.Markdown('''# Community discord
+            Se vuoi contribuire al progetto o semplicemente unirti alla community di LLM italiani unisciti al nostro [discord!](https://discord.com/invite/nfgaTG3H)
+            # Aggiungi il tuo modello
+            Se hai sviluppato un tuo modello che vuoi far valutare, compila il form [qui]({form_link}) è tutto gratuito!         
+            ''') 
+        
+        with gr.Tab('Sponsor'):
 
- oppure per few shot 3
- 
-    lm_eval --model hf --model_args pretrained=HUGGINGFACE_MODEL_ID  --tasks m_mmlu_it  --num_fewshot 3 --device cuda:0 --batch_size 8  
+            gr.Markdown('''
+            # Sponsor
+            Le evaluation della classifica generale sono state gentilmente offerte da un provider cloud italano [seeweb.it](https://www.seeweb.it/) specializzato in servizi di GPU cloud.
             ''')
-            discord_link = 'https://discord.com/invite/nfgaTG3H'
-            gr.Markdown(f"@giux78 sta lavorando sull'integrazione di nuovi dataset di benchmark italiani. Se volete contribuire anche voi unitevi al discord della community {discord_link}")
-            gr.DataFrame(get_data, every=3600)
             
 demo.launch()