cptu_bench

Runtime error

App Files Files Community

jansowa commited on Sep 2

Commit

710ce9e

•

1 Parent(s): 512729d

Translate the majority of text into English, add authors

Browse files

Files changed (2) hide show

app.py +27 -14
data.json +120 -120

app.py CHANGED Viewed

@@ -4,6 +4,11 @@ import pandas as pd
 import seaborn as sns
 from st_social_media_links import SocialMediaIcons
 # Function to load data from JSON file
 def load_data(file_path):
@@ -13,11 +18,11 @@ def load_data(file_path):
 # Function to style the DataFrame
 def style_dataframe(df: pd.DataFrame):
-    df['Wyniki'] = df.apply(lambda row: [row['Analiza wydźwięku'], row['Zrozumienie tekstu'], row['Znajomość związków frazeologicznych']], axis=1)
-    # Insert the new column after the 'Średnia' column
     cols = list(df.columns)
-    cols.insert(cols.index('Średnia') + 1, cols.pop(cols.index('Wyniki')))
     df = df[cols]
     # Create a color ramp using Seaborn
@@ -25,7 +30,7 @@ def style_dataframe(df: pd.DataFrame):
 def styler(df: pd.DataFrame):
     palette = sns.color_palette("RdYlGn", as_cmap=True)
-    styled_df = df.style.background_gradient(cmap=palette, subset=["Średnia", "Analiza wydźwięku", "Znajomość związków frazeologicznych", "Zrozumienie tekstu"]).format(precision=2)
     return styled_df
 # Load data from JSON file
@@ -69,25 +74,33 @@ st.markdown("""
     """, unsafe_allow_html=True)
 # Create tabs
-tab1, tab2 = st.tabs(["Wyniki", "Opis"])
 with tab1:
-    st.write("Poniżej znajduje się tabela przedstawiająca wyniki benchmarku dla różnych modeli LLM.")
     # Display the styled DataFrame
     styled_df_show = style_dataframe(data)
     styled_df_show = styler(styled_df_show)
-    # st.dataframe(styled_df_show)
     st.data_editor(styled_df_show, column_config={
-                    'Średnia': st.column_config.NumberColumn('Średnia'),
-                    'Wyniki': st.column_config.BarChartColumn(
-                        "Wyniki", help="Zestawienie wyników poszczególnych zadań",
                         y_min=0,y_max=5,),
-                    'Analiza wydźwięku': st.column_config.NumberColumn('Wydźwięk', help='Umiejętność analizy wydźwięku'),
-                    'Znajomość związków frazeologicznych': st.column_config.NumberColumn('Frazeologizmy', help='Znajomość związków frazeologicznych'),
-                    'Zrozumienie tekstu': st.column_config.NumberColumn('Zrozumienie tekstu', help='Umiejętność zrozumienia tekstu'),
-                    },hide_index=True, disabled=True)
 with tab2:
     st.header("Opis")

 import seaborn as sns
 from st_social_media_links import SocialMediaIcons
+AVERAGE_COLUMN_NAME = "Average"
+SENTIMENT_COLUMN_NAME = "Sentiment"
+RESULTS_COLUMN_NAME = "Results"
+UNDERSTANDING_COLUMN_NAME = "Language understanding"
+PHRASEOLOGY_COLUMN_NAME = "Phraseology"
 # Function to load data from JSON file
 def load_data(file_path):
 # Function to style the DataFrame
 def style_dataframe(df: pd.DataFrame):
+    df[RESULTS_COLUMN_NAME] = df.apply(lambda row: [row[SENTIMENT_COLUMN_NAME], row[UNDERSTANDING_COLUMN_NAME], row[PHRASEOLOGY_COLUMN_NAME]], axis=1)
+    # Insert the new column after the 'Average' column
     cols = list(df.columns)
+    cols.insert(cols.index(AVERAGE_COLUMN_NAME) + 1, cols.pop(cols.index(RESULTS_COLUMN_NAME)))
     df = df[cols]
     # Create a color ramp using Seaborn
 def styler(df: pd.DataFrame):
     palette = sns.color_palette("RdYlGn", as_cmap=True)
+    styled_df = df.style.background_gradient(cmap=palette, subset=[AVERAGE_COLUMN_NAME, SENTIMENT_COLUMN_NAME, PHRASEOLOGY_COLUMN_NAME, UNDERSTANDING_COLUMN_NAME]).format(precision=2)
     return styled_df
 # Load data from JSON file
     """, unsafe_allow_html=True)
 # Create tabs
+tab1, tab2 = st.tabs([RESULTS_COLUMN_NAME, "Opis"])
 with tab1:
+    st.write("This benchmark evaluates the ability of language models to correctly interpret Polish texts with complex implicatures, such as sarcasm and idiomatic expressions. Models are assessed on sentiment analysis, understanding of true intentions, and identification of idiomatic phrases.")
     # Display the styled DataFrame
     styled_df_show = style_dataframe(data)
     styled_df_show = styler(styled_df_show)
     st.data_editor(styled_df_show, column_config={
+                    AVERAGE_COLUMN_NAME: st.column_config.NumberColumn(AVERAGE_COLUMN_NAME),
+                    RESULTS_COLUMN_NAME: st.column_config.BarChartColumn(
+                        RESULTS_COLUMN_NAME, help="Summary of the results of each task",
                         y_min=0,y_max=5,),
+                    SENTIMENT_COLUMN_NAME: st.column_config.NumberColumn(SENTIMENT_COLUMN_NAME, help='Ability to analyze sentiment'),
+                    PHRASEOLOGY_COLUMN_NAME: st.column_config.NumberColumn(PHRASEOLOGY_COLUMN_NAME, help='Ability to understand phraseological compounds'),
+                    UNDERSTANDING_COLUMN_NAME: st.column_config.NumberColumn(UNDERSTANDING_COLUMN_NAME, help='Ability to understand language'),
+                    }, hide_index=True, disabled=True, height=500)
+    st.markdown("""
+    ### Authors:
+    - [Jan Sowa](https://www.linkedin.com/in/janpiotrsowa) - leadership, writing texts, benchmark code
+    - [Agnieszka Kosiak](https://www.linkedin.com/in/agn-kosiak/) - writing texts
+    - [Magdalena Krawczyk](https://www.linkedin.com/in/magdalena-krawczyk-7810942ab/) - writing texts, labeling
+    - [Remigiusz Kinas](https://www.linkedin.com/in/remigiusz-kinas/) - methodological support
+    - [Krzysztof Wróbel](https://www.linkedin.com/in/wrobelkrzysztof/) - engineering, methodological support
+    """)
 with tab2:
     st.header("Opis")

data.json CHANGED Viewed

@@ -1,194 +1,194 @@
 [
     {
         "Model": "mistralai/Mistral-Large-Instruct-2407",
-        "Rozmiar": "123B",
-        "Średnia": 4.03025641025641,
-        "Analiza wydźwięku": 4.230769230769231,
-        "Zrozumienie tekstu": 4.0,
-        "Znajomość związków frazeologicznych": 3.86
     },
     {
         "Model": "alpindale/WizardLM-2-8x22B",
-        "Rozmiar": "141B",
-        "Średnia": 3.9133760683760683,
-        "Analiza wydźwięku": 3.7051282051282053,
-        "Zrozumienie tekstu": 3.815,
-        "Znajomość związków frazeologicznych": 4.22
     },
     {
         "Model": "meta-llama/Meta-Llama-3.1-70B-Instruct",
-        "Rozmiar": "70.6B",
-        "Średnia": 3.828974358974359,
-        "Analiza wydźwięku": 4.326923076923077,
-        "Zrozumienie tekstu": 3.91,
-        "Znajomość związków frazeologicznych": 3.25
     },
     {
         "Model": "meta-llama/Meta-Llama-3-70B-Instruct",
-        "Rozmiar": "70.6B",
-        "Średnia": 3.806538461538462,
-        "Analiza wydźwięku": 4.134615384615385,
-        "Zrozumienie tekstu": 3.82,
-        "Znajomość związków frazeologicznych": 3.465
     },
     {
         "Model": "mistralai/Mixtral-8x22B-Instruct-v0.1",
-        "Rozmiar": "141B",
-        "Średnia": 3.6690170940170943,
-        "Analiza wydźwięku": 3.782051282051282,
-        "Zrozumienie tekstu": 3.675,
-        "Znajomość związków frazeologicznych": 3.55
     },
     {
         "Model": "speakleash/Bielik-11B-v2.1-Instruct",
-        "Rozmiar": "11.2B",
-        "Średnia": 3.6583760683760684,
-        "Analiza wydźwięku": 3.9551282051282053,
-        "Zrozumienie tekstu": 3.915,
-        "Znajomość związków frazeologicznych": 3.105
     },
     {
         "Model": "Qwen/Qwen2-72B-Instruct",
-        "Rozmiar": "72.7B",
-        "Średnia": 3.6442735042735044,
-        "Analiza wydźwięku": 3.7628205128205128,
-        "Zrozumienie tekstu": 3.89,
-        "Znajomość związków frazeologicznych": 3.28
     },
     {
         "Model": "speakleash/Bielik-11B-v2.0-Instruct",
-        "Rozmiar": "11.2B",
-        "Średnia": 3.614786324786325,
-        "Analiza wydźwięku": 3.9743589743589745,
-        "Zrozumienie tekstu": 3.745,
-        "Znajomość związków frazeologicznych": 3.125
     },
     {
         "Model": "Qwen/Qwen1.5-72B-Chat",
-        "Rozmiar": "72.3B",
-        "Średnia": 3.3214529914529916,
-        "Analiza wydźwięku": 3.4743589743589745,
-        "Zrozumienie tekstu": 3.515,
-        "Znajomość związków frazeologicznych": 2.975
     },
     {
         "Model": "meta-llama/Meta-Llama-3.1-8B-Instruct",
-        "Rozmiar": "8.03B",
-        "Średnia": 3.3114529914529918,
-        "Analiza wydźwięku": 3.9743589743589745,
-        "Zrozumienie tekstu": 3.38,
-        "Znajomość związków frazeologicznych": 2.58
     },
     {
         "Model": "Remek/Mistral-Nemo-Instruct-2407-PL-finetuned",
-        "Rozmiar": "12.2B",
-        "Średnia": 3.2843162393162397,
-        "Analiza wydźwięku": 3.717948717948718,
-        "Zrozumienie tekstu": 3.41,
-        "Znajomość związków frazeologicznych": 2.725
     },
     {
         "Model": "THUDM/glm-4-9b-chat",
-        "Rozmiar": "9.4B",
-        "Średnia": 3.2749145299145295,
-        "Analiza wydźwięku": 3.58974358974359,
-        "Zrozumienie tekstu": 3.455,
-        "Znajomość związków frazeologicznych": 2.78
     },
     {
         "Model": "mistralai/Mistral-Nemo-Instruct-2407",
-        "Rozmiar": "12.2B",
-        "Średnia": 3.223675213675214,
-        "Analiza wydźwięku": 3.641025641025641,
-        "Zrozumienie tekstu": 3.29,
-        "Znajomość związków frazeologicznych": 2.74
     },
     {
         "Model": "meta-llama/Meta-Llama-3-8B-Instruct",
-        "Rozmiar": "8.03B",
-        "Średnia": 3.172777777777778,
-        "Analiza wydźwięku": 3.3333333333333335,
-        "Zrozumienie tekstu": 3.15,
-        "Znajomość związków frazeologicznych": 3.035
     },
     {
         "Model": "upstage/SOLAR-10.7B-Instruct-v1.0",
-        "Rozmiar": "10.7B",
-        "Średnia": 3.1343162393162394,
-        "Analiza wydźwięku": 2.967948717948718,
-        "Zrozumienie tekstu": 3.18,
-        "Znajomość związków frazeologicznych": 3.255
     },
     {
         "Model": "speakleash/Bielik-7B-Instruct-v0.1",
-        "Rozmiar": "7.24B",
-        "Średnia": 3.126581196581197,
-        "Analiza wydźwięku": 3.58974358974359,
-        "Zrozumienie tekstu": 3.475,
-        "Znajomość związków frazeologicznych": 2.315
     },
     {
         "Model": "openchat/openchat-3.5-0106-gemma",
-        "Rozmiar": "8.54B",
-        "Średnia": 3.08525641025641,
-        "Analiza wydźwięku": 3.730769230769231,
-        "Zrozumienie tekstu": 3.08,
-        "Znajomość związków frazeologicznych": 2.445
     },
     {
         "Model": "mistralai/Mixtral-8x7B-Instruct-v0.1",
-        "Rozmiar": "46.7B",
-        "Średnia": 3.039230769230769,
-        "Analiza wydźwięku": 3.0576923076923075,
-        "Zrozumienie tekstu": 3.175,
-        "Znajomość związków frazeologicznych": 2.885
     },
     {
         "Model": "mistralai/Mistral-7B-Instruct-v0.3",
-        "Rozmiar": "7.25B",
-        "Średnia": 3.022307692307692,
-        "Analiza wydźwięku": 3.326923076923077,
-        "Zrozumienie tekstu": 3.06,
-        "Znajomość związków frazeologicznych": 2.68
     },
     {
         "Model": "berkeley-nest/Starling-LM-7B-alpha",
-        "Rozmiar": "7.24B",
-        "Średnia": 2.945897435897436,
-        "Analiza wydźwięku": 3.0576923076923075,
-        "Zrozumienie tekstu": 2.925,
-        "Znajomość związków frazeologicznych": 2.855
     },
     {
         "Model": "openchat/openchat-3.5-0106",
-        "Rozmiar": "7.24B",
-        "Średnia": 2.8500854700854696,
-        "Analiza wydźwięku": 3.16025641025641,
-        "Zrozumienie tekstu": 2.835,
-        "Znajomość związków frazeologicznych": 2.555
     },
     {
         "Model": "internlm/internlm2-chat-20b",
-        "Rozmiar": "19.9B",
-        "Średnia": 2.8237606837606837,
-        "Analiza wydźwięku": 3.301282051282051,
-        "Zrozumienie tekstu": 2.785,
-        "Znajomość związków frazeologicznych": 2.385
     },
     {
         "Model": "01-ai/Yi-1.5-34B-Chat",
-        "Rozmiar": "34.4B",
-        "Średnia": 2.7756410256410255,
-        "Analiza wydźwięku": 3.076923076923077,
-        "Zrozumienie tekstu": 2.87,
-        "Znajomość związków frazeologicznych": 2.38
     },
     {
         "Model": "Voicelab/trurl-2-13b-academic",
-        "Rozmiar": "13B",
-        "Średnia": 2.74042735042735,
-        "Analiza wydźwięku": 3.301282051282051,
-        "Zrozumienie tekstu": 2.755,
-        "Znajomość związków frazeologicznych": 2.165
     }
 ]

 [
     {
         "Model": "mistralai/Mistral-Large-Instruct-2407",
+        "Params": "123B",
+        "Average": 4.03025641025641,
+        "Sentiment": 4.230769230769231,
+        "Language understanding": 4.0,
+        "Phraseology": 3.86
     },
     {
         "Model": "alpindale/WizardLM-2-8x22B",
+        "Params": "141B",
+        "Average": 3.9133760683760683,
+        "Sentiment": 3.7051282051282053,
+        "Language understanding": 3.815,
+        "Phraseology": 4.22
     },
     {
         "Model": "meta-llama/Meta-Llama-3.1-70B-Instruct",
+        "Params": "70.6B",
+        "Average": 3.828974358974359,
+        "Sentiment": 4.326923076923077,
+        "Language understanding": 3.91,
+        "Phraseology": 3.25
     },
     {
         "Model": "meta-llama/Meta-Llama-3-70B-Instruct",
+        "Params": "70.6B",
+        "Average": 3.806538461538462,
+        "Sentiment": 4.134615384615385,
+        "Language understanding": 3.82,
+        "Phraseology": 3.465
     },
     {
         "Model": "mistralai/Mixtral-8x22B-Instruct-v0.1",
+        "Params": "141B",
+        "Average": 3.6690170940170943,
+        "Sentiment": 3.782051282051282,
+        "Language understanding": 3.675,
+        "Phraseology": 3.55
     },
     {
         "Model": "speakleash/Bielik-11B-v2.1-Instruct",
+        "Params": "11.2B",
+        "Average": 3.6583760683760684,
+        "Sentiment": 3.9551282051282053,
+        "Language understanding": 3.915,
+        "Phraseology": 3.105
     },
     {
         "Model": "Qwen/Qwen2-72B-Instruct",
+        "Params": "72.7B",
+        "Average": 3.6442735042735044,
+        "Sentiment": 3.7628205128205128,
+        "Language understanding": 3.89,
+        "Phraseology": 3.28
     },
     {
         "Model": "speakleash/Bielik-11B-v2.0-Instruct",
+        "Params": "11.2B",
+        "Average": 3.614786324786325,
+        "Sentiment": 3.9743589743589745,
+        "Language understanding": 3.745,
+        "Phraseology": 3.125
     },
     {
         "Model": "Qwen/Qwen1.5-72B-Chat",
+        "Params": "72.3B",
+        "Average": 3.3214529914529916,
+        "Sentiment": 3.4743589743589745,
+        "Language understanding": 3.515,
+        "Phraseology": 2.975
     },
     {
         "Model": "meta-llama/Meta-Llama-3.1-8B-Instruct",
+        "Params": "8.03B",
+        "Average": 3.3114529914529918,
+        "Sentiment": 3.9743589743589745,
+        "Language understanding": 3.38,
+        "Phraseology": 2.58
     },
     {
         "Model": "Remek/Mistral-Nemo-Instruct-2407-PL-finetuned",
+        "Params": "12.2B",
+        "Average": 3.2843162393162397,
+        "Sentiment": 3.717948717948718,
+        "Language understanding": 3.41,
+        "Phraseology": 2.725
     },
     {
         "Model": "THUDM/glm-4-9b-chat",
+        "Params": "9.4B",
+        "Average": 3.2749145299145295,
+        "Sentiment": 3.58974358974359,
+        "Language understanding": 3.455,
+        "Phraseology": 2.78
     },
     {
         "Model": "mistralai/Mistral-Nemo-Instruct-2407",
+        "Params": "12.2B",
+        "Average": 3.223675213675214,
+        "Sentiment": 3.641025641025641,
+        "Language understanding": 3.29,
+        "Phraseology": 2.74
     },
     {
         "Model": "meta-llama/Meta-Llama-3-8B-Instruct",
+        "Params": "8.03B",
+        "Average": 3.172777777777778,
+        "Sentiment": 3.3333333333333335,
+        "Language understanding": 3.15,
+        "Phraseology": 3.035
     },
     {
         "Model": "upstage/SOLAR-10.7B-Instruct-v1.0",
+        "Params": "10.7B",
+        "Average": 3.1343162393162394,
+        "Sentiment": 2.967948717948718,
+        "Language understanding": 3.18,
+        "Phraseology": 3.255
     },
     {
         "Model": "speakleash/Bielik-7B-Instruct-v0.1",
+        "Params": "7.24B",
+        "Average": 3.126581196581197,
+        "Sentiment": 3.58974358974359,
+        "Language understanding": 3.475,
+        "Phraseology": 2.315
     },
     {
         "Model": "openchat/openchat-3.5-0106-gemma",
+        "Params": "8.54B",
+        "Average": 3.08525641025641,
+        "Sentiment": 3.730769230769231,
+        "Language understanding": 3.08,
+        "Phraseology": 2.445
     },
     {
         "Model": "mistralai/Mixtral-8x7B-Instruct-v0.1",
+        "Params": "46.7B",
+        "Average": 3.039230769230769,
+        "Sentiment": 3.0576923076923075,
+        "Language understanding": 3.175,
+        "Phraseology": 2.885
     },
     {
         "Model": "mistralai/Mistral-7B-Instruct-v0.3",
+        "Params": "7.25B",
+        "Average": 3.022307692307692,
+        "Sentiment": 3.326923076923077,
+        "Language understanding": 3.06,
+        "Phraseology": 2.68
     },
     {
         "Model": "berkeley-nest/Starling-LM-7B-alpha",
+        "Params": "7.24B",
+        "Average": 2.945897435897436,
+        "Sentiment": 3.0576923076923075,
+        "Language understanding": 2.925,
+        "Phraseology": 2.855
     },
     {
         "Model": "openchat/openchat-3.5-0106",
+        "Params": "7.24B",
+        "Average": 2.8500854700854696,
+        "Sentiment": 3.16025641025641,
+        "Language understanding": 2.835,
+        "Phraseology": 2.555
     },
     {
         "Model": "internlm/internlm2-chat-20b",
+        "Params": "19.9B",
+        "Average": 2.8237606837606837,
+        "Sentiment": 3.301282051282051,
+        "Language understanding": 2.785,
+        "Phraseology": 2.385
     },
     {
         "Model": "01-ai/Yi-1.5-34B-Chat",
+        "Params": "34.4B",
+        "Average": 2.7756410256410255,
+        "Sentiment": 3.076923076923077,
+        "Language understanding": 2.87,
+        "Phraseology": 2.38
     },
     {
         "Model": "Voicelab/trurl-2-13b-academic",
+        "Params": "13B",
+        "Average": 2.74042735042735,
+        "Sentiment": 3.301282051282051,
+        "Language understanding": 2.755,
+        "Phraseology": 2.165
     }
 ]