new template and results

all_results.json

@@ -113593,7 +113593,164 @@
                     "AC3_6": 0.2858695651766083,
                     "AC3_7": 0.2501188777561638
                 },
-                "prompt_5": -1
+                "prompt_5": {
+                    "overall_acc": 0.478095238095238,
+                    "language_acc": {
+                        "Vietnamese": 0.36,
+                        "English": 0.5933333333333334,
+                        "Malay": 0.4266666666666667,
+                        "Chinese": 0.46,
+                        "Filipino": 0.4666666666666667,
+                        "Indonesian": 0.5266666666666666,
+                        "Spanish": 0.5133333333333333
+                    },
+                    "consistency_score_2": 0.5253968253968253,
+                    "consistency_score_3": 0.3533333333333333,
+                    "consistency_score_4": 0.26590476190476203,
+                    "consistency_score_5": 0.21206349206349207,
+                    "consistency_score_6": 0.17428571428571432,
+                    "consistency_score_7": 0.14666666666666667,
+                    "detailed_consistency_score": {
+                        "2_combine": {
+                            "Vietnamese,English": 0.4266666666666667,
+                            "Vietnamese,Malay": 0.5066666666666667,
+                            "Vietnamese,Chinese": 0.44666666666666666,
+                            "Vietnamese,Filipino": 0.46,
+                            "Vietnamese,Indonesian": 0.5,
+                            "Vietnamese,Spanish": 0.4266666666666667,
+                            "English,Malay": 0.5266666666666666,
+                            "English,Chinese": 0.48,
+                            "English,Filipino": 0.52,
+                            "English,Indonesian": 0.62,
+                            "English,Spanish": 0.6466666666666666,
+                            "Malay,Chinese": 0.54,
+                            "Malay,Filipino": 0.44666666666666666,
+                            "Malay,Indonesian": 0.6733333333333333,
+                            "Malay,Spanish": 0.6333333333333333,
+                            "Chinese,Filipino": 0.4666666666666667,
+                            "Chinese,Indonesian": 0.5466666666666666,
+                            "Chinese,Spanish": 0.5466666666666666,
+                            "Filipino,Indonesian": 0.5066666666666667,
+                            "Filipino,Spanish": 0.46,
+                            "Indonesian,Spanish": 0.6533333333333333
+                        },
+                        "3_combine": {
+                            "Vietnamese,English,Malay": 0.30666666666666664,
+                            "Vietnamese,English,Chinese": 0.28,
+                            "Vietnamese,English,Filipino": 0.29333333333333333,
+                            "Vietnamese,English,Indonesian": 0.34,
+                            "Vietnamese,English,Spanish": 0.3,
+                            "Vietnamese,Malay,Chinese": 0.3333333333333333,
+                            "Vietnamese,Malay,Filipino": 0.28,
+                            "Vietnamese,Malay,Indonesian": 0.3933333333333333,
+                            "Vietnamese,Malay,Spanish": 0.3466666666666667,
+                            "Vietnamese,Chinese,Filipino": 0.26666666666666666,
+                            "Vietnamese,Chinese,Indonesian": 0.32666666666666666,
+                            "Vietnamese,Chinese,Spanish": 0.2866666666666667,
+                            "Vietnamese,Filipino,Indonesian": 0.30666666666666664,
+                            "Vietnamese,Filipino,Spanish": 0.26666666666666666,
+                            "Vietnamese,Indonesian,Spanish": 0.36,
+                            "English,Malay,Chinese": 0.3333333333333333,
+                            "English,Malay,Filipino": 0.3333333333333333,
+                            "English,Malay,Indonesian": 0.46,
+                            "English,Malay,Spanish": 0.43333333333333335,
+                            "English,Chinese,Filipino": 0.31333333333333335,
+                            "English,Chinese,Indonesian": 0.38666666666666666,
+                            "English,Chinese,Spanish": 0.37333333333333335,
+                            "English,Filipino,Indonesian": 0.36,
+                            "English,Filipino,Spanish": 0.37333333333333335,
+                            "English,Indonesian,Spanish": 0.49333333333333335,
+                            "Malay,Chinese,Filipino": 0.31333333333333335,
+                            "Malay,Chinese,Indonesian": 0.41333333333333333,
+                            "Malay,Chinese,Spanish": 0.4066666666666667,
+                            "Malay,Filipino,Indonesian": 0.36666666666666664,
+                            "Malay,Filipino,Spanish": 0.35333333333333333,
+                            "Malay,Indonesian,Spanish": 0.5066666666666667,
+                            "Chinese,Filipino,Indonesian": 0.34,
+                            "Chinese,Filipino,Spanish": 0.32666666666666666,
+                            "Chinese,Indonesian,Spanish": 0.4266666666666667,
+                            "Filipino,Indonesian,Spanish": 0.36666666666666664
+                        },
+                        "4_combine": {
+                            "Vietnamese,English,Malay,Chinese": 0.22666666666666666,
+                            "Vietnamese,English,Malay,Filipino": 0.22,
+                            "Vietnamese,English,Malay,Indonesian": 0.29333333333333333,
+                            "Vietnamese,English,Malay,Spanish": 0.26666666666666666,
+                            "Vietnamese,English,Chinese,Filipino": 0.19333333333333333,
+                            "Vietnamese,English,Chinese,Indonesian": 0.24666666666666667,
+                            "Vietnamese,English,Chinese,Spanish": 0.21333333333333335,
+                            "Vietnamese,English,Filipino,Indonesian": 0.22666666666666666,
+                            "Vietnamese,English,Filipino,Spanish": 0.22666666666666666,
+                            "Vietnamese,English,Indonesian,Spanish": 0.2733333333333333,
+                            "Vietnamese,Malay,Chinese,Filipino": 0.2,
+                            "Vietnamese,Malay,Chinese,Indonesian": 0.2733333333333333,
+                            "Vietnamese,Malay,Chinese,Spanish": 0.25333333333333335,
+                            "Vietnamese,Malay,Filipino,Indonesian": 0.25333333333333335,
+                            "Vietnamese,Malay,Filipino,Spanish": 0.23333333333333334,
+                            "Vietnamese,Malay,Indonesian,Spanish": 0.32,
+                            "Vietnamese,Chinese,Filipino,Indonesian": 0.21333333333333335,
+                            "Vietnamese,Chinese,Filipino,Spanish": 0.20666666666666667,
+                            "Vietnamese,Chinese,Indonesian,Spanish": 0.26,
+                            "Vietnamese,Filipino,Indonesian,Spanish": 0.24,
+                            "English,Malay,Chinese,Filipino": 0.24,
+                            "English,Malay,Chinese,Indonesian": 0.30666666666666664,
+                            "English,Malay,Chinese,Spanish": 0.2866666666666667,
+                            "English,Malay,Filipino,Indonesian": 0.29333333333333333,
+                            "English,Malay,Filipino,Spanish": 0.30666666666666664,
+                            "English,Malay,Indonesian,Spanish": 0.4,
+                            "English,Chinese,Filipino,Indonesian": 0.24666666666666667,
+                            "English,Chinese,Filipino,Spanish": 0.26,
+                            "English,Chinese,Indonesian,Spanish": 0.32,
+                            "English,Filipino,Indonesian,Spanish": 0.30666666666666664,
+                            "Malay,Chinese,Filipino,Indonesian": 0.26666666666666666,
+                            "Malay,Chinese,Filipino,Spanish": 0.26666666666666666,
+                            "Malay,Chinese,Indonesian,Spanish": 0.35333333333333333,
+                            "Malay,Filipino,Indonesian,Spanish": 0.32666666666666666,
+                            "Chinese,Filipino,Indonesian,Spanish": 0.2866666666666667
+                        },
+                        "5_combine": {
+                            "Vietnamese,English,Malay,Chinese,Filipino": 0.16,
+                            "Vietnamese,English,Malay,Chinese,Indonesian": 0.21333333333333335,
+                            "Vietnamese,English,Malay,Chinese,Spanish": 0.19333333333333333,
+                            "Vietnamese,English,Malay,Filipino,Indonesian": 0.20666666666666667,
+                            "Vietnamese,English,Malay,Filipino,Spanish": 0.20666666666666667,
+                            "Vietnamese,English,Malay,Indonesian,Spanish": 0.26,
+                            "Vietnamese,English,Chinese,Filipino,Indonesian": 0.16,
+                            "Vietnamese,English,Chinese,Filipino,Spanish": 0.16666666666666666,
+                            "Vietnamese,English,Chinese,Indonesian,Spanish": 0.19333333333333333,
+                            "Vietnamese,English,Filipino,Indonesian,Spanish": 0.2,
+                            "Vietnamese,Malay,Chinese,Filipino,Indonesian": 0.18,
+                            "Vietnamese,Malay,Chinese,Filipino,Spanish": 0.18,
+                            "Vietnamese,Malay,Chinese,Indonesian,Spanish": 0.24,
+                            "Vietnamese,Malay,Filipino,Indonesian,Spanish": 0.22666666666666666,
+                            "Vietnamese,Chinese,Filipino,Indonesian,Spanish": 0.18666666666666668,
+                            "English,Malay,Chinese,Filipino,Indonesian": 0.21333333333333335,
+                            "English,Malay,Chinese,Filipino,Spanish": 0.22666666666666666,
+                            "English,Malay,Chinese,Indonesian,Spanish": 0.2733333333333333,
+                            "English,Malay,Filipino,Indonesian,Spanish": 0.2866666666666667,
+                            "English,Chinese,Filipino,Indonesian,Spanish": 0.22666666666666666,
+                            "Malay,Chinese,Filipino,Indonesian,Spanish": 0.25333333333333335
+                        },
+                        "6_combine": {
+                            "Vietnamese,English,Malay,Chinese,Filipino,Indonesian": 0.14666666666666667,
+                            "Vietnamese,English,Malay,Chinese,Filipino,Spanish": 0.15333333333333332,
+                            "Vietnamese,English,Malay,Chinese,Indonesian,Spanish": 0.18666666666666668,
+                            "Vietnamese,English,Malay,Filipino,Indonesian,Spanish": 0.2,
+                            "Vietnamese,English,Chinese,Filipino,Indonesian,Spanish": 0.14666666666666667,
+                            "Vietnamese,Malay,Chinese,Filipino,Indonesian,Spanish": 0.17333333333333334,
+                            "English,Malay,Chinese,Filipino,Indonesian,Spanish": 0.21333333333333335
+                        },
+                        "7_combine": {
+                            "Vietnamese,English,Malay,Chinese,Filipino,Indonesian,Spanish": 0.14666666666666667
+                        }
+                    },
+                    "AC3_2": 0.5006312046623028,
+                    "AC3_3": 0.40635357001603606,
+                    "AC3_4": 0.3417413990226551,
+                    "AC3_5": 0.293806457222948,
+                    "AC3_6": 0.2554494264467664,
+                    "AC3_7": 0.22447154467951802
+                }
             },
             "cross_logiqa": {
                 "prompt_1": {

app.py

@@ -1173,6 +1173,54 @@ def get_data_zbench(eval_mode='zero_shot', fillna=True, rank=True):
 ZBENCH_ZERO_SHOT = get_data_zbench(eval_mode="zero_shot")
 ZBENCH_FIVE_SHOT = get_data_zbench(eval_mode="five_shot")
 
+# =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =
+# =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =
+
+
+def get_data_indommlu(eval_mode='zero_shot', fillna=True, rank=True):
+
+    df_list = []
+    
+    for model in MODEL_LIST:
+
+        results_list = [ALL_RESULTS[model][eval_mode]['indommlu'][res] for res in ALL_RESULTS[model][eval_mode]['indommlu']]
+       
+        try:
+            accuracy = median([results['accuracy'] for results in results_list])
+
+        except:
+            accuracy = -1
+
+        res = {
+            "Model Size (Params)": MODEL_TO_SIZE.get(model, ""),
+            "Model": make_clickable_model(model, link=ALL_RESULTS[model]["model_link"]),
+            "Accuracy": accuracy,
+        }
+
+        df_list.append(res)
+
+
+    df = pd.DataFrame(df_list)
+    # If there are any models that are the same, merge them
+    # E.g. if out["Model"] has the same value in two places, merge & take whichever one is not NaN else just take the first one
+    df = df.groupby("Model", as_index=False).first()
+    # Put 'Model' column first
+    #cols = sorted(list(df.columns))
+    cols = list(df.columns)
+    cols.insert(0, cols.pop(cols.index("Model")))
+    df = df[cols]
+
+    if rank:
+        df = add_rank(df, compute_average=True)       
+
+    if fillna:
+        df.fillna("", inplace=True)
+
+    return df
+
+
+INDOMMLU_ZERO_SHOT = get_data_indommlu(eval_mode="zero_shot")
+INDOMMLU_FIVE_SHOT = get_data_indommlu(eval_mode="five_shot")
 
 
 # =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =  =
@@ -2464,6 +2512,31 @@ with block:
                     - **Languages:** Chinese
                     """)
 
+            # dataset 18:
+            with gr.TabItem("IndoMMLU"):
+                with gr.TabItem("Zero Shot"):
+                    with gr.TabItem("Overall"):
+                        with gr.Row():
+                            gr.components.Dataframe(
+                                INDOMMLU_ZERO_SHOT,
+                                datatype=["number", "markdown"] + ["number"] * len(INDOMMLU_ZERO_SHOT.columns),
+                                type="pandas",
+                            )
+                with gr.TabItem("Five Shot"):
+                    with gr.TabItem("Overall"):
+                        with gr.Row():
+                            gr.components.Dataframe(
+                                INDOMMLU_FIVE_SHOT,
+                                datatype=["number", "markdown"] + ["number"] * len(INDOMMLU_FIVE_SHOT.columns),
+                                type="pandas",
+                            )
+                with gr.Row():
+                    gr.Markdown("""
+                    **IndoMMLU Leaderboard** 🔮
+                    
+                    - **Metric:** Accuracy.
+                    - **Languages:** Bahasa Indonesian
+                    """)
 
 
         with gr.TabItem("FLORES Translation"):
@@ -2991,7 +3064,7 @@ with block:
 
 
 block.queue(max_size=10)
-block.launch(server_name="0.0.0.0", share=False)
+block.launch(server_name="0.0.0.0", share=True)
 
 
 # Possible changes: