lewtun HF staff commited on
Commit
9d75c96
1 Parent(s): bda069e

Add missing keys from sample

Browse files
Files changed (2) hide show
  1. app.py +8 -8
  2. sample-submission.json +8 -0
app.py CHANGED
@@ -84,13 +84,13 @@ with st.form(key="form"):
84
  }
85
  }
86
  ```
87
- In this case, `dataset_identifier` is the identifier of the dataset
88
- followed by an identifier of the set the outputs were created from, for
89
- example `_validation` or `_test`. For example, the `mlsum_de` test set
90
- would have the identifier `mlsum_de_test`. The `keys` field is needed
91
- to avoid accidental shuffling that will impact your metrics. Simply add a list
92
- of the `gem_id` for each output example in the same order as your
93
- values. Please see the sample submission below:
94
  """
95
  )
96
  with open("sample-submission.json", "r") as f:
@@ -146,7 +146,7 @@ if submit_button and submission_errors == 0:
146
  "dataset": "GEM/references",
147
  "task": 1,
148
  "model": "gem",
149
- "submission_dataset": f"benchmarks/gem-{user_name}",
150
  "submission_id": submission_id,
151
  "col_mapping": {},
152
  "split": "test",
84
  }
85
  }
86
  ```
87
+ Here, `dataset_identifier` is the identifier of the dataset followed by
88
+ an identifier of the set the outputs were created from, for example
89
+ `_validation` or `_test`. For example, the `mlsum_de` test set has the
90
+ identifier `mlsum_de_test`. The `keys` field is needed to avoid
91
+ accidental shuffling that will impact your metrics. Simply add a list of
92
+ IDs from the `gem_id` column of each evaluation dataset in the same
93
+ order as your values. Please see the sample submission below:
94
  """
95
  )
96
  with open("sample-submission.json", "r") as f:
146
  "dataset": "GEM/references",
147
  "task": 1,
148
  "model": "gem",
149
+ "submission_dataset": f"GEM-submissions/gem-{user_name}",
150
  "submission_id": submission_id,
151
  "col_mapping": {},
152
  "split": "test",
sample-submission.json CHANGED
@@ -17,12 +17,20 @@
17
  "values": [
18
  "Indien hat zwar die größten Geldscheine zunächst abgeschafft, die Wirtschaft wird aber weiterhin auf Bargeld basieren.",
19
  "Der englische Coach hat eine Mannschaft, die gar nicht gut verteidigen kann. Doch er hat gerade eine Mannschaft, die gar nicht gut verteidigen kann."
 
 
 
 
20
  ]
21
  },
22
  "mlsum_de_challenge_validation_sample": {
23
  "values": [
24
  "Was heute wichtig war - und was Sie auf SZ.de am meisten interessiert hat.",
25
  "Microsoft, Netflix, Spotify, Facebook und all die anderen wollen im Grunde nur das eine: unsere Zeit. Jede Minute zählt, und um unser wertvollstes Gut zu bekom\u00admen, kämpft jeder gegen jeden."
 
 
 
 
26
  ]
27
  },
28
  "mlsum_de_challenge_test_covid": {
17
  "values": [
18
  "Indien hat zwar die größten Geldscheine zunächst abgeschafft, die Wirtschaft wird aber weiterhin auf Bargeld basieren.",
19
  "Der englische Coach hat eine Mannschaft, die gar nicht gut verteidigen kann. Doch er hat gerade eine Mannschaft, die gar nicht gut verteidigen kann."
20
+ ],
21
+ "keys": [
22
+ "mlsum_de-challenge_train_sample-0",
23
+ "mlsum_de-challenge_train_sample-1"
24
  ]
25
  },
26
  "mlsum_de_challenge_validation_sample": {
27
  "values": [
28
  "Was heute wichtig war - und was Sie auf SZ.de am meisten interessiert hat.",
29
  "Microsoft, Netflix, Spotify, Facebook und all die anderen wollen im Grunde nur das eine: unsere Zeit. Jede Minute zählt, und um unser wertvollstes Gut zu bekom\u00admen, kämpft jeder gegen jeden."
30
+ ],
31
+ "keys": [
32
+ "mlsum_de-challenge-validation_sample-0",
33
+ "mlsum_de-challenge-validation_sample-1"
34
  ]
35
  },
36
  "mlsum_de_challenge_test_covid": {