fedric95 commited on
Commit
fb93afd
·
verified ·
1 Parent(s): 2d2a499

Upload ./gemma-2-9b-Q3_K_S.mmlu.txt with huggingface_hub

Browse files
Files changed (1) hide show
  1. gemma-2-9b-Q3_K_S.mmlu.txt +598 -0
gemma-2-9b-Q3_K_S.mmlu.txt ADDED
@@ -0,0 +1,598 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ multiple_choice_score: there are 1548 tasks in prompt
2
+ multiple_choice_score: reading tasks.......................................................................................................done
3
+ multiple_choice_score: preparing task data...done
4
+ multiple_choice_score : calculating TruthfulQA score over 1548 tasks.
5
+
6
+ task acc_norm
7
+ 1 0.00000000
8
+ 2 50.00000000
9
+ 3 66.66666667
10
+ 4 50.00000000
11
+ 5 60.00000000
12
+ 6 66.66666667
13
+ 7 57.14285714
14
+ 8 62.50000000
15
+ 9 55.55555556
16
+ 10 60.00000000
17
+ 11 63.63636364
18
+ 12 58.33333333
19
+ 13 53.84615385
20
+ 14 57.14285714
21
+ 15 53.33333333
22
+ 16 56.25000000
23
+ 17 52.94117647
24
+ 18 50.00000000
25
+ 19 52.63157895
26
+ 20 50.00000000
27
+ 21 47.61904762
28
+ 22 45.45454545
29
+ 23 43.47826087
30
+ 24 41.66666667
31
+ 25 40.00000000
32
+ 26 42.30769231
33
+ 27 44.44444444
34
+ 28 46.42857143
35
+ 29 48.27586207
36
+ 30 50.00000000
37
+ 31 48.38709677
38
+ 32 50.00000000
39
+ 33 48.48484848
40
+ 34 47.05882353
41
+ 35 48.57142857
42
+ 36 50.00000000
43
+ 37 51.35135135
44
+ 38 52.63157895
45
+ 39 51.28205128
46
+ 40 52.50000000
47
+ 41 51.21951220
48
+ 42 52.38095238
49
+ 43 51.16279070
50
+ 44 50.00000000
51
+ 45 48.88888889
52
+ 46 47.82608696
53
+ 47 48.93617021
54
+ 48 47.91666667
55
+ 49 46.93877551
56
+ 50 48.00000000
57
+ 51 49.01960784
58
+ 52 50.00000000
59
+ 53 50.94339623
60
+ 54 51.85185185
61
+ 55 50.90909091
62
+ 56 50.00000000
63
+ 57 49.12280702
64
+ 58 48.27586207
65
+ 59 49.15254237
66
+ 60 48.33333333
67
+ 61 47.54098361
68
+ 62 46.77419355
69
+ 63 47.61904762
70
+ 64 48.43750000
71
+ 65 47.69230769
72
+ 66 46.96969697
73
+ 67 47.76119403
74
+ 68 47.05882353
75
+ 69 47.82608696
76
+ 70 47.14285714
77
+ 71 46.47887324
78
+ 72 45.83333333
79
+ 73 45.20547945
80
+ 74 45.94594595
81
+ 75 46.66666667
82
+ 76 46.05263158
83
+ 77 46.75324675
84
+ 78 46.15384615
85
+ 79 45.56962025
86
+ 80 46.25000000
87
+ 81 45.67901235
88
+ 82 45.12195122
89
+ 83 45.78313253
90
+ 84 45.23809524
91
+ 85 44.70588235
92
+ 86 45.34883721
93
+ 87 44.82758621
94
+ 88 44.31818182
95
+ 89 43.82022472
96
+ 90 43.33333333
97
+ 91 43.95604396
98
+ 92 43.47826087
99
+ 93 44.08602151
100
+ 94 44.68085106
101
+ 95 44.21052632
102
+ 96 43.75000000
103
+ 97 43.29896907
104
+ 98 42.85714286
105
+ 99 43.43434343
106
+ 100 43.00000000
107
+ 101 43.56435644
108
+ 102 43.13725490
109
+ 103 42.71844660
110
+ 104 42.30769231
111
+ 105 42.85714286
112
+ 106 42.45283019
113
+ 107 42.99065421
114
+ 108 42.59259259
115
+ 109 42.20183486
116
+ 110 42.72727273
117
+ 111 43.24324324
118
+ 112 43.75000000
119
+ 113 44.24778761
120
+ 114 43.85964912
121
+ 115 44.34782609
122
+ 116 43.96551724
123
+ 117 43.58974359
124
+ 118 44.06779661
125
+ 119 43.69747899
126
+ 120 43.33333333
127
+ 121 43.80165289
128
+ 122 43.44262295
129
+ 123 43.90243902
130
+ 124 43.54838710
131
+ 125 44.00000000
132
+ 126 44.44444444
133
+ 127 44.88188976
134
+ 128 44.53125000
135
+ 129 44.18604651
136
+ 130 43.84615385
137
+ 131 43.51145038
138
+ 132 43.93939394
139
+ 133 44.36090226
140
+ 134 44.77611940
141
+ 135 44.44444444
142
+ 136 44.85294118
143
+ 137 45.25547445
144
+ 138 44.92753623
145
+ 139 44.60431655
146
+ 140 44.28571429
147
+ 141 43.97163121
148
+ 142 43.66197183
149
+ 143 43.35664336
150
+ 144 43.05555556
151
+ 145 42.75862069
152
+ 146 42.46575342
153
+ 147 42.17687075
154
+ 148 41.89189189
155
+ 149 41.61073826
156
+ 150 41.33333333
157
+ 151 41.05960265
158
+ 152 41.44736842
159
+ 153 41.17647059
160
+ 154 41.55844156
161
+ 155 41.93548387
162
+ 156 42.30769231
163
+ 157 42.67515924
164
+ 158 43.03797468
165
+ 159 43.39622642
166
+ 160 43.12500000
167
+ 161 43.47826087
168
+ 162 43.20987654
169
+ 163 42.94478528
170
+ 164 43.29268293
171
+ 165 43.63636364
172
+ 166 43.37349398
173
+ 167 43.11377246
174
+ 168 43.45238095
175
+ 169 43.19526627
176
+ 170 43.52941176
177
+ 171 43.85964912
178
+ 172 44.18604651
179
+ 173 43.93063584
180
+ 174 44.25287356
181
+ 175 44.00000000
182
+ 176 44.31818182
183
+ 177 44.06779661
184
+ 178 44.38202247
185
+ 179 44.69273743
186
+ 180 45.00000000
187
+ 181 45.30386740
188
+ 182 45.60439560
189
+ 183 45.35519126
190
+ 184 45.10869565
191
+ 185 44.86486486
192
+ 186 44.62365591
193
+ 187 44.91978610
194
+ 188 44.68085106
195
+ 189 44.97354497
196
+ 190 44.73684211
197
+ 191 44.50261780
198
+ 192 44.79166667
199
+ 193 45.07772021
200
+ 194 45.36082474
201
+ 195 45.12820513
202
+ 196 45.40816327
203
+ 197 45.17766497
204
+ 198 44.94949495
205
+ 199 44.72361809
206
+ 200 45.00000000
207
+ 201 44.77611940
208
+ 202 45.04950495
209
+ 203 44.82758621
210
+ 204 45.09803922
211
+ 205 44.87804878
212
+ 206 44.66019417
213
+ 207 44.44444444
214
+ 208 44.71153846
215
+ 209 44.97607656
216
+ 210 44.76190476
217
+ 211 45.02369668
218
+ 212 44.81132075
219
+ 213 44.60093897
220
+ 214 44.39252336
221
+ 215 44.18604651
222
+ 216 43.98148148
223
+ 217 43.77880184
224
+ 218 43.57798165
225
+ 219 43.37899543
226
+ 220 43.18181818
227
+ 221 42.98642534
228
+ 222 43.24324324
229
+ 223 43.04932735
230
+ 224 42.85714286
231
+ 225 43.11111111
232
+ 226 43.36283186
233
+ 227 43.61233480
234
+ 228 43.42105263
235
+ 229 43.66812227
236
+ 230 43.47826087
237
+ 231 43.29004329
238
+ 232 43.10344828
239
+ 233 42.91845494
240
+ 234 43.16239316
241
+ 235 43.40425532
242
+ 236 43.64406780
243
+ 237 43.88185654
244
+ 238 43.69747899
245
+ 239 43.51464435
246
+ 240 43.75000000
247
+ 241 43.98340249
248
+ 242 43.80165289
249
+ 243 44.03292181
250
+ 244 43.85245902
251
+ 245 44.08163265
252
+ 246 43.90243902
253
+ 247 44.12955466
254
+ 248 43.95161290
255
+ 249 43.77510040
256
+ 250 43.60000000
257
+ 251 43.42629482
258
+ 252 43.25396825
259
+ 253 43.47826087
260
+ 254 43.30708661
261
+ 255 43.13725490
262
+ 256 42.96875000
263
+ 257 43.19066148
264
+ 258 43.02325581
265
+ 259 43.24324324
266
+ 260 43.46153846
267
+ 261 43.67816092
268
+ 262 43.51145038
269
+ 263 43.72623574
270
+ 264 43.93939394
271
+ 265 43.77358491
272
+ 266 43.98496241
273
+ 267 44.19475655
274
+ 268 44.40298507
275
+ 269 44.23791822
276
+ 270 44.44444444
277
+ 271 44.64944649
278
+ 272 44.85294118
279
+ 273 44.68864469
280
+ 274 44.89051095
281
+ 275 45.09090909
282
+ 276 44.92753623
283
+ 277 44.76534296
284
+ 278 44.96402878
285
+ 279 44.80286738
286
+ 280 45.00000000
287
+ 281 44.83985765
288
+ 282 45.03546099
289
+ 283 45.22968198
290
+ 284 45.42253521
291
+ 285 45.26315789
292
+ 286 45.10489510
293
+ 287 45.29616725
294
+ 288 45.13888889
295
+ 289 45.32871972
296
+ 290 45.51724138
297
+ 291 45.36082474
298
+ 292 45.54794521
299
+ 293 45.39249147
300
+ 294 45.23809524
301
+ 295 45.08474576
302
+ 296 44.93243243
303
+ 297 44.78114478
304
+ 298 44.63087248
305
+ 299 44.48160535
306
+ 300 44.33333333
307
+ 301 44.18604651
308
+ 302 44.03973510
309
+ 303 43.89438944
310
+ 304 43.75000000
311
+ 305 43.60655738
312
+ 306 43.79084967
313
+ 307 43.64820847
314
+ 308 43.50649351
315
+ 309 43.36569579
316
+ 310 43.54838710
317
+ 311 43.72990354
318
+ 312 43.91025641
319
+ 313 44.08945687
320
+ 314 44.26751592
321
+ 315 44.44444444
322
+ 316 44.30379747
323
+ 317 44.16403785
324
+ 318 44.33962264
325
+ 319 44.20062696
326
+ 320 44.06250000
327
+ 321 43.92523364
328
+ 322 44.09937888
329
+ 323 44.27244582
330
+ 324 44.44444444
331
+ 325 44.61538462
332
+ 326 44.47852761
333
+ 327 44.64831804
334
+ 328 44.51219512
335
+ 329 44.37689970
336
+ 330 44.24242424
337
+ 331 44.10876133
338
+ 332 44.27710843
339
+ 333 44.14414414
340
+ 334 44.01197605
341
+ 335 44.17910448
342
+ 336 44.04761905
343
+ 337 43.91691395
344
+ 338 43.78698225
345
+ 339 43.65781711
346
+ 340 43.52941176
347
+ 341 43.40175953
348
+ 342 43.56725146
349
+ 343 43.73177843
350
+ 344 43.89534884
351
+ 345 43.76811594
352
+ 346 43.64161850
353
+ 347 43.80403458
354
+ 348 43.67816092
355
+ 349 43.83954155
356
+ 350 44.00000000
357
+ 351 44.15954416
358
+ 352 44.03409091
359
+ 353 43.90934844
360
+ 354 43.78531073
361
+ 355 43.66197183
362
+ 356 43.53932584
363
+ 357 43.69747899
364
+ 358 43.57541899
365
+ 359 43.45403900
366
+ 360 43.33333333
367
+ 361 43.21329640
368
+ 362 43.37016575
369
+ 363 43.25068871
370
+ 364 43.40659341
371
+ 365 43.28767123
372
+ 366 43.16939891
373
+ 367 43.05177112
374
+ 368 43.20652174
375
+ 369 43.36043360
376
+ 370 43.24324324
377
+ 371 43.12668464
378
+ 372 43.27956989
379
+ 373 43.43163539
380
+ 374 43.58288770
381
+ 375 43.73333333
382
+ 376 43.61702128
383
+ 377 43.50132626
384
+ 378 43.38624339
385
+ 379 43.27176781
386
+ 380 43.15789474
387
+ 381 43.04461942
388
+ 382 43.19371728
389
+ 383 43.08093995
390
+ 384 43.22916667
391
+ 385 43.11688312
392
+ 386 43.00518135
393
+ 387 43.15245478
394
+ 388 43.04123711
395
+ 389 43.18766067
396
+ 390 43.33333333
397
+ 391 43.22250639
398
+ 392 43.11224490
399
+ 393 43.25699746
400
+ 394 43.14720812
401
+ 395 43.03797468
402
+ 396 42.92929293
403
+ 397 42.82115869
404
+ 398 42.71356784
405
+ 399 42.85714286
406
+ 400 43.00000000
407
+ 401 42.89276808
408
+ 402 42.78606965
409
+ 403 42.92803970
410
+ 404 42.82178218
411
+ 405 42.71604938
412
+ 406 42.61083744
413
+ 407 42.75184275
414
+ 408 42.64705882
415
+ 409 42.78728606
416
+ 410 42.68292683
417
+ 411 42.57907543
418
+ 412 42.47572816
419
+ 413 42.61501211
420
+ 414 42.51207729
421
+ 415 42.40963855
422
+ 416 42.54807692
423
+ 417 42.44604317
424
+ 418 42.34449761
425
+ 419 42.24343675
426
+ 420 42.14285714
427
+ 421 42.04275534
428
+ 422 42.18009479
429
+ 423 42.31678487
430
+ 424 42.21698113
431
+ 425 42.11764706
432
+ 426 42.01877934
433
+ 427 41.92037471
434
+ 428 41.82242991
435
+ 429 41.95804196
436
+ 430 41.86046512
437
+ 431 41.99535963
438
+ 432 41.89814815
439
+ 433 41.80138568
440
+ 434 41.70506912
441
+ 435 41.60919540
442
+ 436 41.51376147
443
+ 437 41.64759725
444
+ 438 41.55251142
445
+ 439 41.45785877
446
+ 440 41.59090909
447
+ 441 41.49659864
448
+ 442 41.40271493
449
+ 443 41.53498871
450
+ 444 41.66666667
451
+ 445 41.79775281
452
+ 446 41.92825112
453
+ 447 41.83445190
454
+ 448 41.74107143
455
+ 449 41.64810690
456
+ 450 41.55555556
457
+ 451 41.46341463
458
+ 452 41.59292035
459
+ 453 41.72185430
460
+ 454 41.62995595
461
+ 455 41.75824176
462
+ 456 41.88596491
463
+ 457 41.79431072
464
+ 458 41.70305677
465
+ 459 41.61220044
466
+ 460 41.73913043
467
+ 461 41.86550976
468
+ 462 41.77489177
469
+ 463 41.68466523
470
+ 464 41.59482759
471
+ 465 41.50537634
472
+ 466 41.41630901
473
+ 467 41.54175589
474
+ 468 41.66666667
475
+ 469 41.57782516
476
+ 470 41.70212766
477
+ 471 41.82590234
478
+ 472 41.94915254
479
+ 473 42.07188161
480
+ 474 41.98312236
481
+ 475 41.89473684
482
+ 476 42.01680672
483
+ 477 41.92872117
484
+ 478 42.05020921
485
+ 479 41.96242171
486
+ 480 42.08333333
487
+ 481 41.99584200
488
+ 482 42.11618257
489
+ 483 42.23602484
490
+ 484 42.14876033
491
+ 485 42.06185567
492
+ 486 42.18106996
493
+ 487 42.09445585
494
+ 488 42.00819672
495
+ 489 41.92229039
496
+ 490 41.83673469
497
+ 491 41.75152749
498
+ 492 41.66666667
499
+ 493 41.58215010
500
+ 494 41.49797571
501
+ 495 41.41414141
502
+ 496 41.33064516
503
+ 497 41.24748491
504
+ 498 41.16465863
505
+ 499 41.28256513
506
+ 500 41.20000000
507
+ 501 41.11776447
508
+ 502 41.03585657
509
+ 503 41.15308151
510
+ 504 41.07142857
511
+ 505 40.99009901
512
+ 506 40.90909091
513
+ 507 41.02564103
514
+ 508 41.14173228
515
+ 509 41.06090373
516
+ 510 40.98039216
517
+ 511 40.90019569
518
+ 512 40.82031250
519
+ 513 40.93567251
520
+ 514 40.85603113
521
+ 515 40.77669903
522
+ 516 40.69767442
523
+ 517 40.61895551
524
+ 518 40.73359073
525
+ 519 40.84778420
526
+ 520 40.96153846
527
+ 521 40.88291747
528
+ 522 40.80459770
529
+ 523 40.91778203
530
+ 524 40.83969466
531
+ 525 40.95238095
532
+ 526 40.87452471
533
+ 527 40.98671727
534
+ 528 40.90909091
535
+ 529 41.02079395
536
+ 530 41.13207547
537
+ 531 41.24293785
538
+ 532 41.16541353
539
+ 533 41.27579737
540
+ 534 41.19850187
541
+ 535 41.30841121
542
+ 536 41.41791045
543
+ 537 41.52700186
544
+ 538 41.44981413
545
+ 539 41.55844156
546
+ 540 41.48148148
547
+ 541 41.40480591
548
+ 542 41.32841328
549
+ 543 41.25230203
550
+ 544 41.36029412
551
+ 545 41.28440367
552
+ 546 41.20879121
553
+ 547 41.13345521
554
+ 548 41.24087591
555
+ 549 41.34790528
556
+ 550 41.45454545
557
+ 551 41.56079855
558
+ 552 41.66666667
559
+ 553 41.59132007
560
+ 554 41.51624549
561
+ 555 41.62162162
562
+ 556 41.72661871
563
+ 557 41.83123878
564
+ 558 41.75627240
565
+ 559 41.68157424
566
+ 560 41.60714286
567
+ 561 41.71122995
568
+ 562 41.63701068
569
+ 563 41.56305506
570
+ 564 41.48936170
571
+ 565 41.59292035
572
+ 566 41.69611307
573
+ 567 41.62257496
574
+ 568 41.72535211
575
+ 569 41.82776801
576
+ 570 41.92982456
577
+ 571 42.03152364
578
+ 572 41.95804196
579
+ 573 41.88481675
580
+ 574 41.81184669
581
+ 575 41.73913043
582
+ 576 41.66666667
583
+ 577 41.59445407
584
+ 578 41.52249135
585
+ 579 41.62348877
586
+ 580 41.55172414
587
+ 581 41.48020654
588
+ 582 41.58075601
589
+ 583 41.50943396
590
+ 584 41.60958904
591
+ 585 41.53846154
592
+ 586 41.46757679
593
+ 587 41.39693356
594
+ 588 41.32653061
595
+ 589 41.25636672
596
+ 590 41.18644068
597
+ 591 41.11675127
598
+ 592 41.04729730