Diogo-V
/

llama3-nlr-lin-3707c05a3794

English

Model card Files Files and versions Community

llama3-nlr-lin-3707c05a3794 / results /results.txt

Diogo-V

Upload results for llama3

c0f773d verified 5 months ago

raw

history blame contribute delete

11.6 kB

	\| \| accuracy \| bits \| clip \| dataset \| method \| model \| params \| peak_mem_alloc_mb \| peak_mem_reserv_mb \| perplexity \| time_ms \| wer \|
	\|---:\|-----------:\|-------:\|-------:\|:----------\|:---------\|:--------\|:----------\|--------------------:\|---------------------:\|-------------:\|----------:\|------:\|
	\| 0 \| 0.4278 \| 4 \| 0 \| wikitext \| ao_woq \| llama3 \| fixed \| 5542.36 \| 7163.87 \| 5.3584 \| 39.1553 \| 0 \|
	\| 1 \| 0 \| 4 \| 0 \| wikitext \| comb_4 \| llama3 \| nlr_t_lin \| 14178.7 \| 15367.9 \| 1.2404 \| 121.654 \| 0 \|
	\| 2 \| 0 \| 4 \| 0 \| wikitext \| comb_7 \| llama3 \| nlr_t_lin \| 14178.7 \| 15367.9 \| 1.1248 \| 146.208 \| 0 \|
	\| 3 \| 0.4085 \| 4 \| 0 \| wikitext \| comb_15 \| llama3 \| nlr_t_lin \| 14179.2 \| 15367.9 \| 6.1429 \| 68.7469 \| 0 \|
	\| 4 \| 0.3798 \| 4 \| 0 \| wikitext \| woq \| llama3 \| fixed \| 14179.3 \| 15367.9 \| 6.1632 \| 95.8236 \| 0 \|
	\| 5 \| 0 \| 4 \| 0 \| wikitext \| comb_1 \| llama3 \| nlr_t_lin \| 14185.3 \| 15374.2 \| 1.1265 \| 148.107 \| 0 \|
	\| 6 \| 0 \| 4 \| 0 \| wikitext \| comb_2 \| llama3 \| nlr_t_lin \| 14185.3 \| 15374.2 \| 1.1422 \| 201.612 \| 0 \|
	\| 7 \| 0.4063 \| 4 \| 0 \| wikitext \| comb_10 \| llama3 \| nlr_t_lin \| 14185.7 \| 15374.2 \| 6.2136 \| 147.72 \| 0 \|
	\| 8 \| 0.4065 \| 4 \| 0 \| wikitext \| comb_8 \| llama3 \| nlr_t_lin \| 14185.7 \| 15374.2 \| 6.2104 \| 147.827 \| 0 \|
	\| 9 \| 0.4087 \| 4 \| 0 \| wikitext \| comb_18 \| llama3 \| nlr_t_lin \| 14185.7 \| 15374.2 \| 6.1353 \| 147.842 \| 0 \|
	\| 10 \| 0.4081 \| 4 \| 0 \| wikitext \| comb_12 \| llama3 \| nlr_t_lin \| 14185.7 \| 15374.2 \| 6.1364 \| 148.048 \| 0 \|
	\| 11 \| 0.4091 \| 4 \| 0 \| wikitext \| comb_3 \| llama3 \| nlr_t_lin \| 14185.7 \| 15374.2 \| 6.1049 \| 175.78 \| 0 \|
	\| 12 \| 0.4092 \| 4 \| 0 \| wikitext \| comb_5 \| llama3 \| nlr_t_lin \| 14185.7 \| 15374.2 \| 6.1342 \| 201.614 \| 0 \|
	\| 13 \| 0 \| 4 \| 0 \| wikitext \| comb_11 \| llama3 \| nlr_t_lin \| 11051.9 \| 18748.5 \| 1.1341 \| 4.4126 \| 0 \|
	\| 0 \| 0 \| 5 \| 0 \| wikitext \| comb_4 \| llama3 \| nlr_t_lin \| 14178.7 \| 15367.9 \| 1.22 \| 121.607 \| 0 \|
	\| 1 \| 0 \| 5 \| 0 \| wikitext \| comb_7 \| llama3 \| nlr_t_lin \| 14178.7 \| 15367.9 \| 1.1248 \| 146.238 \| 0 \|
	\| 2 \| 0.4308 \| 5 \| 0 \| wikitext \| comb_15 \| llama3 \| nlr_t_lin \| 14179.2 \| 15367.9 \| 5.2812 \| 68.716 \| 0 \|
	\| 3 \| 0.4356 \| 5 \| 0 \| wikitext \| woq \| llama3 \| fixed \| 14179.3 \| 15367.9 \| 5.449 \| 95.662 \| 0 \|
	\| 4 \| 0.0111 \| 5 \| 0 \| wikitext \| comb_1 \| llama3 \| nlr_t_lin \| 14185.3 \| 15374.2 \| 1.1381 \| 147.947 \| 0 \|
	\| 5 \| 0.0016 \| 5 \| 0 \| wikitext \| comb_2 \| llama3 \| nlr_t_lin \| 14185.3 \| 15374.2 \| 1.1339 \| 201.268 \| 0 \|
	\| 6 \| 0.4306 \| 5 \| 0 \| wikitext \| comb_10 \| llama3 \| nlr_t_lin \| 14185.7 \| 15374.2 \| 5.2445 \| 147.525 \| 0 \|
	\| 7 \| 0.4317 \| 5 \| 0 \| wikitext \| comb_18 \| llama3 \| nlr_t_lin \| 14185.7 \| 15374.2 \| 5.2665 \| 147.552 \| 0 \|
	\| 8 \| 0.4307 \| 5 \| 0 \| wikitext \| comb_8 \| llama3 \| nlr_t_lin \| 14185.7 \| 15374.2 \| 5.243 \| 147.797 \| 0 \|
	\| 9 \| 0.4311 \| 5 \| 0 \| wikitext \| comb_12 \| llama3 \| nlr_t_lin \| 14185.7 \| 15374.2 \| 5.2544 \| 147.888 \| 0 \|
	\| 10 \| 0.4317 \| 5 \| 0 \| wikitext \| comb_3 \| llama3 \| nlr_t_lin \| 14185.7 \| 15374.2 \| 5.287 \| 175.525 \| 0 \|
	\| 11 \| 0.4312 \| 5 \| 0 \| wikitext \| comb_5 \| llama3 \| nlr_t_lin \| 14185.7 \| 15374.2 \| 5.2843 \| 201.061 \| 0 \|
	\| 12 \| 0 \| 5 \| 0 \| wikitext \| comb_11 \| llama3 \| nlr_t_lin \| 11051.9 \| 18748.5 \| 1.1569 \| 4.3884 \| 0 \|
	\| 0 \| 0 \| 7 \| 0 \| wikitext \| comb_4 \| llama3 \| nlr_t_lin \| 14178.7 \| 15367.9 \| 1.1227 \| 121.191 \| 0 \|
	\| 1 \| 0 \| 7 \| 0 \| wikitext \| comb_7 \| llama3 \| nlr_t_lin \| 14178.7 \| 15367.9 \| 1.1248 \| 146.033 \| 0 \|
	\| 2 \| 0.4431 \| 7 \| 0 \| wikitext \| comb_15 \| llama3 \| nlr_t_lin \| 14179.2 \| 15367.9 \| 5.2299 \| 68.547 \| 0 \|
	\| 3 \| 0.4428 \| 7 \| 0 \| wikitext \| woq \| llama3 \| fixed \| 14179.3 \| 15367.9 \| 5.2489 \| 95.5477 \| 0 \|
	\| 4 \| 0.0016 \| 7 \| 0 \| wikitext \| comb_1 \| llama3 \| nlr_t_lin \| 14185.3 \| 15374.2 \| 1.1442 \| 147.912 \| 0 \|
	\| 5 \| 0.0111 \| 7 \| 0 \| wikitext \| comb_2 \| llama3 \| nlr_t_lin \| 14185.3 \| 15374.2 \| 1.1042 \| 201.265 \| 0 \|
	\| 6 \| 0.4432 \| 7 \| 0 \| wikitext \| comb_18 \| llama3 \| nlr_t_lin \| 14185.7 \| 15374.2 \| 5.2218 \| 147.435 \| 0 \|
	\| 7 \| 0.4438 \| 7 \| 0 \| wikitext \| comb_10 \| llama3 \| nlr_t_lin \| 14185.7 \| 15374.2 \| 5.2288 \| 147.559 \| 0 \|
	\| 8 \| 0.4439 \| 7 \| 0 \| wikitext \| comb_8 \| llama3 \| nlr_t_lin \| 14185.7 \| 15374.2 \| 5.227 \| 147.762 \| 0 \|
	\| 9 \| 0.4436 \| 7 \| 0 \| wikitext \| comb_12 \| llama3 \| nlr_t_lin \| 14185.7 \| 15374.2 \| 5.2176 \| 147.955 \| 0 \|
	\| 10 \| 0.4437 \| 7 \| 0 \| wikitext \| comb_3 \| llama3 \| nlr_t_lin \| 14185.7 \| 15374.2 \| 5.2366 \| 175.133 \| 0 \|
	\| 11 \| 0.4435 \| 7 \| 0 \| wikitext \| comb_5 \| llama3 \| nlr_t_lin \| 14185.7 \| 15374.2 \| 5.2459 \| 201.34 \| 0 \|
	\| 12 \| 0 \| 7 \| 0 \| wikitext \| comb_11 \| llama3 \| nlr_t_lin \| 11051.9 \| 18748.5 \| 1.14 \| 4.404 \| 0 \|
	\| 0 \| 0.4437 \| 8 \| 0 \| wikitext \| ao_woq \| llama3 \| fixed \| 12110.4 \| 14040.4 \| 5.2086 \| 52.3212 \| 0 \|
	\| 1 \| 0 \| 8 \| 0 \| wikitext \| comb_4 \| llama3 \| nlr_t_lin \| 14178.7 \| 15367.9 \| 1.1235 \| 121.229 \| 0 \|
	\| 2 \| 0 \| 8 \| 0 \| wikitext \| comb_7 \| llama3 \| nlr_t_lin \| 14178.7 \| 15367.9 \| 1.1248 \| 146.023 \| 0 \|
	\| 3 \| 0.4433 \| 8 \| 0 \| wikitext \| comb_15 \| llama3 \| nlr_t_lin \| 14179.2 \| 15367.9 \| 5.2084 \| 68.5784 \| 0 \|
	\| 4 \| 0.4439 \| 8 \| 0 \| wikitext \| woq \| llama3 \| fixed \| 14179.3 \| 15367.9 \| 5.2082 \| 95.4369 \| 0 \|
	\| 5 \| 0.4436 \| 8 \| 0 \| wikitext \| comb_18 \| llama3 \| nlr_t_lin \| 14185.7 \| 15374.2 \| 5.2132 \| 147.483 \| 0 \|
	\| 6 \| 0.443 \| 8 \| 0 \| wikitext \| comb_10 \| llama3 \| nlr_t_lin \| 14185.7 \| 15374.2 \| 5.2112 \| 147.539 \| 0 \|
	\| 7 \| 0.4433 \| 8 \| 0 \| wikitext \| comb_8 \| llama3 \| nlr_t_lin \| 14185.7 \| 15374.2 \| 5.2084 \| 147.683 \| 0 \|
	\| 8 \| 0.4436 \| 8 \| 0 \| wikitext \| comb_12 \| llama3 \| nlr_t_lin \| 14185.7 \| 15374.2 \| 5.2183 \| 147.763 \| 0 \|
	\| 9 \| 0.1378 \| 8 \| 0 \| wikitext \| comb_1 \| llama3 \| nlr_t_lin \| 14185.7 \| 15374.2 \| 27.5803 \| 148.038 \| 0 \|
	\| 10 \| 0.4434 \| 8 \| 0 \| wikitext \| comb_3 \| llama3 \| nlr_t_lin \| 14185.7 \| 15374.2 \| 5.2137 \| 175.008 \| 0 \|
	\| 11 \| 0.4436 \| 8 \| 0 \| wikitext \| comb_5 \| llama3 \| nlr_t_lin \| 14185.7 \| 15374.2 \| 5.2084 \| 201.053 \| 0 \|
	\| 12 \| 0.3105 \| 8 \| 0 \| wikitext \| comb_2 \| llama3 \| nlr_t_lin \| 14185.7 \| 15374.2 \| 8.3067 \| 201.1 \| 0 \|
	\| 13 \| 0 \| 8 \| 0 \| wikitext \| comb_11 \| llama3 \| nlr_t_lin \| 11051.9 \| 18748.5 \| 1.1334 \| 4.4011 \| 0 \|
	\| 0 \| 0 \| 6 \| 0 \| wikitext \| comb_4 \| llama3 \| nlr_t_lin \| 14178.7 \| 15367.9 \| 1.1456 \| 121.251 \| 0 \|
	\| 1 \| 0 \| 6 \| 0 \| wikitext \| comb_7 \| llama3 \| nlr_t_lin \| 14178.7 \| 15367.9 \| 1.1248 \| 146.143 \| 0 \|
	\| 2 \| 0.4431 \| 6 \| 0 \| wikitext \| comb_15 \| llama3 \| nlr_t_lin \| 14179.2 \| 15367.9 \| 5.212 \| 68.6995 \| 0 \|
	\| 3 \| 0.4409 \| 6 \| 0 \| wikitext \| woq \| llama3 \| fixed \| 14179.3 \| 15367.9 \| 5.1933 \| 95.7757 \| 0 \|
	\| 4 \| 0 \| 6 \| 0 \| wikitext \| comb_17 \| llama3 \| nlr_t_lin \| 14185.3 \| 15374.2 \| 3.89018e+27 \| 147.622 \| 0 \|
	\| 5 \| 0.0016 \| 6 \| 0 \| wikitext \| comb_1 \| llama3 \| nlr_t_lin \| 14185.3 \| 15374.2 \| 1.136 \| 148.236 \| 0 \|
	\| 6 \| 0 \| 6 \| 0 \| wikitext \| comb_2 \| llama3 \| nlr_t_lin \| 14185.3 \| 15374.2 \| 1.1497 \| 201.445 \| 0 \|
	\| 7 \| 0.442 \| 6 \| 0 \| wikitext \| comb_18 \| llama3 \| nlr_t_lin \| 14185.7 \| 15374.2 \| 5.22 \| 147.479 \| 0 \|
	\| 8 \| 0.4425 \| 6 \| 0 \| wikitext \| comb_10 \| llama3 \| nlr_t_lin \| 14185.7 \| 15374.2 \| 5.172 \| 147.563 \| 0 \|
	\| 9 \| 0.4415 \| 6 \| 0 \| wikitext \| comb_8 \| llama3 \| nlr_t_lin \| 14185.7 \| 15374.2 \| 5.169 \| 147.718 \| 0 \|
	\| 10 \| 0.4413 \| 6 \| 0 \| wikitext \| comb_12 \| llama3 \| nlr_t_lin \| 14185.7 \| 15374.2 \| 5.1659 \| 148.696 \| 0 \|
	\| 11 \| 0.4416 \| 6 \| 0 \| wikitext \| comb_3 \| llama3 \| nlr_t_lin \| 14185.7 \| 15374.2 \| 5.2203 \| 175.392 \| 0 \|
	\| 12 \| 0.4426 \| 6 \| 0 \| wikitext \| comb_5 \| llama3 \| nlr_t_lin \| 14185.7 \| 15374.2 \| 5.2125 \| 201.485 \| 0 \|
	\| 13 \| 0 \| 6 \| 0 \| wikitext \| comb_11 \| llama3 \| nlr_t_lin \| 11051.9 \| 18748.5 \| 1.1342 \| 4.4287 \| 0 \|
	\| 14 \| 0.4437 \| 32 \| 0 \| wikitext \| base \| llama3 \| ---- \| 33003.5 \| 33156 \| 5.2238 \| 26.8786 \| 0 \|

	\| \| accuracy \| bits \| clip \| dataset \| method \| model \| params \| peak_mem_alloc_mb \| peak_mem_reserv_mb \| perplexity \| time_ms \| wer \|
	\|---:\|-----------:\|-------:\|-------:\|:----------\|:---------\|:--------\|:----------\|--------------------:\|---------------------:\|-------------:\|----------:\|------:\|
	\| 0 \| 0.4278 \| 4 \| 0 \| wikitext \| ao_woq \| llama3 \| fixed \| 5542.36 \| 7163.87 \| 5.3584 \| 39.1553 \| 0 \|
	\| 1 \| 0 \| 4 \| 0 \| wikitext \| comb_4 \| llama3 \| nlr_t_lin \| 14178.7 \| 15367.9 \| 1.2404 \| 121.654 \| 0 \|
	\| 2 \| 0 \| 4 \| 0 \| wikitext \| comb_7 \| llama3 \| nlr_t_lin \| 14178.7 \| 15367.9 \| 1.1248 \| 146.208 \| 0 \|
	\| 3 \| 0.4085 \| 4 \| 0 \| wikitext \| comb_15 \| llama3 \| nlr_t_lin \| 14179.2 \| 15367.9 \| 6.1429 \| 68.7469 \| 0 \|
	\| 4 \| 0.3798 \| 4 \| 0 \| wikitext \| woq \| llama3 \| fixed \| 14179.3 \| 15367.9 \| 6.1632 \| 95.8236 \| 0 \|
	\| 5 \| 0 \| 4 \| 0 \| wikitext \| comb_1 \| llama3 \| nlr_t_lin \| 14185.3 \| 15374.2 \| 1.1265 \| 148.107 \| 0 \|
	\| 6 \| 0 \| 4 \| 0 \| wikitext \| comb_2 \| llama3 \| nlr_t_lin \| 14185.3 \| 15374.2 \| 1.1422 \| 201.612 \| 0 \|
	\| 7 \| 0.4063 \| 4 \| 0 \| wikitext \| comb_10 \| llama3 \| nlr_t_lin \| 14185.7 \| 15374.2 \| 6.2136 \| 147.72 \| 0 \|
	\| 8 \| 0.4065 \| 4 \| 0 \| wikitext \| comb_8 \| llama3 \| nlr_t_lin \| 14185.7 \| 15374.2 \| 6.2104 \| 147.827 \| 0 \|
	\| 9 \| 0.4087 \| 4 \| 0 \| wikitext \| comb_18 \| llama3 \| nlr_t_lin \| 14185.7 \| 15374.2 \| 6.1353 \| 147.842 \| 0 \|
	\| 10 \| 0.4081 \| 4 \| 0 \| wikitext \| comb_12 \| llama3 \| nlr_t_lin \| 14185.7 \| 15374.2 \| 6.1364 \| 148.048 \| 0 \|
	\| 11 \| 0.4091 \| 4 \| 0 \| wikitext \| comb_3 \| llama3 \| nlr_t_lin \| 14185.7 \| 15374.2 \| 6.1049 \| 175.78 \| 0 \|
	\| 12 \| 0.4092 \| 4 \| 0 \| wikitext \| comb_5 \| llama3 \| nlr_t_lin \| 14185.7 \| 15374.2 \| 6.1342 \| 201.614 \| 0 \|
	\| 13 \| 0 \| 4 \| 0 \| wikitext \| comb_11 \| llama3 \| nlr_t_lin \| 11051.9 \| 18748.5 \| 1.1341 \| 4.4126 \| 0 \|
	\| 0 \| 0 \| 5 \| 0 \| wikitext \| comb_4 \| llama3 \| nlr_t_lin \| 14178.7 \| 15367.9 \| 1.22 \| 121.607 \| 0 \|
	\| 1 \| 0 \| 5 \| 0 \| wikitext \| comb_7 \| llama3 \| nlr_t_lin \| 14178.7 \| 15367.9 \| 1.1248 \| 146.238 \| 0 \|
	\| 2 \| 0.4308 \| 5 \| 0 \| wikitext \| comb_15 \| llama3 \| nlr_t_lin \| 14179.2 \| 15367.9 \| 5.2812 \| 68.716 \| 0 \|
	\| 3 \| 0.4356 \| 5 \| 0 \| wikitext \| woq \| llama3 \| fixed \| 14179.3 \| 15367.9 \| 5.449 \| 95.662 \| 0 \|
	\| 4 \| 0.0111 \| 5 \| 0 \| wikitext \| comb_1 \| llama3 \| nlr_t_lin \| 14185.3 \| 15374.2 \| 1.1381 \| 147.947 \| 0 \|
	\| 5 \| 0.0016 \| 5 \| 0 \| wikitext \| comb_2 \| llama3 \| nlr_t_lin \| 14185.3 \| 15374.2 \| 1.1339 \| 201.268 \| 0 \|
	\| 6 \| 0.4306 \| 5 \| 0 \| wikitext \| comb_10 \| llama3 \| nlr_t_lin \| 14185.7 \| 15374.2 \| 5.2445 \| 147.525 \| 0 \|
	\| 7 \| 0.4317 \| 5 \| 0 \| wikitext \| comb_18 \| llama3 \| nlr_t_lin \| 14185.7 \| 15374.2 \| 5.2665 \| 147.552 \| 0 \|
	\| 8 \| 0.4307 \| 5 \| 0 \| wikitext \| comb_8 \| llama3 \| nlr_t_lin \| 14185.7 \| 15374.2 \| 5.243 \| 147.797 \| 0 \|
	\| 9 \| 0.4311 \| 5 \| 0 \| wikitext \| comb_12 \| llama3 \| nlr_t_lin \| 14185.7 \| 15374.2 \| 5.2544 \| 147.888 \| 0 \|
	\| 10 \| 0.4317 \| 5 \| 0 \| wikitext \| comb_3 \| llama3 \| nlr_t_lin \| 14185.7 \| 15374.2 \| 5.287 \| 175.525 \| 0 \|
	\| 11 \| 0.4312 \| 5 \| 0 \| wikitext \| comb_5 \| llama3 \| nlr_t_lin \| 14185.7 \| 15374.2 \| 5.2843 \| 201.061 \| 0 \|
	\| 12 \| 0 \| 5 \| 0 \| wikitext \| comb_11 \| llama3 \| nlr_t_lin \| 11051.9 \| 18748.5 \| 1.1569 \| 4.3884 \| 0 \|
	\| 0 \| 0 \| 7 \| 0 \| wikitext \| comb_4 \| llama3 \| nlr_t_lin \| 14178.7 \| 15367.9 \| 1.1227 \| 121.191 \| 0 \|
	\| 1 \| 0 \| 7 \| 0 \| wikitext \| comb_7 \| llama3 \| nlr_t_lin \| 14178.7 \| 15367.9 \| 1.1248 \| 146.033 \| 0 \|
	\| 2 \| 0.4431 \| 7 \| 0 \| wikitext \| comb_15 \| llama3 \| nlr_t_lin \| 14179.2 \| 15367.9 \| 5.2299 \| 68.547 \| 0 \|
	\| 3 \| 0.4428 \| 7 \| 0 \| wikitext \| woq \| llama3 \| fixed \| 14179.3 \| 15367.9 \| 5.2489 \| 95.5477 \| 0 \|
	\| 4 \| 0.0016 \| 7 \| 0 \| wikitext \| comb_1 \| llama3 \| nlr_t_lin \| 14185.3 \| 15374.2 \| 1.1442 \| 147.912 \| 0 \|
	\| 5 \| 0.0111 \| 7 \| 0 \| wikitext \| comb_2 \| llama3 \| nlr_t_lin \| 14185.3 \| 15374.2 \| 1.1042 \| 201.265 \| 0 \|
	\| 6 \| 0.4432 \| 7 \| 0 \| wikitext \| comb_18 \| llama3 \| nlr_t_lin \| 14185.7 \| 15374.2 \| 5.2218 \| 147.435 \| 0 \|
	\| 7 \| 0.4438 \| 7 \| 0 \| wikitext \| comb_10 \| llama3 \| nlr_t_lin \| 14185.7 \| 15374.2 \| 5.2288 \| 147.559 \| 0 \|
	\| 8 \| 0.4439 \| 7 \| 0 \| wikitext \| comb_8 \| llama3 \| nlr_t_lin \| 14185.7 \| 15374.2 \| 5.227 \| 147.762 \| 0 \|
	\| 9 \| 0.4436 \| 7 \| 0 \| wikitext \| comb_12 \| llama3 \| nlr_t_lin \| 14185.7 \| 15374.2 \| 5.2176 \| 147.955 \| 0 \|
	\| 10 \| 0.4437 \| 7 \| 0 \| wikitext \| comb_3 \| llama3 \| nlr_t_lin \| 14185.7 \| 15374.2 \| 5.2366 \| 175.133 \| 0 \|
	\| 11 \| 0.4435 \| 7 \| 0 \| wikitext \| comb_5 \| llama3 \| nlr_t_lin \| 14185.7 \| 15374.2 \| 5.2459 \| 201.34 \| 0 \|
	\| 12 \| 0 \| 7 \| 0 \| wikitext \| comb_11 \| llama3 \| nlr_t_lin \| 11051.9 \| 18748.5 \| 1.14 \| 4.404 \| 0 \|
	\| 0 \| 0.4437 \| 8 \| 0 \| wikitext \| ao_woq \| llama3 \| fixed \| 12110.4 \| 14040.4 \| 5.2086 \| 52.3212 \| 0 \|
	\| 1 \| 0 \| 8 \| 0 \| wikitext \| comb_4 \| llama3 \| nlr_t_lin \| 14178.7 \| 15367.9 \| 1.1235 \| 121.229 \| 0 \|
	\| 2 \| 0 \| 8 \| 0 \| wikitext \| comb_7 \| llama3 \| nlr_t_lin \| 14178.7 \| 15367.9 \| 1.1248 \| 146.023 \| 0 \|
	\| 3 \| 0.4433 \| 8 \| 0 \| wikitext \| comb_15 \| llama3 \| nlr_t_lin \| 14179.2 \| 15367.9 \| 5.2084 \| 68.5784 \| 0 \|
	\| 4 \| 0.4439 \| 8 \| 0 \| wikitext \| woq \| llama3 \| fixed \| 14179.3 \| 15367.9 \| 5.2082 \| 95.4369 \| 0 \|
	\| 5 \| 0.4436 \| 8 \| 0 \| wikitext \| comb_18 \| llama3 \| nlr_t_lin \| 14185.7 \| 15374.2 \| 5.2132 \| 147.483 \| 0 \|
	\| 6 \| 0.443 \| 8 \| 0 \| wikitext \| comb_10 \| llama3 \| nlr_t_lin \| 14185.7 \| 15374.2 \| 5.2112 \| 147.539 \| 0 \|
	\| 7 \| 0.4433 \| 8 \| 0 \| wikitext \| comb_8 \| llama3 \| nlr_t_lin \| 14185.7 \| 15374.2 \| 5.2084 \| 147.683 \| 0 \|
	\| 8 \| 0.4436 \| 8 \| 0 \| wikitext \| comb_12 \| llama3 \| nlr_t_lin \| 14185.7 \| 15374.2 \| 5.2183 \| 147.763 \| 0 \|
	\| 9 \| 0.1378 \| 8 \| 0 \| wikitext \| comb_1 \| llama3 \| nlr_t_lin \| 14185.7 \| 15374.2 \| 27.5803 \| 148.038 \| 0 \|
	\| 10 \| 0.4434 \| 8 \| 0 \| wikitext \| comb_3 \| llama3 \| nlr_t_lin \| 14185.7 \| 15374.2 \| 5.2137 \| 175.008 \| 0 \|
	\| 11 \| 0.4436 \| 8 \| 0 \| wikitext \| comb_5 \| llama3 \| nlr_t_lin \| 14185.7 \| 15374.2 \| 5.2084 \| 201.053 \| 0 \|
	\| 12 \| 0.3105 \| 8 \| 0 \| wikitext \| comb_2 \| llama3 \| nlr_t_lin \| 14185.7 \| 15374.2 \| 8.3067 \| 201.1 \| 0 \|
	\| 13 \| 0 \| 8 \| 0 \| wikitext \| comb_11 \| llama3 \| nlr_t_lin \| 11051.9 \| 18748.5 \| 1.1334 \| 4.4011 \| 0 \|
	\| 0 \| 0 \| 6 \| 0 \| wikitext \| comb_4 \| llama3 \| nlr_t_lin \| 14178.7 \| 15367.9 \| 1.1456 \| 121.251 \| 0 \|
	\| 1 \| 0 \| 6 \| 0 \| wikitext \| comb_7 \| llama3 \| nlr_t_lin \| 14178.7 \| 15367.9 \| 1.1248 \| 146.143 \| 0 \|
	\| 2 \| 0.4431 \| 6 \| 0 \| wikitext \| comb_15 \| llama3 \| nlr_t_lin \| 14179.2 \| 15367.9 \| 5.212 \| 68.6995 \| 0 \|
	\| 3 \| 0.4409 \| 6 \| 0 \| wikitext \| woq \| llama3 \| fixed \| 14179.3 \| 15367.9 \| 5.1933 \| 95.7757 \| 0 \|
	\| 4 \| 0 \| 6 \| 0 \| wikitext \| comb_17 \| llama3 \| nlr_t_lin \| 14185.3 \| 15374.2 \| 3.89018e+27 \| 147.622 \| 0 \|
	\| 5 \| 0.0016 \| 6 \| 0 \| wikitext \| comb_1 \| llama3 \| nlr_t_lin \| 14185.3 \| 15374.2 \| 1.136 \| 148.236 \| 0 \|
	\| 6 \| 0 \| 6 \| 0 \| wikitext \| comb_2 \| llama3 \| nlr_t_lin \| 14185.3 \| 15374.2 \| 1.1497 \| 201.445 \| 0 \|
	\| 7 \| 0.442 \| 6 \| 0 \| wikitext \| comb_18 \| llama3 \| nlr_t_lin \| 14185.7 \| 15374.2 \| 5.22 \| 147.479 \| 0 \|
	\| 8 \| 0.4425 \| 6 \| 0 \| wikitext \| comb_10 \| llama3 \| nlr_t_lin \| 14185.7 \| 15374.2 \| 5.172 \| 147.563 \| 0 \|
	\| 9 \| 0.4415 \| 6 \| 0 \| wikitext \| comb_8 \| llama3 \| nlr_t_lin \| 14185.7 \| 15374.2 \| 5.169 \| 147.718 \| 0 \|
	\| 10 \| 0.4413 \| 6 \| 0 \| wikitext \| comb_12 \| llama3 \| nlr_t_lin \| 14185.7 \| 15374.2 \| 5.1659 \| 148.696 \| 0 \|
	\| 11 \| 0.4416 \| 6 \| 0 \| wikitext \| comb_3 \| llama3 \| nlr_t_lin \| 14185.7 \| 15374.2 \| 5.2203 \| 175.392 \| 0 \|
	\| 12 \| 0.4426 \| 6 \| 0 \| wikitext \| comb_5 \| llama3 \| nlr_t_lin \| 14185.7 \| 15374.2 \| 5.2125 \| 201.485 \| 0 \|
	\| 13 \| 0 \| 6 \| 0 \| wikitext \| comb_11 \| llama3 \| nlr_t_lin \| 11051.9 \| 18748.5 \| 1.1342 \| 4.4287 \| 0 \|
	\| 14 \| 0.4437 \| 32 \| 0 \| wikitext \| base \| llama3 \| ---- \| 33003.5 \| 33156 \| 5.2238 \| 26.8786 \| 0 \|