File size: 9,346 Bytes
bf898f0
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
accuracy	bits	clip	dataset	method	model	params	peak_mem_alloc_mb	peak_mem_reserv_mb	perplexity	time_ms	wer
0.4277946949005127	4	0.0	wikitext	ao_woq	llama3	fixed	5542.3616	7163.871232	5.3583574295043945	39.206994	0.0
0.4437352418899536	8	0.0	wikitext	ao_woq	llama3	fixed	12110.375936	14040.43264	5.208643436431885	52.503355	0.0
0.0	4	0.0	wikitext	comb_1	llama3	norm_nlr	14178.745344	15367.929856	1.3576891422271729	122.248345	0.0
0.0	5	0.0	wikitext	comb_1	llama3	norm_nlr	14178.745344	15367.929856	1.3576891422271729	122.248345	0.0
0.0	6	0.0	wikitext	comb_1	llama3	norm_nlr	14178.745344	15367.929856	1.3576891422271729	122.248345	0.0
0.0	7	0.0	wikitext	comb_1	llama3	norm_nlr	14178.745344	15367.929856	1.3576891422271729	122.248345	0.0
0.0	8	0.0	wikitext	comb_1	llama3	norm_nlr	14178.745344	15367.929856	1.3576891422271729	122.248345	0.0
0.0	4	0.0	wikitext	comb_9	llama3	norm_nlr	14178.745344	15367.929856	1.1248141527175903	146.191836	0.0
0.0	5	0.0	wikitext	comb_9	llama3	norm_nlr	14178.745344	15367.929856	1.1248141527175903	146.191836	0.0
0.0	6	0.0	wikitext	comb_9	llama3	norm_nlr	14178.745344	15367.929856	1.1248141527175903	146.191836	0.0
0.0	7	0.0	wikitext	comb_9	llama3	norm_nlr	14178.745344	15367.929856	1.1248141527175903	146.191836	0.0
0.0	8	0.0	wikitext	comb_9	llama3	norm_nlr	14178.745344	15367.929856	1.1248141527175903	146.191836	0.0
0.380108118057251	4	0.0	wikitext	comb_5	llama3	norm_nlr	14179.216384	15367.929856	6.150976657867432	68.74943	0.0
0.44285714626312256	7	0.0	wikitext	comb_5	llama3	norm_nlr	14179.216384	15367.929856	5.248186111450195	68.935479	0.0
0.4437352418899536	8	0.0	wikitext	comb_5	llama3	norm_nlr	14179.216384	15367.929856	5.2086405754089355	68.960164	0.0
0.435663640499115	5	0.0	wikitext	comb_5	llama3	norm_nlr	14179.216384	15367.929856	5.4490156173706055	68.989837	0.0
0.44049307703971863	6	0.0	wikitext	comb_5	llama3	norm_nlr	14179.216384	15367.929856	5.199138641357422	69.026021	0.0
0.4427558183670044	7	0.0	wikitext	woq	llama3	fixed	14179.331584	15367.929856	5.248887062072754	95.816698	0.0
0.4355623126029968	5	0.0	wikitext	woq	llama3	fixed	14179.331584	15367.929856	5.448963165283203	95.836916	0.0
0.44093209505081177	6	0.0	wikitext	woq	llama3	fixed	14179.331584	15367.929856	5.193300724029541	95.843125	0.0
0.44387033581733704	8	0.0	wikitext	woq	llama3	fixed	14179.331584	15367.929856	5.208242893218994	95.845479	0.0
0.3797703683376312	4	0.0	wikitext	woq	llama3	fixed	14179.331584	15367.929856	6.163248062133789	95.876908	0.0
0.0	4	0.0	wikitext	comb_2	llama3	norm_nlr	14185.276416	15374.221312	1.1459664106369019	202.197774	0.0
0.0	5	0.0	wikitext	comb_2	llama3	norm_nlr	14185.276416	15374.221312	1.1459664106369019	202.197774	0.0
0.0	6	0.0	wikitext	comb_2	llama3	norm_nlr	14185.276416	15374.221312	1.1459664106369019	202.197774	0.0
0.0	7	0.0	wikitext	comb_2	llama3	norm_nlr	14185.276416	15374.221312	1.1459664106369019	202.197774	0.0
0.4428909420967102	7	0.0	wikitext	comb_18	llama3	norm_nlr	14185.747456	15374.221312	5.230251312255859	147.947238	0.0
0.44008782505989075	6	0.0	wikitext	comb_11	llama3	norm_nlr	14185.747456	15374.221312	5.199240207672119	147.955701	0.0
0.4422154724597931	7	0.0	wikitext	comb_11	llama3	norm_nlr	14185.747456	15374.221312	5.247557163238525	147.968386	0.0
0.43738603591918945	5	0.0	wikitext	comb_18	llama3	norm_nlr	14185.747456	15374.221312	5.412022113800049	148.009459	0.0
0.38098618388175964	4	0.0	wikitext	comb_11	llama3	norm_nlr	14185.747456	15374.221312	6.232641220092773	148.085089	0.0
0.44025668501853943	6	0.0	wikitext	comb_18	llama3	norm_nlr	14185.747456	15374.221312	5.230005741119385	148.118981	0.0
0.4439041018486023	8	0.0	wikitext	comb_11	llama3	norm_nlr	14185.747456	15374.221312	5.207451820373535	148.164104	0.0
0.3783856928348541	4	0.0	wikitext	comb_18	llama3	norm_nlr	14185.747456	15374.221312	6.167969226837158	148.354665	0.0
0.4365079402923584	5	0.0	wikitext	comb_11	llama3	norm_nlr	14185.747456	15374.221312	5.430935382843018	148.378625	0.0
0.4443769156932831	8	0.0	wikitext	comb_18	llama3	norm_nlr	14185.747456	15374.221312	5.207278728485107	148.394645	0.0
0.436372846364975	5	0.0	wikitext	comb_6	llama3	norm_nlr	14185.747456	15374.221312	5.392096519470215	175.279052	0.0
0.3784194588661194	4	0.0	wikitext	comb_6	llama3	norm_nlr	14185.747456	15374.221312	6.155765056610107	175.288414	0.0
0.4435325860977173	7	0.0	wikitext	comb_6	llama3	norm_nlr	14185.747456	15374.221312	5.228373050689697	175.342505	0.0
0.4441067576408386	8	0.0	wikitext	comb_6	llama3	norm_nlr	14185.747456	15374.221312	5.214853763580322	175.530099	0.0
0.44069573283195496	6	0.0	wikitext	comb_6	llama3	norm_nlr	14185.747456	15374.221312	5.230377197265625	175.602792	0.0
0.44025668501853943	6	0.0	wikitext	comb_15	llama3	norm_nlr	14185.747456	15374.221312	5.23110818862915	201.239682	0.0
0.4428909122943878	7	0.0	wikitext	comb_15	llama3	norm_nlr	14185.747456	15374.221312	5.229310989379883	201.289316	0.0
0.3781155049800873	4	0.0	wikitext	comb_15	llama3	norm_nlr	14185.747456	15374.221312	6.178022384643555	201.489166	0.0
0.4444107115268707	8	0.0	wikitext	comb_15	llama3	norm_nlr	14185.747456	15374.221312	5.207996845245361	201.508551	0.0
0.3016548156738281	8	0.0	wikitext	comb_2	llama3	norm_nlr	14185.747456	15374.221312	8.716463088989258	201.859879	0.0
0.436879426240921	5	0.0	wikitext	comb_15	llama3	norm_nlr	14185.747456	15374.221312	5.4105987548828125	201.891233	0.0
0.0	4	0.0	wikitext	comb_12	llama3	norm_nlr	14191.807488	15378.415616	1.582543134689331	187.261461	0.0
0.0	4	0.0	wikitext	comb_3	llama3	norm_nlr	14191.807488	15378.415616	1.2333331108093262	187.283402	0.0
0.0	4	0.0	wikitext	comb_16	llama3	norm_nlr	14191.807488	15378.415616	1.8020938634872437	187.795828	0.0
0.0	4	0.0	wikitext	comb_13	llama3	norm_nlr	14191.807488	15378.415616	10.052525520324707	187.802071	0.0
0.0	5	0.0	wikitext	comb_13	llama3	norm_nlr	14191.807488	15378.415616	10.052525520324707	187.802071	0.0
0.0	6	0.0	wikitext	comb_13	llama3	norm_nlr	14191.807488	15378.415616	10.052525520324707	187.802071	0.0
0.03554175794124603	5	0.0	wikitext	comb_3	llama3	norm_nlr	14191.844352	15378.415616	1.5305955410003662	187.827808	0.0
0.44380277395248413	8	0.0	wikitext	comb_16	llama3	norm_nlr	14192.278528	15380.512768	5.161940097808838	187.4613	0.0
0.43083417415618896	7	0.0	wikitext	comb_3	llama3	norm_nlr	14192.278528	15380.512768	5.307490348815918	187.538561	0.0
0.44140493869781494	7	0.0	wikitext	comb_16	llama3	norm_nlr	14192.278528	15380.512768	5.243262767791748	187.598615	0.0
0.42428237199783325	6	0.0	wikitext	comb_12	llama3	norm_nlr	14192.278528	15380.512768	5.485621929168701	187.612921	0.0
0.28814592957496643	5	0.0	wikitext	comb_16	llama3	norm_nlr	14192.278528	15380.512768	8.61832046508789	187.657016	0.0
0.4033772349357605	5	0.0	wikitext	comb_17	llama3	norm_nlr	14192.278528	15380.512768	5.514090538024902	187.720758	0.0
0.4137791395187378	6	0.0	wikitext	comb_16	llama3	norm_nlr	14192.278528	15380.512768	5.6127705574035645	187.750792	0.0
0.22742319107055664	7	0.0	wikitext	comb_13	llama3	norm_nlr	14192.278528	15380.512768	12.62043285369873	187.771102	0.0
0.4419790506362915	8	0.0	wikitext	comb_3	llama3	norm_nlr	14192.278528	15380.512768	5.218316555023193	187.808459	0.0
0.4225599467754364	8	0.0	wikitext	comb_13	llama3	norm_nlr	14192.278528	15380.512768	5.224740505218506	187.864651	0.0
0.4419790506362915	8	0.0	wikitext	comb_12	llama3	norm_nlr	14192.278528	15380.512768	5.23714017868042	187.945954	0.0
0.365923672914505	6	0.0	wikitext	comb_3	llama3	norm_nlr	14192.278528	15380.512768	6.604756832122803	187.949863	0.0
0.4417426288127899	7	0.0	wikitext	comb_17	llama3	norm_nlr	14192.278528	15380.512768	5.255722522735596	187.955563	0.0
0.22002702951431274	5	0.0	wikitext	comb_12	llama3	norm_nlr	14192.278528	15380.512768	12.024949073791504	188.009468	0.0
0.4404255449771881	7	0.0	wikitext	comb_12	llama3	norm_nlr	14192.278528	15380.512768	5.208399772644043	188.032067	0.0
0.22448499500751495	4	0.0	wikitext	comb_17	llama3	norm_nlr	14192.278528	15380.512768	11.965164184570312	188.046157	0.0
0.44410672783851624	8	0.0	wikitext	comb_17	llama3	norm_nlr	14192.278528	15380.512768	5.2198920249938965	188.102439	0.0
0.4398176372051239	6	0.0	wikitext	comb_17	llama3	norm_nlr	14192.278528	15380.512768	5.203648567199707	188.221515	0.0
0.0	4	0.0	wikitext	comb_4	llama3	norm_nlr	16811.959808	19811.794944	1.1248142719268799	426.525583	0.0
0.0	5	0.0	wikitext	comb_4	llama3	norm_nlr	16811.959808	19811.794944	1.1248142719268799	426.525583	0.0
0.0	6	0.0	wikitext	comb_4	llama3	norm_nlr	16811.959808	19811.794944	1.1248142719268799	426.525583	0.0
0.0	7	0.0	wikitext	comb_4	llama3	norm_nlr	16811.959808	19811.794944	1.1248142719268799	426.525583	0.0
0.0	8	0.0	wikitext	comb_4	llama3	norm_nlr	16811.959808	19811.794944	1.1248142719268799	426.525583	0.0
0.0	4	0.0	wikitext	comb_10	llama3	norm_nlr	11057.964032	21091.057664	1.1844557523727417	4.431007	0.0
0.0	5	0.0	wikitext	comb_10	llama3	norm_nlr	11057.964032	21091.057664	1.1844557523727417	4.431007	0.0
0.4436677098274231	32	0.0	wikitext	base	llama3	----	33003.526656	33155.97312	5.223813056945801	26.800916	0.0
0.44363391399383545	8	0.0	wikitext	comb_10	llama3	norm_nlr	58810.586112	68843.208704	5.212960720062256	4.400369	0.0
0.38699764013290405	6	0.0	wikitext	comb_10	llama3	norm_nlr	58810.586112	68843.208704	5.640727519989014	4.429177	0.0
0.4317798316478729	7	0.0	wikitext	comb_10	llama3	norm_nlr	58810.586112	68843.208704	5.319685459136963	4.438367	0.0