accuracy	bits	clip	dataset	method	model	params	peak_mem_alloc_mb	peak_mem_reserv_mb	perplexity	time_ms	wer
0.0	6	0.0	wikitext	comb_2	llama3	nlr_t_cos	14178.745344	15367.929856	1.145577907562256	121.683658	0.0
0.0	6	0.0	wikitext	comb_6	llama3	nlr_t_cos	14178.745344	15367.929856	1.1248141527175903	145.985307	0.0
0.4382641017436981	6	0.0	wikitext	comb_15	llama3	nlr_t_cos	14179.216384	15367.929856	5.251090049743652	68.652847	0.0
0.4409320950508117	6	0.0	wikitext	woq	llama3	fixed	14179.331584	15367.929856	5.193300724029541	95.792173	0.0
0.0079365093261003	6	0.0	wikitext	comb_16	llama3	nlr_t_cos	14185.276416	15374.221312	1.1336454153060913	148.302487	0.0
0.0	6	0.0	wikitext	comb_9	llama3	nlr_t_cos	14185.276416	15374.221312	1.154789686203003	201.816055	0.0
0.4387031495571136	6	0.0	wikitext	comb_11	llama3	nlr_t_cos	14185.747456	15374.221312	5.229342460632324	147.833785	0.0
0.4391084015369415	6	0.0	wikitext	comb_17	llama3	nlr_t_cos	14185.747456	15374.221312	5.229754447937012	147.986266	0.0
0.4384329915046692	6	0.0	wikitext	comb_18	llama3	nlr_t_cos	14185.747456	15374.221312	5.248167514801025	148.162488	0.0
0.438331663608551	6	0.0	wikitext	comb_1	llama3	nlr_t_cos	14185.747456	15374.221312	5.248868465423584	148.399837	0.0
0.4385004937648773	6	0.0	wikitext	comb_5	llama3	nlr_t_cos	14185.747456	15374.221312	5.262148380279541	175.83735	0.0
0.4379263818264007	6	0.0	wikitext	comb_8	llama3	nlr_t_cos	14185.747456	15374.221312	5.253790855407715	201.55459	0.0
0.0	6	0.0	wikitext	comb_14	llama3	nlr_t_cos	11051.945984	18748.53888	1.155571222305298	4.195159	0.0
0.0	7	0.0	wikitext	comb_2	llama3	nlr_t_cos	14178.745344	15367.929856	1.1227006912231443	121.439337	0.0
0.0	7	0.0	wikitext	comb_6	llama3	nlr_t_cos	14178.745344	15367.929856	1.1248141527175903	146.225141	0.0
0.4420803785324096	7	0.0	wikitext	comb_15	llama3	nlr_t_cos	14179.216384	15367.929856	5.237172603607178	68.823553	0.0
0.4427558183670044	7	0.0	wikitext	woq	llama3	fixed	14179.331584	15367.929856	5.248887062072754	95.746955	0.0
0.0	7	0.0	wikitext	comb_16	llama3	nlr_t_cos	14185.276416	15374.221312	1.1507225036621094	147.970565	0.0
0.0111111123114824	7	0.0	wikitext	comb_9	llama3	nlr_t_cos	14185.276416	15374.221312	1.108712077140808	201.585455	0.0
0.4423168003559112	7	0.0	wikitext	comb_17	llama3	nlr_t_cos	14185.747456	15374.221312	5.2383646965026855	147.836291	0.0
0.4426544904708862	7	0.0	wikitext	comb_11	llama3	nlr_t_cos	14185.747456	15374.221312	5.2469401359558105	147.861487	0.0
0.4432624280452728	7	0.0	wikitext	comb_18	llama3	nlr_t_cos	14185.747456	15374.221312	5.25373125076294	148.0039	0.0
0.4435663521289825	7	0.0	wikitext	comb_1	llama3	nlr_t_cos	14185.747456	15374.221312	5.240185737609863	148.317796	0.0
0.4427220225334167	7	0.0	wikitext	comb_5	llama3	nlr_t_cos	14185.747456	15374.221312	5.254612922668457	175.421742	0.0
0.4433975219726562	7	0.0	wikitext	comb_8	llama3	nlr_t_cos	14185.747456	15374.221312	5.238943099975586	201.751671	0.0
0.0	7	0.0	wikitext	comb_14	llama3	nlr_t_cos	11051.945984	18748.53888	1.13592791557312	4.401779	0.0
0.4277946949005127	4	0.0	wikitext	ao_woq	llama3	fixed	5542.623744	7163.871232	5.3583574295043945	38.82971	0.0
0.0	4	0.0	wikitext	comb_2	llama3	nlr_t_cos	14178.745344	15367.929856	1.2404379844665527	121.642547	0.0
0.0	4	0.0	wikitext	comb_6	llama3	nlr_t_cos	14178.745344	15367.929856	1.1248141527175903	145.885459	0.0
0.3747382462024688	4	0.0	wikitext	comb_15	llama3	nlr_t_cos	14179.216384	15367.929856	6.622741222381592	68.655855	0.0
0.3797703683376312	4	0.0	wikitext	woq	llama3	fixed	14179.331584	15367.929856	6.163248062133789	95.742183	0.0
0.0031746034510433	4	0.0	wikitext	comb_16	llama3	nlr_t_cos	14185.276416	15374.221312	1.1275676488876345	147.915598	0.0
0.0	4	0.0	wikitext	comb_9	llama3	nlr_t_cos	14185.276416	15374.221312	1.135980248451233	201.327791	0.0
0.3765619695186615	4	0.0	wikitext	comb_11	llama3	nlr_t_cos	14185.747456	15374.221312	6.558605670928955	147.472453	0.0
0.3756839036941528	4	0.0	wikitext	comb_18	llama3	nlr_t_cos	14185.747456	15374.221312	6.576939105987549	147.925577	0.0
0.3764268755912781	4	0.0	wikitext	comb_17	llama3	nlr_t_cos	14185.747456	15374.221312	6.534614562988281	148.008127	0.0
0.3753799498081207	4	0.0	wikitext	comb_1	llama3	nlr_t_cos	14185.747456	15374.221312	6.626064300537109	148.223311	0.0
0.3713272511959076	4	0.0	wikitext	comb_5	llama3	nlr_t_cos	14185.747456	15374.221312	6.753609657287598	175.571203	0.0
0.3744680881500244	4	0.0	wikitext	comb_8	llama3	nlr_t_cos	14185.747456	15374.221312	6.578407287597656	201.373639	0.0
0.0	4	0.0	wikitext	comb_14	llama3	nlr_t_cos	11051.945984	18748.53888	1.1425416469573977	4.399211	0.0
0.4437352418899536	8	0.0	wikitext	ao_woq	llama3	fixed	12110.375936	14040.43264	5.208643436431885	52.484539	0.0
0.0	8	0.0	wikitext	comb_2	llama3	nlr_t_cos	14178.745344	15367.929856	1.1235297918319702	122.585914	0.0
0.0	8	0.0	wikitext	comb_6	llama3	nlr_t_cos	14178.745344	15367.929856	1.1248141527175903	146.344408	0.0
0.4435663819313049	8	0.0	wikitext	comb_15	llama3	nlr_t_cos	14179.216384	15367.929856	5.2049336433410645	69.069121	0.0
0.443870335817337	8	0.0	wikitext	woq	llama3	fixed	14179.331584	15367.929856	5.208242893218994	95.91657	0.0
0.0	8	0.0	wikitext	comb_4	llama3	nlr_t_cos	14185.276416	15374.221312	1.2090697288513184	148.201575	0.0
0.4437690079212188	8	0.0	wikitext	comb_17	llama3	nlr_t_cos	14185.747456	15374.221312	5.21251392364502	147.821363	0.0
0.4438027739524841	8	0.0	wikitext	comb_18	llama3	nlr_t_cos	14185.747456	15374.221312	5.20441198348999	147.877508	0.0
0.4431948959827423	8	0.0	wikitext	comb_11	llama3	nlr_t_cos	14185.747456	15374.221312	5.216352462768555	147.88935	0.0
0.4430597722530365	8	0.0	wikitext	comb_1	llama3	nlr_t_cos	14185.747456	15374.221312	5.205822467803955	148.012279	0.0
0.1084768697619438	8	0.0	wikitext	comb_16	llama3	nlr_t_cos	14185.747456	15374.221312	33.68851852416992	148.312031	0.0
0.4435663819313049	8	0.0	wikitext	comb_5	llama3	nlr_t_cos	14185.747456	15374.221312	5.203876972198486	175.209727	0.0
0.4435663521289825	8	0.0	wikitext	comb_8	llama3	nlr_t_cos	14185.747456	15374.221312	5.202757358551025	201.585394	0.0
0.3124620020389557	8	0.0	wikitext	comb_9	llama3	nlr_t_cos	14185.747456	15374.221312	8.283961296081543	201.679875	0.0
0.0	8	0.0	wikitext	comb_14	llama3	nlr_t_cos	11051.945984	18748.53888	1.1416436433792114	4.410658	0.0
0.0	5	0.0	wikitext	comb_2	llama3	nlr_t_cos	14178.745344	15367.929856	1.2200177907943726	121.858541	0.0
0.0	5	0.0	wikitext	comb_6	llama3	nlr_t_cos	14178.745344	15367.929856	1.1248141527175903	146.230858	0.0
0.4123944640159607	5	0.0	wikitext	comb_15	llama3	nlr_t_cos	14179.216384	15367.929856	5.599914073944092	68.751908	0.0
0.4355623126029968	5	0.0	wikitext	woq	llama3	fixed	14179.331584	15367.929856	5.448963165283203	95.650498	0.0
0.0	5	0.0	wikitext	comb_9	llama3	nlr_t_cos	14185.276416	15374.221312	1.1338080167770386	201.642916	0.0
0.0158730167895555	5	0.0	wikitext	comb_16	llama3	nlr_t_cos	14185.298944	15374.221312	1.476590633392334	148.070775	0.0
0.4133738577365875	5	0.0	wikitext	comb_11	llama3	nlr_t_cos	14185.747456	15374.221312	5.6022138595581055	148.016679	0.0
0.4104694426059723	5	0.0	wikitext	comb_18	llama3	nlr_t_cos	14185.747456	15374.221312	5.585249900817871	148.104216	0.0
0.4139142632484436	5	0.0	wikitext	comb_1	llama3	nlr_t_cos	14185.747456	15374.221312	5.5404863357543945	148.131065	0.0
0.4129348397254944	5	0.0	wikitext	comb_17	llama3	nlr_t_cos	14185.747456	15374.221312	5.608942031860352	148.176871	0.0
0.4107396006584167	5	0.0	wikitext	comb_5	llama3	nlr_t_cos	14185.747456	15374.221312	5.570494174957275	175.829843	0.0
0.4095238149166107	5	0.0	wikitext	comb_8	llama3	nlr_t_cos	14185.747456	15374.221312	5.604806900024414	201.443753	0.0
0.0	5	0.0	wikitext	comb_14	llama3	nlr_t_cos	11051.945984	18748.53888	1.145191669464111	4.425258	0.0
0.4436677098274231	32	0.0	wikitext	base	llama3	----	33003.526656	33155.97312	5.223813056945801	27.375718	0.0