File size: 7,838 Bytes
0e71ea8 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 |
accuracy bits clip dataset method model params peak_mem_alloc_mb peak_mem_reserv_mb perplexity time_ms wer
0.0 6 0.0 wikitext comb_2 llama3 nlr_t_cos 14178.745344 15367.929856 1.145577907562256 121.683658 0.0
0.0 6 0.0 wikitext comb_6 llama3 nlr_t_cos 14178.745344 15367.929856 1.1248141527175903 145.985307 0.0
0.4382641017436981 6 0.0 wikitext comb_15 llama3 nlr_t_cos 14179.216384 15367.929856 5.251090049743652 68.652847 0.0
0.4409320950508117 6 0.0 wikitext woq llama3 fixed 14179.331584 15367.929856 5.193300724029541 95.792173 0.0
0.0079365093261003 6 0.0 wikitext comb_16 llama3 nlr_t_cos 14185.276416 15374.221312 1.1336454153060913 148.302487 0.0
0.0 6 0.0 wikitext comb_9 llama3 nlr_t_cos 14185.276416 15374.221312 1.154789686203003 201.816055 0.0
0.4387031495571136 6 0.0 wikitext comb_11 llama3 nlr_t_cos 14185.747456 15374.221312 5.229342460632324 147.833785 0.0
0.4391084015369415 6 0.0 wikitext comb_17 llama3 nlr_t_cos 14185.747456 15374.221312 5.229754447937012 147.986266 0.0
0.4384329915046692 6 0.0 wikitext comb_18 llama3 nlr_t_cos 14185.747456 15374.221312 5.248167514801025 148.162488 0.0
0.438331663608551 6 0.0 wikitext comb_1 llama3 nlr_t_cos 14185.747456 15374.221312 5.248868465423584 148.399837 0.0
0.4385004937648773 6 0.0 wikitext comb_5 llama3 nlr_t_cos 14185.747456 15374.221312 5.262148380279541 175.83735 0.0
0.4379263818264007 6 0.0 wikitext comb_8 llama3 nlr_t_cos 14185.747456 15374.221312 5.253790855407715 201.55459 0.0
0.0 6 0.0 wikitext comb_14 llama3 nlr_t_cos 11051.945984 18748.53888 1.155571222305298 4.195159 0.0
0.0 7 0.0 wikitext comb_2 llama3 nlr_t_cos 14178.745344 15367.929856 1.1227006912231443 121.439337 0.0
0.0 7 0.0 wikitext comb_6 llama3 nlr_t_cos 14178.745344 15367.929856 1.1248141527175903 146.225141 0.0
0.4420803785324096 7 0.0 wikitext comb_15 llama3 nlr_t_cos 14179.216384 15367.929856 5.237172603607178 68.823553 0.0
0.4427558183670044 7 0.0 wikitext woq llama3 fixed 14179.331584 15367.929856 5.248887062072754 95.746955 0.0
0.0 7 0.0 wikitext comb_16 llama3 nlr_t_cos 14185.276416 15374.221312 1.1507225036621094 147.970565 0.0
0.0111111123114824 7 0.0 wikitext comb_9 llama3 nlr_t_cos 14185.276416 15374.221312 1.108712077140808 201.585455 0.0
0.4423168003559112 7 0.0 wikitext comb_17 llama3 nlr_t_cos 14185.747456 15374.221312 5.2383646965026855 147.836291 0.0
0.4426544904708862 7 0.0 wikitext comb_11 llama3 nlr_t_cos 14185.747456 15374.221312 5.2469401359558105 147.861487 0.0
0.4432624280452728 7 0.0 wikitext comb_18 llama3 nlr_t_cos 14185.747456 15374.221312 5.25373125076294 148.0039 0.0
0.4435663521289825 7 0.0 wikitext comb_1 llama3 nlr_t_cos 14185.747456 15374.221312 5.240185737609863 148.317796 0.0
0.4427220225334167 7 0.0 wikitext comb_5 llama3 nlr_t_cos 14185.747456 15374.221312 5.254612922668457 175.421742 0.0
0.4433975219726562 7 0.0 wikitext comb_8 llama3 nlr_t_cos 14185.747456 15374.221312 5.238943099975586 201.751671 0.0
0.0 7 0.0 wikitext comb_14 llama3 nlr_t_cos 11051.945984 18748.53888 1.13592791557312 4.401779 0.0
0.4277946949005127 4 0.0 wikitext ao_woq llama3 fixed 5542.623744 7163.871232 5.3583574295043945 38.82971 0.0
0.0 4 0.0 wikitext comb_2 llama3 nlr_t_cos 14178.745344 15367.929856 1.2404379844665527 121.642547 0.0
0.0 4 0.0 wikitext comb_6 llama3 nlr_t_cos 14178.745344 15367.929856 1.1248141527175903 145.885459 0.0
0.3747382462024688 4 0.0 wikitext comb_15 llama3 nlr_t_cos 14179.216384 15367.929856 6.622741222381592 68.655855 0.0
0.3797703683376312 4 0.0 wikitext woq llama3 fixed 14179.331584 15367.929856 6.163248062133789 95.742183 0.0
0.0031746034510433 4 0.0 wikitext comb_16 llama3 nlr_t_cos 14185.276416 15374.221312 1.1275676488876345 147.915598 0.0
0.0 4 0.0 wikitext comb_9 llama3 nlr_t_cos 14185.276416 15374.221312 1.135980248451233 201.327791 0.0
0.3765619695186615 4 0.0 wikitext comb_11 llama3 nlr_t_cos 14185.747456 15374.221312 6.558605670928955 147.472453 0.0
0.3756839036941528 4 0.0 wikitext comb_18 llama3 nlr_t_cos 14185.747456 15374.221312 6.576939105987549 147.925577 0.0
0.3764268755912781 4 0.0 wikitext comb_17 llama3 nlr_t_cos 14185.747456 15374.221312 6.534614562988281 148.008127 0.0
0.3753799498081207 4 0.0 wikitext comb_1 llama3 nlr_t_cos 14185.747456 15374.221312 6.626064300537109 148.223311 0.0
0.3713272511959076 4 0.0 wikitext comb_5 llama3 nlr_t_cos 14185.747456 15374.221312 6.753609657287598 175.571203 0.0
0.3744680881500244 4 0.0 wikitext comb_8 llama3 nlr_t_cos 14185.747456 15374.221312 6.578407287597656 201.373639 0.0
0.0 4 0.0 wikitext comb_14 llama3 nlr_t_cos 11051.945984 18748.53888 1.1425416469573977 4.399211 0.0
0.4437352418899536 8 0.0 wikitext ao_woq llama3 fixed 12110.375936 14040.43264 5.208643436431885 52.484539 0.0
0.0 8 0.0 wikitext comb_2 llama3 nlr_t_cos 14178.745344 15367.929856 1.1235297918319702 122.585914 0.0
0.0 8 0.0 wikitext comb_6 llama3 nlr_t_cos 14178.745344 15367.929856 1.1248141527175903 146.344408 0.0
0.4435663819313049 8 0.0 wikitext comb_15 llama3 nlr_t_cos 14179.216384 15367.929856 5.2049336433410645 69.069121 0.0
0.443870335817337 8 0.0 wikitext woq llama3 fixed 14179.331584 15367.929856 5.208242893218994 95.91657 0.0
0.0 8 0.0 wikitext comb_4 llama3 nlr_t_cos 14185.276416 15374.221312 1.2090697288513184 148.201575 0.0
0.4437690079212188 8 0.0 wikitext comb_17 llama3 nlr_t_cos 14185.747456 15374.221312 5.21251392364502 147.821363 0.0
0.4438027739524841 8 0.0 wikitext comb_18 llama3 nlr_t_cos 14185.747456 15374.221312 5.20441198348999 147.877508 0.0
0.4431948959827423 8 0.0 wikitext comb_11 llama3 nlr_t_cos 14185.747456 15374.221312 5.216352462768555 147.88935 0.0
0.4430597722530365 8 0.0 wikitext comb_1 llama3 nlr_t_cos 14185.747456 15374.221312 5.205822467803955 148.012279 0.0
0.1084768697619438 8 0.0 wikitext comb_16 llama3 nlr_t_cos 14185.747456 15374.221312 33.68851852416992 148.312031 0.0
0.4435663819313049 8 0.0 wikitext comb_5 llama3 nlr_t_cos 14185.747456 15374.221312 5.203876972198486 175.209727 0.0
0.4435663521289825 8 0.0 wikitext comb_8 llama3 nlr_t_cos 14185.747456 15374.221312 5.202757358551025 201.585394 0.0
0.3124620020389557 8 0.0 wikitext comb_9 llama3 nlr_t_cos 14185.747456 15374.221312 8.283961296081543 201.679875 0.0
0.0 8 0.0 wikitext comb_14 llama3 nlr_t_cos 11051.945984 18748.53888 1.1416436433792114 4.410658 0.0
0.0 5 0.0 wikitext comb_2 llama3 nlr_t_cos 14178.745344 15367.929856 1.2200177907943726 121.858541 0.0
0.0 5 0.0 wikitext comb_6 llama3 nlr_t_cos 14178.745344 15367.929856 1.1248141527175903 146.230858 0.0
0.4123944640159607 5 0.0 wikitext comb_15 llama3 nlr_t_cos 14179.216384 15367.929856 5.599914073944092 68.751908 0.0
0.4355623126029968 5 0.0 wikitext woq llama3 fixed 14179.331584 15367.929856 5.448963165283203 95.650498 0.0
0.0 5 0.0 wikitext comb_9 llama3 nlr_t_cos 14185.276416 15374.221312 1.1338080167770386 201.642916 0.0
0.0158730167895555 5 0.0 wikitext comb_16 llama3 nlr_t_cos 14185.298944 15374.221312 1.476590633392334 148.070775 0.0
0.4133738577365875 5 0.0 wikitext comb_11 llama3 nlr_t_cos 14185.747456 15374.221312 5.6022138595581055 148.016679 0.0
0.4104694426059723 5 0.0 wikitext comb_18 llama3 nlr_t_cos 14185.747456 15374.221312 5.585249900817871 148.104216 0.0
0.4139142632484436 5 0.0 wikitext comb_1 llama3 nlr_t_cos 14185.747456 15374.221312 5.5404863357543945 148.131065 0.0
0.4129348397254944 5 0.0 wikitext comb_17 llama3 nlr_t_cos 14185.747456 15374.221312 5.608942031860352 148.176871 0.0
0.4107396006584167 5 0.0 wikitext comb_5 llama3 nlr_t_cos 14185.747456 15374.221312 5.570494174957275 175.829843 0.0
0.4095238149166107 5 0.0 wikitext comb_8 llama3 nlr_t_cos 14185.747456 15374.221312 5.604806900024414 201.443753 0.0
0.0 5 0.0 wikitext comb_14 llama3 nlr_t_cos 11051.945984 18748.53888 1.145191669464111 4.425258 0.0
0.4436677098274231 32 0.0 wikitext base llama3 ---- 33003.526656 33155.97312 5.223813056945801 27.375718 0.0
|