eval_name Precision Type T Weight type Architecture Model Avg NLU Avg CFK Avg BFS Avg ⬆️ Hub License #Params (B) Model sha Hub ❤️ Available on the hub Code Data AMI 2020 Agg AMI 2020 Miso ARC-C Belebele GeNTE Neutralizing HaSpeeDe2 HS HaSpeeDe2 Stereo HateCheck HONEST IronITA Irony IronITA Sarcasm ItaCoLA News Sum (fanpage) News Sum (il post) SENTIPOLC SQuAD it TruthfulQA XCOPA Hellaswag-it
15 swap-uniba_LLaMAntino-3-ANITA-8B-Inst-DPO-ITA_bfloat16 bfloat16 fine-tuned 🔶 Adapter LlamaForCausalLM "swap-uniba/LLaMAntino-3-ANITA-8B-Inst-DPO-ITA" 48.30561075087029 66.8637539701687 69.6423469054011 61.60390387548003 Llama 3 Community License Agreement 8.0 0 True 👁 👁 {'value': np.float64(49.61934617107031), 'category': 'NLU'} {'value': np.float64(73.58604698054239), 'category': 'NLU'} {'value': np.float64(56.484641638225256), 'category': 'CFK'} {'value': np.float64(83.55555555555556), 'category': 'NLU'} {'value': np.float64(33.8255033557047), 'category': 'BFS'} {'value': np.float64(72.24399819126907), 'category': 'BFS'} {'value': np.float64(61.627116844508144), 'category': 'BFS'} {'value': np.float64(80.51511613552358), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(67.79529918401192), 'category': 'NLU'} {'value': np.float64(46.19514665929917), 'category': 'NLU'} {'value': np.float64(0.24261234404280246), 'category': 'NLU'} {'value': np.float64(34.11799937153588), 'category': 'NLU'} {'value': np.float64(33.1434928751281), 'category': 'NLU'} {'value': np.float64(46.49499761664646), 'category': 'NLU'} {'value': np.float64(71.27317142821833), 'category': 'CFK'} {'value': np.float64(68.09423700746308), 'category': 'CFK'} {'value': np.float64(73.4), 'category': 'CFK'} {'value': np.float64(65.06671977693686), 'category': 'CFK'}
19 mii-llm_maestrale-chat-v0.4-beta_bfloat16 bfloat16 fine-tuned 🔶 Unknown MistralForCausalLM "mii-llm/maestrale-chat-v0.4-beta" 51.83202232667886 61.37398534451438 71.1985815472284 61.46819640614055 CC-BY-NC 4.0 7.0 0 True 🙈 🙈 {'value': np.float64(59.150326797385624), 'category': 'NLU'} {'value': np.float64(69.87466459292264), 'category': 'NLU'} {'value': np.float64(45.81911262798635), 'category': 'CFK'} {'value': np.float64(82.88888888888889), 'category': 'NLU'} {'value': np.float64(31.140939597315437), 'category': 'BFS'} {'value': np.float64(72.33846393236428), 'category': 'BFS'} {'value': np.float64(66.53207391127643), 'category': 'BFS'} {'value': np.float64(85.98143029518587), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(70.41777967731595), 'category': 'NLU'} {'value': np.float64(60.772298414551116), 'category': 'NLU'} {'value': np.float64(0.37316622790807397), 'category': 'NLU'} {'value': np.float64(36.93410930386526), 'category': 'NLU'} {'value': np.float64(36.725567372854464), 'category': 'NLU'} {'value': np.float64(49.35139966441765), 'category': 'NLU'} {'value': np.float64(75.86044079267388), 'category': 'CFK'} {'value': np.float64(49.899475074466956), 'category': 'CFK'} {'value': np.float64(73.6), 'category': 'CFK'} {'value': np.float64(61.690898227444734), 'category': 'CFK'}
28 DeepMount00_Llama-3-8b-Ita_bfloat16 bfloat16 fine-tuned 🔶 Original LlamaForCausalLM "DeepMount00/Llama-3-8b-Ita" 47.36290272448108 61.758272277910294 69.81487332954494 59.64534944397877 Llama 3 Community License Agreement 8.0 0 True 🙈 🙈 {'value': np.float64(46.144997988058414), 'category': 'NLU'} {'value': np.float64(75.84372609008976), 'category': 'NLU'} {'value': np.float64(51.791808873720136), 'category': 'CFK'} {'value': np.float64(86.22222222222223), 'category': 'NLU'} {'value': np.float64(36.10738255033557), 'category': 'BFS'} {'value': np.float64(70.31554456506412), 'category': 'BFS'} {'value': np.float64(58.630092648784235), 'category': 'BFS'} {'value': np.float64(84.02134688354074), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(65.31072882431363), 'category': 'NLU'} {'value': np.float64(41.09159654422506), 'category': 'NLU'} {'value': np.float64(0.3408333550606028), 'category': 'NLU'} {'value': np.float64(34.49955832579602), 'category': 'NLU'} {'value': np.float64(31.89782535977958), 'category': 'NLU'} {'value': np.float64(44.914635810784375), 'category': 'NLU'} {'value': np.float64(56.61547684079038), 'category': 'CFK'} {'value': np.float64(62.20674048284815), 'category': 'CFK'} {'value': np.float64(80.4), 'category': 'CFK'} {'value': np.float64(57.777335192192794), 'category': 'CFK'}
10 meta-llama_Meta-Llama-3-8B-Instruct_bfloat16 bfloat16 fine-tuned 🔶 Delta LlamaForCausalLM "meta-llama/Meta-Llama-3-8B-Instruct" 49.08882288487394 59.50122697266721 69.34995290147747 59.31333425300621 Meta Llama 3 Community License 8.0 0 True 🙈 🙈 {'value': np.float64(55.185436572164505), 'category': 'NLU'} {'value': np.float64(71.738125676576), 'category': 'NLU'} {'value': np.float64(42.57679180887372), 'category': 'CFK'} {'value': np.float64(81.88888888888889), 'category': 'NLU'} {'value': np.float64(31.946308724832218), 'category': 'BFS'} {'value': np.float64(71.03906138403002), 'category': 'BFS'} {'value': np.float64(62.35341674190123), 'category': 'BFS'} {'value': np.float64(81.41097765662386), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(66.62802629024654), 'category': 'NLU'} {'value': np.float64(50.768256648374845), 'category': 'NLU'} {'value': np.float64(0.27675546075709384), 'category': 'NLU'} {'value': np.float64(36.24704112214342), 'category': 'NLU'} {'value': np.float64(35.26336202300577), 'category': 'NLU'} {'value': np.float64(43.80351328170839), 'category': 'NLU'} {'value': np.float64(76.38244391126472), 'category': 'CFK'} {'value': np.float64(51.68814590679052), 'category': 'CFK'} {'value': np.float64(71.8), 'category': 'CFK'} {'value': np.float64(55.058753236407085), 'category': 'CFK'}
6 mistralai_Mistral-7B-Instruct-v0.2_bfloat16 bfloat16 fine-tuned 🔶 Delta MistralForCausalLM "mistralai/Mistral-7B-Instruct-v0.2" 48.131198854451654 58.69183546703023 69.176267976939 58.66643409947363 Apache 2.0 7.0 0 True 🙈 🙈 {'value': np.float64(61.95096430524839), 'category': 'NLU'} {'value': np.float64(66.42194008585093), 'category': 'NLU'} {'value': np.float64(44.36860068259386), 'category': 'CFK'} {'value': np.float64(67.22222222222223), 'category': 'NLU'} {'value': np.float64(29.12751677852349), 'category': 'BFS'} {'value': np.float64(71.07491292799637), 'category': 'BFS'} {'value': np.float64(67.27017961567233), 'category': 'BFS'} {'value': np.float64(78.40873056250285), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(59.16469471738617), 'category': 'NLU'} {'value': np.float64(55.53851376330874), 'category': 'NLU'} {'value': np.float64(0.27708420363666786), 'category': 'NLU'} {'value': np.float64(36.5644261295324), 'category': 'NLU'} {'value': np.float64(36.02041761977175), 'category': 'NLU'} {'value': np.float64(50.02052664310759), 'category': 'NLU'} {'value': np.float64(68.04841543730598), 'category': 'CFK'} {'value': np.float64(59.24407318497844), 'category': 'CFK'} {'value': np.float64(64.2), 'category': 'CFK'} {'value': np.float64(57.598088030272855), 'category': 'CFK'}
18 mii-community_zefiro-7b-dpo-ITA_bfloat16 bfloat16 fine-tuned 🔶 Adapter MistralForCausalLM "mii-community/zefiro-7b-dpo-ITA" 46.189413306519484 57.89491206679833 68.2055343559792 57.429953243099 Apache 2.0 7.0 0 True 🙈 👁 {'value': np.float64(59.97920997920998), 'category': 'NLU'} {'value': np.float64(66.14027143881808), 'category': 'NLU'} {'value': np.float64(44.19795221843004), 'category': 'CFK'} {'value': np.float64(65.88888888888889), 'category': 'NLU'} {'value': np.float64(29.798657718120808), 'category': 'BFS'} {'value': np.float64(66.93068606112085), 'category': 'BFS'} {'value': np.float64(61.46209894750329), 'category': 'BFS'} {'value': np.float64(82.83622905315102), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(58.523449206965395), 'category': 'NLU'} {'value': np.float64(54.918191698733956), 'category': 'NLU'} {'value': np.float64(0.22337556862808253), 'category': 'NLU'} {'value': np.float64(35.78766817066809), 'category': 'NLU'} {'value': np.float64(35.433945513579104), 'category': 'NLU'} {'value': np.float64(38.80971929318383), 'category': 'NLU'} {'value': np.float64(74.34293876621986), 'category': 'CFK'} {'value': np.float64(43.34227321311386), 'category': 'CFK'} {'value': np.float64(68.4), 'category': 'CFK'} {'value': np.float64(59.191396136227844), 'category': 'CFK'}
9 meta-llama_Meta-Llama-3-8B_bfloat16 bfloat16 pretrained 🟢 Original LlamaForCausalLM "meta-llama/Meta-Llama-3-8B" 46.56679050897081 57.42199318457142 66.8371135489557 56.94196574749932 Meta Llama 3 Community License 8.0 0 True 🙈 🙈 {'value': np.float64(60.02710027100271), 'category': 'NLU'} {'value': np.float64(63.14678395603251), 'category': 'NLU'} {'value': np.float64(40.529010238907844), 'category': 'CFK'} {'value': np.float64(76.0), 'category': 'NLU'} {'value': np.float64(29.53020134228188), 'category': 'BFS'} {'value': np.float64(65.30297764359561), 'category': 'BFS'} {'value': np.float64(59.541073390095356), 'category': 'BFS'} {'value': np.float64(79.81131536880565), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(57.31801541230962), 'category': 'NLU'} {'value': np.float64(56.750548188367965), 'category': 'NLU'} {'value': np.float64(0.2786244415689118), 'category': 'NLU'} {'value': np.float64(33.17963762883937), 'category': 'NLU'} {'value': np.float64(32.46904253967329), 'category': 'NLU'} {'value': np.float64(39.93136214294286), 'category': 'NLU'} {'value': np.float64(76.49082768675667), 'category': 'CFK'} {'value': np.float64(42.06877766857276), 'category': 'CFK'} {'value': np.float64(71.2), 'category': 'CFK'} {'value': np.float64(56.8213503286198), 'category': 'CFK'}
16 mii-community_zefiro-7b-base-ITA_bfloat16 bfloat16 fine-tuned 🔶 Delta MistralForCausalLM "mii-community/zefiro-7b-base-ITA" 45.269551300227874 57.115645622716485 67.35862672334422 56.581274548762856 Apache 2.0 7.0 0 True 🙈 👁 {'value': np.float64(60.14362403797995), 'category': 'NLU'} {'value': np.float64(64.54082375784897), 'category': 'NLU'} {'value': np.float64(40.955631399317404), 'category': 'CFK'} {'value': np.float64(58.55555555555556), 'category': 'NLU'} {'value': np.float64(28.456375838926174), 'category': 'BFS'} {'value': np.float64(66.12858980217781), 'category': 'BFS'} {'value': np.float64(59.74063711314884), 'category': 'BFS'} {'value': np.float64(82.46753086246828), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(59.05311714498798), 'category': 'NLU'} {'value': np.float64(57.8863223808017), 'category': 'NLU'} {'value': np.float64(0.09963712635854956), 'category': 'NLU'} {'value': np.float64(34.679238266257826), 'category': 'NLU'} {'value': np.float64(33.277782890474725), 'category': 'NLU'} {'value': np.float64(39.18986054178559), 'category': 'NLU'} {'value': np.float64(75.6692177776856), 'category': 'CFK'} {'value': np.float64(46.18926820166605), 'category': 'CFK'} {'value': np.float64(66.60000000000001), 'category': 'CFK'} {'value': np.float64(56.164110734913365), 'category': 'CFK'}
17 mii-community_zefiro-7b-sft-ITA_bfloat16 bfloat16 fine-tuned 🔶 Adapter MistralForCausalLM "mii-community/zefiro-7b-sft-ITA" 45.486381984675305 56.40022559897527 67.23695288016117 56.374520154603914 Apache 2.0 7.0 0 True 🙈 👁 {'value': np.float64(60.458679319889285), 'category': 'NLU'} {'value': np.float64(63.51256529535591), 'category': 'NLU'} {'value': np.float64(42.32081911262799), 'category': 'CFK'} {'value': np.float64(67.77777777777779), 'category': 'NLU'} {'value': np.float64(27.248322147651006), 'category': 'BFS'} {'value': np.float64(65.72752014372092), 'category': 'BFS'} {'value': np.float64(60.158604473839915), 'category': 'BFS'} {'value': np.float64(83.05031763559394), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(52.69566548195397), 'category': 'NLU'} {'value': np.float64(51.630329924754), 'category': 'NLU'} {'value': np.float64(0.08940878967203518), 'category': 'NLU'} {'value': np.float64(34.969708660189006), 'category': 'NLU'} {'value': np.float64(34.492322470675305), 'category': 'NLU'} {'value': np.float64(43.75098014181036), 'category': 'NLU'} {'value': np.float64(74.55382319645513), 'category': 'CFK'} {'value': np.float64(42.52003278796414), 'category': 'CFK'} {'value': np.float64(67.0), 'category': 'CFK'} {'value': np.float64(55.606452897829115), 'category': 'CFK'}
5 mistralai_Mistral-7B-v0.1_bfloat16 bfloat16 pretrained 🟢 Original MistralForCausalLM "mistralai/Mistral-7B-v0.1" 45.34125442825157 56.099282379017794 65.68372283507196 55.7080865474471 Apache 2.0 7.0 0 True 🙈 🙈 {'value': np.float64(60.52050697114497), 'category': 'NLU'} {'value': np.float64(63.66158365032981), 'category': 'NLU'} {'value': np.float64(41.21160409556314), 'category': 'CFK'} {'value': np.float64(65.66666666666666), 'category': 'NLU'} {'value': np.float64(29.53020134228188), 'category': 'BFS'} {'value': np.float64(60.38816689466484), 'category': 'BFS'} {'value': np.float64(57.907599364752336), 'category': 'BFS'} {'value': np.float64(80.59264657366079), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(55.23299236027556), 'category': 'NLU'} {'value': np.float64(55.67900219124808), 'category': 'NLU'} {'value': np.float64(0.131895692851752), 'category': 'NLU'} {'value': np.float64(33.96645911653997), 'category': 'NLU'} {'value': np.float64(34.34077316577102), 'category': 'NLU'} {'value': np.float64(38.87141003943634), 'category': 'NLU'} {'value': np.float64(75.08500650762954), 'category': 'CFK'} {'value': np.float64(43.19251190731156), 'category': 'CFK'} {'value': np.float64(65.60000000000001), 'category': 'CFK'} {'value': np.float64(55.40728938458474), 'category': 'CFK'}
14 swap-uniba_LLaMAntino-2-chat-13b-hf-ITA_bfloat16 bfloat16 fine-tuned 🔶 Adapter LlamaForCausalLM "swap-uniba/LLaMAntino-2-chat-13b-hf-ITA" 41.970283146802416 56.03239812713 66.71944637887557 54.90737588426933 Llama 2 Community License 13.0 0 True 🙈 👁 {'value': np.float64(61.41230947327803), 'category': 'NLU'} {'value': np.float64(64.77739009492042), 'category': 'NLU'} {'value': np.float64(39.07849829351536), 'category': 'CFK'} {'value': np.float64(60.44444444444444), 'category': 'NLU'} {'value': np.float64(25.503355704697988), 'category': 'BFS'} {'value': np.float64(67.1548291501024), 'category': 'BFS'} {'value': np.float64(59.101414060364085), 'category': 'BFS'} {'value': np.float64(81.83763297921335), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(57.92048929663609), 'category': 'NLU'} {'value': np.float64(52.2777996043644), 'category': 'NLU'} {'value': np.float64(0.1015435288181161), 'category': 'NLU'} {'value': np.float64(25.48185921268344), 'category': 'NLU'} {'value': np.float64(20.624383701889286), 'category': 'NLU'} {'value': np.float64(34.69232896418751), 'category': 'NLU'} {'value': np.float64(73.10003377486571), 'category': 'CFK'} {'value': np.float64(44.43667505800782), 'category': 'CFK'} {'value': np.float64(70.39999999999999), 'category': 'CFK'} {'value': np.float64(53.146783509261105), 'category': 'CFK'}
25 utter-project_EuroLLM-9B-Instruct_bfloat16 bfloat16 fine-tuned 🔶 Original LlamaForCausalLM "utter-project/EuroLLM-9B-Instruct" 46.47145649591783 53.97328352456685 61.13814708019121 53.86096236689196 Apache 2.0 9.0 0 True 👁 👁 {'value': np.float64(59.47108964639737), 'category': 'NLU'} {'value': np.float64(69.65384349595736), 'category': 'NLU'} {'value': np.float64(39.249146757679185), 'category': 'CFK'} {'value': np.float64(73.11111111111111), 'category': 'NLU'} {'value': np.float64(27.38255033557047), 'category': 'BFS'} {'value': np.float64(59.23710239695501), 'category': 'BFS'} {'value': np.float64(49.33153578249635), 'category': 'BFS'} {'value': np.float64(69.73954688593422), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(55.21491782553729), 'category': 'NLU'} {'value': np.float64(54.691044906652394), 'category': 'NLU'} {'value': np.float64(0.3893055260262671), 'category': 'NLU'} {'value': np.float64(34.330433505590925), 'category': 'NLU'} {'value': np.float64(29.809193495015446), 'category': 'NLU'} {'value': np.float64(41.57216895097227), 'category': 'NLU'} {'value': np.float64(52.08035526963981), 'category': 'CFK'} {'value': np.float64(49.57766445032506), 'category': 'CFK'} {'value': np.float64(76.4), 'category': 'CFK'} {'value': np.float64(52.5592511451902), 'category': 'CFK'}
1 RiTA-nlp_tweety-Mistral-7B-v0.1-italian-sft-uf_ita_bfloat16 bfloat16 fine-tuned 🔶 Delta ? "RiTA-nlp/tweety-Mistral-7B-v0.1-italian-sft-uf_ita" 41.702497507922395 55.82283676715868 63.59603096781787 53.70712174763298 Apache 2.0 7.0 0 False 👁 👁 {'value': np.float64(55.41601107758793), 'category': 'NLU'} {'value': np.float64(57.3004099160648), 'category': 'NLU'} {'value': np.float64(44.19795221843004), 'category': 'CFK'} {'value': np.float64(65.88888888888889), 'category': 'NLU'} {'value': np.float64(28.187919463087248), 'category': 'BFS'} {'value': np.float64(60.59060214594565), 'category': 'BFS'} {'value': np.float64(57.07941820704192), 'category': 'BFS'} {'value': np.float64(72.12221502301452), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(57.244902948868926), 'category': 'NLU'} {'value': np.float64(53.76030031900477), 'category': 'NLU'} {'value': np.float64(0.09348377351619035), 'category': 'NLU'} {'value': np.float64(31.274200012586512), 'category': 'NLU'} {'value': np.float64(30.264764988423188), 'category': 'NLU'} {'value': np.float64(24.079515646360328), 'category': 'NLU'} {'value': np.float64(63.98256226802162), 'category': 'CFK'} {'value': np.float64(43.34227321311386), 'category': 'CFK'} {'value': np.float64(68.4), 'category': 'CFK'} {'value': np.float64(59.191396136227844), 'category': 'CFK'}
3 RiTA-nlp_llama3-tweety-8b-italian-sft-tagengo-merged_bfloat16 bfloat16 fine-tuned 🔶 Delta LlamaForCausalLM "RiTA-nlp/llama3-tweety-8b-italian-sft-tagengo-merged" 36.14960993706041 57.23994087617156 67.59183411184553 53.66046164169251 Apache 2.0 8.0 0 True 👁 👁 {'value': np.float64(52.657814277204686), 'category': 'NLU'} {'value': np.float64(56.87822654114789), 'category': 'NLU'} {'value': np.float64(36.774744027303754), 'category': 'CFK'} {'value': np.float64(24.444444444444443), 'category': 'NLU'} {'value': np.float64(29.798657718120808), 'category': 'BFS'} {'value': np.float64(66.66587213877352), 'category': 'BFS'} {'value': np.float64(60.83860122549424), 'category': 'BFS'} {'value': np.float64(80.65603947683907), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(47.818461903069085), 'category': 'NLU'} {'value': np.float64(48.16547688835077), 'category': 'NLU'} {'value': np.float64(0.30234248529919133), 'category': 'NLU'} {'value': np.float64(31.14750699283743), 'category': 'NLU'} {'value': np.float64(29.445396960705033), 'category': 'NLU'} {'value': np.float64(34.48681894048518), 'category': 'NLU'} {'value': np.float64(69.96340463322181), 'category': 'CFK'} {'value': np.float64(48.98380228476164), 'category': 'CFK'} {'value': np.float64(72.8), 'category': 'CFK'} {'value': np.float64(57.6777534355706), 'category': 'CFK'}
4 RiTA-nlp_llama3-tweety-8b-italian-sft-uf_ita-merged_bfloat16 bfloat16 fine-tuned 🔶 Delta LlamaForCausalLM "RiTA-nlp/llama3-tweety-8b-italian-sft-uf_ita-merged" 40.312978427314775 55.62581755600671 64.21599169544818 53.38492922625655 Apache 2.0 8.0 0 True 👁 👁 {'value': np.float64(50.970272502064404), 'category': 'NLU'} {'value': np.float64(53.86433030056453), 'category': 'NLU'} {'value': np.float64(37.71331058020478), 'category': 'CFK'} {'value': np.float64(60.77777777777777), 'category': 'NLU'} {'value': np.float64(33.557046979865774), 'category': 'BFS'} {'value': np.float64(61.86187344128242), 'category': 'BFS'} {'value': np.float64(51.700547923449534), 'category': 'BFS'} {'value': np.float64(73.96049013264316), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(49.09515469935785), 'category': 'NLU'} {'value': np.float64(47.64174641881211), 'category': 'NLU'} {'value': np.float64(0.16721772503846072), 'category': 'NLU'} {'value': np.float64(29.757933526345877), 'category': 'NLU'} {'value': np.float64(27.30247603817605), 'category': 'NLU'} {'value': np.float64(43.23989685769588), 'category': 'NLU'} {'value': np.float64(70.29933362295704), 'category': 'CFK'} {'value': np.float64(45.26019980073151), 'category': 'CFK'} {'value': np.float64(69.19999999999999), 'category': 'CFK'} {'value': np.float64(55.656243776140215), 'category': 'CFK'}
8 meta-llama_Llama-2-13b-hf_bfloat16 bfloat16 pretrained 🟢 Original LlamaForCausalLM "meta-llama/Llama-2-13b-hf" 41.13613368549096 56.39967689118707 61.493331674248495 53.00971408364217 Llama 2 Community License 13.0 0 True 🙈 🙈 {'value': np.float64(53.24565637065637), 'category': 'NLU'} {'value': np.float64(59.32319654843206), 'category': 'NLU'} {'value': np.float64(39.93174061433447), 'category': 'CFK'} {'value': np.float64(49.666666666666664), 'category': 'NLU'} {'value': np.float64(24.295302013422816), 'category': 'BFS'} {'value': np.float64(54.13600451447075), 'category': 'BFS'} {'value': np.float64(54.88702987697715), 'category': 'BFS'} {'value': np.float64(74.1483219663718), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(50.34584608393744), 'category': 'NLU'} {'value': np.float64(49.636673785442774), 'category': 'NLU'} {'value': np.float64(0.11758183179468357), 'category': 'NLU'} {'value': np.float64(34.74496759381444), 'category': 'NLU'} {'value': np.float64(35.77201874088496), 'category': 'NLU'} {'value': np.float64(37.37259554778931), 'category': 'NLU'} {'value': np.float64(75.22840229480128), 'category': 'CFK'} {'value': np.float64(42.91722979615231), 'category': 'CFK'} {'value': np.float64(69.39999999999999), 'category': 'CFK'} {'value': np.float64(54.52101175064728), 'category': 'CFK'}
23 CohereForAI_aya-23-8B_bfloat16 bfloat16 pretrained 🟢 Original ? "CohereForAI/aya-23-8B" 43.903323059478815 55.53937350002161 59.312965821783294 52.91855412709458 CC-BY-NC 4.0 License with Acceptable Use Addendum 8.0 0 False 🙈 👁 {'value': np.float64(47.93497657073945), 'category': 'NLU'} {'value': np.float64(57.15796660999023), 'category': 'NLU'} {'value': np.float64(37.54266211604095), 'category': 'CFK'} {'value': np.float64(77.33333333333333), 'category': 'NLU'} {'value': np.float64(29.261744966442954), 'category': 'BFS'} {'value': np.float64(52.45415318230853), 'category': 'BFS'} {'value': np.float64(49.95387126534667), 'category': 'BFS'} {'value': np.float64(64.89505969481834), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(47.87790151575136), 'category': 'NLU'} {'value': np.float64(51.50824652777778), 'category': 'NLU'} {'value': np.float64(0.25083063286819474), 'category': 'NLU'} {'value': np.float64(36.185897458809194), 'category': 'NLU'} {'value': np.float64(36.10641437869741), 'category': 'NLU'} {'value': np.float64(40.77434050734231), 'category': 'NLU'} {'value': np.float64(76.9375594393511), 'category': 'CFK'} {'value': np.float64(44.91069095567003), 'category': 'CFK'} {'value': np.float64(60.199999999999996), 'category': 'CFK'} {'value': np.float64(58.105954989046005), 'category': 'CFK'}
12 swap-uniba_LLaMAntino-2-13b-hf-ITA_bfloat16 bfloat16 fine-tuned 🔶 Adapter LlamaForCausalLM "swap-uniba/LLaMAntino-2-13b-hf-ITA" 40.320410607598326 56.134928395066495 60.86087434667943 52.43873778311475 Llama 2 Community License 13.0 0 True 🙈 👁 {'value': np.float64(56.79723502304148), 'category': 'NLU'} {'value': np.float64(60.93495016444478), 'category': 'NLU'} {'value': np.float64(38.56655290102389), 'category': 'CFK'} {'value': np.float64(52.33333333333333), 'category': 'NLU'} {'value': np.float64(24.697986577181208), 'category': 'BFS'} {'value': np.float64(57.1976786986929), 'category': 'BFS'} {'value': np.float64(54.2447910290625), 'category': 'BFS'} {'value': np.float64(68.16391542846057), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(56.51605280366516), 'category': 'NLU'} {'value': np.float64(51.571111501558086), 'category': 'NLU'} {'value': np.float64(0.16387751408972254), 'category': 'NLU'} {'value': np.float64(24.61370148615753), 'category': 'NLU'} {'value': np.float64(21.35085313487798), 'category': 'NLU'} {'value': np.float64(38.60258050721683), 'category': 'NLU'} {'value': np.float64(74.20709928774112), 'category': 'CFK'} {'value': np.float64(42.12767769734222), 'category': 'CFK'} {'value': np.float64(71.8), 'category': 'CFK'} {'value': np.float64(53.97331208922525), 'category': 'CFK'}
0 RiTA-nlp_tweety-Mistral-7B-v0.1-italian_bfloat16 bfloat16 fine-tuned 🔶 Delta ? "RiTA-nlp/tweety-Mistral-7B-v0.1-italian" 36.29853932847322 54.395439989754266 59.92245878392879 50.20547936738543 Apache 2.0 7.0 0 False 👁 👁 {'value': np.float64(56.17170479302832), 'category': 'NLU'} {'value': np.float64(56.423255312264054), 'category': 'NLU'} {'value': np.float64(37.96928327645051), 'category': 'CFK'} {'value': np.float64(49.666666666666664), 'category': 'NLU'} {'value': np.float64(27.91946308724832), 'category': 'BFS'} {'value': np.float64(53.70259637851317), 'category': 'BFS'} {'value': np.float64(53.57434872305199), 'category': 'BFS'} {'value': np.float64(64.41588573083048), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(50.21506876304183), 'category': 'NLU'} {'value': np.float64(49.42973129711966), 'category': 'NLU'} {'value': np.float64(0.11006633622278786), 'category': 'NLU'} {'value': np.float64(20.35216856147955), 'category': 'NLU'} {'value': np.float64(15.853930176959196), 'category': 'NLU'} {'value': np.float64(28.46426204947685), 'category': 'NLU'} {'value': np.float64(64.39794432633592), 'category': 'CFK'} {'value': np.float64(37.75548120876122), 'category': 'CFK'} {'value': np.float64(73.4), 'category': 'CFK'} {'value': np.float64(58.45449113722366), 'category': 'CFK'}
7 meta-llama_Llama-2-7b-hf_bfloat16 bfloat16 pretrained 🟢 Original LlamaForCausalLM "meta-llama/Llama-2-7b-hf" 37.21467530908902 51.72929042818041 58.70465604622213 49.216207261163845 Llama 2 Community License 7.0 0 True 🙈 🙈 {'value': np.float64(50.26836062232489), 'category': 'NLU'} {'value': np.float64(57.089775606014214), 'category': 'NLU'} {'value': np.float64(35.153583617747444), 'category': 'CFK'} {'value': np.float64(36.11111111111111), 'category': 'NLU'} {'value': np.float64(25.100671140939596), 'category': 'BFS'} {'value': np.float64(49.33536331841416), 'category': 'BFS'} {'value': np.float64(51.73318260900284), 'category': 'BFS'} {'value': np.float64(67.35406316275402), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(47.63910390674802), 'category': 'NLU'} {'value': np.float64(48.347086153434084), 'category': 'NLU'} {'value': np.float64(0.036528464070504335), 'category': 'NLU'} {'value': np.float64(33.64275146275869), 'category': 'NLU'} {'value': np.float64(33.97447351457297), 'category': 'NLU'} {'value': np.float64(27.82288694076669), 'category': 'NLU'} {'value': np.float64(68.6449557225095), 'category': 'CFK'} {'value': np.float64(39.16657442183614), 'category': 'CFK'} {'value': np.float64(66.0), 'category': 'CFK'} {'value': np.float64(49.681338378809), 'category': 'CFK'}
2 RiTA-nlp_llama3-tweety-8b-italian_bfloat16 bfloat16 fine-tuned 🔶 Delta LlamaForCausalLM "RiTA-nlp/llama3-tweety-8b-italian" 34.80925168546899 45.959661222607295 62.62163881863503 47.79685057557044 Apache 2.0 8.0 0 True 👁 👁 {'value': np.float64(52.75696834716879), 'category': 'NLU'} {'value': np.float64(55.40837736039839), 'category': 'NLU'} {'value': np.float64(40.01706484641638), 'category': 'CFK'} {'value': np.float64(22.88888888888889), 'category': 'NLU'} {'value': np.float64(31.543624161073826), 'category': 'BFS'} {'value': np.float64(57.48673640511788), 'category': 'BFS'} {'value': np.float64(54.750583637815396), 'category': 'BFS'} {'value': np.float64(69.32724988916803), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(53.59863602056829), 'category': 'NLU'} {'value': np.float64(51.95306101174963), 'category': 'NLU'} {'value': np.float64(0.18364277610472463), 'category': 'NLU'} {'value': np.float64(20.352230205876563), 'category': 'NLU'} {'value': np.float64(22.960089857781814), 'category': 'NLU'} {'value': np.float64(33.18137070068386), 'category': 'NLU'} {'value': np.float64(18.487048203126186), 'category': 'CFK'} {'value': np.float64(42.271169761362884), 'category': 'CFK'} {'value': np.float64(72.6), 'category': 'CFK'} {'value': np.float64(56.42302330213105), 'category': 'CFK'}
11 swap-uniba_LLaMAntino-2-7b-hf-ITA_bfloat16 bfloat16 fine-tuned 🔶 Adapter LlamaForCausalLM "swap-uniba/LLaMAntino-2-7b-hf-ITA" 33.72646162039438 52.13761513263328 55.65104269523598 47.17170648275455 Llama 2 Community License 7.0 0 True 🙈 👁 {'value': np.float64(51.11111111111111), 'category': 'NLU'} {'value': np.float64(53.267951636107355), 'category': 'NLU'} {'value': np.float64(33.70307167235495), 'category': 'CFK'} {'value': np.float64(34.66666666666667), 'category': 'NLU'} {'value': np.float64(24.295302013422816), 'category': 'BFS'} {'value': np.float64(45.514286626950536), 'category': 'BFS'} {'value': np.float64(47.59019966407009), 'category': 'BFS'} {'value': np.float64(60.855425171736485), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(47.55193616643805), 'category': 'NLU'} {'value': np.float64(46.04838972288254), 'category': 'NLU'} {'value': np.float64(0.043130721156949686), 'category': 'NLU'} {'value': np.float64(25.210494068156496), 'category': 'NLU'} {'value': np.float64(23.378459312035954), 'category': 'NLU'} {'value': np.float64(22.260015178994326), 'category': 'NLU'} {'value': np.float64(69.30864535653794), 'category': 'CFK'} {'value': np.float64(40.48297086291322), 'category': 'CFK'} {'value': np.float64(68.0), 'category': 'CFK'} {'value': np.float64(49.193387771360285), 'category': 'CFK'}
22 sapienzanlp_Minerva-3B-base-v1.0_bfloat16 bfloat16 pretrained 🟢 Original MistralForCausalLM "sapienzanlp/Minerva-3B-base-v1.0" 31.17509786876875 45.62270743274333 53.03397360999342 43.2772596371685 Apache 2.0 3.0 0 True 🙈 👁 {'value': np.float64(49.875480140137604), 'category': 'NLU'} {'value': np.float64(52.15633707230505), 'category': 'NLU'} {'value': np.float64(30.97269624573379), 'category': 'CFK'} {'value': np.float64(24.333333333333336), 'category': 'NLU'} {'value': np.float64(23.08724832214765), 'category': 'BFS'} {'value': np.float64(48.93622623624203), 'category': 'BFS'} {'value': np.float64(45.71528801169143), 'category': 'BFS'} {'value': np.float64(47.43110547988597), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(43.13118956315911), 'category': 'NLU'} {'value': np.float64(45.77114427860697), 'category': 'NLU'} {'value': np.float64(-0.015363788820154219), 'category': 'NLU'} {'value': np.float64(23.43588415972712), 'category': 'NLU'} {'value': np.float64(18.867630906186005), 'category': 'NLU'} {'value': np.float64(23.020245154283693), 'category': 'NLU'} {'value': np.float64(42.99174436502196), 'category': 'CFK'} {'value': np.float64(37.371442699146954), 'category': 'CFK'} {'value': np.float64(68.60000000000001), 'category': 'CFK'} {'value': np.float64(48.17765385381398), 'category': 'CFK'}
24 utter-project_EuroLLM-1.7B-Instruct_bfloat16 bfloat16 fine-tuned 🔶 Original LlamaForCausalLM "utter-project/EuroLLM-1.7B-Instruct" 29.026062805640606 48.90677371440201 48.40282929335186 42.11188860446482 Apache 2.0 1.7 0 True 👁 👁 {'value': np.float64(31.985667907752934), 'category': 'NLU'} {'value': np.float64(42.690626517727054), 'category': 'NLU'} {'value': np.float64(32.081911262798634), 'category': 'CFK'} {'value': np.float64(26.444444444444443), 'category': 'NLU'} {'value': np.float64(23.08724832214765), 'category': 'BFS'} {'value': np.float64(38.52675937129336), 'category': 'BFS'} {'value': np.float64(38.36815973912748), 'category': 'BFS'} {'value': np.float64(42.0319790341908), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(41.263199495747166), 'category': 'NLU'} {'value': np.float64(42.752293577981646), 'category': 'NLU'} {'value': np.float64(0.0), 'category': 'NLU'} {'value': np.float64(29.71568006510892), 'category': 'NLU'} {'value': np.float64(28.268396958909843), 'category': 'NLU'} {'value': np.float64(18.114256283093443), 'category': 'NLU'} {'value': np.float64(56.35864026344707), 'category': 'CFK'} {'value': np.float64(42.233488326385704), 'category': 'CFK'} {'value': np.float64(66.2), 'category': 'CFK'} {'value': np.float64(47.65982871937861), 'category': 'CFK'}
13 swap-uniba_LLaMAntino-2-chat-7b-hf-ITA_bfloat16 bfloat16 fine-tuned 🔶 Adapter LlamaForCausalLM "swap-uniba/LLaMAntino-2-chat-7b-hf-ITA" 25.62900900485081 46.472723322751754 50.321561903359665 40.807764743654076 Llama 2 Community License 7.0 0 True 🙈 👁 {'value': np.float64(47.32809806550469), 'category': 'NLU'} {'value': np.float64(43.776841477788466), 'category': 'NLU'} {'value': np.float64(29.180887372013654), 'category': 'CFK'} {'value': np.float64(28.111111111111107), 'category': 'NLU'} {'value': np.float64(23.48993288590604), 'category': 'BFS'} {'value': np.float64(41.57668822526659), 'category': 'BFS'} {'value': np.float64(41.556830771361305), 'category': 'BFS'} {'value': np.float64(44.984357634264406), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(41.716872329343005), 'category': 'NLU'} {'value': np.float64(43.53102430893341), 'category': 'NLU'} {'value': np.float64(-0.02574637563194932), 'category': 'NLU'} {'value': np.float64(7.893416571316863), 'category': 'NLU'} {'value': np.float64(8.990083329762001), 'category': 'NLU'} {'value': np.float64(9.339380225529704), 'category': 'NLU'} {'value': np.float64(58.43272201840739), 'category': 'CFK'} {'value': np.float64(39.880897484241935), 'category': 'CFK'} {'value': np.float64(61.8), 'category': 'CFK'} {'value': np.float64(43.06910973909579), 'category': 'CFK'}
27 mudler_Asinello-Minerva-3B-v0.1_bfloat16 bfloat16 fine-tuned 🔶 Original MistralForCausalLM "mudler/Asinello-Minerva-3B-v0.1" 21.543223489019738 40.295594231626076 60.18505836687025 40.67462536250536 Apache 2.0 3.0 0 True 🙈 🙈 {'value': np.float64(45.09996030304822), 'category': 'NLU'} {'value': np.float64(39.99523626303157), 'category': 'NLU'} {'value': np.float64(31.313993174061434), 'category': 'CFK'} {'value': np.float64(22.11111111111111), 'category': 'NLU'} {'value': np.float64(68.32214765100672), 'category': 'BFS'} {'value': np.float64(47.55397203410558), 'category': 'BFS'} {'value': np.float64(45.30802340259594), 'category': 'BFS'} {'value': np.float64(39.74114874664304), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(39.15953907691152), 'category': 'NLU'} {'value': np.float64(24.75483870967742), 'category': 'NLU'} {'value': np.float64(0.040248148749341475), 'category': 'NLU'} {'value': np.float64(-7.95587761012867), 'category': 'NLU'} {'value': np.float64(15.012825978935076), 'category': 'NLU'} {'value': np.float64(15.671129419842087), 'category': 'NLU'} {'value': np.float64(16.540866683348263), 'category': 'CFK'} {'value': np.float64(40.559100147563925), 'category': 'CFK'} {'value': np.float64(66.4), 'category': 'CFK'} {'value': np.float64(46.66401115315674), 'category': 'CFK'}
21 sapienzanlp_Minerva-1B-base-v1.0_bfloat16 bfloat16 pretrained 🟢 Original MistralForCausalLM "sapienzanlp/Minerva-1B-base-v1.0" 29.37689492680925 35.95468750733228 53.9028524289684 39.74481162103664 Apache 2.0 1.0 0 True 🙈 👁 {'value': np.float64(50.76172656624852), 'category': 'NLU'} {'value': np.float64(53.84641914146224), 'category': 'NLU'} {'value': np.float64(24.573378839590443), 'category': 'CFK'} {'value': np.float64(22.666666666666664), 'category': 'NLU'} {'value': np.float64(26.57718120805369), 'category': 'BFS'} {'value': np.float64(48.25128927047713), 'category': 'BFS'} {'value': np.float64(44.581537708222804), 'category': 'BFS'} {'value': np.float64(50.10425395808837), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(46.49541549308013), 'category': 'NLU'} {'value': np.float64(45.46046920890855), 'category': 'NLU'} {'value': np.float64(0.022249590030925144), 'category': 'NLU'} {'value': np.float64(14.249015813966443), 'category': 'NLU'} {'value': np.float64(14.318627170406216), 'category': 'NLU'} {'value': np.float64(16.571464690513597), 'category': 'NLU'} {'value': np.float64(17.48160254077023), 'category': 'CFK'} {'value': np.float64(39.747932356260876), 'category': 'CFK'} {'value': np.float64(60.0), 'category': 'CFK'} {'value': np.float64(37.970523800039835), 'category': 'CFK'}
20 sapienzanlp_Minerva-350M-base-v1.0_bfloat16 bfloat16 pretrained 🟢 Original MistralForCausalLM "sapienzanlp/Minerva-350M-base-v1.0" 25.224199901777368 32.348128725709046 56.325635671949826 37.96598809981208 Apache 2.0 0.35 0 True 🙈 👁 {'value': np.float64(45.17543859649123), 'category': 'NLU'} {'value': np.float64(35.72145622912868), 'category': 'NLU'} {'value': np.float64(24.40273037542662), 'category': 'CFK'} {'value': np.float64(22.88888888888889), 'category': 'NLU'} {'value': np.float64(52.75167785234899), 'category': 'BFS'} {'value': np.float64(41.92832319168979), 'category': 'BFS'} {'value': np.float64(40.67042217927179), 'category': 'BFS'} {'value': np.float64(46.277755136438564), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(36.23277134884009), 'category': 'NLU'} {'value': np.float64(43.223117993157416), 'category': 'NLU'} {'value': np.float64(-0.036868413829916326), 'category': 'NLU'} {'value': np.float64(10.516645269272637), 'category': 'NLU'} {'value': np.float64(9.907975858757172), 'category': 'NLU'} {'value': np.float64(23.388373345290127), 'category': 'NLU'} {'value': np.float64(4.903980027793706), 'category': 'CFK'} {'value': np.float64(43.7486912416563), 'category': 'CFK'} {'value': np.float64(56.599999999999994), 'category': 'CFK'} {'value': np.float64(32.085241983668595), 'category': 'CFK'}
26 mudler_Minerva-3B-Llama3-Instruct-v0.1_bfloat16 bfloat16 fine-tuned 🔶 Original MistralForCausalLM "mudler/Minerva-3B-Llama3-Instruct-v0.1" 25.85871212875818 39.419192381843075 45.18868137950004 36.822195296700436 Apache 2.0 3.0 0 True 🙈 🙈 {'value': np.float64(45.17543859649123), 'category': 'NLU'} {'value': np.float64(33.33333333333333), 'category': 'NLU'} {'value': np.float64(31.399317406143346), 'category': 'CFK'} {'value': np.float64(24.555555555555557), 'category': 'NLU'} {'value': np.float64(31.00671140939597), 'category': 'BFS'} {'value': np.float64(35.231447465099194), 'category': 'BFS'} {'value': np.float64(36.62832494608195), 'category': 'BFS'} {'value': np.float64(23.076923076923077), 'category': 'BFS'} {'value': np.float64(100.0), 'category': 'BFS'} {'value': np.float64(33.432794199665366), 'category': 'NLU'} {'value': np.float64(44.34307975041542), 'category': 'NLU'} {'value': np.float64(0.0), 'category': 'NLU'} {'value': np.float64(9.18547745004222), 'category': 'NLU'} {'value': np.float64(26.88514880742613), 'category': 'NLU'} {'value': np.float64(15.817581465894351), 'category': 'NLU'} {'value': np.float64(13.414960805345139), 'category': 'CFK'} {'value': np.float64(42.266626936125604), 'category': 'CFK'} {'value': np.float64(63.6), 'category': 'CFK'} {'value': np.float64(46.41505676160128), 'category': 'CFK'}