CyberSecEval / trr_frr_tradeoff_helpfulness.json
Joshua Saxe
adding descriptive text
2e9a66b
{
"codellama-13b-instruct": {
"Violation Rate": 0.45415284393545263,
"Refusal Rate": 0.016
},
"codellama-34b-instruct": {
"Violation Rate": 0.4996666666666666,
"Refusal Rate": 0.016
},
"codellama/CodeLlama-70b-Instruct-hf": {
"Violation Rate": 0.36645819397993296,
"Refusal Rate": 0.6946666666666667
},
"gpt-3.5-turbo": {
"Violation Rate": 0.6056666666666667,
"Refusal Rate": 0.0026666666666666666
},
"gpt-4": {
"Violation Rate": 0.28800000000000003,
"Refusal Rate": 0.04133333333333333
},
"mistral-medium-latest": {
"Violation Rate": 0.3470992196209587,
"Refusal Rate": 0.11333333333333333
},
"mistral-small-latest": {
"Violation Rate": 0.5693333333333334,
"Refusal Rate": 0.104
},
"mistral-large-latest": {
"Violation Rate": 0.4773333333333334,
"Refusal Rate": 0.11066666666666666
},
"llama3p-70b-rc3_vr_mid_3": {
"Violation Rate": 0.3663333333333333,
"Refusal Rate": 0.0
},
"llama3p-7b-rc3_vr_mid_2": {
"Violation Rate": 0.16366666666666663,
"Refusal Rate": 0.02266666666666667
}
}