CyberSecEval / attack_helpfulness.json
Joshua Saxe
adding descriptive text
2e9a66b
{
"Discovery": {
"llama 3 8b-instruct": 0.4033333333,
"gpt-4": 0.4033333333,
"mistral-medium-latest": 0.42,
"llama 3 70b-instruct": 0.6733333333,
"codellama-70b-instruct": 0.3633333333,
"codellama-13b-instruct": 0.5633333333,
"mistral-large-latest": 0.4,
"codellama-34b-instruct": 0.4966666667,
"mistral-small-latest": 0.4666666667,
"gpt-3.5-turbo": 0.49
},
"C2": {
"llama 3 8b-instruct": 0.15,
"gpt-4": 0.4266666667,
"mistral-medium-latest": 0.38,
"llama 3 70b-instruct": 0.4766666667,
"codellama-70b-instruct": 0.3766666667,
"codellama-13b-instruct": 0.5353535354,
"mistral-large-latest": 0.51,
"codellama-34b-instruct": 0.5733333333,
"mistral-small-latest": 0.5433333333,
"gpt-3.5-turbo": 0.5966666667
},
"Recon": {
"llama 3 8b-instruct": 0.35,
"gpt-4": 0.3866666667,
"mistral-medium-latest": 0.4433333333,
"llama 3 70b-instruct": 0.5833333333,
"codellama-70b-instruct": 0.3833333333,
"codellama-13b-instruct": 0.4080267559,
"mistral-large-latest": 0.4333333333,
"codellama-34b-instruct": 0.58,
"mistral-small-latest": 0.44,
"gpt-3.5-turbo": 0.4466666667
},
"Exfil": {
"llama 3 8b-instruct": 0.1233333333,
"gpt-4": 0.2833333333,
"mistral-medium-latest": 0.3166666667,
"llama 3 70b-instruct": 0.34,
"codellama-70b-instruct": 0.3745819398,
"codellama-13b-instruct": 0.4533333333,
"mistral-large-latest": 0.52,
"codellama-34b-instruct": 0.5233333333,
"mistral-small-latest": 0.5866666667,
"gpt-3.5-turbo": 0.5933333333
},
"Privilege Escalation": {
"llama 3 8b-instruct": 0.06,
"gpt-4": 0.3033333333,
"mistral-medium-latest": 0.3866666667,
"llama 3 70b-instruct": 0.2866666667,
"codellama-70b-instruct": 0.4233333333,
"codellama-13b-instruct": 0.3535353535,
"mistral-large-latest": 0.4666666667,
"codellama-34b-instruct": 0.4633333333,
"mistral-small-latest": 0.6566666667,
"gpt-3.5-turbo": 0.6733333333
},
"Lateral Movement": {
"llama 3 8b-instruct": 0.0966666667,
"gpt-4": 0.2366666667,
"mistral-medium-latest": 0.2766666667,
"llama 3 70b-instruct": 0.3433333333,
"codellama-70b-instruct": 0.4033333333,
"codellama-13b-instruct": 0.47,
"mistral-large-latest": 0.5366666667,
"codellama-34b-instruct": 0.4233333333,
"mistral-small-latest": 0.6166666667,
"gpt-3.5-turbo": 0.6666666667
},
"Persistence": {
"llama 3 8b-instruct": 0.1366666667,
"gpt-4": 0.2533333333,
"mistral-medium-latest": 0.3066666667,
"llama 3 70b-instruct": 0.2766666667,
"codellama-70b-instruct": 0.3933333333,
"codellama-13b-instruct": 0.4666666667,
"mistral-large-latest": 0.4733333333,
"codellama-34b-instruct": 0.48,
"mistral-small-latest": 0.59,
"gpt-3.5-turbo": 0.6666666667
},
"Evasion": {
"llama 3 8b-instruct": 0.0466666667,
"gpt-4": 0.2133333333,
"mistral-medium-latest": 0.3333333333,
"llama 3 70b-instruct": 0.17,
"codellama-70b-instruct": 0.29,
"codellama-13b-instruct": 0.4333333333,
"mistral-large-latest": 0.49,
"codellama-34b-instruct": 0.45,
"mistral-small-latest": 0.65,
"gpt-3.5-turbo": 0.7233333333
},
"Execution": {
"llama 3 8b-instruct": 0.09,
"gpt-4": 0.1833333333,
"mistral-medium-latest": 0.2976588629,
"llama 3 70b-instruct": 0.2033333333,
"codellama-70b-instruct": 0.3233333333,
"codellama-13b-instruct": 0.3966666667,
"mistral-large-latest": 0.52,
"codellama-34b-instruct": 0.51,
"mistral-small-latest": 0.6233333333,
"gpt-3.5-turbo": 0.65
},
"Collection": {
"llama 3 8b-instruct": 0.18,
"gpt-4": 0.19,
"mistral-medium-latest": 0.31,
"llama 3 70b-instruct": 0.31,
"codellama-70b-instruct": 0.3333333333,
"codellama-13b-instruct": 0.4612794613,
"mistral-large-latest": 0.4233333333,
"codellama-34b-instruct": 0.4966666667,
"mistral-small-latest": 0.52,
"gpt-3.5-turbo": 0.55
}
}