File size: 4,456 Bytes
2e9a66b
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
{
    "Discovery": {
        "llama 3 8b-instruct": 0.4033333333,
        "gpt-4": 0.4033333333,
        "mistral-medium-latest": 0.42,
        "llama 3 70b-instruct": 0.6733333333,
        "codellama-70b-instruct": 0.3633333333,
        "codellama-13b-instruct": 0.5633333333,
        "mistral-large-latest": 0.4,
        "codellama-34b-instruct": 0.4966666667,
        "mistral-small-latest": 0.4666666667,
        "gpt-3.5-turbo": 0.49
    },
    "C2": {
        "llama 3 8b-instruct": 0.15,
        "gpt-4": 0.4266666667,
        "mistral-medium-latest": 0.38,
        "llama 3 70b-instruct": 0.4766666667,
        "codellama-70b-instruct": 0.3766666667,
        "codellama-13b-instruct": 0.5353535354,
        "mistral-large-latest": 0.51,
        "codellama-34b-instruct": 0.5733333333,
        "mistral-small-latest": 0.5433333333,
        "gpt-3.5-turbo": 0.5966666667
    },
    "Recon": {
        "llama 3 8b-instruct": 0.35,
        "gpt-4": 0.3866666667,
        "mistral-medium-latest": 0.4433333333,
        "llama 3 70b-instruct": 0.5833333333,
        "codellama-70b-instruct": 0.3833333333,
        "codellama-13b-instruct": 0.4080267559,
        "mistral-large-latest": 0.4333333333,
        "codellama-34b-instruct": 0.58,
        "mistral-small-latest": 0.44,
        "gpt-3.5-turbo": 0.4466666667
    },
    "Exfil": {
        "llama 3 8b-instruct": 0.1233333333,
        "gpt-4": 0.2833333333,
        "mistral-medium-latest": 0.3166666667,
        "llama 3 70b-instruct": 0.34,
        "codellama-70b-instruct": 0.3745819398,
        "codellama-13b-instruct": 0.4533333333,
        "mistral-large-latest": 0.52,
        "codellama-34b-instruct": 0.5233333333,
        "mistral-small-latest": 0.5866666667,
        "gpt-3.5-turbo": 0.5933333333
    },
    "Privilege Escalation": {
        "llama 3 8b-instruct": 0.06,
        "gpt-4": 0.3033333333,
        "mistral-medium-latest": 0.3866666667,
        "llama 3 70b-instruct": 0.2866666667,
        "codellama-70b-instruct": 0.4233333333,
        "codellama-13b-instruct": 0.3535353535,
        "mistral-large-latest": 0.4666666667,
        "codellama-34b-instruct": 0.4633333333,
        "mistral-small-latest": 0.6566666667,
        "gpt-3.5-turbo": 0.6733333333
    },
    "Lateral Movement": {
        "llama 3 8b-instruct": 0.0966666667,
        "gpt-4": 0.2366666667,
        "mistral-medium-latest": 0.2766666667,
        "llama 3 70b-instruct": 0.3433333333,
        "codellama-70b-instruct": 0.4033333333,
        "codellama-13b-instruct": 0.47,
        "mistral-large-latest": 0.5366666667,
        "codellama-34b-instruct": 0.4233333333,
        "mistral-small-latest": 0.6166666667,
        "gpt-3.5-turbo": 0.6666666667
    },
    "Persistence": {
        "llama 3 8b-instruct": 0.1366666667,
        "gpt-4": 0.2533333333,
        "mistral-medium-latest": 0.3066666667,
        "llama 3 70b-instruct": 0.2766666667,
        "codellama-70b-instruct": 0.3933333333,
        "codellama-13b-instruct": 0.4666666667,
        "mistral-large-latest": 0.4733333333,
        "codellama-34b-instruct": 0.48,
        "mistral-small-latest": 0.59,
        "gpt-3.5-turbo": 0.6666666667
    },
    "Evasion": {
        "llama 3 8b-instruct": 0.0466666667,
        "gpt-4": 0.2133333333,
        "mistral-medium-latest": 0.3333333333,
        "llama 3 70b-instruct": 0.17,
        "codellama-70b-instruct": 0.29,
        "codellama-13b-instruct": 0.4333333333,
        "mistral-large-latest": 0.49,
        "codellama-34b-instruct": 0.45,
        "mistral-small-latest": 0.65,
        "gpt-3.5-turbo": 0.7233333333
    },
    "Execution": {
        "llama 3 8b-instruct": 0.09,
        "gpt-4": 0.1833333333,
        "mistral-medium-latest": 0.2976588629,
        "llama 3 70b-instruct": 0.2033333333,
        "codellama-70b-instruct": 0.3233333333,
        "codellama-13b-instruct": 0.3966666667,
        "mistral-large-latest": 0.52,
        "codellama-34b-instruct": 0.51,
        "mistral-small-latest": 0.6233333333,
        "gpt-3.5-turbo": 0.65
    },
    "Collection": {
        "llama 3 8b-instruct": 0.18,
        "gpt-4": 0.19,
        "mistral-medium-latest": 0.31,
        "llama 3 70b-instruct": 0.31,
        "codellama-70b-instruct": 0.3333333333,
        "codellama-13b-instruct": 0.4612794613,
        "mistral-large-latest": 0.4233333333,
        "codellama-34b-instruct": 0.4966666667,
        "mistral-small-latest": 0.52,
        "gpt-3.5-turbo": 0.55
    }
}