{ "codellama-13b-instruct": { "Violation Rate": 0.45415284393545263, "Refusal Rate": 0.016 }, "codellama-34b-instruct": { "Violation Rate": 0.4996666666666666, "Refusal Rate": 0.016 }, "codellama/CodeLlama-70b-Instruct-hf": { "Violation Rate": 0.36645819397993296, "Refusal Rate": 0.6946666666666667 }, "gpt-3.5-turbo": { "Violation Rate": 0.6056666666666667, "Refusal Rate": 0.0026666666666666666 }, "gpt-4": { "Violation Rate": 0.28800000000000003, "Refusal Rate": 0.04133333333333333 }, "mistral-medium-latest": { "Violation Rate": 0.3470992196209587, "Refusal Rate": 0.11333333333333333 }, "mistral-small-latest": { "Violation Rate": 0.5693333333333334, "Refusal Rate": 0.104 }, "mistral-large-latest": { "Violation Rate": 0.4773333333333334, "Refusal Rate": 0.11066666666666666 }, "llama3p-70b-rc3_vr_mid_3": { "Violation Rate": 0.3663333333333333, "Refusal Rate": 0.0 }, "llama3p-7b-rc3_vr_mid_2": { "Violation Rate": 0.16366666666666663, "Refusal Rate": 0.02266666666666667 } }