diff --git "a/mmlu_results_mistral-instruct-v0.2-onmt-awq-gemm.json" "b/mmlu_results_mistral-instruct-v0.2-onmt-awq-gemm.json" new file mode 100644--- /dev/null +++ "b/mmlu_results_mistral-instruct-v0.2-onmt-awq-gemm.json" @@ -0,0 +1,28428 @@ +{ + "abstract_algebra": { + "pred_answers": [ + "D", + "C", + "D", + "B", + "B", + "C", + "A", + "A", + "B", + "C", + "A", + "D", + "", + "B", + "D", + "B", + "B", + "D", + "D", + "C", + "C", + "C", + "A", + "C", + "A", + "A", + "A", + "D", + "C", + "A", + "A", + "B", + "A", + "A", + "B", + "D", + "C", + "D", + "D", + "A", + "A", + "", + "A", + "B", + "True", + "C", + "C", + "C", + "A", + "B", + "C", + "C", + "", + "B", + "B", + "A", + "C", + "D", + "B", + "A", + "A", + "A", + "A", + "A", + "B", + "A", + "B", + "D", + "D", + "A", + "C", + "D", + "A", + "A", + "B", + "B", + "C", + "A", + "A", + "A", + "C", + "A", + "A", + "C", + "True", + "C", + "A", + "A", + "C", + "A", + "A", + "B", + "C", + "D", + "A", + "C", + "A", + "", + "D", + "C" + ], + "gold_answers": [ + "B", + "C", + "D", + "B", + "B", + "A", + "A", + "D", + "B", + "C", + "C", + "C", + "A", + "C", + "C", + "B", + "C", + "C", + "D", + "A", + "A", + "A", + "D", + "D", + "B", + "C", + "C", + "B", + "D", + "A", + "B", + "B", + "A", + "C", + "A", + "B", + "D", + "B", + "C", + "D", + "C", + "A", + "B", + "C", + "C", + "C", + "B", + "B", + "C", + "B", + "D", + "B", + "A", + "C", + "B", + "A", + "D", + "B", + "A", + "A", + "D", + "D", + "C", + "B", + "B", + "C", + "D", + "C", + "A", + "A", + "D", + "C", + "D", + "B", + "D", + "B", + "C", + "A", + "D", + "C", + "B", + "D", + "A", + "C", + "D", + "C", + "A", + "A", + "A", + "C", + "D", + "B", + "B", + "A", + "D", + "C", + "B", + "C", + "C", + "C" + ] + }, + "anatomy": { + "pred_answers": [ + "A", + "B", + "A", + "D", + "B", + "C", + "A", + "B", + "B", + "D", + "D", + "A", + "C", + "C", + "C", + "D", + "D", + "D", + "A", + "C", + "C", + "B", + "A", + "A", + "B", + "A", + "C", + "A", + "C", + "C", + "C", + "B", + "B", + "D", + "C", + "A", + "D", + "A", + "D", + "C", + "C", + "C", + "B", + "B", + "A", + "C", + "B", + "C", + "A", + "B", + "D", + "D", + "A", + "D", + "A", + "B", + "A", + "C", + "D", + "B", + "D", + "C", + "D", + "C", + "A", + "D", + "D", + "C", + "B", + "C", + "A", + "A", + "An", + "A", + "D", + "D", + "A", + "A", + "C", + "B", + "B", + "C", + "B", + "B", + "C", + "C", + "C", + "B", + "B", + "A", + "B", + "B", + "D", + "B", + "B", + "A", + "C", + "A", + "C", + "B", + "D", + "C", + "C", + "D", + "A", + "D", + "C", + "B", + "D", + "A", + "C", + "D", + "D", + "A", + "A", + "B", + "D", + "B", + "D", + "C", + "C", + "B", + "C", + "B", + "T", + "D", + "C", + "B", + "A", + "B", + "A", + "D", + "A", + "C", + "B" + ], + "gold_answers": [ + "A", + "B", + "A", + "C", + "B", + "B", + "A", + "B", + "C", + "D", + "D", + "D", + "D", + "B", + "A", + "C", + "B", + "D", + "D", + "C", + "C", + "C", + "B", + "B", + "B", + "C", + "C", + "A", + "C", + "B", + "C", + "A", + "B", + "B", + "C", + "C", + "D", + "C", + "D", + "C", + "C", + "C", + "B", + "C", + "A", + "C", + "B", + "C", + "A", + "C", + "D", + "D", + "B", + "B", + "B", + "D", + "A", + "C", + "D", + "D", + "D", + "C", + "B", + "C", + "C", + "B", + "D", + "C", + "D", + "B", + "B", + "A", + "D", + "A", + "D", + "C", + "A", + "A", + "C", + "D", + "B", + "B", + "C", + "B", + "B", + "C", + "C", + "C", + "C", + "A", + "D", + "B", + "B", + "D", + "A", + "C", + "A", + "C", + "A", + "C", + "D", + "D", + "C", + "B", + "A", + "C", + "C", + "D", + "D", + "A", + "C", + "C", + "D", + "A", + "A", + "B", + "D", + "B", + "B", + "D", + "C", + "B", + "C", + "B", + "D", + "B", + "C", + "C", + "A", + "A", + "A", + "D", + "A", + "C", + "D" + ] + }, + "astronomy": { + "pred_answers": [ + "A", + "D", + "C", + "D", + "D", + "C", + "B", + "D", + "B", + "A", + "D", + "C", + "A", + "D", + "B", + "C", + "C", + "D", + "D", + "D", + "D", + "D", + "C", + "B", + "", + "D", + "D", + "D", + "A", + "C", + "C", + "B", + "D", + "D", + "C", + "D", + "A", + "C", + "B", + "B", + "C", + "D", + "B", + "D", + "B", + "D", + "D", + "D", + "D", + "B", + "B", + "C", + "D", + "D", + "C", + "C", + "D", + "C", + "C", + "D", + "D", + "D", + "B", + "D", + "C", + "C", + "D", + "C", + "D", + "B", + "B", + "D", + "A", + "D", + "C", + "B", + "A", + "C", + "C", + "D", + "A", + "C", + "A", + "A", + "A", + "A", + "C", + "C", + "B", + "D", + "A", + "D", + "A", + "C", + "D", + "B", + "D", + "C", + "D", + "C", + "C", + "A", + "B", + "D", + "A", + "H", + "B", + "B", + "D", + "B", + "B", + "D", + "D", + "A", + "C", + "Or", + "A", + "C", + "A", + "C", + "B", + "B", + "D", + "D", + "D", + "D", + "C", + "C", + "D", + "C", + "C", + "C", + "C", + "B", + "D", + "A", + "D", + "D", + "D", + "C", + "A", + "B", + "C", + "A", + "B", + "D", + "B", + "C", + "B", + "A", + "C", + "A" + ], + "gold_answers": [ + "A", + "D", + "C", + "C", + "D", + "C", + "B", + "B", + "D", + "D", + "D", + "C", + "A", + "D", + "B", + "C", + "C", + "A", + "D", + "C", + "D", + "D", + "D", + "B", + "C", + "D", + "C", + "D", + "B", + "C", + "B", + "C", + "D", + "D", + "C", + "D", + "A", + "C", + "B", + "B", + "C", + "D", + "A", + "A", + "C", + "D", + "D", + "A", + "C", + "B", + "A", + "D", + "D", + "A", + "D", + "C", + "D", + "D", + "C", + "D", + "D", + "D", + "B", + "A", + "C", + "C", + "B", + "B", + "B", + "C", + "B", + "D", + "C", + "D", + "C", + "C", + "A", + "A", + "B", + "C", + "C", + "C", + "A", + "A", + "A", + "A", + "C", + "B", + "C", + "D", + "D", + "B", + "A", + "D", + "A", + "B", + "D", + "C", + "C", + "C", + "A", + "D", + "C", + "D", + "C", + "A", + "B", + "C", + "D", + "B", + "B", + "D", + "D", + "C", + "A", + "D", + "D", + "C", + "A", + "D", + "B", + "B", + "C", + "D", + "D", + "D", + "D", + "C", + "D", + "C", + "A", + "B", + "C", + "B", + "D", + "D", + "C", + "D", + "D", + "C", + "A", + "C", + "C", + "A", + "B", + "D", + "B", + "A", + "D", + "A", + "C", + "B" + ] + }, + "business_ethics": { + "pred_answers": [ + "C", + "B", + "C", + "C", + "B", + "B", + "A", + "A", + "C", + "B", + "C", + "C", + "D", + "B", + "A", + "B", + "A", + "B", + "C", + "C", + "A", + "B", + "A", + "C", + "A", + "B", + "B", + "C", + "B", + "D", + "A", + "A", + "A", + "B", + "A", + "B", + "A", + "A", + "C", + "B", + "D", + "B", + "A", + "B", + "C", + "D", + "A", + "A", + "D", + "D", + "A", + "D", + "C", + "C", + "C", + "C", + "C", + "A", + "C", + "C", + "D", + "D", + "C", + "A", + "B", + "D", + "D", + "A", + "A", + "C", + "C", + "A", + "A", + "A", + "A", + "A", + "A", + "C", + "A", + "A", + "D", + "B", + "D", + "C", + "D", + "C", + "A", + "A", + "B", + "B", + "C", + "D", + "C", + "D", + "C", + "C", + "B", + "B", + "D", + "A" + ], + "gold_answers": [ + "C", + "B", + "D", + "D", + "B", + "B", + "B", + "A", + "B", + "C", + "C", + "C", + "D", + "B", + "D", + "B", + "A", + "C", + "C", + "A", + "A", + "B", + "C", + "A", + "A", + "B", + "B", + "C", + "D", + "D", + "A", + "A", + "D", + "A", + "D", + "C", + "B", + "D", + "C", + "B", + "D", + "A", + "A", + "B", + "B", + "D", + "C", + "A", + "D", + "B", + "A", + "B", + "D", + "C", + "A", + "C", + "C", + "A", + "C", + "D", + "D", + "A", + "B", + "A", + "A", + "A", + "D", + "A", + "A", + "A", + "B", + "B", + "A", + "C", + "B", + "C", + "A", + "C", + "A", + "A", + "B", + "C", + "D", + "D", + "C", + "C", + "C", + "A", + "B", + "B", + "B", + "A", + "D", + "D", + "B", + "A", + "C", + "A", + "D", + "B" + ] + }, + "clinical_knowledge": { + "pred_answers": [ + "A", + "D", + "A", + "C", + "A", + "A", + "A", + "A", + "A", + "D", + "C", + "D", + "B", + "B", + "B", + "C", + "A", + "A", + "D", + "C", + "D", + "A", + "B", + "B", + "B", + "D", + "A", + "B", + "D", + "D", + "B", + "C", + "A", + "D", + "B", + "A", + "C", + "B", + "B", + "A", + "A", + "B", + "C", + "B", + "D", + "D", + "D", + "A", + "B", + "D", + "B", + "A", + "D", + "B", + "D", + "A", + "C", + "C", + "D", + "C", + "C", + "B", + "C", + "B", + "D", + "B", + "B", + "D", + "D", + "D", + "A", + "C", + "D", + "B", + "B", + "B", + "B", + "A", + "B", + "B", + "D", + "C", + "C", + "A", + "D", + "A", + "A", + "A", + "D", + "B", + "C", + "C", + "C", + "D", + "C", + "C", + "B", + "A", + "B", + "B", + "B", + "C", + "D", + "B", + "D", + "D", + "D", + "C", + "D", + "B", + "B", + "D", + "D", + "D", + "A", + "A", + "D", + "C", + "B", + "B", + "B", + "A", + "C", + "D", + "B", + "D", + "A", + "B", + "A", + "A", + "A", + "B", + "D", + "B", + "B", + "C", + "A", + "C", + "C", + "B", + "A", + "", + "D", + "D", + "D", + "D", + "A", + "A", + "C", + "B", + "D", + "A", + "A", + "A", + "B", + "D", + "D", + "D", + "A", + "A", + "A", + "A", + "A", + "D", + "A", + "D", + "C", + "D", + "C", + "A", + "A", + "C", + "C", + "A", + "A", + "D", + "C", + "C", + "D", + "C", + "A", + "D", + "B", + "B", + "B", + "D", + "C", + "D", + "D", + "B", + "C", + "A", + "A", + "C", + "B", + "C", + "A", + "D", + "D", + "B", + "D", + "C", + "B", + "D", + "A", + "D", + "D", + "B", + "B", + "A", + "A", + "D", + "A", + "A", + "A", + "B", + "A", + "C", + "A", + "B", + "B", + "A", + "A", + "A", + "B", + "C", + "B", + "A", + "A", + "B", + "C", + "C", + "D", + "B", + "A", + "A", + "C", + "B", + "D", + "D", + "B", + "B", + "A", + "A", + "B", + "A", + "C", + "D", + "C", + "B", + "A", + "C", + "A", + "C", + "B", + "A", + "A", + "B", + "D", + "A", + "B", + "B", + "B", + "D", + "D" + ], + "gold_answers": [ + "A", + "D", + "A", + "B", + "B", + "D", + "B", + "A", + "A", + "D", + "C", + "D", + "B", + "B", + "B", + "C", + "D", + "C", + "C", + "C", + "D", + "A", + "A", + "B", + "B", + "B", + "D", + "A", + "B", + "C", + "B", + "D", + "A", + "B", + "B", + "D", + "C", + "B", + "B", + "D", + "B", + "D", + "C", + "B", + "D", + "D", + "D", + "A", + "D", + "D", + "C", + "A", + "C", + "B", + "D", + "D", + "B", + "C", + "D", + "B", + "C", + "B", + "C", + "D", + "A", + "D", + "B", + "D", + "D", + "D", + "A", + "C", + "D", + "D", + "D", + "B", + "B", + "A", + "B", + "B", + "D", + "D", + "B", + "B", + "D", + "D", + "A", + "B", + "D", + "D", + "C", + "C", + "C", + "D", + "C", + "C", + "D", + "A", + "B", + "B", + "C", + "C", + "B", + "B", + "D", + "D", + "D", + "A", + "D", + "C", + "C", + "C", + "D", + "A", + "A", + "A", + "D", + "C", + "B", + "D", + "B", + "A", + "C", + "D", + "A", + "D", + "A", + "C", + "A", + "B", + "A", + "B", + "D", + "B", + "C", + "C", + "A", + "C", + "C", + "B", + "D", + "C", + "D", + "D", + "D", + "D", + "B", + "B", + "B", + "B", + "D", + "A", + "A", + "D", + "B", + "B", + "D", + "D", + "A", + "A", + "B", + "A", + "A", + "D", + "B", + "D", + "C", + "D", + "C", + "A", + "B", + "C", + "B", + "A", + "A", + "D", + "C", + "C", + "D", + "D", + "A", + "B", + "B", + "D", + "C", + "D", + "C", + "C", + "D", + "B", + "C", + "A", + "A", + "C", + "D", + "C", + "A", + "B", + "B", + "C", + "D", + "C", + "B", + "D", + "A", + "D", + "D", + "B", + "B", + "A", + "A", + "A", + "A", + "A", + "A", + "B", + "B", + "C", + "A", + "B", + "D", + "B", + "A", + "C", + "B", + "A", + "D", + "A", + "A", + "B", + "D", + "D", + "D", + "B", + "B", + "A", + "C", + "C", + "D", + "C", + "C", + "B", + "A", + "C", + "B", + "A", + "C", + "D", + "C", + "B", + "A", + "C", + "A", + "B", + "D", + "A", + "C", + "B", + "D", + "A", + "C", + "B", + "D", + "D", + "C" + ] + }, + "college_biology": { + "pred_answers": [ + "D", + "C", + "A", + "B", + "A", + "A", + "B", + "B", + "D", + "C", + "C", + "B", + "C", + "D", + "A", + "C", + "C", + "A", + "C", + "D", + "D", + "C", + "A", + "A", + "D", + "D", + "D", + "C", + "A", + "B", + "A", + "D", + "B", + "D", + "A", + "A", + "B", + "A", + "C", + "C", + "B", + "C", + "C", + "A", + "C", + "C", + "C", + "A", + "C", + "A", + "A", + "D", + "C", + "C", + "D", + "A", + "B", + "C", + "C", + "D", + "B", + "D", + "A", + "C", + "D", + "A", + "A", + "C", + "D", + "B", + "A", + "C", + "A", + "A", + "B", + "B", + "C", + "A", + "A", + "C", + "A", + "D", + "D", + "Am", + "D", + "D", + "B", + "B", + "B", + "B", + "D", + "C", + "B", + "B", + "D", + "B", + "B", + "D", + "D", + "B", + "D", + "C", + "A", + "C", + "D", + "C", + "A", + "B", + "A", + "B", + "C", + "A", + "B", + "A", + "A", + "C", + "A", + "C", + "B", + "C", + "C", + "B", + "C", + "A", + "C", + "D", + "D", + "B", + "D", + "B", + "C", + "A", + "C", + "B", + "B", + "D", + "A", + "D", + "D", + "A", + "A", + "C", + "B", + "C" + ], + "gold_answers": [ + "C", + "C", + "A", + "B", + "A", + "A", + "B", + "B", + "D", + "C", + "C", + "D", + "C", + "D", + "A", + "C", + "C", + "C", + "C", + "A", + "D", + "C", + "B", + "A", + "D", + "D", + "A", + "C", + "A", + "C", + "A", + "B", + "B", + "D", + "D", + "A", + "B", + "A", + "C", + "A", + "D", + "B", + "C", + "A", + "D", + "D", + "B", + "C", + "B", + "A", + "A", + "C", + "C", + "A", + "D", + "B", + "C", + "C", + "B", + "D", + "B", + "D", + "A", + "C", + "D", + "A", + "D", + "B", + "D", + "B", + "A", + "C", + "A", + "A", + "B", + "A", + "C", + "A", + "D", + "D", + "C", + "D", + "D", + "C", + "D", + "D", + "B", + "B", + "B", + "B", + "D", + "C", + "B", + "D", + "D", + "B", + "A", + "D", + "D", + "B", + "D", + "C", + "A", + "D", + "D", + "B", + "C", + "A", + "C", + "B", + "C", + "A", + "B", + "A", + "A", + "D", + "C", + "C", + "A", + "A", + "C", + "B", + "D", + "A", + "B", + "C", + "D", + "B", + "C", + "B", + "C", + "D", + "C", + "D", + "B", + "A", + "A", + "D", + "A", + "A", + "A", + "C", + "B", + "D" + ] + }, + "college_chemistry": { + "pred_answers": [ + "C", + "C", + "B", + "B", + "B", + "B", + "A", + "D", + "B", + "A", + "B", + "B", + "A", + "C", + "C", + "B", + "D", + "C", + "B", + "B", + "D", + "B", + "D", + "B", + "D", + "B", + "A", + "B", + "D", + "C", + "B", + "A", + "A", + "D", + "A", + "B", + "A", + "A", + "D", + "A", + "C", + "C", + "D", + "C", + "A", + "A", + "A", + "B", + "A", + "B", + "", + "C", + "A", + "A", + "C", + "C", + "C", + "A", + "C", + "C", + "A", + "B", + "C", + "D", + "C", + "D", + "B", + "A", + "D", + "B", + "B", + "D", + "B", + "A", + "B", + "A", + "A", + "B", + "A", + "A", + "D", + "C", + "C", + "A", + "D", + "A", + "C", + "A", + "C", + "C", + "A", + "D", + "B", + "A", + "B", + "B", + "C", + "B", + "A", + "D" + ], + "gold_answers": [ + "D", + "C", + "D", + "B", + "B", + "B", + "A", + "D", + "C", + "D", + "D", + "B", + "A", + "D", + "D", + "C", + "D", + "D", + "C", + "B", + "D", + "D", + "D", + "B", + "D", + "A", + "D", + "D", + "D", + "C", + "B", + "C", + "B", + "D", + "A", + "C", + "C", + "B", + "A", + "A", + "B", + "D", + "B", + "A", + "D", + "A", + "A", + "B", + "A", + "D", + "C", + "D", + "B", + "A", + "C", + "C", + "C", + "C", + "A", + "A", + "B", + "D", + "B", + "D", + "C", + "D", + "D", + "C", + "D", + "D", + "D", + "D", + "A", + "A", + "B", + "C", + "A", + "A", + "A", + "B", + "B", + "B", + "D", + "D", + "D", + "D", + "D", + "D", + "D", + "B", + "A", + "D", + "D", + "A", + "D", + "D", + "C", + "C", + "B", + "D" + ] + }, + "college_computer_science": { + "pred_answers": [ + "A", + "C", + "B", + "A", + "D", + "C", + "A", + "D", + "B", + "D", + "D", + "A", + "", + "C", + "A", + "C", + "C", + "D", + "A", + "A", + "D", + "B", + "A", + "B", + "B", + "D", + "C", + "D", + "D", + "B", + "C", + "D", + "C", + "A", + "B", + "None", + "C", + "C", + "C", + "B", + "A", + "D", + "A", + "B", + "D", + "D", + "D", + "D", + "C", + "II", + "D", + "D", + "A", + "C", + "A", + "C", + "D", + "A", + "A", + "A", + "B", + "D", + "D", + "A", + "C", + "A", + "A", + "A", + "C", + "A", + "B", + "A", + "C", + "A", + "D", + "A", + "D", + "D", + "D", + "D", + "A", + "C", + "D", + "A", + "A", + "B", + "A", + "A", + "", + "A", + "C", + "C", + "D", + "C", + "B", + "A", + "B", + "D", + "C", + "D" + ], + "gold_answers": [ + "A", + "C", + "B", + "A", + "C", + "C", + "C", + "B", + "C", + "C", + "D", + "A", + "A", + "C", + "A", + "D", + "D", + "B", + "A", + "D", + "D", + "B", + "A", + "A", + "A", + "D", + "C", + "D", + "D", + "C", + "C", + "D", + "D", + "A", + "B", + "C", + "C", + "D", + "D", + "B", + "A", + "D", + "A", + "D", + "D", + "C", + "D", + "A", + "A", + "D", + "D", + "B", + "C", + "C", + "A", + "C", + "D", + "D", + "B", + "D", + "D", + "B", + "D", + "A", + "A", + "C", + "A", + "B", + "B", + "A", + "D", + "A", + "D", + "C", + "D", + "C", + "A", + "B", + "C", + "D", + "B", + "C", + "D", + "A", + "D", + "D", + "A", + "B", + "C", + "A", + "C", + "C", + "B", + "C", + "D", + "A", + "A", + "D", + "C", + "D" + ] + }, + "college_mathematics": { + "pred_answers": [ + "D", + "C", + "A", + "A", + "C", + "D", + "A", + "C", + "C", + "C", + "D", + "B", + "A", + "", + "C", + "A", + "D", + "A", + "A", + "B", + "D", + "Five", + "A", + "A", + "B", + "A", + "C", + "A", + "C", + "D", + "D", + "A", + "A", + "C", + "D", + "C", + "B", + "", + "C", + "D", + "B", + "D", + "A", + "D", + "D", + "A", + "A", + "A", + "D", + "A", + "C", + "A", + "C", + "C", + "C", + "D", + "C", + "D", + "A", + "A", + "C", + "D", + "A", + "C", + "D", + "A", + "B", + "D", + "A", + "D", + "C", + "D", + "A", + "A", + "A", + "C", + "B", + "A", + "D", + "A", + "B", + "C", + "C", + "A", + "C", + "C", + "A", + "A", + "B", + "A", + "D", + "C", + "B", + "B", + "C", + "D", + "D", + "A", + "C", + "A" + ], + "gold_answers": [ + "B", + "D", + "D", + "A", + "C", + "D", + "C", + "C", + "C", + "A", + "D", + "B", + "A", + "B", + "D", + "D", + "B", + "C", + "D", + "A", + "D", + "D", + "B", + "A", + "B", + "D", + "D", + "A", + "A", + "B", + "C", + "B", + "B", + "C", + "D", + "D", + "A", + "A", + "A", + "C", + "B", + "D", + "D", + "A", + "D", + "A", + "B", + "B", + "C", + "D", + "A", + "B", + "C", + "C", + "A", + "D", + "B", + "D", + "C", + "A", + "B", + "A", + "A", + "D", + "B", + "D", + "C", + "D", + "A", + "A", + "D", + "D", + "D", + "D", + "C", + "D", + "D", + "C", + "B", + "B", + "C", + "B", + "B", + "C", + "C", + "B", + "A", + "C", + "C", + "C", + "B", + "C", + "C", + "B", + "D", + "D", + "C", + "C", + "D", + "A" + ] + }, + "college_medicine": { + "pred_answers": [ + "C", + "A", + "D", + "C", + "B", + "D", + "A", + "C", + "A", + "A", + "A", + "C", + "A", + "D", + "A", + "D", + "C", + "D", + "C", + "B", + "A", + "B", + "D", + "A", + "B", + "B", + "A", + "C", + "A", + "C", + "D", + "B", + "A", + "D", + "D", + "B", + "D", + "D", + "D", + "A", + "B", + "A", + "D", + "C", + "A", + "B", + "C", + "A", + "B", + "B", + "A", + "D", + "C", + "C", + "B", + "B", + "C", + "A", + "C", + "C", + "C", + "D", + "D", + "D", + "A", + "C", + "B", + "D", + "A", + "D", + "D", + "C", + "B", + "A", + "D", + "C", + "A", + "D", + "B", + "A", + "D", + "C", + "D", + "A", + "A", + "B", + "D", + "A", + "B", + "B", + "A", + "A", + "B", + "A", + "B", + "D", + "B", + "D", + "D", + "D", + "D", + "C", + "C", + "D", + "C", + "A", + "A", + "D", + "C", + "D", + "B", + "A", + "A", + "A", + "B", + "C", + "B", + "C", + "D", + "A", + "D", + "C", + "B", + "B", + "B", + "A", + "C", + "C", + "A", + "B", + "D", + "C", + "D", + "D", + "None", + "A", + "C", + "A", + "B", + "D", + "A", + "C", + "A", + "D", + "B", + "D", + "B", + "B", + "B", + "A", + "C", + "B", + "A", + "C", + "D", + "B", + "C", + "C", + "D", + "C", + "D", + "D", + "B", + "A", + "B", + "C", + "C", + "D", + "A", + "C", + "D", + "C", + "B" + ], + "gold_answers": [ + "B", + "D", + "D", + "D", + "A", + "D", + "A", + "C", + "A", + "A", + "C", + "A", + "D", + "B", + "B", + "B", + "C", + "B", + "B", + "B", + "C", + "D", + "D", + "A", + "B", + "C", + "C", + "D", + "A", + "D", + "D", + "B", + "C", + "D", + "D", + "B", + "D", + "D", + "D", + "A", + "C", + "A", + "D", + "C", + "C", + "D", + "C", + "A", + "B", + "C", + "D", + "D", + "C", + "C", + "B", + "B", + "B", + "A", + "C", + "C", + "C", + "D", + "D", + "C", + "D", + "D", + "B", + "D", + "D", + "D", + "D", + "C", + "C", + "D", + "A", + "C", + "A", + "C", + "C", + "A", + "D", + "C", + "B", + "A", + "A", + "B", + "D", + "A", + "C", + "D", + "B", + "A", + "D", + "A", + "D", + "D", + "C", + "A", + "D", + "D", + "D", + "D", + "B", + "D", + "C", + "A", + "A", + "D", + "C", + "D", + "D", + "A", + "C", + "A", + "D", + "C", + "B", + "A", + "D", + "A", + "B", + "C", + "B", + "B", + "B", + "A", + "C", + "C", + "B", + "D", + "B", + "D", + "D", + "A", + "D", + "A", + "C", + "B", + "B", + "C", + "A", + "C", + "A", + "C", + "B", + "D", + "B", + "D", + "A", + "B", + "C", + "D", + "A", + "C", + "D", + "B", + "B", + "A", + "C", + "C", + "D", + "C", + "D", + "D", + "D", + "B", + "B", + "D", + "A", + "A", + "D", + "C", + "B" + ] + }, + "college_physics": { + "pred_answers": [ + "A", + "A", + "C", + "A", + "D", + "A", + "C", + "C", + "A", + "B", + "D", + "C", + "D", + "B", + "A", + "B", + "D", + "C", + "D", + "C", + "C", + "C", + "B", + "B", + "B", + "D", + "C", + "C", + "B", + "B", + "D", + "D", + "A", + "B", + "C", + "B", + "D", + "A", + "C", + "D", + "D", + "A", + "C", + "B", + "B", + "C", + "C", + "B", + "B", + "D", + "C", + "A", + "A", + "C", + "B", + "C", + "B", + "D", + "B", + "C", + "None", + "A", + "D", + "B", + "A", + "D", + "C", + "", + "B", + "A", + "C", + "C", + "C", + "B", + "C", + "A", + "C", + "D", + "D", + "C", + "C", + "D", + "B", + "B", + "A", + "B", + "C", + "C", + "B", + "A", + "B", + "C", + "C", + "C", + "B", + "A", + "D", + "A", + "C", + "B", + "B", + "D" + ], + "gold_answers": [ + "B", + "C", + "C", + "A", + "B", + "C", + "D", + "A", + "A", + "D", + "D", + "D", + "D", + "B", + "A", + "D", + "B", + "A", + "B", + "A", + "C", + "D", + "B", + "C", + "B", + "D", + "A", + "B", + "B", + "D", + "D", + "D", + "B", + "D", + "D", + "D", + "D", + "A", + "C", + "D", + "D", + "B", + "C", + "B", + "B", + "B", + "C", + "D", + "D", + "D", + "B", + "A", + "A", + "D", + "C", + "D", + "C", + "D", + "D", + "C", + "D", + "A", + "D", + "D", + "A", + "D", + "B", + "A", + "A", + "A", + "D", + "C", + "C", + "B", + "C", + "C", + "C", + "D", + "D", + "C", + "A", + "B", + "A", + "D", + "A", + "D", + "D", + "D", + "D", + "A", + "B", + "C", + "A", + "C", + "C", + "D", + "C", + "C", + "A", + "B", + "A", + "D" + ] + }, + "computer_security": { + "pred_answers": [ + "C", + "A", + "D", + "A", + "C", + "A", + "A", + "A", + "A", + "D", + "A", + "A", + "C", + "B", + "C", + "B", + "A", + "A", + "A", + "D", + "D", + "C", + "B", + "C", + "A", + "C", + "C", + "B", + "C", + "A", + "D", + "D", + "A", + "C", + "D", + "C", + "A", + "D", + "A", + "C", + "B", + "A", + "B", + "D", + "B", + "D", + "B", + "C", + "A", + "D", + "C", + "A", + "A", + "C", + "A", + "C", + "A", + "B", + "B", + "D", + "A", + "A", + "C", + "D", + "D", + "A", + "B", + "A", + "B", + "A", + "B", + "B", + "C", + "C", + "B", + "C", + "D", + "C", + "A", + "C", + "D", + "A", + "A", + "C", + "B", + "A", + "C", + "A", + "A", + "A", + "B", + "C", + "B", + "C", + "A", + "A", + "A", + "C", + "C", + "C" + ], + "gold_answers": [ + "C", + "A", + "C", + "A", + "A", + "B", + "A", + "A", + "A", + "B", + "D", + "C", + "C", + "B", + "C", + "B", + "B", + "A", + "A", + "D", + "D", + "C", + "D", + "C", + "A", + "C", + "B", + "B", + "C", + "A", + "D", + "D", + "C", + "C", + "D", + "C", + "C", + "D", + "A", + "C", + "B", + "B", + "B", + "D", + "A", + "D", + "B", + "C", + "A", + "C", + "C", + "B", + "A", + "B", + "A", + "B", + "A", + "B", + "B", + "D", + "A", + "A", + "C", + "D", + "D", + "C", + "B", + "A", + "B", + "B", + "A", + "B", + "C", + "A", + "B", + "A", + "D", + "C", + "D", + "C", + "D", + "C", + "A", + "C", + "C", + "A", + "C", + "A", + "D", + "A", + "C", + "C", + "B", + "D", + "B", + "A", + "A", + "C", + "C", + "B" + ] + }, + "conceptual_physics": { + "pred_answers": [ + "A", + "B", + "B", + "B", + "A", + "V", + "D", + "A", + "B", + "E", + "B", + "C", + "D", + "B", + "B", + "A", + "A", + "B", + "D", + "A", + "C", + "C", + "A", + "B", + "C", + "B", + "", + "A", + "C", + "A", + "A", + "D", + "B", + "D", + "D", + "B", + "C", + "C", + "D", + "A", + "A", + "C", + "B", + "A", + "C", + "A", + "B", + "A", + "A", + "A", + "A", + "A", + "absorbed", + "B", + "A", + "A", + "C", + "A", + "D", + "B", + "C", + "A", + "C", + "B", + "D", + "D", + "C", + "A", + "A", + "C", + "B", + "B", + "D", + "D", + "B", + "None", + "A", + "B", + "D", + "B", + "C", + "A", + "A", + "B", + "C", + "A", + "C", + "B", + "A", + "C", + "B", + "A", + "B", + "A", + "A", + "D", + "A", + "A", + "A", + "A", + "C", + "A", + "M", + "C", + "A", + "C", + "C", + "B", + "C", + "D", + "B", + "A", + "B", + "B", + "B", + "B", + "B", + "C", + "A", + "C", + "B", + "B", + "B", + "C", + "B", + "D", + "C", + "A", + "C", + "A", + "A", + "D", + "B", + "A", + "A", + "C", + "A", + "C", + "D", + "A", + "B", + "B", + "B", + "D", + "D", + "A", + "B", + "B", + "B", + "A", + "A", + "A", + "B", + "C", + "B", + "B", + "A", + "C", + "A", + "B", + "C", + "A", + "D", + "B", + "B", + "C", + "C", + "C", + "B", + "C", + "C", + "A", + "B", + "C", + "C", + "A", + "C", + "", + "C", + "", + "A", + "A", + "B", + "B", + "B", + "C", + "B", + "B", + "A", + "A", + "B", + "B", + "A", + "D", + "D", + "A", + "A", + "D", + "A", + "B", + "B", + "B", + "A", + "A", + "C", + "A", + "B", + "B", + "B", + "B", + "A", + "D", + "C", + "D", + "A", + "C", + "A", + "B", + "B", + "B", + "B", + "D", + "B", + "A", + "D", + "A", + "B", + "A", + "B", + "B", + "B", + "B", + "B", + "A", + "A" + ], + "gold_answers": [ + "A", + "B", + "B", + "B", + "A", + "D", + "D", + "A", + "B", + "D", + "B", + "C", + "B", + "A", + "B", + "A", + "A", + "B", + "D", + "A", + "A", + "C", + "D", + "C", + "C", + "A", + "D", + "A", + "C", + "C", + "B", + "D", + "C", + "D", + "D", + "A", + "A", + "C", + "D", + "A", + "C", + "D", + "B", + "C", + "D", + "A", + "C", + "B", + "A", + "A", + "A", + "A", + "A", + "B", + "D", + "D", + "C", + "B", + "D", + "C", + "C", + "C", + "C", + "D", + "B", + "C", + "B", + "D", + "A", + "C", + "A", + "A", + "C", + "C", + "B", + "D", + "B", + "A", + "B", + "A", + "C", + "B", + "A", + "A", + "D", + "A", + "C", + "C", + "A", + "C", + "B", + "B", + "B", + "A", + "C", + "B", + "A", + "A", + "A", + "A", + "C", + "B", + "D", + "B", + "A", + "A", + "D", + "B", + "C", + "A", + "C", + "A", + "A", + "B", + "B", + "A", + "B", + "C", + "B", + "C", + "B", + "D", + "B", + "C", + "B", + "D", + "C", + "A", + "B", + "C", + "A", + "D", + "B", + "C", + "B", + "A", + "A", + "B", + "D", + "B", + "A", + "C", + "A", + "D", + "D", + "C", + "B", + "B", + "B", + "D", + "A", + "A", + "B", + "D", + "B", + "D", + "A", + "A", + "C", + "B", + "B", + "A", + "B", + "B", + "D", + "C", + "B", + "D", + "D", + "C", + "A", + "B", + "B", + "B", + "A", + "A", + "D", + "D", + "D", + "D", + "D", + "D", + "B", + "B", + "B", + "A", + "A", + "B", + "C", + "A", + "B", + "A", + "A", + "D", + "D", + "B", + "B", + "D", + "B", + "B", + "B", + "B", + "A", + "B", + "C", + "D", + "B", + "B", + "B", + "C", + "C", + "C", + "A", + "D", + "C", + "D", + "B", + "C", + "B", + "D", + "B", + "D", + "B", + "C", + "D", + "B", + "B", + "B", + "B", + "A", + "B", + "C", + "B", + "A", + "D" + ] + }, + "econometrics": { + "pred_answers": [ + "A", + "C", + "A", + "D", + "C", + "A", + "B", + "D", + "D", + "B", + "(", + "D", + "B", + "D", + "A", + "C", + "A", + "A", + "A", + "A", + "B", + "C", + "D", + "B", + "A", + "A", + "B", + "D", + "D", + "D", + "A", + "D", + "A", + "A", + "D", + "D", + "B", + "B", + "D", + "B", + "D", + "C", + "D", + "C", + "B", + "C", + "A", + "A", + "A", + "D", + "A", + "D", + "D", + "C", + "(", + "A", + "D", + "A", + "D", + "A", + "C", + "C", + "A", + "C", + "D", + "B", + "B", + "D", + "C", + "D", + "D", + "D", + "D", + "B", + "B", + "B", + "D", + "A", + "A", + "T", + "D", + "A", + "A", + "C", + "A", + "B", + "C", + "C", + "B", + "B", + "D", + "D", + "D", + "A", + "C", + "A", + "A", + "D", + "B", + "A", + "D", + "D", + "B", + "B", + "B", + "B", + "C", + "C", + "D", + "D", + "D", + "D", + "B", + "B" + ], + "gold_answers": [ + "A", + "C", + "A", + "D", + "C", + "B", + "A", + "C", + "B", + "C", + "B", + "D", + "D", + "B", + "B", + "A", + "C", + "B", + "D", + "B", + "B", + "D", + "A", + "A", + "D", + "A", + "B", + "D", + "D", + "D", + "B", + "D", + "A", + "A", + "A", + "C", + "B", + "B", + "C", + "D", + "C", + "B", + "C", + "A", + "A", + "C", + "A", + "A", + "B", + "A", + "A", + "C", + "A", + "C", + "C", + "B", + "D", + "A", + "C", + "B", + "C", + "D", + "C", + "C", + "A", + "B", + "C", + "A", + "B", + "C", + "A", + "A", + "D", + "B", + "B", + "B", + "A", + "A", + "B", + "B", + "D", + "D", + "C", + "D", + "B", + "D", + "C", + "C", + "D", + "B", + "D", + "A", + "C", + "C", + "C", + "A", + "A", + "B", + "D", + "D", + "B", + "D", + "D", + "D", + "D", + "B", + "C", + "B", + "D", + "C", + "B", + "B", + "B", + "C" + ] + }, + "electrical_engineering": { + "pred_answers": [ + "D", + "A", + "A", + "B", + "D", + "C", + "A", + "D", + "A", + "C", + "B", + "C", + "A", + "A", + "B", + "C", + "A", + "D", + "D", + "B", + "A", + "C", + "B", + "B", + "D", + "C", + "C", + "A", + "C", + "D", + "R", + "D", + "D", + "C", + "B", + "C", + "C", + "A", + "D", + "C", + "B", + "C", + "D", + "A", + "A", + "B", + "C", + "C", + "D", + "C", + "D", + "D", + "C", + "D", + "B", + "C", + "resolution", + "C", + "B", + "C", + "A", + "D", + "A", + "D", + "D", + "C", + "B", + "None", + "A", + "A", + "A", + "B", + "C", + "C", + "C", + "D", + "C", + "A", + "D", + "B", + "A", + "B", + "C", + "D", + "A", + "C", + "A", + "D", + "C", + "B", + "D", + "D", + "A", + "B", + "A", + "D", + "A", + "A", + "C", + "B", + "C", + "B", + "C", + "B", + "D", + "C", + "C", + "B", + "C", + "B", + "A", + "A", + "Direct", + "C", + "C", + "C", + "C", + "B", + "C", + "A", + "C", + "A", + "D", + "C", + "B", + "C", + "B", + "B", + "D", + "A", + "D", + "A", + "C", + "D", + "A", + "C", + "D", + "C", + "C", + "A", + "C", + "B", + "B", + "C", + "B" + ], + "gold_answers": [ + "D", + "D", + "A", + "A", + "C", + "D", + "C", + "D", + "A", + "A", + "B", + "D", + "D", + "D", + "C", + "C", + "A", + "D", + "A", + "A", + "A", + "B", + "B", + "A", + "D", + "D", + "B", + "A", + "B", + "C", + "C", + "A", + "D", + "C", + "B", + "A", + "C", + "A", + "D", + "B", + "A", + "B", + "A", + "B", + "A", + "B", + "C", + "C", + "D", + "C", + "C", + "D", + "C", + "D", + "B", + "C", + "A", + "C", + "B", + "B", + "C", + "C", + "B", + "A", + "D", + "C", + "A", + "B", + "C", + "A", + "A", + "B", + "C", + "C", + "B", + "D", + "C", + "A", + "D", + "C", + "A", + "B", + "C", + "D", + "A", + "C", + "B", + "D", + "C", + "C", + "D", + "D", + "B", + "A", + "C", + "D", + "A", + "B", + "D", + "B", + "C", + "B", + "C", + "D", + "D", + "D", + "C", + "B", + "C", + "B", + "C", + "A", + "B", + "D", + "C", + "C", + "C", + "B", + "C", + "A", + "D", + "A", + "D", + "D", + "B", + "A", + "B", + "A", + "B", + "B", + "D", + "A", + "C", + "D", + "B", + "C", + "D", + "A", + "A", + "D", + "C", + "C", + "C", + "C", + "A" + ] + }, + "elementary_mathematics": { + "pred_answers": [ + "A", + "D", + "C", + "C", + "D", + "C", + "A", + "C", + "A", + "B", + "D", + "C", + "D", + "C", + "A", + "C", + "C", + "B", + "D", + "C", + "C", + "B", + "A", + "C", + "C", + "B", + "A", + "A", + "A", + "A", + "A", + "A", + "C", + "C", + "B", + "A", + "A", + "A", + "D", + "B", + "B", + "A", + "A", + "A", + "B", + "C", + "C", + "A", + "B", + "D", + "B", + "C", + "C", + "A", + "B", + "C", + "C", + "A", + "D", + "D", + "A", + "B", + "C", + "C", + "A", + "D", + "B", + "C", + "D", + "A", + "D", + "C", + "A", + "C", + "B", + "D", + "D", + "D", + "B", + "A", + "C", + "A", + "C", + "A", + "B", + "C", + "C", + "A", + "A", + "C", + "C", + "B", + "", + "A", + "", + "B", + "C", + "A", + "D", + "C", + "A", + "B", + "D", + "C", + "C", + "A", + "C", + "D", + "D", + "A", + "C", + "B", + "C", + "A", + "C", + "", + "C", + "C", + "C", + "B", + "B", + "C", + "A", + "A", + "A", + "D", + "D", + "C", + "C", + "C", + "A", + "A", + "B", + "C", + "D", + "A", + "C", + "D", + "C", + "C", + "C", + "A", + "A", + "A", + "D", + "D", + "C", + "C", + "B", + "B", + "C", + "A", + "A", + "C", + "B", + "D", + "D", + "B", + "D", + "D", + "C", + "D", + "C", + "A", + "C", + "B", + "B", + "C", + "C", + "D", + "C", + "A", + "C", + "B", + "A", + "C", + "C", + "C", + "A", + "A", + "C", + "D", + "C", + "C", + "A", + "A", + "C", + "C", + "B", + "B", + "C", + "B", + "C", + "C", + "A", + "B", + "C", + "B", + "B", + "A", + "A", + "C", + "C", + "B", + "A", + "A", + "C", + "A", + "D", + "C", + "B", + "C", + "A", + "B", + "C", + "A", + "D", + "C", + "B", + "B", + "C", + "C", + "B", + "A", + "B", + "D", + "A", + "D", + "A", + "C", + "D", + "B", + "C", + "D", + "A", + "B", + "A", + "A", + "A", + "A", + "A", + "A", + "D", + "D", + "C", + "C", + "D", + "A", + "B", + "D", + "B", + "A", + "A", + "B", + "A", + "A", + "B", + "D", + "C", + "D", + "D", + "C", + "D", + "C", + "B", + "A", + "A", + "A", + "C", + "C", + "C", + "C", + "B", + "D", + "B", + "A", + "B", + "A", + "D", + "C", + "A", + "B", + "C", + "B", + "D", + "B", + "A", + "A", + "A", + "C", + "A", + "C", + "A", + "D", + "D", + "A", + "D", + "C", + "C", + "A", + "A", + "C", + "D", + "D", + "C", + "B", + "C", + "C", + "B", + "A", + "B", + "C", + "C", + "C", + "D", + "B", + "D", + "C", + "C", + "A", + "B", + "B", + "D", + "A", + "C", + "B", + "A", + "C", + "C", + "D", + "D", + "D", + "D", + "A", + "D", + "D", + "B", + "C", + "C", + "A", + "C", + "D", + "C", + "C", + "B", + "D", + "B", + "A", + "D", + "C", + "B", + "C", + "C", + "D", + "B", + "D", + "A", + "B", + "D", + "A", + "C", + "D", + "C", + "C", + "D", + "A", + "D", + "B", + "A", + "A", + "C", + "C", + "D", + "D", + "D", + "C", + "C", + "C" + ], + "gold_answers": [ + "C", + "C", + "D", + "B", + "B", + "C", + "C", + "B", + "D", + "D", + "C", + "D", + "A", + "A", + "C", + "B", + "B", + "B", + "D", + "A", + "C", + "B", + "A", + "C", + "B", + "A", + "D", + "D", + "A", + "A", + "B", + "B", + "A", + "C", + "D", + "A", + "A", + "D", + "C", + "C", + "B", + "D", + "A", + "C", + "D", + "B", + "D", + "C", + "D", + "D", + "A", + "B", + "B", + "A", + "B", + "A", + "D", + "A", + "D", + "B", + "D", + "B", + "C", + "C", + "D", + "C", + "D", + "A", + "C", + "D", + "C", + "A", + "B", + "C", + "B", + "D", + "A", + "D", + "D", + "A", + "B", + "A", + "D", + "C", + "B", + "D", + "A", + "C", + "B", + "B", + "C", + "A", + "B", + "A", + "C", + "D", + "C", + "A", + "A", + "C", + "A", + "A", + "B", + "C", + "A", + "D", + "C", + "C", + "A", + "B", + "C", + "B", + "B", + "A", + "A", + "D", + "A", + "B", + "B", + "B", + "B", + "A", + "A", + "B", + "B", + "C", + "D", + "C", + "C", + "D", + "D", + "D", + "B", + "C", + "C", + "C", + "C", + "D", + "B", + "C", + "D", + "C", + "D", + "A", + "B", + "C", + "D", + "C", + "C", + "B", + "C", + "B", + "A", + "C", + "D", + "D", + "C", + "A", + "A", + "B", + "A", + "D", + "D", + "D", + "B", + "B", + "A", + "D", + "C", + "C", + "C", + "A", + "C", + "C", + "A", + "C", + "C", + "C", + "B", + "A", + "A", + "C", + "B", + "B", + "D", + "D", + "D", + "B", + "B", + "B", + "D", + "B", + "D", + "D", + "C", + "B", + "B", + "B", + "D", + "D", + "A", + "C", + "A", + "B", + "C", + "D", + "D", + "B", + "D", + "C", + "C", + "C", + "C", + "B", + "A", + "A", + "B", + "A", + "B", + "C", + "B", + "C", + "D", + "A", + "C", + "D", + "B", + "D", + "B", + "A", + "B", + "C", + "D", + "B", + "D", + "D", + "B", + "A", + "D", + "D", + "D", + "B", + "C", + "B", + "B", + "C", + "B", + "A", + "C", + "D", + "D", + "A", + "A", + "B", + "D", + "A", + "B", + "D", + "B", + "D", + "C", + "D", + "C", + "C", + "D", + "D", + "B", + "C", + "A", + "B", + "B", + "C", + "C", + "D", + "B", + "A", + "C", + "C", + "A", + "C", + "C", + "D", + "C", + "B", + "B", + "D", + "C", + "A", + "D", + "A", + "A", + "A", + "A", + "D", + "D", + "C", + "D", + "C", + "B", + "D", + "B", + "C", + "C", + "D", + "A", + "C", + "B", + "C", + "B", + "C", + "D", + "D", + "D", + "C", + "C", + "C", + "D", + "D", + "D", + "A", + "A", + "B", + "D", + "B", + "B", + "B", + "A", + "D", + "C", + "A", + "C", + "D", + "D", + "C", + "D", + "D", + "B", + "C", + "D", + "B", + "C", + "D", + "A", + "A", + "B", + "A", + "D", + "A", + "A", + "B", + "B", + "D", + "B", + "C", + "A", + "D", + "A", + "B", + "C", + "B", + "C", + "C", + "B", + "D", + "A", + "C", + "D", + "C", + "A", + "B", + "D", + "B", + "B", + "D", + "A", + "D", + "C", + "B" + ] + }, + "formal_logic": { + "pred_answers": [ + "D", + "A", + "A", + "C", + "A", + "D", + "C", + "B", + "C", + "D", + "D", + "C", + "D", + "C", + "D", + "B", + "B", + "B", + "C", + "A", + "C", + "A", + "A", + "B", + "D", + "C", + "D", + "A", + "A", + "C", + "B", + "B", + "D", + "B", + "B", + "D", + "B", + "B", + "A", + "D", + "A", + "A", + "C", + "C", + "C", + "A", + "D", + "A", + "B", + "D", + "C", + "C", + "A", + "B", + "D", + "B", + "D", + "C", + "B", + "A", + "C", + "D", + "B", + "A", + "C", + "A", + "D", + "C", + "A", + "C", + "D", + "C", + "D", + "C", + "D", + "A", + "A", + "A", + "C", + "A", + "A", + "B", + "D", + "C", + "D", + "C", + "A", + "D", + "A", + "A", + "B", + "B", + "C", + "A", + "C", + "C", + "C", + "D", + "D", + "C", + "B", + "D", + "C", + "D", + "B", + "A", + "C", + "A", + "C", + "C", + "A", + "C", + "A", + "B", + "A", + "C", + "D", + "A", + "A", + "A", + "A", + "C", + "B", + "C", + "A", + "A" + ], + "gold_answers": [ + "D", + "A", + "C", + "A", + "B", + "D", + "D", + "B", + "D", + "D", + "A", + "B", + "D", + "C", + "D", + "B", + "D", + "D", + "B", + "B", + "B", + "D", + "B", + "C", + "D", + "A", + "D", + "A", + "A", + "A", + "B", + "A", + "D", + "B", + "D", + "C", + "B", + "D", + "B", + "D", + "A", + "A", + "C", + "A", + "A", + "A", + "D", + "A", + "D", + "B", + "B", + "A", + "D", + "D", + "B", + "B", + "B", + "B", + "B", + "D", + "C", + "D", + "D", + "A", + "D", + "D", + "D", + "A", + "D", + "A", + "D", + "C", + "A", + "A", + "D", + "D", + "C", + "B", + "B", + "C", + "D", + "A", + "B", + "A", + "D", + "B", + "C", + "D", + "A", + "A", + "D", + "A", + "C", + "A", + "C", + "D", + "D", + "D", + "D", + "C", + "D", + "A", + "A", + "D", + "D", + "A", + "D", + "A", + "A", + "D", + "B", + "B", + "A", + "C", + "D", + "A", + "C", + "C", + "C", + "A", + "A", + "D", + "D", + "A", + "C", + "C" + ] + }, + "global_facts": { + "pred_answers": [ + "C", + "A", + "C", + "China", + "C", + "C", + "C", + "C", + "C", + "C", + "C", + "C", + "C", + "D", + "B", + "C", + "C", + "C", + "A", + "B", + "B", + "C", + "C", + "C", + "A", + "B", + "D", + "C", + "C", + "C", + "B", + "A", + "C", + "C", + "C", + "C", + "None", + "A", + "C", + "B", + "B", + "C", + "C", + "C", + "D", + "C", + "C", + "C", + "B", + "C", + "B", + "B", + "B", + "C", + "C", + "A", + "C", + "C", + "D", + "B", + "C", + "A", + "C", + "C", + "A", + "B", + "C", + "Q", + "C", + "C", + "C", + "C", + "A", + "A", + "B", + "B", + "C", + "A", + "D", + "C", + "A", + "C", + "C", + "B", + "A", + "C", + "C", + "A", + "A", + "B", + "China", + "A", + "C", + "A", + "C", + "C", + "D", + "D", + "C", + "C" + ], + "gold_answers": [ + "C", + "B", + "C", + "A", + "C", + "A", + "C", + "C", + "C", + "B", + "D", + "B", + "C", + "A", + "B", + "B", + "A", + "C", + "C", + "B", + "A", + "A", + "D", + "B", + "D", + "D", + "D", + "C", + "D", + "C", + "C", + "A", + "B", + "C", + "D", + "D", + "D", + "B", + "D", + "C", + "B", + "A", + "C", + "A", + "C", + "C", + "A", + "B", + "C", + "B", + "B", + "B", + "B", + "D", + "A", + "B", + "D", + "D", + "C", + "B", + "C", + "A", + "B", + "C", + "B", + "C", + "A", + "B", + "C", + "B", + "B", + "A", + "B", + "C", + "C", + "B", + "C", + "A", + "C", + "B", + "C", + "C", + "A", + "B", + "A", + "B", + "C", + "C", + "C", + "B", + "D", + "A", + "D", + "B", + "B", + "B", + "D", + "D", + "C", + "D" + ] + }, + "high_school_biology": { + "pred_answers": [ + "A", + "C", + "C", + "A", + "C", + "C", + "A", + "C", + "B", + "A", + "C", + "B", + "A", + "A", + "D", + "B", + "A", + "B", + "A", + "C", + "D", + "C", + "A", + "B", + "B", + "B", + "B", + "B", + "C", + "C", + "C", + "B", + "B", + "C", + "A", + "A", + "B", + "D", + "A", + "C", + "A", + "D", + "A", + "A", + "A", + "C", + "B", + "B", + "B", + "A", + "D", + "D", + "A", + "B", + "B", + "D", + "D", + "A", + "C", + "A", + "C", + "B", + "C", + "B", + "D", + "D", + "C", + "B", + "B", + "C", + "A", + "D", + "D", + "D", + "D", + "D", + "A", + "D", + "C", + "D", + "C", + "A", + "A", + "D", + "D", + "A", + "D", + "C", + "C", + "B", + "C", + "C", + "C", + "A", + "B", + "A", + "B", + "B", + "B", + "B", + "B", + "D", + "D", + "D", + "A", + "D", + "A", + "C", + "C", + "A", + "C", + "A", + "C", + "B", + "C", + "C", + "B", + "A", + "C", + "D", + "A", + "A", + "D", + "C", + "C", + "C", + "A", + "B", + "C", + "B", + "B", + "D", + "B", + "A", + "C", + "D", + "D", + "C", + "C", + "D", + "A", + "C", + "C", + "B", + "A", + "D", + "D", + "C", + "B", + "C", + "D", + "C", + "A", + "A", + "D", + "B", + "C", + "B", + "D", + "D", + "D", + "B", + "D", + "A", + "A", + "C", + "A", + "A", + "A", + "D", + "D", + "A", + "C", + "B", + "A", + "D", + "C", + "A", + "C", + "A", + "A", + "A", + "C", + "D", + "A", + "D", + "C", + "A", + "C", + "D", + "C", + "C", + "B", + "A", + "D", + "A", + "B", + "A", + "A", + "A", + "B", + "D", + "D", + "B", + "A", + "A", + "C", + "A", + "B", + "A", + "A", + "C", + "C", + "B", + "A", + "A", + "C", + "C", + "D", + "N", + "C", + "D", + "D", + "D", + "C", + "A", + "C", + "D", + "D", + "B", + "B", + "C", + "D", + "B", + "A", + "A", + "A", + "B", + "C", + "C", + "C", + "A", + "B", + "B", + "C", + "B", + "C", + "A", + "A", + "B", + "None", + "B", + "A", + "B", + "B", + "C", + "D", + "D", + "C", + "D", + "B", + "A", + "A", + "A", + "B", + "B", + "D", + "C", + "A", + "D", + "A", + "A", + "A", + "A", + "B", + "A", + "C", + "B", + "A", + "D", + "C", + "A", + "C", + "B", + "A", + "None", + "B", + "B", + "A", + "A", + "D", + "D", + "A", + "D", + "C", + "A", + "D", + "C", + "A", + "D", + "C", + "D", + "A", + "C", + "C", + "C", + "B", + "D", + "B", + "B" + ], + "gold_answers": [ + "A", + "A", + "C", + "A", + "C", + "C", + "B", + "B", + "A", + "C", + "C", + "B", + "D", + "D", + "D", + "B", + "C", + "B", + "B", + "C", + "D", + "C", + "A", + "B", + "B", + "C", + "B", + "C", + "C", + "C", + "D", + "B", + "C", + "C", + "D", + "C", + "B", + "D", + "C", + "B", + "A", + "D", + "B", + "A", + "B", + "C", + "D", + "A", + "B", + "C", + "D", + "A", + "A", + "D", + "D", + "D", + "C", + "B", + "C", + "D", + "D", + "D", + "A", + "C", + "D", + "B", + "C", + "C", + "C", + "C", + "B", + "D", + "D", + "A", + "D", + "D", + "D", + "D", + "C", + "D", + "C", + "B", + "C", + "C", + "D", + "C", + "D", + "C", + "C", + "B", + "C", + "C", + "C", + "D", + "B", + "C", + "B", + "B", + "B", + "B", + "C", + "D", + "D", + "D", + "D", + "C", + "B", + "C", + "B", + "A", + "C", + "C", + "D", + "B", + "B", + "B", + "B", + "A", + "C", + "D", + "A", + "A", + "D", + "D", + "C", + "C", + "A", + "B", + "C", + "A", + "B", + "D", + "B", + "C", + "B", + "D", + "D", + "A", + "C", + "D", + "A", + "C", + "D", + "D", + "A", + "D", + "A", + "C", + "B", + "D", + "B", + "A", + "A", + "D", + "D", + "B", + "A", + "B", + "D", + "D", + "D", + "B", + "D", + "B", + "A", + "B", + "C", + "C", + "D", + "D", + "D", + "A", + "A", + "B", + "D", + "D", + "C", + "A", + "B", + "A", + "C", + "A", + "C", + "D", + "D", + "D", + "C", + "A", + "C", + "D", + "C", + "B", + "B", + "D", + "D", + "A", + "B", + "A", + "A", + "A", + "B", + "D", + "D", + "B", + "B", + "A", + "D", + "B", + "B", + "A", + "B", + "C", + "C", + "B", + "B", + "D", + "C", + "C", + "D", + "C", + "B", + "D", + "D", + "D", + "C", + "A", + "C", + "D", + "D", + "B", + "B", + "B", + "D", + "D", + "B", + "D", + "D", + "B", + "C", + "C", + "C", + "D", + "B", + "B", + "D", + "B", + "D", + "A", + "B", + "C", + "C", + "B", + "A", + "A", + "D", + "D", + "D", + "D", + "C", + "D", + "D", + "A", + "A", + "C", + "B", + "B", + "A", + "D", + "A", + "C", + "A", + "C", + "A", + "A", + "B", + "A", + "C", + "B", + "A", + "D", + "C", + "D", + "D", + "B", + "A", + "D", + "B", + "B", + "A", + "D", + "D", + "D", + "C", + "D", + "C", + "D", + "D", + "D", + "A", + "D", + "B", + "D", + "A", + "B", + "B", + "C", + "B", + "D", + "B", + "B" + ] + }, + "high_school_chemistry": { + "pred_answers": [ + "A", + "B", + "C", + "A", + "B", + "A", + "C", + "B", + "C", + "A", + "B", + "B", + "B", + "B", + "D", + "B", + "D", + "B", + "B", + "D", + "C", + "A", + "B", + "B", + "A", + "C", + "D", + "C", + "B", + "B", + "C", + "D", + "C", + "A", + "B", + "A", + "B", + "A", + "D", + "C", + "D", + "A", + "D", + "C", + "D", + "A", + "D", + "A", + "C", + "B", + "B", + "C", + "D", + "A", + "A", + "B", + "D", + "C", + "A", + "B", + "A", + "D", + "A", + "C", + "A", + "A", + "B", + "B", + "B", + "B", + "B", + "A", + "D", + "B", + "C", + "B", + "B", + "D", + "D", + "C", + "B", + "D", + "A", + "B", + "B", + "A", + "C", + "A", + "C", + "C", + "D", + "D", + "C", + "B", + "A", + "D", + "A", + "B", + "A", + "A", + "A", + "D", + "A", + "C", + "Ne", + "B", + "D", + "D", + "B", + "A", + "A", + "A", + "C", + "A", + "B", + "B", + "D", + "A", + "B", + "D", + "N", + "B", + "D", + "B", + "A", + "B", + "D", + "Second", + "C", + "B", + "D", + "D", + "D", + "D", + "B", + "B", + "D", + "B", + "B", + "D", + "C", + "B", + "B", + "C", + "C", + "B", + "B", + "B", + "C", + "N", + "D", + "D", + "D", + "C", + "A", + "C", + "B", + "C", + "C", + "B", + "D", + "D", + "B", + "C", + "B", + "D", + "D", + "A", + "C", + "B", + "B", + "D", + "C", + "A", + "A", + "D", + "N", + "C", + "A", + "B", + "B", + "A", + "C", + "B", + "C", + "B", + "D", + "D", + "A", + "B", + "A", + "C", + "D", + "C", + "A", + "D", + "C", + "C", + "C", + "B", + "B", + "D", + "D" + ], + "gold_answers": [ + "A", + "A", + "C", + "A", + "B", + "C", + "C", + "D", + "C", + "A", + "C", + "A", + "C", + "A", + "D", + "C", + "A", + "B", + "B", + "D", + "B", + "C", + "B", + "B", + "C", + "B", + "D", + "C", + "B", + "C", + "A", + "D", + "D", + "C", + "B", + "C", + "B", + "C", + "D", + "C", + "D", + "D", + "C", + "C", + "D", + "A", + "D", + "D", + "C", + "A", + "B", + "A", + "A", + "D", + "C", + "B", + "D", + "C", + "D", + "D", + "A", + "B", + "A", + "D", + "D", + "C", + "B", + "D", + "D", + "D", + "B", + "B", + "D", + "C", + "D", + "B", + "B", + "B", + "B", + "C", + "B", + "A", + "C", + "B", + "B", + "A", + "A", + "B", + "C", + "C", + "C", + "B", + "D", + "D", + "D", + "D", + "D", + "C", + "C", + "A", + "B", + "D", + "B", + "C", + "C", + "A", + "C", + "D", + "B", + "D", + "B", + "A", + "D", + "C", + "B", + "D", + "D", + "D", + "A", + "C", + "C", + "B", + "D", + "B", + "A", + "B", + "D", + "C", + "B", + "D", + "D", + "D", + "D", + "D", + "B", + "B", + "C", + "A", + "B", + "D", + "B", + "B", + "B", + "C", + "D", + "C", + "B", + "C", + "C", + "B", + "C", + "B", + "D", + "C", + "A", + "C", + "B", + "C", + "C", + "C", + "B", + "C", + "C", + "C", + "B", + "D", + "D", + "B", + "C", + "D", + "C", + "B", + "C", + "A", + "A", + "D", + "D", + "A", + "C", + "A", + "B", + "D", + "C", + "D", + "A", + "B", + "C", + "D", + "C", + "B", + "A", + "D", + "D", + "A", + "D", + "B", + "C", + "C", + "D", + "B", + "B", + "C", + "B" + ] + }, + "high_school_computer_science": { + "pred_answers": [ + "D", + "A", + "A", + "B", + "B", + "C", + "C", + "B", + "A", + "B", + "D", + "C", + "C", + "B", + "C", + "A", + "A", + "D", + "D", + "A", + "C", + "B", + "A", + "C", + "B", + "B", + "C", + "A", + "B", + "A", + "None", + "A", + "B", + "B", + "B", + "B", + "A", + "A", + "B", + "A", + "B", + "C", + "B", + "C", + "C", + "B", + "C", + "A", + "B", + "A", + "D", + "C", + "A", + "A", + "D", + "A", + "B", + "D", + "C", + "A", + "D", + "B", + "C", + "D", + "A", + "C", + "B", + "A", + "A", + "D", + "B", + "A", + "A", + "D", + "B", + "A", + "D", + "B", + "Log", + "D", + "A", + "D", + "C", + "B", + "C", + "B", + "B", + "A", + "C", + "A", + "C", + "C", + "B", + "D", + "D", + "B", + "B", + "C", + "D", + "C" + ], + "gold_answers": [ + "C", + "A", + "A", + "C", + "B", + "C", + "B", + "B", + "A", + "B", + "B", + "C", + "C", + "B", + "C", + "A", + "D", + "D", + "D", + "A", + "C", + "B", + "B", + "C", + "D", + "C", + "C", + "D", + "A", + "A", + "A", + "C", + "D", + "B", + "C", + "B", + "A", + "A", + "C", + "D", + "B", + "C", + "A", + "A", + "C", + "B", + "C", + "A", + "B", + "C", + "A", + "C", + "A", + "A", + "D", + "A", + "C", + "D", + "C", + "A", + "D", + "B", + "B", + "D", + "A", + "D", + "D", + "C", + "D", + "D", + "B", + "B", + "C", + "D", + "C", + "C", + "C", + "B", + "A", + "D", + "A", + "C", + "C", + "B", + "C", + "A", + "B", + "A", + "C", + "A", + "A", + "C", + "C", + "D", + "B", + "C", + "B", + "B", + "D", + "C" + ] + }, + "high_school_european_history": { + "pred_answers": [ + "C", + "A", + "D", + "D", + "B", + "C", + "C", + "B", + "C", + "C", + "D", + "D", + "C", + "C", + "A", + "D", + "A", + "C", + "B", + "D", + "C", + "A", + "C", + "B", + "D", + "B", + "C", + "A", + "D", + "C", + "A", + "B", + "D", + "C", + "A", + "C", + "A", + "B", + "D", + "A", + "D", + "D", + "D", + "D", + "D", + "D", + "C", + "C", + "A", + "C", + "C", + "A", + "A", + "D", + "B", + "B", + "D", + "D", + "D", + "D", + "A", + "D", + "B", + "B", + "D", + "B", + "C", + "D", + "A", + "B", + "D", + "D", + "A", + "C", + "B", + "B", + "B", + "D", + "A", + "B", + "C", + "A", + "D", + "A", + "D", + "A", + "C", + "C", + "C", + "B", + "C", + "A", + "D", + "B", + "C", + "B", + "D", + "A", + "A", + "D", + "C", + "D", + "C", + "C", + "D", + "C", + "B", + "A", + "C", + "D", + "B", + "C", + "A", + "D", + "B", + "C", + "A", + "B", + "B", + "D", + "A", + "B", + "B", + "D", + "B", + "C", + "B", + "B", + "B", + "B", + "C", + "D", + "C", + "A", + "C", + "D", + "C", + "B", + "B", + "B", + "D", + "C", + "D", + "C", + "B", + "B", + "A", + "D", + "C", + "C", + "D", + "D", + "C", + "D", + "C", + "C", + "A", + "D", + "C", + "C", + "A", + "A", + "C", + "C", + "B" + ], + "gold_answers": [ + "C", + "A", + "D", + "B", + "B", + "C", + "C", + "B", + "C", + "C", + "D", + "C", + "C", + "B", + "D", + "D", + "A", + "D", + "A", + "D", + "C", + "A", + "A", + "B", + "D", + "B", + "D", + "A", + "B", + "C", + "A", + "D", + "A", + "C", + "A", + "C", + "A", + "B", + "B", + "A", + "A", + "D", + "C", + "C", + "D", + "D", + "C", + "C", + "C", + "A", + "C", + "A", + "A", + "D", + "B", + "B", + "D", + "A", + "D", + "D", + "A", + "C", + "B", + "C", + "D", + "C", + "C", + "D", + "A", + "B", + "D", + "B", + "C", + "C", + "D", + "B", + "D", + "A", + "A", + "B", + "C", + "B", + "D", + "A", + "A", + "A", + "C", + "C", + "C", + "B", + "C", + "A", + "D", + "B", + "C", + "B", + "D", + "D", + "A", + "D", + "C", + "D", + "B", + "C", + "B", + "C", + "B", + "A", + "B", + "D", + "B", + "C", + "A", + "D", + "B", + "C", + "A", + "B", + "B", + "D", + "A", + "B", + "B", + "B", + "B", + "C", + "B", + "A", + "B", + "B", + "C", + "D", + "A", + "B", + "B", + "D", + "D", + "D", + "B", + "A", + "A", + "C", + "D", + "C", + "B", + "B", + "C", + "D", + "C", + "C", + "D", + "D", + "D", + "D", + "C", + "C", + "A", + "D", + "D", + "C", + "A", + "A", + "C", + "C", + "C" + ] + }, + "high_school_geography": { + "pred_answers": [ + "B", + "D", + "C", + "D", + "B", + "D", + "A", + "C", + "D", + "D", + "A", + "B", + "A", + "D", + "A", + "Hindu", + "D", + "D", + "B", + "C", + "C", + "D", + "D", + "A", + "B", + "A", + "A", + "C", + "C", + "A", + "A", + "C", + "B", + "D", + "D", + "C", + "B", + "C", + "D", + "D", + "A", + "A", + "B", + "B", + "D", + "D", + "C", + "C", + "D", + "B", + "A", + "D", + "B", + "B", + "Mong", + "A", + "A", + "C", + "D", + "A", + "C", + "D", + "B", + "D", + "C", + "C", + "D", + "D", + "A", + "D", + "B", + "A", + "D", + "C", + "C", + "A", + "D", + "D", + "A", + "D", + "Green", + "B", + "B", + "C", + "D", + "C", + "B", + "D", + "C", + "A", + "C", + "D", + "C", + "C", + "D", + "D", + "D", + "D", + "B", + "C", + "C", + "C", + "B", + "D", + "A", + "D", + "A", + "D", + "A", + "B", + "C", + "B", + "D", + "B", + "B", + "D", + "C", + "D", + "D", + "C", + "D", + "D", + "A", + "D", + "B", + "D", + "D", + "C", + "D", + "C", + "C", + "D", + "C", + "B", + "B", + "B", + "D", + "A", + "B", + "D", + "A", + "A", + "A", + "A", + "B", + "A", + "C", + "D", + "B", + "A", + "A", + "D", + "C", + "A", + "B", + "B", + "B", + "D", + "B", + "D", + "D", + "D", + "A", + "C", + "A", + "A", + "D", + "C", + "D", + "C", + "D", + "D", + "C", + "C", + "A", + "D", + "C", + "D", + "D", + "C", + "C", + "D", + "B", + "D", + "A", + "B", + "D", + "A", + "B", + "A", + "D", + "B", + "C", + "A", + "D", + "A", + "A", + "B" + ], + "gold_answers": [ + "B", + "D", + "C", + "A", + "D", + "D", + "D", + "C", + "A", + "D", + "A", + "B", + "A", + "D", + "B", + "D", + "D", + "D", + "B", + "C", + "C", + "D", + "D", + "D", + "B", + "A", + "B", + "B", + "C", + "A", + "A", + "D", + "C", + "D", + "B", + "C", + "C", + "C", + "D", + "D", + "A", + "B", + "B", + "B", + "D", + "D", + "A", + "A", + "D", + "B", + "A", + "D", + "B", + "C", + "D", + "C", + "A", + "D", + "D", + "A", + "D", + "B", + "C", + "D", + "B", + "C", + "D", + "B", + "C", + "C", + "B", + "A", + "D", + "C", + "C", + "B", + "D", + "D", + "A", + "D", + "A", + "B", + "B", + "C", + "D", + "C", + "B", + "D", + "C", + "C", + "C", + "D", + "C", + "C", + "D", + "D", + "D", + "D", + "B", + "C", + "C", + "C", + "B", + "D", + "A", + "D", + "A", + "D", + "C", + "B", + "C", + "B", + "D", + "B", + "B", + "D", + "C", + "C", + "D", + "C", + "D", + "D", + "A", + "C", + "B", + "D", + "D", + "C", + "D", + "D", + "C", + "D", + "C", + "B", + "B", + "C", + "D", + "C", + "B", + "D", + "D", + "A", + "B", + "A", + "B", + "D", + "C", + "D", + "C", + "A", + "C", + "D", + "C", + "A", + "B", + "D", + "B", + "D", + "A", + "D", + "D", + "D", + "A", + "C", + "A", + "C", + "C", + "B", + "D", + "C", + "D", + "D", + "A", + "C", + "A", + "D", + "C", + "A", + "B", + "C", + "D", + "B", + "B", + "D", + "A", + "B", + "D", + "A", + "B", + "A", + "D", + "B", + "C", + "A", + "D", + "A", + "A", + "B" + ] + }, + "high_school_government_and_politics": { + "pred_answers": [ + "D", + "D", + "B", + "A", + "A", + "A", + "B", + "A", + "B", + "C", + "D", + "A", + "B", + "D", + "D", + "D", + "B", + "D", + "C", + "A", + "A", + "D", + "D", + "D", + "D", + "B", + "C", + "D", + "D", + "B", + "C", + "B", + "C", + "A", + "D", + "D", + "C", + "C", + "C", + "C", + "A", + "B", + "B", + "A", + "B", + "C", + "B", + "C", + "C", + "B", + "D", + "D", + "C", + "D", + "D", + "D", + "C", + "C", + "A", + "D", + "D", + "B", + "D", + "B", + "B", + "D", + "A", + "B", + "D", + "C", + "C", + "A", + "C", + "C", + "B", + "A", + "D", + "D", + "D", + "A", + "B", + "B", + "D", + "D", + "C", + "D", + "D", + "D", + "C", + "D", + "A", + "B", + "C", + "D", + "A", + "A", + "B", + "A", + "D", + "C", + "B", + "D", + "C", + "A", + "A", + "C", + "D", + "D", + "D", + "D", + "C", + "A", + "B", + "D", + "D", + "A", + "A", + "B", + "B", + "C", + "D", + "C", + "B", + "D", + "D", + "D", + "B", + "D", + "C", + "A", + "A", + "B", + "D", + "C", + "D", + "B", + "D", + "A", + "C", + "C", + "A", + "D", + "B", + "A", + "C", + "B", + "A", + "B", + "C", + "D", + "C", + "C", + "D", + "A", + "D", + "B", + "D", + "A", + "C", + "A", + "B", + "A", + "C", + "A", + "D", + "D", + "B", + "A", + "B", + "B", + "B", + "B", + "B", + "C", + "D", + "B", + "D", + "C", + "D", + "A", + "C", + "D", + "D", + "D", + "C", + "A", + "A", + "A", + "C", + "D", + "C", + "B", + "B" + ], + "gold_answers": [ + "D", + "B", + "B", + "A", + "A", + "A", + "B", + "D", + "B", + "C", + "D", + "A", + "B", + "D", + "D", + "D", + "B", + "D", + "C", + "A", + "B", + "D", + "D", + "D", + "D", + "B", + "C", + "D", + "D", + "A", + "B", + "B", + "C", + "A", + "D", + "D", + "C", + "C", + "C", + "C", + "A", + "B", + "B", + "A", + "B", + "C", + "A", + "C", + "C", + "B", + "D", + "D", + "C", + "D", + "D", + "D", + "C", + "C", + "A", + "D", + "D", + "B", + "D", + "B", + "B", + "D", + "A", + "B", + "D", + "C", + "C", + "A", + "C", + "C", + "C", + "A", + "D", + "D", + "C", + "A", + "B", + "B", + "D", + "D", + "C", + "D", + "D", + "D", + "C", + "D", + "B", + "D", + "C", + "D", + "A", + "C", + "B", + "D", + "C", + "C", + "B", + "D", + "D", + "A", + "A", + "C", + "A", + "D", + "D", + "D", + "C", + "A", + "D", + "D", + "D", + "A", + "C", + "B", + "B", + "C", + "D", + "C", + "D", + "D", + "D", + "A", + "B", + "D", + "C", + "A", + "A", + "B", + "D", + "C", + "D", + "B", + "B", + "A", + "C", + "C", + "A", + "D", + "A", + "A", + "C", + "B", + "D", + "B", + "C", + "D", + "C", + "C", + "D", + "A", + "D", + "B", + "D", + "A", + "C", + "A", + "D", + "A", + "C", + "D", + "D", + "D", + "B", + "A", + "B", + "B", + "D", + "B", + "B", + "A", + "D", + "B", + "D", + "D", + "D", + "D", + "A", + "C", + "D", + "D", + "D", + "A", + "A", + "A", + "C", + "D", + "C", + "B", + "B" + ] + }, + "high_school_macroeconomics": { + "pred_answers": [ + "B", + "II", + "B", + "B", + "B", + "B", + "D", + "D", + "D", + "C", + "A", + "D", + "A", + "A", + "A", + "A", + "D", + "C", + "D", + "B", + "D", + "B", + "B", + "D", + "A", + "B", + "A", + "B", + "A", + "A", + "A", + "A", + "D", + "D", + "D", + "B", + "B", + "C", + "D", + "C", + "D", + "D", + "D", + "C", + "B", + "B", + "A", + "B", + "C", + "A", + "D", + "A", + "A", + "A", + "A", + "A", + "A", + "A", + "D", + "B", + "B", + "C", + "B", + "A", + "D", + "A", + "D", + "B", + "A", + "B", + "B", + "A", + "C", + "A", + "D", + "B", + "B", + "A", + "A", + "A", + "C", + "A", + "C", + "D", + "A", + "B", + "A", + "A", + "D", + "A", + "B", + "C", + "C", + "B", + "D", + "C", + "A", + "A", + "C", + "C", + "A", + "A", + "B", + "D", + "C", + "B", + "C", + "A", + "B", + "C", + "A", + "D", + "A", + "A", + "B", + "B", + "D", + "C", + "A", + "B", + "A", + "D", + "A", + "C", + "C", + "B", + "C", + "D", + "C", + "B", + "D", + "D", + "B", + "B", + "B", + "B", + "A", + "B", + "D", + "D", + "B", + "A", + "D", + "A", + "D", + "B", + "D", + "B", + "A", + "A", + "B", + "A", + "B", + "B", + "A", + "B", + "B", + "D", + "A", + "A", + "B", + "B", + "A", + "A", + "A", + "C", + "B", + "A", + "D", + "D", + "D", + "A", + "D", + "B", + "A", + "A", + "B", + "A", + "A", + "B", + "B", + "B", + "A", + "D", + "D", + "C", + "B", + "C", + "D", + "C", + "A", + "B", + "D", + "C", + "C", + "B", + "C", + "B", + "B", + "C", + "A", + "B", + "A", + "D", + "A", + "B", + "A", + "D", + "B", + "B", + "C", + "C", + "C", + "A", + "A", + "C", + "A", + "A", + "A", + "C", + "C", + "D", + "A", + "A", + "A", + "C", + "B", + "A", + "D", + "C", + "D", + "C", + "A", + "C", + "A", + "A", + "D", + "A", + "B", + "C", + "D", + "B", + "B", + "B", + "D", + "B", + "B", + "A", + "A", + "D", + "B", + "A", + "A", + "D", + "A", + "A", + "C", + "A", + "A", + "A", + "B", + "D", + "D", + "D", + "A", + "C", + "D", + "A", + "A", + "B", + "A", + "D", + "B", + "D", + "C", + "C", + "D", + "D", + "D", + "C", + "C", + "A", + "B", + "A", + "A", + "B", + "D", + "D", + "B", + "B", + "None", + "B", + "D", + "A", + "B", + "C", + "A", + "B", + "C", + "D", + "A", + "D", + "B", + "D", + "A", + "D", + "C", + "A", + "D", + "B", + "B", + "A", + "C", + "D", + "B", + "C", + "C", + "B", + "D", + "A", + "B", + "C", + "C", + "C", + "A", + "A", + "B", + "A", + "D", + "C", + "D", + "C", + "A", + "A", + "B", + "A", + "B", + "D", + "B", + "B", + "C", + "D", + "A", + "C", + "D", + "A", + "A", + "A", + "C", + "A", + "C", + "A", + "B", + "A", + "D", + "B", + "A", + "A", + "A", + "A", + "B", + "A", + "A", + "C", + "B", + "A", + "B", + "A", + "A", + "A", + "B", + "A", + "B", + "D", + "C", + "A", + "A", + "D", + "D", + "B", + "II", + "B", + "B", + "A", + "D", + "C", + "C", + "D", + "A", + "A" + ], + "gold_answers": [ + "B", + "D", + "D", + "C", + "B", + "B", + "D", + "D", + "D", + "A", + "B", + "D", + "D", + "D", + "A", + "B", + "D", + "B", + "B", + "B", + "D", + "A", + "B", + "D", + "B", + "D", + "D", + "B", + "B", + "B", + "A", + "D", + "D", + "D", + "A", + "B", + "D", + "C", + "D", + "C", + "D", + "D", + "D", + "D", + "C", + "C", + "B", + "B", + "C", + "D", + "D", + "A", + "A", + "B", + "A", + "C", + "D", + "D", + "B", + "B", + "D", + "C", + "D", + "D", + "D", + "A", + "C", + "B", + "C", + "C", + "A", + "D", + "C", + "A", + "D", + "D", + "B", + "A", + "D", + "B", + "C", + "C", + "C", + "D", + "B", + "B", + "B", + "A", + "D", + "C", + "C", + "C", + "C", + "B", + "B", + "C", + "D", + "A", + "C", + "D", + "A", + "D", + "B", + "D", + "C", + "B", + "B", + "A", + "D", + "C", + "A", + "B", + "A", + "D", + "A", + "B", + "D", + "C", + "B", + "B", + "A", + "D", + "A", + "D", + "B", + "B", + "D", + "D", + "C", + "B", + "D", + "D", + "A", + "B", + "C", + "B", + "A", + "C", + "A", + "D", + "D", + "D", + "D", + "D", + "D", + "B", + "D", + "A", + "A", + "C", + "C", + "A", + "C", + "B", + "A", + "B", + "D", + "D", + "A", + "C", + "D", + "B", + "D", + "C", + "A", + "C", + "C", + "A", + "B", + "D", + "D", + "D", + "D", + "B", + "A", + "C", + "B", + "B", + "A", + "B", + "A", + "A", + "A", + "D", + "D", + "D", + "D", + "C", + "D", + "D", + "A", + "B", + "D", + "C", + "C", + "D", + "C", + "C", + "D", + "D", + "C", + "B", + "D", + "D", + "C", + "B", + "A", + "D", + "B", + "B", + "C", + "C", + "C", + "D", + "B", + "D", + "C", + "C", + "D", + "C", + "D", + "D", + "D", + "C", + "D", + "A", + "D", + "A", + "D", + "C", + "C", + "C", + "A", + "C", + "A", + "B", + "D", + "A", + "D", + "C", + "D", + "B", + "C", + "D", + "D", + "B", + "D", + "A", + "D", + "D", + "D", + "B", + "A", + "C", + "C", + "A", + "C", + "D", + "A", + "C", + "D", + "D", + "D", + "D", + "A", + "C", + "C", + "A", + "D", + "A", + "B", + "D", + "D", + "C", + "C", + "C", + "D", + "A", + "D", + "D", + "C", + "A", + "B", + "A", + "C", + "B", + "A", + "B", + "B", + "A", + "D", + "B", + "D", + "A", + "B", + "A", + "D", + "B", + "C", + "D", + "D", + "D", + "D", + "D", + "D", + "B", + "C", + "A", + "D", + "D", + "B", + "B", + "B", + "D", + "B", + "D", + "C", + "A", + "D", + "A", + "B", + "C", + "C", + "D", + "D", + "D", + "C", + "D", + "D", + "A", + "C", + "D", + "A", + "A", + "B", + "A", + "A", + "D", + "D", + "A", + "C", + "D", + "D", + "D", + "D", + "A", + "A", + "C", + "C", + "A", + "C", + "A", + "B", + "D", + "D", + "B", + "A", + "B", + "B", + "A", + "A", + "C", + "A", + "C", + "B", + "D", + "B", + "B", + "A", + "A", + "B", + "A", + "D", + "D", + "C", + "B", + "A", + "D", + "D", + "B", + "B", + "C", + "B", + "D", + "C", + "C", + "D", + "D", + "B", + "A" + ] + }, + "high_school_mathematics": { + "pred_answers": [ + "A", + "A", + "B", + "C", + "B", + "A", + "A", + "C", + "B", + "C", + "A", + "C", + "C", + "C", + "B", + "A", + "C", + "A", + "C", + "A", + "B", + "A", + "C", + "B", + "A", + "B", + "A", + "C", + "D", + "C", + "The", + "B", + "C", + "C", + "A", + "A", + "D", + "B", + "A", + "A", + "B", + "", + "A", + "A", + "C", + "C", + "D", + "A", + "C", + "B", + "C", + "B", + "B", + "C", + "B", + "B", + "B", + "B", + "B", + "A", + "C", + "A", + "A", + "A", + "A", + "A", + "C", + "A", + "B", + "A", + "A", + "A", + "C", + "B", + "D", + "A", + "D", + "C", + "C", + "B", + "B", + "C", + "A", + "", + "D", + "C", + "C", + "B", + "C", + "A", + "C", + "D", + "A", + "C", + "C", + "B", + "C", + "B", + "C", + "A", + "B", + "C", + "A", + "C", + "A", + "B", + "B", + "C", + "C", + "B", + "C", + "A", + "A", + "C", + "A", + "A", + "B", + "C", + "A", + "A", + "C", + "C", + "A", + "A", + "B", + "B", + "D", + "C", + "C", + "C", + "A", + "C", + "B", + "B", + "A", + "C", + "B", + "C", + "C", + "D", + "C", + "A", + "D", + "A", + "C", + "B", + "C", + "B", + "C", + "C", + "C", + "B", + "C", + "B", + "D", + "D", + "A", + "C", + "C", + "A", + "C", + "B", + "C", + "B", + "C", + "B", + "B", + "B", + "B", + "C", + "C", + "C", + "A", + "B", + "C", + "C", + "A", + "A", + "B", + "B", + "B", + "None", + "C", + "D", + "B", + "C", + "A", + "C", + "A", + "A", + "A", + "D", + "A", + "B", + "B", + "C", + "p", + "B", + "B", + "C", + "C", + "C", + "B", + "B", + "A", + "B", + "A", + "A", + "A", + "C", + "C", + "D", + "A", + "D", + "C", + "A", + "A", + "A", + "C", + "B", + "C", + "C", + "B", + "A", + "A", + "A", + "B", + "C", + "C", + "B", + "A", + "A", + "C", + "A", + "C", + "B", + "A", + "A", + "A", + "A", + "B", + "C", + "A", + "C", + "D", + "A", + "A", + "two", + "C", + "C", + "A", + "A", + "A", + "C", + "A", + "B", + "A", + "C", + "B", + "A", + "A", + "C", + "C", + "B", + "A", + "C", + "A", + "A", + "A", + "A" + ], + "gold_answers": [ + "D", + "C", + "A", + "B", + "C", + "B", + "C", + "A", + "C", + "B", + "D", + "D", + "D", + "B", + "D", + "D", + "A", + "B", + "A", + "B", + "D", + "B", + "D", + "B", + "A", + "C", + "D", + "C", + "C", + "D", + "C", + "A", + "D", + "A", + "A", + "D", + "C", + "C", + "A", + "A", + "B", + "C", + "B", + "C", + "C", + "D", + "D", + "A", + "D", + "B", + "D", + "A", + "B", + "C", + "C", + "A", + "B", + "B", + "B", + "C", + "D", + "B", + "A", + "D", + "C", + "B", + "C", + "B", + "D", + "A", + "C", + "B", + "A", + "C", + "B", + "D", + "D", + "A", + "C", + "B", + "B", + "A", + "C", + "D", + "D", + "B", + "D", + "A", + "D", + "C", + "B", + "C", + "B", + "D", + "A", + "A", + "A", + "B", + "C", + "A", + "B", + "D", + "C", + "D", + "D", + "A", + "B", + "C", + "C", + "D", + "C", + "C", + "A", + "A", + "D", + "A", + "C", + "C", + "A", + "B", + "B", + "A", + "D", + "B", + "D", + "D", + "A", + "C", + "C", + "B", + "A", + "B", + "D", + "B", + "B", + "B", + "B", + "B", + "B", + "D", + "D", + "B", + "D", + "A", + "D", + "D", + "A", + "C", + "D", + "D", + "C", + "C", + "C", + "B", + "A", + "C", + "D", + "D", + "B", + "A", + "A", + "B", + "D", + "C", + "B", + "D", + "B", + "B", + "B", + "B", + "D", + "C", + "B", + "C", + "C", + "C", + "A", + "D", + "A", + "D", + "A", + "D", + "A", + "C", + "C", + "C", + "D", + "C", + "B", + "A", + "C", + "A", + "B", + "C", + "B", + "C", + "D", + "B", + "D", + "C", + "C", + "D", + "D", + "B", + "A", + "D", + "A", + "C", + "A", + "A", + "C", + "C", + "C", + "D", + "D", + "B", + "D", + "D", + "A", + "B", + "D", + "B", + "B", + "A", + "D", + "C", + "A", + "B", + "C", + "B", + "A", + "C", + "A", + "C", + "D", + "C", + "C", + "A", + "B", + "A", + "A", + "B", + "C", + "C", + "C", + "C", + "D", + "C", + "D", + "C", + "B", + "D", + "B", + "B", + "B", + "B", + "D", + "B", + "B", + "A", + "D", + "C", + "A", + "D", + "D", + "C", + "A", + "B", + "D", + "B" + ] + }, + "high_school_microeconomics": { + "pred_answers": [ + "B", + "A", + "B", + "D", + "D", + "A", + "D", + "C", + "D", + "B", + "C", + "A", + "A", + "D", + "B", + "D", + "C", + "A", + "B", + "C", + "D", + "A", + "D", + "B", + "B", + "D", + "B", + "D", + "None", + "A", + "B", + "B", + "C", + "A", + "B", + "A", + "B", + "B", + "A", + "A", + "A", + "D", + "D", + "A", + "B", + "D", + "D", + "B", + "D", + "B", + "A", + "A", + "B", + "B", + "A", + "A", + "A", + "C", + "A", + "A", + "B", + "D", + "B", + "B", + "A", + "A", + "B", + "D", + "A", + "B", + "B", + "B", + "D", + "B", + "D", + "B", + "C", + "C", + "D", + "C", + "A", + "B", + "C", + "D", + "A", + "B", + "A", + "A", + "C", + "C", + "A", + "C", + "A", + "D", + "C", + "B", + "B", + "D", + "A", + "D", + "D", + "B", + "D", + "C", + "C", + "B", + "C", + "A", + "A", + "A", + "D", + "D", + "A", + "B", + "D", + "B", + "C", + "A", + "A", + "A", + "C", + "A", + "B", + "D", + "D", + "A", + "D", + "A", + "D", + "A", + "D", + "A", + "B", + "C", + "A", + "C", + "B", + "D", + "B", + "D", + "C", + "A", + "D", + "C", + "C", + "B", + "C", + "C", + "A", + "A", + "A", + "A", + "C", + "B", + "C", + "C", + "A", + "B", + "D", + "D", + "C", + "D", + "C", + "D", + "A", + "A", + "D", + "B", + "D", + "C", + "B", + "A", + "D", + "A", + "D", + "D", + "D", + "D", + "A", + "A", + "C", + "D", + "B", + "D", + "A", + "C", + "C", + "A", + "A", + "A", + "A", + "C", + "A", + "A", + "A", + "A", + "C", + "C", + "B", + "C", + "B", + "B", + "D", + "A", + "C", + "C", + "A", + "A", + "C", + "A", + "D", + "D", + "D", + "A", + "D", + "C", + "None", + "D", + "A", + "Ind", + "C", + "D", + "A", + "B", + "A", + "D", + "B", + "D", + "A", + "D", + "C", + "C", + "C", + "D", + "B", + "C", + "A", + "B" + ], + "gold_answers": [ + "A", + "C", + "B", + "D", + "D", + "D", + "D", + "C", + "D", + "B", + "C", + "C", + "D", + "C", + "B", + "D", + "C", + "D", + "B", + "C", + "D", + "A", + "D", + "B", + "B", + "D", + "B", + "D", + "B", + "C", + "A", + "B", + "D", + "A", + "B", + "A", + "B", + "D", + "A", + "A", + "D", + "D", + "D", + "D", + "B", + "D", + "C", + "B", + "D", + "B", + "C", + "A", + "D", + "B", + "A", + "A", + "A", + "D", + "B", + "B", + "B", + "D", + "B", + "B", + "A", + "A", + "A", + "D", + "D", + "B", + "A", + "D", + "D", + "B", + "D", + "D", + "A", + "C", + "D", + "C", + "D", + "B", + "C", + "D", + "A", + "B", + "A", + "B", + "C", + "C", + "A", + "A", + "A", + "D", + "C", + "B", + "B", + "D", + "B", + "D", + "D", + "B", + "D", + "A", + "A", + "D", + "C", + "C", + "A", + "D", + "D", + "C", + "A", + "B", + "D", + "C", + "D", + "D", + "A", + "C", + "C", + "B", + "B", + "D", + "C", + "A", + "D", + "D", + "C", + "A", + "D", + "A", + "B", + "C", + "A", + "C", + "D", + "D", + "B", + "B", + "C", + "D", + "D", + "C", + "D", + "B", + "C", + "C", + "A", + "D", + "D", + "A", + "C", + "B", + "C", + "C", + "A", + "B", + "D", + "B", + "C", + "D", + "C", + "D", + "C", + "B", + "D", + "C", + "D", + "C", + "C", + "D", + "D", + "A", + "D", + "D", + "D", + "D", + "A", + "A", + "C", + "D", + "C", + "D", + "A", + "B", + "B", + "A", + "C", + "B", + "A", + "D", + "A", + "A", + "A", + "A", + "C", + "C", + "B", + "D", + "B", + "A", + "D", + "D", + "B", + "C", + "A", + "D", + "C", + "B", + "D", + "D", + "D", + "A", + "D", + "C", + "D", + "B", + "B", + "B", + "D", + "A", + "A", + "B", + "B", + "D", + "B", + "D", + "A", + "D", + "C", + "C", + "C", + "D", + "B", + "D", + "A", + "B" + ] + }, + "high_school_physics": { + "pred_answers": [ + "A", + "D", + "D", + "A", + "D", + "C", + "A", + "D", + "A", + "C", + "C", + "C", + "D", + "A", + "C", + "A", + "C", + "B", + "C", + "A", + "B", + "B", + "A", + "A", + "C", + "B", + "C", + "A", + "D", + "B", + "A", + "D", + "B", + "A", + "D", + "A", + "B", + "B", + "B", + "C", + "C", + "C", + "B", + "B", + "C", + "C", + "B", + "B", + "D", + "C", + "A", + "C", + "C", + "B", + "C", + "A", + "D", + "A", + "A", + "A", + "B", + "B", + "A", + "C", + "D", + "A", + "B", + "C", + "C", + "B", + "A", + "D", + "C", + "A", + "D", + "B", + "B", + "C", + "B", + "C", + "A", + "B", + "D", + "D", + "D", + "D", + "C", + "C", + "D", + "C", + "A", + "A", + "C", + "C", + "B", + "D", + "C", + "B", + "C", + "C", + "C", + "C", + "A", + "B", + "A", + "B", + "C", + "C", + "C", + "A", + "B", + "D", + "D", + "C", + "B", + "D", + "B", + "C", + "D", + "B", + "C", + "C", + "D", + "B", + "A", + "D", + "C", + "A", + "D", + "C", + "B", + "D", + "B", + "B", + "D", + "C", + "D", + "A", + "C", + "B", + "C", + "C", + "B", + "B", + "C", + "D", + "B", + "C", + "C", + "B", + "C" + ], + "gold_answers": [ + "B", + "A", + "D", + "C", + "D", + "C", + "A", + "C", + "A", + "B", + "D", + "D", + "D", + "B", + "B", + "A", + "D", + "C", + "A", + "D", + "B", + "C", + "A", + "D", + "D", + "D", + "C", + "C", + "C", + "D", + "A", + "C", + "B", + "B", + "C", + "C", + "C", + "D", + "A", + "A", + "C", + "C", + "C", + "D", + "C", + "B", + "B", + "B", + "D", + "D", + "A", + "B", + "D", + "D", + "B", + "D", + "C", + "B", + "A", + "C", + "C", + "B", + "A", + "A", + "C", + "D", + "C", + "A", + "D", + "A", + "D", + "B", + "C", + "B", + "A", + "B", + "B", + "B", + "D", + "A", + "D", + "D", + "A", + "D", + "A", + "A", + "C", + "C", + "D", + "A", + "C", + "D", + "C", + "D", + "D", + "B", + "D", + "C", + "A", + "C", + "D", + "C", + "B", + "D", + "A", + "B", + "B", + "D", + "C", + "C", + "B", + "D", + "A", + "D", + "C", + "D", + "A", + "C", + "D", + "C", + "D", + "C", + "A", + "A", + "D", + "A", + "B", + "D", + "D", + "B", + "D", + "C", + "D", + "B", + "B", + "C", + "D", + "A", + "D", + "C", + "C", + "B", + "C", + "A", + "D", + "C", + "D", + "D", + "D", + "D", + "B" + ] + }, + "high_school_psychology": { + "pred_answers": [ + "A", + "B", + "D", + "A", + "A", + "A", + "A", + "D", + "B", + "B", + "C", + "C", + "D", + "B", + "D", + "D", + "D", + "A", + "D", + "C", + "B", + "B", + "D", + "C", + "C", + "B", + "A", + "A", + "D", + "A", + "C", + "A", + "A", + "D", + "A", + "A", + "D", + "B", + "T", + "C", + "B", + "D", + "B", + "D", + "D", + "D", + "B", + "A", + "A", + "D", + "D", + "B", + "B", + "D", + "C", + "B", + "C", + "C", + "B", + "D", + "C", + "A", + "D", + "B", + "decrease", + "B", + "C", + "A", + "B", + "A", + "C", + "D", + "A", + "D", + "D", + "D", + "A", + "D", + "A", + "C", + "D", + "B", + "D", + "C", + "D", + "C", + "A", + "D", + "C", + "A", + "D", + "B", + "A", + "D", + "D", + "D", + "B", + "A", + "D", + "D", + "D", + "D", + "C", + "A", + "D", + "B", + "D", + "B", + "A", + "D", + "D", + "B", + "C", + "B", + "A", + "C", + "A", + "A", + "B", + "D", + "C", + "D", + "A", + "D", + "D", + "C", + "D", + "B", + "B", + "A", + "C", + "C", + "III", + "D", + "B", + "D", + "D", + "B", + "B", + "B", + "A", + "D", + "B", + "B", + "A", + "C", + "A", + "A", + "C", + "C", + "A", + "B", + "D", + "D", + "D", + "C", + "B", + "D", + "C", + "D", + "C", + "A", + "B", + "C", + "A", + "A", + "C", + "B", + "C", + "A", + "A", + "A", + "C", + "C", + "A", + "C", + "D", + "B", + "D", + "A", + "B", + "D", + "A", + "D", + "B", + "A", + "A", + "B", + "B", + "A", + "C", + "D", + "B", + "C", + "B", + "C", + "D", + "A", + "C", + "C", + "C", + "A", + "D", + "C", + "B", + "C", + "B", + "B", + "C", + "A", + "D", + "C", + "D", + "D", + "A", + "C", + "C", + "B", + "B", + "B", + "D", + "A", + "D", + "A", + "C", + "Touch", + "A", + "A", + "B", + "D", + "D", + "A", + "D", + "B", + "B", + "A", + "C", + "A", + "B", + "D", + "A", + "C", + "D", + "A", + "A", + "C", + "B", + "B", + "B", + "C", + "C", + "B", + "A", + "A", + "B", + "D", + "D", + "A", + "A", + "D", + "A", + "A", + "D", + "A", + "A", + "B", + "B", + "C", + "D", + "A", + "A", + "C", + "D", + "D", + "B", + "D", + "C", + "D", + "B", + "A", + "B", + "D", + "A", + "D", + "B", + "A", + "C", + "D", + "C", + "A", + "B", + "D", + "D", + "B", + "C", + "A", + "A", + "C", + "C", + "C", + "B", + "C", + "D", + "C", + "D", + "A", + "C", + "B", + "D", + "B", + "A", + "D", + "B", + "D", + "B", + "D", + "A", + "A", + "C", + "D", + "B", + "C", + "A", + "D", + "D", + "C", + "D", + "D", + "B", + "B", + "A", + "A", + "A", + "C", + "B", + "B", + "A", + "A", + "C", + "A", + "B", + "B", + "D", + "D", + "A", + "D", + "D", + "D", + "D", + "B", + "B", + "D", + "C", + "B", + "D", + "A", + "D", + "D", + "B", + "B", + "C", + "B", + "A", + "D", + "D", + "C", + "A", + "None", + "C", + "D", + "C", + "A", + "B", + "C", + "D", + "A", + "C", + "D", + "B", + "B", + "B", + "B", + "D", + "A", + "B", + "B", + "D", + "A", + "A", + "C", + "None", + "A", + "D", + "D", + "C", + "C", + "B", + "B", + "D", + "B", + "B", + "D", + "D", + "A", + "All", + "C", + "A", + "B", + "C", + "D", + "C", + "C", + "D", + "D", + "B", + "A", + "D", + "B", + "D", + "B", + "B", + "B", + "D", + "C", + "D", + "B", + "B", + "A", + "D", + "C", + "D", + "B", + "C", + "B", + "B", + "B", + "A", + "D", + "A", + "A", + "C", + "D", + "C", + "D", + "A", + "D", + "C", + "B", + "A", + "A", + "B", + "B", + "A", + "C", + "A", + "B", + "C", + "D", + "D", + "C", + "D", + "B", + "D", + "A", + "C", + "D", + "C", + "C", + "D", + "B", + "D", + "D", + "A", + "A", + "D", + "B", + "D", + "C", + "C", + "D", + "A", + "B", + "A", + "C", + "A", + "C", + "A", + "D", + "B", + "D", + "A", + "D", + "A", + "C", + "D", + "D", + "B", + "C", + "B", + "None", + "B", + "B", + "B", + "A", + "D", + "B", + "A", + "D", + "D", + "D", + "C", + "A", + "D", + "D", + "B", + "D", + "A", + "D", + "C", + "C", + "D", + "C", + "C", + "B", + "B", + "A", + "C", + "D", + "C", + "C", + "D", + "C", + "A", + "B", + "D", + "A", + "C", + "D", + "B", + "D", + "A", + "D", + "D", + "A", + "C" + ], + "gold_answers": [ + "A", + "B", + "D", + "A", + "C", + "A", + "A", + "D", + "A", + "B", + "C", + "C", + "D", + "B", + "D", + "D", + "D", + "A", + "D", + "C", + "B", + "B", + "C", + "D", + "C", + "B", + "C", + "A", + "D", + "A", + "B", + "A", + "A", + "D", + "D", + "A", + "D", + "B", + "C", + "C", + "B", + "D", + "B", + "B", + "D", + "D", + "B", + "A", + "A", + "D", + "D", + "B", + "B", + "D", + "C", + "B", + "C", + "C", + "B", + "B", + "C", + "A", + "D", + "B", + "B", + "B", + "C", + "A", + "B", + "A", + "C", + "D", + "B", + "C", + "D", + "D", + "A", + "A", + "A", + "C", + "D", + "C", + "D", + "A", + "D", + "C", + "C", + "D", + "B", + "A", + "C", + "B", + "C", + "D", + "D", + "D", + "B", + "A", + "D", + "D", + "D", + "D", + "D", + "A", + "D", + "B", + "D", + "B", + "A", + "D", + "D", + "B", + "C", + "C", + "A", + "C", + "A", + "A", + "B", + "D", + "C", + "D", + "A", + "D", + "D", + "C", + "D", + "B", + "C", + "A", + "C", + "D", + "D", + "D", + "B", + "D", + "D", + "B", + "B", + "B", + "A", + "D", + "D", + "C", + "C", + "D", + "D", + "C", + "C", + "D", + "A", + "B", + "D", + "D", + "D", + "C", + "D", + "D", + "A", + "A", + "C", + "A", + "B", + "C", + "C", + "A", + "B", + "B", + "C", + "D", + "A", + "A", + "C", + "C", + "A", + "C", + "D", + "B", + "D", + "A", + "B", + "D", + "D", + "D", + "A", + "A", + "A", + "B", + "B", + "A", + "C", + "D", + "D", + "C", + "B", + "C", + "D", + "A", + "C", + "C", + "C", + "A", + "D", + "C", + "B", + "C", + "B", + "A", + "C", + "A", + "D", + "D", + "D", + "D", + "A", + "C", + "A", + "D", + "A", + "B", + "D", + "A", + "D", + "C", + "C", + "D", + "C", + "C", + "B", + "D", + "C", + "A", + "D", + "B", + "B", + "A", + "C", + "A", + "B", + "D", + "C", + "D", + "B", + "A", + "A", + "C", + "B", + "B", + "B", + "C", + "C", + "B", + "A", + "D", + "A", + "B", + "D", + "A", + "B", + "D", + "A", + "B", + "D", + "A", + "D", + "B", + "B", + "C", + "D", + "B", + "C", + "C", + "D", + "D", + "D", + "D", + "C", + "D", + "B", + "C", + "D", + "D", + "A", + "D", + "B", + "B", + "B", + "D", + "C", + "A", + "B", + "D", + "D", + "B", + "D", + "A", + "D", + "C", + "C", + "C", + "B", + "C", + "D", + "C", + "D", + "A", + "C", + "B", + "D", + "A", + "A", + "D", + "B", + "D", + "B", + "D", + "A", + "A", + "C", + "D", + "B", + "C", + "A", + "B", + "D", + "C", + "D", + "D", + "B", + "B", + "A", + "A", + "D", + "C", + "D", + "D", + "A", + "D", + "C", + "A", + "B", + "B", + "D", + "D", + "D", + "D", + "A", + "D", + "D", + "B", + "B", + "D", + "C", + "B", + "D", + "A", + "D", + "D", + "B", + "B", + "C", + "B", + "B", + "D", + "D", + "C", + "A", + "B", + "B", + "D", + "C", + "A", + "B", + "C", + "D", + "A", + "A", + "D", + "B", + "D", + "B", + "B", + "D", + "A", + "B", + "B", + "D", + "C", + "A", + "D", + "D", + "A", + "D", + "D", + "A", + "D", + "B", + "B", + "D", + "B", + "B", + "D", + "A", + "B", + "D", + "C", + "A", + "B", + "C", + "D", + "C", + "C", + "D", + "D", + "B", + "A", + "D", + "B", + "D", + "B", + "B", + "C", + "D", + "C", + "D", + "B", + "B", + "A", + "D", + "C", + "D", + "B", + "C", + "B", + "C", + "B", + "A", + "D", + "A", + "A", + "C", + "D", + "C", + "A", + "D", + "D", + "D", + "B", + "B", + "C", + "B", + "B", + "A", + "C", + "A", + "B", + "C", + "D", + "D", + "C", + "D", + "A", + "D", + "B", + "C", + "D", + "C", + "C", + "D", + "B", + "D", + "D", + "A", + "A", + "D", + "B", + "D", + "C", + "C", + "D", + "B", + "B", + "A", + "C", + "C", + "C", + "D", + "B", + "B", + "D", + "A", + "D", + "A", + "C", + "D", + "D", + "D", + "C", + "C", + "B", + "B", + "B", + "D", + "C", + "B", + "B", + "D", + "D", + "D", + "A", + "C", + "A", + "D", + "D", + "B", + "D", + "B", + "D", + "C", + "C", + "D", + "C", + "C", + "B", + "C", + "A", + "C", + "D", + "C", + "D", + "D", + "C", + "D", + "D", + "D", + "D", + "C", + "B", + "B", + "D", + "A", + "D", + "D", + "A", + "D" + ] + }, + "high_school_statistics": { + "pred_answers": [ + "C", + "A", + "D", + "D", + "D", + "D", + "B", + "D", + "C", + "D", + "A", + "C", + "C", + "C", + "C", + "A", + "A", + "D", + "B", + "C", + "A", + "C", + "D", + "B", + "C", + "C", + "A", + "B", + "A", + "B", + "B", + "C", + "B", + "A", + "C", + "D", + "A", + "A", + "B", + "A", + "D", + "C", + "A", + "B", + "B", + "B", + "D", + "A", + "C", + "D", + "B", + "D", + "A", + "A", + "B", + "A", + "C", + "C", + "D", + "C", + "C", + "C", + "C", + "D", + "A", + "A", + "B", + "There", + "C", + "II", + "C", + "A", + "B", + "C", + "B", + "B", + "B", + "C", + "A", + "A", + "D", + "C", + "C", + "D", + "D", + "C", + "A", + "B", + "C", + "C", + "B", + "A", + "C", + "B", + "B", + "B", + "B", + "B", + "A", + "A", + "C", + "D", + "B", + "B", + "C", + "D", + "D", + "A", + "A", + "D", + "A", + "C", + "A", + "B", + "D", + "A", + "B", + "D", + "B", + "D", + "C", + "D", + "A", + "A", + "C", + "A", + "B", + "C", + "D", + "B", + "D", + "B", + "B", + "C", + "D", + "C", + "C", + "B", + "A", + "C", + "B", + "D", + "A", + "A", + "D", + "A", + "D", + "C", + "D", + "D", + "A", + "A", + "A", + "None", + "C", + "C", + "C", + "B", + "B", + "C", + "D", + "C", + "B", + "B", + "C", + "C", + "A", + "C", + "D", + "D", + "B", + "C", + "A", + "A", + "A", + "B", + "A", + "A", + "B", + "B", + "D", + "B", + "B", + "D", + "C", + "D", + "B", + "B", + "B", + "B", + "C", + "B", + "A", + "C", + "C", + "C", + "C", + "C", + "C", + "A", + "C", + "D", + "D", + "D", + "D", + "A", + "A", + "A", + "C", + "B", + "C", + "D", + "A", + "B", + "D", + "D" + ], + "gold_answers": [ + "B", + "C", + "D", + "D", + "D", + "D", + "D", + "D", + "C", + "D", + "A", + "C", + "D", + "C", + "D", + "D", + "B", + "D", + "D", + "D", + "D", + "D", + "C", + "B", + "A", + "D", + "A", + "A", + "D", + "D", + "D", + "D", + "D", + "D", + "A", + "D", + "C", + "A", + "A", + "B", + "D", + "D", + "A", + "A", + "A", + "B", + "B", + "C", + "C", + "D", + "D", + "D", + "D", + "A", + "D", + "D", + "A", + "D", + "C", + "D", + "C", + "D", + "D", + "A", + "D", + "D", + "B", + "B", + "A", + "B", + "C", + "D", + "B", + "C", + "D", + "B", + "D", + "C", + "A", + "C", + "D", + "C", + "C", + "D", + "D", + "C", + "D", + "B", + "C", + "C", + "D", + "D", + "D", + "B", + "B", + "D", + "D", + "B", + "C", + "A", + "D", + "A", + "C", + "B", + "C", + "D", + "A", + "C", + "B", + "D", + "B", + "A", + "A", + "B", + "D", + "D", + "D", + "D", + "B", + "D", + "C", + "D", + "C", + "C", + "B", + "D", + "D", + "D", + "D", + "D", + "D", + "B", + "D", + "D", + "D", + "C", + "B", + "B", + "D", + "C", + "D", + "D", + "C", + "A", + "D", + "D", + "D", + "C", + "D", + "D", + "C", + "B", + "A", + "C", + "A", + "D", + "C", + "B", + "B", + "C", + "D", + "C", + "B", + "B", + "D", + "D", + "D", + "C", + "B", + "D", + "A", + "C", + "D", + "C", + "B", + "A", + "D", + "A", + "D", + "C", + "B", + "D", + "B", + "D", + "D", + "D", + "B", + "A", + "C", + "A", + "C", + "A", + "C", + "D", + "C", + "C", + "D", + "D", + "B", + "A", + "A", + "D", + "D", + "D", + "D", + "D", + "D", + "A", + "D", + "C", + "D", + "D", + "C", + "A", + "D", + "D" + ] + }, + "high_school_us_history": { + "pred_answers": [ + "C", + "A", + "D", + "D", + "B", + "A", + "A", + "A", + "D", + "B", + "C", + "C", + "D", + "A", + "B", + "C", + "A", + "D", + "B", + "D", + "D", + "C", + "D", + "A", + "B", + "C", + "D", + "C", + "D", + "A", + "C", + "A", + "A", + "D", + "C", + "C", + "B", + "A", + "A", + "B", + "D", + "D", + "C", + "D", + "C", + "D", + "A", + "C", + "D", + "A", + "C", + "D", + "A", + "D", + "B", + "C", + "C", + "A", + "C", + "E", + "A", + "C", + "B", + "A", + "C", + "D", + "C", + "B", + "D", + "C", + "C", + "A", + "C", + "A", + "C", + "A", + "B", + "D", + "Ireland", + "B", + "C", + "B", + "C", + "D", + "A", + "C", + "B", + "D", + "A", + "C", + "B", + "C", + "A", + "D", + "C", + "D", + "None", + "C", + "A", + "B", + "C", + "C", + "C", + "D", + "D", + "A", + "D", + "B", + "A", + "B", + "B", + "B", + "C", + "A", + "D", + "A", + "C", + "D", + "A", + "A", + "D", + "B", + "A", + "C", + "C", + "D", + "D", + "D", + "B", + "None", + "C", + "D", + "B", + "B", + "A", + "A", + "B", + "C", + "A", + "B", + "B", + "A", + "D", + "A", + "D", + "A", + "B", + "C", + "B", + "C", + "A", + "A", + "B", + "D", + "C", + "C", + "A", + "A", + "A", + "D", + "B", + "B", + "A", + "C", + "D", + "C", + "C", + "None", + "D", + "C", + "B", + "A", + "D", + "D", + "D", + "A", + "C", + "A", + "C", + "D", + "A", + "B", + "A", + "D", + "D", + "A", + "D", + "A", + "C", + "D", + "C", + "B", + "B", + "A", + "D", + "C", + "D", + "A", + "D", + "C", + "D", + "C", + "D", + "C" + ], + "gold_answers": [ + "D", + "A", + "D", + "B", + "B", + "A", + "B", + "A", + "D", + "B", + "B", + "C", + "A", + "A", + "B", + "C", + "B", + "B", + "C", + "D", + "D", + "C", + "B", + "B", + "D", + "C", + "D", + "A", + "D", + "A", + "C", + "C", + "A", + "A", + "C", + "C", + "A", + "A", + "A", + "B", + "A", + "D", + "D", + "B", + "C", + "D", + "A", + "C", + "D", + "A", + "C", + "D", + "A", + "D", + "D", + "C", + "A", + "A", + "C", + "C", + "A", + "C", + "B", + "A", + "B", + "B", + "C", + "C", + "D", + "C", + "C", + "A", + "C", + "A", + "C", + "A", + "B", + "D", + "D", + "B", + "C", + "B", + "D", + "D", + "C", + "C", + "B", + "D", + "A", + "C", + "B", + "C", + "B", + "D", + "C", + "A", + "D", + "C", + "A", + "B", + "C", + "D", + "C", + "A", + "D", + "A", + "D", + "B", + "A", + "B", + "C", + "B", + "C", + "A", + "D", + "A", + "B", + "D", + "A", + "A", + "D", + "B", + "A", + "C", + "C", + "D", + "B", + "D", + "B", + "A", + "C", + "D", + "B", + "A", + "A", + "C", + "B", + "C", + "C", + "B", + "B", + "A", + "D", + "A", + "D", + "A", + "B", + "C", + "B", + "C", + "C", + "A", + "B", + "D", + "C", + "A", + "A", + "A", + "A", + "B", + "B", + "B", + "A", + "C", + "D", + "C", + "C", + "B", + "D", + "D", + "B", + "B", + "D", + "D", + "D", + "B", + "C", + "A", + "C", + "D", + "D", + "B", + "A", + "D", + "B", + "A", + "D", + "D", + "C", + "D", + "C", + "D", + "D", + "A", + "D", + "C", + "D", + "A", + "B", + "C", + "D", + "B", + "B", + "C" + ] + }, + "high_school_world_history": { + "pred_answers": [ + "A", + "B", + "C", + "C", + "D", + "A", + "A", + "C", + "C", + "B", + "B", + "C", + "A", + "A", + "D", + "D", + "A", + "B", + "B", + "A", + "A", + "D", + "B", + "C", + "C", + "A", + "A", + "B", + "A", + "D", + "C", + "A", + "B", + "A", + "B", + "B", + "D", + "B", + "A", + "D", + "C", + "D", + "C", + "A", + "D", + "D", + "C", + "A", + "C", + "D", + "D", + "D", + "D", + "B", + "D", + "A", + "B", + "C", + "A", + "D", + "B", + "C", + "A", + "C", + "A", + "B", + "A", + "A", + "D", + "A", + "D", + "A", + "D", + "A", + "A", + "C", + "B", + "B", + "A", + "A", + "D", + "B", + "D", + "C", + "C", + "A", + "A", + "A", + "A", + "B", + "D", + "B", + "A", + "C", + "B", + "A", + "C", + "D", + "B", + "D", + "C", + "A", + "A", + "C", + "A", + "C", + "A", + "B", + "B", + "D", + "B", + "D", + "B", + "C", + "B", + "A", + "B", + "B", + "A", + "C", + "B", + "D", + "D", + "C", + "A", + "A", + "B", + "A", + "D", + "B", + "C", + "A", + "A", + "D", + "D", + "A", + "C", + "A", + "C", + "D", + "C", + "A", + "B", + "C", + "B", + "C", + "C", + "C", + "B", + "A", + "B", + "A", + "C", + "C", + "C", + "A", + "C", + "A", + "D", + "C", + "A", + "A", + "B", + "C", + "A", + "B", + "A", + "C", + "A", + "A", + "A", + "D", + "B", + "B", + "C", + "C", + "D", + "A", + "D", + "A", + "B", + "C", + "C", + "B", + "A", + "D", + "D", + "A", + "B", + "B", + "A", + "B", + "D", + "B", + "A", + "C", + "D", + "C", + "B", + "D", + "D", + "C", + "C", + "A", + "A", + "D", + "B", + "D", + "D", + "B", + "C", + "D", + "A", + "C", + "B", + "D", + "A", + "A", + "D", + "C", + "A", + "C", + "C", + "A", + "C", + "B", + "B", + "D", + "B", + "B", + "B", + "D", + "A", + "C", + "C", + "A", + "C" + ], + "gold_answers": [ + "A", + "B", + "D", + "C", + "D", + "C", + "A", + "B", + "C", + "B", + "B", + "A", + "A", + "A", + "D", + "D", + "A", + "B", + "B", + "A", + "A", + "D", + "B", + "C", + "B", + "A", + "A", + "D", + "A", + "D", + "C", + "D", + "B", + "B", + "B", + "B", + "C", + "B", + "D", + "D", + "C", + "D", + "C", + "D", + "D", + "D", + "C", + "A", + "C", + "C", + "A", + "D", + "D", + "B", + "D", + "B", + "B", + "C", + "A", + "D", + "A", + "A", + "C", + "C", + "A", + "B", + "A", + "A", + "A", + "A", + "D", + "C", + "D", + "A", + "A", + "C", + "B", + "B", + "A", + "B", + "C", + "C", + "A", + "D", + "C", + "A", + "A", + "A", + "B", + "B", + "D", + "C", + "B", + "A", + "B", + "A", + "C", + "D", + "B", + "D", + "C", + "C", + "A", + "C", + "C", + "C", + "A", + "A", + "B", + "D", + "B", + "D", + "A", + "C", + "A", + "A", + "B", + "B", + "A", + "C", + "B", + "D", + "C", + "C", + "A", + "A", + "B", + "A", + "C", + "B", + "C", + "A", + "D", + "D", + "D", + "A", + "C", + "A", + "C", + "D", + "C", + "B", + "B", + "C", + "B", + "C", + "C", + "C", + "B", + "A", + "B", + "A", + "C", + "A", + "C", + "B", + "C", + "A", + "C", + "C", + "A", + "B", + "B", + "C", + "A", + "C", + "A", + "D", + "A", + "A", + "A", + "D", + "B", + "B", + "C", + "C", + "D", + "A", + "D", + "A", + "B", + "C", + "C", + "B", + "A", + "D", + "D", + "B", + "B", + "B", + "A", + "B", + "D", + "D", + "C", + "B", + "D", + "B", + "B", + "D", + "D", + "C", + "C", + "B", + "A", + "C", + "B", + "D", + "D", + "B", + "C", + "D", + "A", + "A", + "B", + "C", + "B", + "C", + "D", + "C", + "A", + "C", + "C", + "A", + "B", + "B", + "B", + "D", + "B", + "B", + "B", + "A", + "D", + "C", + "C", + "A", + "C" + ] + }, + "human_aging": { + "pred_answers": [ + "A", + "B", + "A", + "A", + "B", + "A", + "A", + "D", + "A", + "C", + "A", + "C", + "C", + "A", + "B", + "A", + "B", + "B", + "A", + "B", + "D", + "C", + "A", + "B", + "A", + "B", + "A", + "A", + "B", + "B", + "C", + "B", + "A", + "A", + "D", + "B", + "A", + "B", + "D", + "A", + "B", + "A", + "B", + "B", + "C", + "B", + "A", + "A", + "D", + "A", + "C", + "A", + "C", + "C", + "D", + "A", + "C", + "B", + "A", + "D", + "B", + "C", + "C", + "B", + "B", + "D", + "D", + "A", + "Hawaii", + "C", + "A", + "B", + "A", + "C", + "A", + "A", + "A", + "D", + "D", + "A", + "A", + "B", + "C", + "A", + "C", + "B", + "A", + "A", + "B", + "A", + "B", + "B", + "D", + "B", + "D", + "C", + "A", + "D", + "B", + "B", + "B", + "A", + "C", + "A", + "D", + "A", + "B", + "C", + "C", + "C", + "A", + "B", + "A", + "A", + "B", + "C", + "A", + "C", + "A", + "B", + "B", + "A", + "D", + "D", + "B", + "D", + "B", + "C", + "C", + "A", + "C", + "A", + "D", + "B", + "C", + "B", + "B", + "D", + "A", + "B", + "B", + "A", + "A", + "B", + "B", + "B", + "A", + "A", + "A", + "C", + "D", + "C", + "B", + "A", + "C", + "A", + "C", + "A", + "C", + "D", + "A", + "C", + "B", + "D", + "C", + "B", + "A", + "A", + "B", + "B", + "C", + "B", + "D", + "A", + "B", + "B", + "C", + "D", + "A", + "B", + "A", + "B", + "B", + "C", + "A", + "A", + "C", + "C", + "D", + "A", + "A", + "C", + "A", + "B", + "B", + "A", + "D", + "A", + "C", + "A", + "B", + "C", + "C", + "A", + "B", + "B", + "A", + "B", + "C", + "A", + "B", + "B", + "B", + "A", + "D", + "C", + "C", + "B", + "B", + "B", + "A", + "A", + "E" + ], + "gold_answers": [ + "A", + "B", + "A", + "A", + "B", + "D", + "D", + "D", + "A", + "C", + "A", + "A", + "B", + "A", + "B", + "B", + "C", + "B", + "A", + "B", + "C", + "D", + "B", + "B", + "A", + "A", + "A", + "A", + "B", + "D", + "C", + "B", + "A", + "A", + "D", + "B", + "A", + "B", + "B", + "A", + "B", + "A", + "B", + "B", + "C", + "B", + "B", + "B", + "D", + "A", + "C", + "D", + "D", + "C", + "D", + "B", + "C", + "B", + "D", + "C", + "B", + "C", + "C", + "B", + "A", + "B", + "C", + "D", + "D", + "B", + "B", + "D", + "B", + "C", + "A", + "C", + "A", + "B", + "B", + "A", + "B", + "B", + "A", + "C", + "B", + "B", + "A", + "A", + "B", + "A", + "B", + "A", + "A", + "B", + "B", + "A", + "A", + "D", + "B", + "B", + "B", + "C", + "C", + "A", + "D", + "A", + "A", + "C", + "C", + "B", + "A", + "A", + "B", + "A", + "B", + "C", + "A", + "C", + "B", + "B", + "B", + "A", + "C", + "D", + "A", + "C", + "B", + "C", + "B", + "A", + "A", + "A", + "B", + "B", + "C", + "B", + "B", + "D", + "A", + "B", + "B", + "A", + "A", + "B", + "B", + "B", + "A", + "A", + "B", + "C", + "B", + "B", + "B", + "A", + "C", + "A", + "C", + "A", + "A", + "C", + "A", + "C", + "B", + "D", + "A", + "B", + "B", + "A", + "B", + "D", + "C", + "B", + "C", + "C", + "B", + "A", + "B", + "B", + "A", + "B", + "A", + "B", + "A", + "C", + "D", + "A", + "C", + "C", + "D", + "B", + "C", + "C", + "A", + "B", + "A", + "B", + "A", + "A", + "C", + "A", + "B", + "C", + "C", + "A", + "B", + "B", + "A", + "B", + "D", + "A", + "B", + "A", + "C", + "B", + "C", + "C", + "D", + "A", + "B", + "C", + "A", + "B", + "B" + ] + }, + "human_sexuality": { + "pred_answers": [ + "B", + "D", + "A", + "A", + "B", + "B", + "D", + "B", + "B", + "C", + "C", + "A", + "D", + "B", + "D", + "C", + "D", + "C", + "A", + "B", + "A", + "B", + "D", + "A", + "B", + "D", + "B", + "C", + "C", + "D", + "A", + "A", + "D", + "A", + "D", + "D", + "B", + "D", + "A", + "C", + "D", + "C", + "A", + "C", + "D", + "B", + "C", + "D", + "D", + "C", + "C", + "C", + "A", + "B", + "D", + "C", + "B", + "D", + "D", + "A", + "D", + "C", + "C", + "B", + "B", + "A", + "D", + "B", + "A", + "A", + "D", + "C", + "B", + "D", + "D", + "D", + "A", + "B", + "A", + "C", + "D", + "B", + "A", + "D", + "D", + "C", + "C", + "A", + "B", + "B", + "D", + "B", + "A", + "C", + "B", + "A", + "B", + "C", + "B", + "D", + "C", + "A", + "A", + "A", + "C", + "D", + "B", + "D", + "C", + "B", + "B", + "A", + "C", + "B", + "A", + "C", + "D", + "D", + "B", + "A", + "D", + "D", + "B", + "A", + "A", + "A", + "C", + "A", + "D", + "D", + "A" + ], + "gold_answers": [ + "B", + "D", + "A", + "A", + "B", + "C", + "D", + "C", + "A", + "C", + "C", + "B", + "D", + "B", + "D", + "C", + "D", + "A", + "A", + "C", + "A", + "B", + "D", + "C", + "A", + "B", + "B", + "C", + "C", + "D", + "C", + "D", + "D", + "A", + "C", + "D", + "B", + "D", + "B", + "D", + "D", + "C", + "A", + "C", + "D", + "B", + "C", + "D", + "D", + "A", + "C", + "C", + "D", + "B", + "D", + "C", + "B", + "A", + "D", + "A", + "D", + "C", + "D", + "B", + "B", + "A", + "B", + "B", + "A", + "A", + "D", + "C", + "B", + "D", + "D", + "D", + "A", + "B", + "A", + "D", + "D", + "B", + "C", + "B", + "D", + "A", + "C", + "A", + "B", + "B", + "D", + "B", + "A", + "C", + "B", + "A", + "C", + "C", + "A", + "A", + "B", + "C", + "A", + "A", + "C", + "B", + "A", + "D", + "C", + "B", + "B", + "A", + "C", + "B", + "A", + "D", + "D", + "D", + "B", + "A", + "A", + "D", + "A", + "C", + "A", + "A", + "C", + "A", + "D", + "D", + "D" + ] + }, + "international_law": { + "pred_answers": [ + "B", + "A", + "C", + "A", + "C", + "B", + "A", + "C", + "B", + "A", + "C", + "B", + "C", + "B", + "D", + "D", + "B", + "A", + "C", + "A", + "C", + "C", + "A", + "B", + "C", + "B", + "C", + "C", + "A", + "D", + "D", + "B", + "C", + "A", + "A", + "D", + "C", + "A", + "B", + "B", + "A", + "D", + "C", + "C", + "C", + "D", + "B", + "D", + "C", + "D", + "D", + "A", + "D", + "A", + "D", + "B", + "B", + "C", + "C", + "D", + "C", + "C", + "B", + "B", + "B", + "A", + "D", + "A", + "C", + "A", + "C", + "C", + "D", + "B", + "A", + "C", + "D", + "B", + "C", + "D", + "B", + "B", + "C", + "A", + "A", + "C", + "A", + "D", + "B", + "C", + "C", + "A", + "C", + "A", + "B", + "A", + "B", + "D", + "D", + "A", + "A", + "C", + "B", + "D", + "C", + "A", + "C", + "C", + "B", + "D", + "D", + "B", + "A", + "D", + "B", + "D", + "A", + "C", + "C", + "A", + "C" + ], + "gold_answers": [ + "B", + "A", + "C", + "A", + "C", + "B", + "C", + "C", + "B", + "A", + "C", + "B", + "C", + "B", + "C", + "A", + "B", + "A", + "C", + "D", + "C", + "C", + "C", + "B", + "C", + "A", + "C", + "C", + "A", + "B", + "C", + "C", + "C", + "A", + "A", + "D", + "C", + "A", + "B", + "B", + "A", + "D", + "C", + "C", + "C", + "B", + "B", + "D", + "C", + "D", + "D", + "A", + "D", + "A", + "D", + "B", + "B", + "A", + "C", + "A", + "C", + "C", + "B", + "B", + "B", + "A", + "D", + "A", + "C", + "C", + "C", + "D", + "B", + "B", + "A", + "C", + "D", + "B", + "A", + "C", + "A", + "B", + "C", + "C", + "A", + "D", + "B", + "B", + "B", + "C", + "C", + "A", + "C", + "A", + "B", + "A", + "B", + "D", + "D", + "A", + "A", + "C", + "C", + "C", + "C", + "A", + "C", + "C", + "B", + "B", + "D", + "B", + "D", + "C", + "B", + "D", + "A", + "C", + "C", + "A", + "C" + ] + }, + "jurisprudence": { + "pred_answers": [ + "A", + "B", + "C", + "C", + "C", + "A", + "D", + "C", + "B", + "A", + "C", + "D", + "D", + "C", + "C", + "A", + "D", + "C", + "A", + "B", + "B", + "D", + "B", + "A", + "A", + "A", + "C", + "D", + "D", + "C", + "D", + "D", + "A", + "B", + "C", + "B", + "C", + "A", + "B", + "D", + "A", + "C", + "B", + "A", + "C", + "C", + "B", + "A", + "D", + "D", + "A", + "A", + "A", + "A", + "D", + "A", + "C", + "B", + "A", + "B", + "A", + "A", + "C", + "C", + "D", + "D", + "B", + "B", + "B", + "D", + "B", + "C", + "C", + "B", + "A", + "C", + "A", + "C", + "A", + "A", + "B", + "A", + "D", + "C", + "A", + "C", + "B", + "A", + "Austin", + "B", + "B", + "C", + "B", + "B", + "B", + "D", + "C", + "A", + "D", + "B", + "B", + "D", + "C", + "B", + "D", + "C", + "B", + "C" + ], + "gold_answers": [ + "D", + "A", + "C", + "C", + "A", + "A", + "D", + "C", + "B", + "A", + "B", + "D", + "D", + "C", + "C", + "A", + "D", + "C", + "D", + "B", + "B", + "A", + "B", + "A", + "B", + "C", + "C", + "D", + "D", + "C", + "D", + "D", + "A", + "B", + "B", + "B", + "A", + "A", + "B", + "B", + "A", + "B", + "B", + "A", + "C", + "C", + "D", + "A", + "C", + "D", + "A", + "A", + "A", + "A", + "D", + "A", + "D", + "B", + "A", + "A", + "A", + "C", + "A", + "B", + "D", + "D", + "B", + "B", + "B", + "D", + "C", + "C", + "D", + "B", + "A", + "C", + "A", + "C", + "A", + "B", + "B", + "A", + "C", + "B", + "A", + "C", + "B", + "D", + "D", + "C", + "B", + "C", + "B", + "B", + "B", + "A", + "C", + "B", + "D", + "B", + "B", + "D", + "C", + "B", + "D", + "C", + "B", + "C" + ] + }, + "logical_fallacies": { + "pred_answers": [ + "A", + "C", + "C", + "D", + "C", + "B", + "A", + "A", + "A", + "B", + "A", + "A", + "D", + "C", + "A", + "C", + "D", + "B", + "B", + "D", + "D", + "C", + "None", + "B", + "A", + "D", + "C", + "B", + "B", + "B", + "D", + "D", + "C", + "D", + "C", + "C", + "C", + "A", + "C", + "A", + "D", + "B", + "B", + "B", + "D", + "A", + "C", + "A", + "C", + "C", + "A", + "D", + "D", + "A", + "A", + "D", + "B", + "C", + "B", + "C", + "D", + "B", + "A", + "C", + "C", + "A", + "A", + "C", + "D", + "C", + "B", + "B", + "None", + "A", + "C", + "A", + "C", + "B", + "D", + "C", + "C", + "C", + "B", + "B", + "C", + "B", + "D", + "D", + "C", + "C", + "C", + "B", + "A", + "C", + "C", + "B", + "B", + "C", + "B", + "C", + "A", + "A", + "A", + "D", + "A", + "False", + "B", + "A", + "A", + "D", + "D", + "B", + "B", + "A", + "A", + "A", + "B", + "C", + "D", + "A", + "C", + "D", + "A", + "A", + "A", + "B", + "D", + "A", + "B", + "D", + "C", + "B", + "C", + "C", + "A", + "C", + "C", + "A", + "D", + "D", + "D", + "D", + "A", + "B", + "C", + "C", + "C", + "A", + "B", + "A", + "C", + "A", + "A", + "A", + "D", + "A", + "C", + "D", + "C", + "D", + "C", + "A", + "C" + ], + "gold_answers": [ + "A", + "C", + "C", + "D", + "C", + "D", + "A", + "A", + "A", + "B", + "D", + "C", + "D", + "C", + "B", + "C", + "D", + "C", + "C", + "D", + "D", + "C", + "B", + "B", + "C", + "D", + "A", + "B", + "B", + "B", + "D", + "D", + "C", + "D", + "A", + "D", + "C", + "C", + "A", + "A", + "D", + "B", + "B", + "B", + "D", + "A", + "A", + "A", + "C", + "C", + "A", + "B", + "D", + "A", + "A", + "D", + "B", + "C", + "B", + "C", + "D", + "B", + "C", + "C", + "B", + "A", + "A", + "C", + "D", + "C", + "B", + "B", + "C", + "A", + "C", + "A", + "B", + "B", + "D", + "C", + "C", + "C", + "B", + "D", + "C", + "B", + "D", + "D", + "C", + "C", + "C", + "B", + "B", + "A", + "C", + "B", + "D", + "D", + "B", + "C", + "B", + "A", + "B", + "D", + "C", + "B", + "B", + "A", + "A", + "C", + "D", + "B", + "B", + "A", + "A", + "A", + "D", + "C", + "D", + "B", + "C", + "D", + "C", + "A", + "C", + "B", + "A", + "B", + "B", + "D", + "C", + "B", + "C", + "A", + "A", + "C", + "C", + "D", + "D", + "D", + "D", + "D", + "A", + "B", + "A", + "C", + "C", + "A", + "B", + "A", + "C", + "A", + "A", + "D", + "D", + "C", + "C", + "B", + "B", + "D", + "C", + "A", + "C" + ] + }, + "machine_learning": { + "pred_answers": [ + "C", + "A", + "C", + "D", + "A", + "B", + "C", + "A", + "B", + "A", + "D", + "D", + "A", + "B", + "B", + "A", + "A", + "A", + "A", + "C", + "C", + "A", + "C", + "A", + "B", + "D", + "None", + "D", + "D", + "D", + "C", + "A", + "A", + "D", + "A", + "D", + "D", + "C", + "D", + "A", + "A", + "C", + "C", + "B", + "D", + "C", + "D", + "A", + "A", + "A", + "D", + "C", + "C", + "C", + "A", + "C", + "A", + "A", + "D", + "A", + "A", + "A", + "C", + "A", + "C", + "A", + "A", + "C", + "A", + "A", + "C", + "B", + "A", + "A", + "C", + "A", + "C", + "C", + "B", + "True", + "A", + "A", + "B", + "C", + "B", + "C", + "A", + "B", + "C", + "A", + "A", + "C", + "D", + "B", + "A", + "A", + "A", + "None", + "A", + "A", + "B", + "A", + "D", + "A", + "C", + "B", + "A", + "D", + "D", + "B", + "A", + "C" + ], + "gold_answers": [ + "D", + "C", + "B", + "D", + "A", + "B", + "A", + "B", + "C", + "A", + "A", + "C", + "A", + "B", + "B", + "B", + "C", + "A", + "A", + "A", + "C", + "A", + "B", + "C", + "B", + "A", + "B", + "C", + "D", + "C", + "C", + "C", + "B", + "D", + "A", + "D", + "D", + "B", + "B", + "A", + "A", + "C", + "B", + "B", + "D", + "A", + "D", + "A", + "D", + "D", + "B", + "A", + "D", + "C", + "A", + "D", + "D", + "D", + "B", + "B", + "B", + "A", + "C", + "B", + "A", + "C", + "C", + "A", + "A", + "A", + "A", + "A", + "B", + "D", + "C", + "B", + "C", + "A", + "B", + "D", + "A", + "C", + "B", + "A", + "C", + "A", + "A", + "C", + "C", + "A", + "C", + "B", + "B", + "B", + "B", + "A", + "A", + "C", + "B", + "D", + "B", + "A", + "B", + "C", + "A", + "B", + "C", + "B", + "D", + "C", + "A", + "C" + ] + }, + "management": { + "pred_answers": [ + "B", + "D", + "C", + "D", + "A", + "B", + "D", + "D", + "B", + "C", + "C", + "B", + "D", + "B", + "D", + "C", + "D", + "C", + "B", + "C", + "D", + "A", + "D", + "A", + "D", + "D", + "A", + "B", + "A", + "D", + "D", + "D", + "D", + "B", + "C", + "B", + "C", + "D", + "C", + "B", + "B", + "A", + "C", + "D", + "A", + "C", + "B", + "D", + "D", + "B", + "B", + "A", + "B", + "C", + "D", + "D", + "D", + "D", + "D", + "D", + "B", + "A", + "D", + "B", + "D", + "D", + "A", + "B", + "B", + "B", + "D", + "C", + "B", + "A", + "B", + "C", + "D", + "D", + "B", + "C", + "C", + "D", + "A", + "C", + "D", + "C", + "A", + "C", + "C", + "D", + "D", + "D", + "B", + "C", + "C", + "B", + "D", + "A", + "A", + "A", + "D", + "B", + "D" + ], + "gold_answers": [ + "B", + "D", + "C", + "D", + "D", + "B", + "D", + "D", + "B", + "B", + "C", + "B", + "A", + "A", + "A", + "C", + "D", + "C", + "C", + "D", + "D", + "A", + "D", + "B", + "D", + "D", + "A", + "A", + "B", + "D", + "A", + "D", + "D", + "B", + "C", + "B", + "A", + "B", + "C", + "B", + "B", + "A", + "C", + "C", + "A", + "C", + "B", + "D", + "D", + "B", + "B", + "A", + "C", + "D", + "D", + "A", + "D", + "D", + "C", + "D", + "D", + "A", + "D", + "B", + "D", + "D", + "B", + "B", + "B", + "D", + "D", + "C", + "B", + "A", + "B", + "C", + "D", + "D", + "A", + "C", + "C", + "D", + "A", + "B", + "D", + "B", + "C", + "D", + "C", + "D", + "C", + "D", + "B", + "D", + "C", + "B", + "D", + "A", + "A", + "D", + "D", + "B", + "D" + ] + }, + "marketing": { + "pred_answers": [ + "B", + "D", + "C", + "C", + "A", + "D", + "A", + "A", + "C", + "C", + "C", + "B", + "A", + "B", + "C", + "C", + "D", + "C", + "C", + "B", + "C", + "A", + "D", + "B", + "B", + "B", + "C", + "C", + "B", + "A", + "B", + "A", + "A", + "D", + "A", + "A", + "B", + "B", + "B", + "B", + "B", + "C", + "B", + "A", + "A", + "B", + "C", + "C", + "A", + "B", + "D", + "B", + "B", + "D", + "B", + "A", + "B", + "C", + "A", + "A", + "C", + "A", + "A", + "D", + "A", + "C", + "A", + "A", + "D", + "D", + "A", + "C", + "A", + "A", + "C", + "D", + "C", + "C", + "D", + "D", + "D", + "D", + "C", + "A", + "D", + "B", + "C", + "C", + "D", + "C", + "A", + "C", + "A", + "A", + "D", + "C", + "C", + "A", + "B", + "A", + "D", + "A", + "C", + "A", + "D", + "A", + "B", + "D", + "D", + "B", + "A", + "B", + "A", + "A", + "C", + "A", + "B", + "A", + "D", + "C", + "C", + "C", + "D", + "A", + "B", + "D", + "C", + "C", + "Three", + "D", + "A", + "A", + "D", + "D", + "D", + "D", + "A", + "A", + "C", + "A", + "A", + "B", + "A", + "B", + "C", + "C", + "D", + "B", + "C", + "A", + "C", + "A", + "A", + "D", + "D", + "D", + "B", + "C", + "B", + "C", + "C", + "A", + "B", + "A", + "C", + "C", + "C", + "A", + "C", + "C", + "C", + "C", + "A", + "A", + "A", + "D", + "D", + "A", + "C", + "B", + "C", + "C", + "D", + "A", + "C", + "A", + "A", + "A", + "B", + "B", + "C", + "A", + "A", + "C", + "D", + "C", + "C", + "B", + "D", + "A", + "B", + "C", + "C", + "D", + "B", + "C", + "A", + "C", + "B", + "C", + "B", + "B", + "B", + "D", + "A", + "D", + "E", + "D", + "B", + "A", + "B", + "C", + "D", + "C", + "A", + "B", + "A", + "C", + "D", + "C", + "D", + "A", + "B", + "None" + ], + "gold_answers": [ + "B", + "A", + "C", + "B", + "A", + "D", + "A", + "A", + "C", + "A", + "C", + "C", + "A", + "B", + "C", + "C", + "D", + "C", + "C", + "B", + "C", + "A", + "D", + "B", + "B", + "B", + "A", + "C", + "B", + "A", + "B", + "A", + "A", + "D", + "A", + "A", + "B", + "B", + "B", + "B", + "B", + "C", + "B", + "A", + "A", + "B", + "C", + "C", + "A", + "B", + "A", + "B", + "B", + "D", + "A", + "B", + "B", + "C", + "A", + "A", + "C", + "A", + "A", + "D", + "A", + "C", + "A", + "A", + "D", + "D", + "A", + "C", + "A", + "B", + "C", + "D", + "C", + "C", + "D", + "D", + "D", + "D", + "C", + "A", + "D", + "B", + "C", + "B", + "D", + "A", + "A", + "C", + "A", + "A", + "D", + "C", + "B", + "A", + "B", + "A", + "D", + "A", + "C", + "C", + "D", + "B", + "B", + "D", + "D", + "B", + "A", + "B", + "C", + "A", + "C", + "B", + "B", + "A", + "D", + "C", + "D", + "C", + "D", + "A", + "B", + "D", + "C", + "C", + "A", + "A", + "B", + "B", + "D", + "D", + "D", + "D", + "A", + "A", + "C", + "A", + "A", + "B", + "A", + "B", + "D", + "C", + "D", + "B", + "C", + "B", + "C", + "A", + "A", + "D", + "D", + "D", + "B", + "C", + "B", + "C", + "C", + "C", + "B", + "A", + "C", + "D", + "C", + "A", + "C", + "C", + "C", + "C", + "A", + "A", + "A", + "D", + "D", + "A", + "C", + "B", + "C", + "B", + "D", + "A", + "B", + "A", + "A", + "A", + "B", + "B", + "C", + "A", + "C", + "D", + "D", + "C", + "C", + "B", + "D", + "A", + "B", + "C", + "C", + "D", + "B", + "C", + "A", + "C", + "B", + "C", + "B", + "B", + "B", + "D", + "A", + "D", + "B", + "B", + "A", + "A", + "B", + "C", + "D", + "A", + "A", + "B", + "A", + "C", + "D", + "C", + "D", + "A", + "B", + "B" + ] + }, + "medical_genetics": { + "pred_answers": [ + "B", + "A", + "B", + "C", + "D", + "B", + "D", + "C", + "D", + "A", + "A", + "A", + "A", + "D", + "D", + "A", + "D", + "B", + "Sister", + "D", + "", + "A", + "D", + "A", + "A", + "A", + "D", + "A", + "B", + "A", + "D", + "B", + "D", + "B", + "C", + "A", + "A", + "B", + "D", + "B", + "A", + "D", + "C", + "D", + "C", + "A", + "C", + "D", + "B", + "D", + "D", + "D", + "D", + "A", + "A", + "C", + "B", + "D", + "B", + "D", + "A", + "D", + "B", + "C", + "C", + "A", + "C", + "B", + "C", + "D", + "B", + "D", + "D", + "C", + "C", + "B", + "C", + "A", + "A", + "C", + "C", + "D", + "B", + "A", + "D", + "B", + "A", + "D", + "A", + "C", + "B", + "B", + "B", + "A", + "B", + "B", + "C", + "C", + "A", + "D" + ], + "gold_answers": [ + "B", + "A", + "A", + "C", + "A", + "B", + "D", + "C", + "D", + "C", + "A", + "A", + "A", + "D", + "D", + "A", + "A", + "B", + "C", + "D", + "D", + "A", + "D", + "A", + "A", + "A", + "B", + "C", + "B", + "D", + "A", + "C", + "D", + "B", + "B", + "A", + "A", + "B", + "D", + "B", + "A", + "C", + "C", + "D", + "C", + "A", + "C", + "D", + "C", + "D", + "D", + "C", + "D", + "B", + "A", + "B", + "B", + "D", + "A", + "B", + "A", + "D", + "C", + "C", + "A", + "A", + "B", + "B", + "A", + "D", + "B", + "D", + "A", + "C", + "B", + "B", + "C", + "C", + "A", + "A", + "B", + "D", + "B", + "A", + "C", + "B", + "A", + "B", + "D", + "C", + "B", + "B", + "B", + "A", + "B", + "D", + "C", + "D", + "A", + "D" + ] + }, + "miscellaneous": { + "pred_answers": [ + "C", + "B", + "D", + "D", + "B", + "C", + "C", + "C", + "A", + "B", + "C", + "Tr", + "A", + "D", + "D", + "B", + "A", + "D", + "A", + "A", + "D", + "A", + "C", + "B", + "D", + "C", + "C", + "C", + "D", + "A", + "B", + "D", + "C", + "D", + "C", + "C", + "C", + "D", + "B", + "B", + "C", + "A", + "B", + "C", + "A", + "B", + "A", + "A", + "B", + "C", + "B", + "A", + "C", + "C", + "B", + "A", + "C", + "D", + "B", + "A", + "B", + "C", + "B", + "D", + "A", + "A", + "Sc", + "D", + "A", + "B", + "A", + "C", + "B", + "B", + "C", + "C", + "B", + "B", + "B", + "B", + "C", + "B", + "A", + "B", + "C", + "B", + "C", + "D", + "B", + "D", + "B", + "D", + "D", + "D", + "A", + "D", + "B", + "C", + "B", + "A", + "D", + "C", + "B", + "B", + "C", + "A", + "A", + "A", + "B", + "D", + "D", + "A", + "C", + "A", + "D", + "A", + "B", + "B", + "D", + "B", + "A", + "B", + "B", + "B", + "C", + "C", + "B", + "B", + "A", + "D", + "A", + "C", + "D", + "C", + "C", + "B", + "C", + "A", + "D", + "B", + "A", + "C", + "B", + "B", + "D", + "D", + "B", + "C", + "D", + "D", + "B", + "A", + "D", + "C", + "B", + "B", + "B", + "B", + "B", + "B", + "A", + "A", + "B", + "None", + "D", + "A", + "C", + "A", + "B", + "A", + "D", + "C", + "C", + "D", + "A", + "A", + "B", + "C", + "A", + "A", + "D", + "B", + "D", + "D", + "B", + "C", + "C", + "C", + "C", + "D", + "C", + "B", + "A", + "D", + "D", + "B", + "D", + "B", + "C", + "B", + "D", + "A", + "A", + "A", + "B", + "C", + "A", + "B", + "C", + "D", + "B", + "D", + "B", + "B", + "A", + "six", + "A", + "B", + "A", + "C", + "D", + "C", + "B", + "D", + "C", + "C", + "B", + "B", + "D", + "B", + "D", + "D", + "C", + "A", + "B", + "B", + "C", + "A", + "A", + "A", + "C", + "B", + "D", + "B", + "B", + "A", + "B", + "C", + "D", + "C", + "D", + "C", + "B", + "A", + "N", + "B", + "A", + "D", + "D", + "D", + "C", + "D", + "B", + "B", + "D", + "A", + "B", + "D", + "A", + "D", + "A", + "A", + "Kingdom", + "A", + "C", + "C", + "D", + "C", + "C", + "A", + "C", + "A", + "C", + "A", + "B", + "B", + "D", + "A", + "B", + "D", + "D", + "A", + "B", + "B", + "C", + "C", + "A", + "C", + "A", + "C", + "D", + "C", + "A", + "D", + "B", + "B", + "C", + "A", + "B", + "C", + "B", + "D", + "C", + "B", + "A", + "B", + "B", + "D", + "B", + "B", + "C", + "D", + "A", + "A", + "A", + "C", + "A", + "B", + "A", + "A", + "A", + "C", + "C", + "D", + "B", + "A", + "B", + "B", + "C", + "B", + "A", + "D", + "D", + "D", + "B", + "D", + "C", + "A", + "A", + "B", + "B", + "A", + "C", + "C", + "D", + "C", + "B", + "A", + "A", + "A", + "B", + "A", + "B", + "A", + "D", + "A", + "C", + "A", + "D", + "C", + "A", + "A", + "C", + "B", + "B", + "C", + "C", + "C", + "A", + "A", + "B", + "B", + "D", + "B", + "D", + "D", + "A", + "C", + "D", + "D", + "B", + "D", + "B", + "D", + "B", + "B", + "B", + "B", + "A", + "D", + "B", + "A", + "B", + "D", + "C", + "A", + "C", + "D", + "B", + "D", + "D", + "A", + "C", + "B", + "D", + "B", + "C", + "A", + "C", + "A", + "C", + "C", + "A", + "C", + "C", + "C", + "A", + "C", + "A", + "B", + "D", + "C", + "B", + "B", + "A", + "A", + "D", + "B", + "A", + "B", + "B", + "D", + "B", + "D", + "Detroit", + "C", + "B", + "A", + "D", + "D", + "A", + "A", + "A", + "B", + "C", + "B", + "C", + "A", + "D", + "D", + "B", + "D", + "B", + "D", + "A", + "B", + "C", + "A", + "B", + "C", + "D", + "C", + "B", + "B", + "B", + "A", + "C", + "A", + "A", + "A", + "A", + "C", + "A", + "B", + "C", + "v", + "C", + "B", + "D", + "A", + "D", + "B", + "B", + "C", + "C", + "B", + "D", + "A", + "B", + "B", + "B", + "B", + "C", + "B", + "B", + "B", + "D", + "D", + "C", + "B", + "D", + "D", + "A", + "A", + "B", + "A", + "D", + "B", + "A", + "D", + "B", + "A", + "B", + "A", + "A", + "D", + "C", + "D", + "A", + "B", + "A", + "A", + "A", + "C", + "A", + "A", + "A", + "C", + "A", + "B", + "B", + "D", + "C", + "A", + "B", + "A", + "A", + "C", + "C", + "C", + "A", + "C", + "A", + "C", + "A", + "C", + "B", + "D", + "C", + "C", + "A", + "A", + "D", + "C", + "B", + "D", + "B", + "B", + "A", + "D", + "B", + "D", + "B", + "D", + "C", + "A", + "C", + "A", + "D", + "D", + "C", + "A", + "A", + "D", + "B", + "A", + "B", + "Three", + "D", + "C", + "C", + "A", + "A", + "A", + "B", + "C", + "B", + "B", + "B", + "D", + "B", + "B", + "D", + "A", + "D", + "C", + "A", + "D", + "B", + "C", + "D", + "B", + "A", + "B", + "D", + "A", + "D", + "B", + "B", + "B", + "D", + "A", + "B", + "C", + "A", + "A", + "D", + "D", + "B", + "B", + "B", + "D", + "A", + "A", + "A", + "B", + "B", + "D", + "D", + "C", + "A", + "D", + "B", + "B", + "D", + "B", + "C", + "A", + "D", + "B", + "B", + "B", + "A", + "C", + "D", + "B", + "B", + "B", + "A", + "C", + "B", + "C", + "C", + "C", + "A", + "A", + "D", + "B", + "A", + "D", + "C", + "A", + "A", + "B", + "C", + "C", + "D", + "C", + "D", + "D", + "C", + "B", + "A", + "B", + "A", + "A", + "B", + "D", + "A", + "B", + "D", + "A", + "B", + "A", + "A", + "D", + "A", + "A", + "B", + "A", + "C", + "A", + "A", + "D", + "A", + "D", + "A", + "C", + "B", + "C", + "A", + "D", + "D", + "D", + "C", + "C", + "B", + "B", + "C", + "B", + "A", + "A", + "D", + "B", + "B", + "A", + "C", + "A", + "B", + "C", + "B", + "B", + "C", + "A", + "A", + "B", + "D", + "B", + "D", + "C", + "A", + "C", + "C", + "C", + "D", + "C", + "A", + "D", + "A", + "B", + "D", + "A", + "D", + "D", + "C", + "B", + "B", + "D", + "D", + "D", + "A", + "B", + "A", + "B", + "C", + "C", + "C", + "A", + "B", + "A", + "C", + "A", + "C", + "D", + "B", + "A", + "A", + "D", + "C", + "A", + "D", + "A", + "D" + ], + "gold_answers": [ + "C", + "B", + "D", + "C", + "B", + "C", + "C", + "A", + "A", + "B", + "A", + "B", + "B", + "B", + "A", + "B", + "A", + "A", + "A", + "A", + "D", + "A", + "C", + "B", + "D", + "C", + "C", + "C", + "D", + "A", + "D", + "C", + "C", + "D", + "C", + "C", + "C", + "D", + "B", + "B", + "C", + "A", + "B", + "C", + "D", + "B", + "A", + "A", + "C", + "C", + "B", + "A", + "C", + "C", + "B", + "A", + "C", + "D", + "B", + "B", + "B", + "C", + "C", + "D", + "C", + "A", + "A", + "B", + "A", + "B", + "A", + "C", + "B", + "B", + "C", + "C", + "B", + "C", + "C", + "B", + "C", + "B", + "C", + "D", + "C", + "B", + "C", + "D", + "B", + "C", + "B", + "D", + "B", + "D", + "A", + "D", + "B", + "C", + "B", + "D", + "D", + "C", + "B", + "B", + "C", + "A", + "A", + "C", + "B", + "D", + "D", + "A", + "C", + "A", + "D", + "A", + "C", + "B", + "D", + "B", + "A", + "D", + "B", + "B", + "C", + "C", + "B", + "B", + "D", + "D", + "A", + "C", + "D", + "C", + "C", + "B", + "C", + "C", + "A", + "C", + "C", + "C", + "B", + "B", + "D", + "D", + "B", + "C", + "D", + "D", + "D", + "B", + "D", + "C", + "B", + "B", + "B", + "B", + "B", + "B", + "A", + "D", + "A", + "B", + "D", + "A", + "C", + "A", + "B", + "A", + "D", + "C", + "C", + "D", + "A", + "A", + "B", + "C", + "A", + "B", + "D", + "B", + "A", + "B", + "D", + "C", + "C", + "C", + "C", + "D", + "C", + "C", + "A", + "B", + "D", + "C", + "D", + "B", + "C", + "B", + "D", + "C", + "A", + "A", + "B", + "C", + "A", + "B", + "A", + "D", + "B", + "D", + "B", + "B", + "D", + "C", + "A", + "B", + "A", + "C", + "D", + "C", + "B", + "D", + "C", + "C", + "B", + "C", + "A", + "B", + "D", + "D", + "B", + "A", + "B", + "B", + "C", + "A", + "B", + "A", + "C", + "C", + "D", + "C", + "B", + "A", + "B", + "C", + "D", + "C", + "A", + "C", + "B", + "A", + "A", + "B", + "D", + "D", + "D", + "D", + "C", + "D", + "B", + "B", + "C", + "B", + "B", + "D", + "A", + "B", + "A", + "A", + "A", + "A", + "C", + "D", + "D", + "C", + "A", + "A", + "C", + "B", + "C", + "A", + "B", + "B", + "D", + "C", + "D", + "C", + "D", + "A", + "B", + "A", + "C", + "C", + "A", + "C", + "B", + "B", + "D", + "C", + "A", + "D", + "B", + "B", + "C", + "A", + "B", + "C", + "A", + "D", + "B", + "B", + "A", + "B", + "B", + "D", + "B", + "B", + "C", + "D", + "A", + "C", + "B", + "C", + "C", + "B", + "A", + "A", + "A", + "B", + "A", + "C", + "B", + "A", + "B", + "C", + "C", + "B", + "B", + "D", + "D", + "D", + "B", + "C", + "C", + "A", + "D", + "B", + "C", + "A", + "C", + "C", + "D", + "C", + "B", + "B", + "C", + "D", + "B", + "B", + "B", + "A", + "D", + "A", + "C", + "B", + "D", + "C", + "B", + "A", + "C", + "C", + "B", + "C", + "C", + "C", + "A", + "D", + "B", + "B", + "C", + "D", + "D", + "D", + "A", + "C", + "D", + "D", + "B", + "C", + "D", + "D", + "B", + "B", + "B", + "B", + "A", + "D", + "B", + "A", + "B", + "D", + "A", + "A", + "C", + "A", + "B", + "D", + "D", + "A", + "C", + "B", + "D", + "B", + "C", + "A", + "C", + "A", + "C", + "C", + "A", + "C", + "C", + "D", + "A", + "C", + "A", + "B", + "D", + "B", + "B", + "B", + "A", + "A", + "D", + "B", + "A", + "B", + "B", + "D", + "B", + "D", + "C", + "C", + "B", + "A", + "D", + "D", + "A", + "A", + "A", + "B", + "C", + "B", + "C", + "A", + "C", + "A", + "B", + "D", + "B", + "D", + "A", + "B", + "C", + "A", + "B", + "C", + "D", + "C", + "A", + "B", + "B", + "B", + "A", + "A", + "A", + "A", + "A", + "C", + "A", + "C", + "C", + "B", + "C", + "B", + "D", + "A", + "D", + "D", + "B", + "C", + "C", + "B", + "D", + "C", + "B", + "A", + "B", + "D", + "C", + "B", + "B", + "C", + "B", + "D", + "C", + "D", + "D", + "D", + "A", + "A", + "C", + "A", + "D", + "B", + "A", + "A", + "C", + "A", + "D", + "C", + "A", + "D", + "C", + "D", + "A", + "B", + "A", + "B", + "A", + "C", + "A", + "A", + "A", + "C", + "A", + "C", + "B", + "A", + "C", + "A", + "C", + "A", + "A", + "C", + "C", + "C", + "A", + "C", + "A", + "C", + "A", + "C", + "B", + "D", + "C", + "C", + "B", + "B", + "D", + "C", + "B", + "B", + "B", + "D", + "D", + "B", + "B", + "D", + "B", + "D", + "C", + "B", + "C", + "B", + "D", + "D", + "C", + "C", + "A", + "C", + "B", + "A", + "B", + "C", + "D", + "C", + "B", + "C", + "C", + "A", + "C", + "C", + "B", + "B", + "B", + "B", + "B", + "B", + "D", + "A", + "D", + "A", + "C", + "A", + "B", + "C", + "D", + "B", + "A", + "B", + "D", + "B", + "D", + "B", + "B", + "B", + "D", + "D", + "B", + "C", + "A", + "A", + "D", + "D", + "B", + "B", + "B", + "D", + "A", + "A", + "B", + "B", + "B", + "D", + "D", + "C", + "A", + "B", + "B", + "B", + "D", + "B", + "C", + "B", + "D", + "D", + "A", + "B", + "B", + "D", + "A", + "B", + "B", + "B", + "A", + "C", + "B", + "C", + "C", + "C", + "A", + "A", + "A", + "B", + "A", + "D", + "C", + "A", + "C", + "B", + "C", + "C", + "D", + "C", + "B", + "D", + "B", + "A", + "A", + "B", + "B", + "C", + "B", + "C", + "A", + "B", + "B", + "A", + "A", + "A", + "A", + "D", + "A", + "A", + "B", + "A", + "C", + "A", + "A", + "D", + "B", + "D", + "D", + "C", + "B", + "C", + "A", + "D", + "D", + "D", + "C", + "B", + "C", + "D", + "C", + "B", + "A", + "A", + "D", + "B", + "B", + "A", + "C", + "A", + "B", + "C", + "A", + "B", + "C", + "A", + "A", + "B", + "D", + "B", + "D", + "C", + "A", + "C", + "C", + "C", + "A", + "C", + "A", + "D", + "A", + "B", + "D", + "A", + "D", + "D", + "C", + "B", + "C", + "D", + "D", + "D", + "A", + "C", + "C", + "B", + "C", + "C", + "C", + "A", + "D", + "A", + "C", + "A", + "C", + "D", + "A", + "A", + "A", + "A", + "C", + "B", + "D", + "A", + "D" + ] + }, + "moral_disputes": { + "pred_answers": [ + "A", + "C", + "D", + "C", + "C", + "C", + "D", + "B", + "A", + "D", + "C", + "D", + "A", + "D", + "B", + "C", + "A", + "A", + "A", + "B", + "C", + "B", + "D", + "C", + "C", + "B", + "C", + "D", + "A", + "C", + "C", + "C", + "A", + "A", + "B", + "A", + "D", + "B", + "C", + "A", + "D", + "B", + "B", + "B", + "C", + "A", + "D", + "A", + "B", + "B", + "A", + "D", + "B", + "D", + "D", + "A", + "A", + "B", + "C", + "A", + "A", + "A", + "B", + "D", + "B", + "B", + "B", + "C", + "A", + "A", + "C", + "B", + "A", + "B", + "B", + "D", + "B", + "A", + "D", + "A", + "C", + "D", + "A", + "A", + "D", + "D", + "B", + "D", + "B", + "B", + "B", + "C", + "D", + "C", + "A", + "B", + "B", + "C", + "B", + "C", + "D", + "D", + "A", + "D", + "D", + "C", + "B", + "None", + "A", + "B", + "B", + "D", + "A", + "A", + "A", + "C", + "B", + "B", + "A", + "B", + "A", + "D", + "A", + "C", + "B", + "A", + "A", + "A", + "D", + "D", + "B", + "B", + "D", + "A", + "A", + "A", + "A", + "D", + "C", + "C", + "C", + "C", + "B", + "D", + "A", + "C", + "D", + "A", + "D", + "C", + "C", + "D", + "B", + "C", + "C", + "C", + "B", + "D", + "A", + "B", + "D", + "B", + "A", + "A", + "A", + "C", + "C", + "B", + "B", + "C", + "D", + "A", + "D", + "B", + "C", + "D", + "B", + "D", + "D", + "A", + "B", + "B", + "D", + "A", + "C", + "D", + "C", + "D", + "B", + "B", + "A", + "B", + "B", + "D", + "D", + "D", + "A", + "C", + "C", + "A", + "D", + "C", + "C", + "C", + "D", + "B", + "C", + "D", + "C", + "D", + "B", + "D", + "A", + "D", + "A", + "B", + "A", + "A", + "A", + "D", + "None", + "B", + "C", + "D", + "D", + "C", + "A", + "A", + "D", + "A", + "C", + "C", + "B", + "B", + "C", + "B", + "D", + "B", + "B", + "A", + "C", + "B", + "B", + "C", + "D", + "A", + "C", + "A", + "C", + "C", + "C", + "C", + "B", + "D", + "None", + "A", + "B", + "B", + "B", + "A", + "C", + "D", + "B", + "B", + "B", + "D", + "A", + "B", + "C", + "C", + "B", + "C", + "A", + "C", + "A", + "C", + "C", + "D", + "C", + "D", + "C", + "D", + "C", + "C", + "C", + "B", + "C", + "A", + "A", + "D", + "A", + "A", + "C", + "A", + "B", + "A", + "D", + "D", + "A", + "B", + "A", + "B", + "None", + "C", + "B", + "D", + "D", + "C", + "D", + "C", + "B", + "D", + "C", + "C", + "A", + "C", + "C", + "A", + "D", + "C", + "C", + "A", + "A", + "A", + "A", + "A", + "C", + "A", + "D", + "B", + "B", + "D", + "B", + "C", + "A", + "B", + "A", + "A", + "B", + "A", + "B", + "C", + "B", + "B", + "C", + "B" + ], + "gold_answers": [ + "A", + "C", + "A", + "C", + "B", + "C", + "D", + "B", + "D", + "D", + "D", + "B", + "B", + "D", + "C", + "C", + "A", + "A", + "A", + "B", + "C", + "B", + "D", + "C", + "B", + "B", + "C", + "D", + "C", + "D", + "A", + "C", + "A", + "D", + "B", + "A", + "C", + "C", + "B", + "C", + "C", + "D", + "A", + "B", + "C", + "A", + "B", + "A", + "B", + "B", + "A", + "B", + "A", + "D", + "D", + "C", + "D", + "C", + "C", + "A", + "D", + "A", + "B", + "D", + "B", + "B", + "B", + "D", + "D", + "A", + "C", + "B", + "A", + "B", + "B", + "D", + "B", + "C", + "C", + "D", + "C", + "D", + "A", + "A", + "A", + "D", + "B", + "D", + "B", + "A", + "B", + "C", + "B", + "B", + "A", + "A", + "B", + "C", + "B", + "C", + "D", + "D", + "B", + "D", + "D", + "C", + "C", + "C", + "A", + "B", + "B", + "B", + "C", + "C", + "A", + "C", + "B", + "A", + "A", + "B", + "B", + "B", + "A", + "C", + "C", + "A", + "A", + "A", + "B", + "D", + "B", + "B", + "D", + "B", + "A", + "A", + "D", + "D", + "C", + "C", + "C", + "C", + "D", + "D", + "A", + "C", + "C", + "D", + "D", + "C", + "D", + "C", + "C", + "C", + "C", + "C", + "B", + "A", + "A", + "A", + "D", + "B", + "A", + "A", + "A", + "C", + "D", + "B", + "A", + "C", + "A", + "A", + "A", + "B", + "C", + "C", + "B", + "D", + "D", + "A", + "D", + "B", + "D", + "A", + "C", + "D", + "C", + "D", + "D", + "A", + "B", + "C", + "B", + "B", + "D", + "D", + "A", + "C", + "C", + "A", + "C", + "C", + "C", + "A", + "D", + "C", + "C", + "A", + "B", + "D", + "D", + "D", + "C", + "B", + "A", + "C", + "A", + "A", + "A", + "D", + "C", + "D", + "C", + "D", + "D", + "C", + "A", + "A", + "D", + "A", + "C", + "C", + "B", + "B", + "C", + "B", + "A", + "B", + "D", + "A", + "C", + "B", + "C", + "C", + "D", + "A", + "D", + "A", + "B", + "D", + "A", + "C", + "A", + "D", + "A", + "A", + "B", + "B", + "B", + "B", + "C", + "C", + "A", + "B", + "D", + "D", + "A", + "B", + "C", + "C", + "B", + "C", + "A", + "A", + "C", + "C", + "C", + "B", + "D", + "D", + "C", + "D", + "C", + "C", + "C", + "B", + "C", + "A", + "B", + "C", + "B", + "C", + "C", + "B", + "B", + "A", + "D", + "D", + "C", + "A", + "A", + "C", + "D", + "C", + "A", + "A", + "D", + "C", + "D", + "C", + "B", + "D", + "C", + "B", + "A", + "B", + "C", + "A", + "D", + "A", + "C", + "A", + "B", + "B", + "A", + "A", + "C", + "A", + "C", + "C", + "B", + "D", + "B", + "C", + "B", + "B", + "D", + "A", + "B", + "A", + "B", + "C", + "B", + "A", + "C", + "B" + ] + }, + "moral_scenarios": { + "pred_answers": [ + "D", + "B", + "C", + "A", + "D", + "B", + "A", + "C", + "A", + "A", + "C", + "A", + "A", + "A", + "C", + "B", + "C", + "C", + "B", + "A", + "B", + "A", + "C", + "A", + "A", + "A", + "B", + "C", + "A", + "A", + "A", + "A", + "A", + "A", + "A", + "A", + "A", + "A", + "A", + "C", + "A", + "A", + "C", + "A", + "C", + "A", + "A", + "B", + "C", + "C", + "A", + "A", + "C", + "A", + "A", + "C", + "B", + "C", + "A", + "C", + "A", + "A", + "C", + "A", + "B", + "C", + "C", + "C", + "C", + "A", + "C", + "A", + "A", + "A", + "A", + "C", + "C", + "C", + "C", + "A", + "B", + "C", + "A", + "A", + "A", + "D", + "C", + "C", + "C", + "C", + "A", + "C", + "C", + "C", + "A", + "C", + "C", + "A", + "A", + "A", + "C", + "A", + "A", + "D", + "C", + "D", + "A", + "C", + "B", + "C", + "C", + "C", + "A", + "C", + "A", + "C", + "A", + "B", + "A", + "A", + "A", + "A", + "A", + "C", + "C", + "A", + "C", + "B", + "A", + "C", + "A", + "C", + "A", + "A", + "A", + "A", + "A", + "A", + "C", + "A", + "B", + "A", + "B", + "B", + "B", + "C", + "A", + "A", + "C", + "A", + "D", + "C", + "C", + "B", + "A", + "A", + "C", + "D", + "A", + "A", + "C", + "C", + "A", + "A", + "C", + "A", + "C", + "C", + "A", + "C", + "A", + "C", + "A", + "A", + "A", + "C", + "C", + "C", + "C", + "A", + "C", + "B", + "C", + "A", + "B", + "C", + "A", + "A", + "C", + "C", + "C", + "C", + "A", + "B", + "A", + "A", + "C", + "A", + "A", + "C", + "A", + "A", + "A", + "C", + "D", + "A", + "A", + "A", + "B", + "A", + "A", + "A", + "A", + "A", + "A", + "A", + "C", + "C", + "A", + "B", + "C", + "C", + "A", + "C", + "A", + "A", + "A", + "B", + "C", + "A", + "A", + "A", + "A", + "C", + "A", + "A", + "B", + "C", + "A", + "C", + "C", + "C", + "C", + "C", + "C", + "C", + "C", + "D", + "A", + "C", + "A", + "C", + "A", + "A", + "A", + "A", + "C", + "C", + "A", + "A", + "C", + "A", + "A", + "A", + "D", + "C", + "C", + "C", + "A", + "C", + "A", + "C", + "A", + "B", + "A", + "C", + "B", + "C", + "A", + "C", + "B", + "A", + "A", + "C", + "A", + "B", + "D", + "B", + "A", + "A", + "A", + "C", + "A", + "C", + "C", + "A", + "C", + "A", + "C", + "D", + "A", + "C", + "A", + "C", + "A", + "A", + "A", + "B", + "A", + "A", + "C", + "C", + "A", + "A", + "C", + "A", + "B", + "C", + "C", + "A", + "A", + "C", + "C", + "C", + "A", + "A", + "B", + "A", + "C", + "B", + "A", + "A", + "C", + "A", + "A", + "C", + "A", + "C", + "A", + "D", + "C", + "A", + "A", + "C", + "C", + "A", + "A", + "A", + "A", + "A", + "A", + "B", + "B", + "C", + "C", + "B", + "A", + "D", + "C", + "A", + "B", + "A", + "A", + "A", + "B", + "C", + "C", + "A", + "C", + "C", + "A", + "C", + "B", + "C", + "D", + "B", + "A", + "A", + "A", + "B", + "C", + "C", + "A", + "A", + "A", + "A", + "C", + "A", + "C", + "A", + "B", + "C", + "B", + "B", + "C", + "B", + "B", + "C", + "C", + "A", + "A", + "A", + "C", + "A", + "A", + "A", + "C", + "A", + "C", + "A", + "A", + "A", + "B", + "A", + "A", + "A", + "A", + "B", + "C", + "A", + "C", + "C", + "C", + "C", + "A", + "A", + "C", + "C", + "C", + "C", + "B", + "A", + "A", + "C", + "B", + "C", + "C", + "B", + "C", + "C", + "A", + "C", + "A", + "C", + "A", + "C", + "C", + "A", + "C", + "A", + "A", + "A", + "A", + "A", + "C", + "A", + "A", + "B", + "C", + "C", + "A", + "C", + "A", + "C", + "C", + "A", + "B", + "A", + "A", + "C", + "C", + "A", + "C", + "A", + "C", + "A", + "A", + "A", + "D", + "A", + "A", + "B", + "C", + "B", + "C", + "A", + "C", + "A", + "A", + "A", + "A", + "A", + "C", + "B", + "C", + "A", + "B", + "C", + "A", + "A", + "A", + "C", + "A", + "B", + "A", + "C", + "C", + "A", + "C", + "A", + "C", + "B", + "A", + "A", + "C", + "C", + "A", + "C", + "A", + "A", + "A", + "B", + "A", + "A", + "C", + "A", + "A", + "C", + "C", + "C", + "B", + "A", + "A", + "B", + "B", + "C", + "C", + "A", + "A", + "C", + "A", + "A", + "C", + "A", + "A", + "A", + "A", + "A", + "A", + "C", + "C", + "C", + "A", + "B", + "A", + "A", + "A", + "C", + "C", + "A", + "C", + "C", + "A", + "C", + "C", + "B", + "A", + "A", + "A", + "A", + "A", + "A", + "D", + "D", + "A", + "A", + "C", + "A", + "A", + "C", + "C", + "C", + "B", + "C", + "A", + "C", + "C", + "C", + "A", + "A", + "C", + "A", + "B", + "A", + "A", + "C", + "A", + "C", + "D", + "C", + "A", + "D", + "A", + "D", + "A", + "A", + "C", + "A", + "A", + "A", + "A", + "C", + "A", + "C", + "A", + "A", + "C", + "C", + "A", + "C", + "C", + "C", + "D", + "B", + "C", + "C", + "C", + "C", + "A", + "A", + "C", + "C", + "A", + "B", + "C", + "B", + "A", + "C", + "A", + "C", + "A", + "A", + "C", + "C", + "A", + "A", + "A", + "C", + "B", + "C", + "A", + "A", + "A", + "C", + "B", + "A", + "C", + "A", + "B", + "C", + "C", + "A", + "C", + "B", + "C", + "A", + "A", + "A", + "C", + "C", + "A", + "A", + "C", + "C", + "D", + "C", + "A", + "D", + "A", + "A", + "C", + "A", + "A", + "C", + "C", + "C", + "A", + "C", + "C", + "A", + "C", + "B", + "A", + "A", + "A", + "A", + "A", + "C", + "A", + "C", + "B", + "C", + "A", + "A", + "C", + "B", + "C", + "A", + "C", + "C", + "C", + "A", + "A", + "A", + "A", + "C", + "C", + "C", + "D", + "A", + "C", + "C", + "D", + "A", + "B", + "A", + "A", + "A", + "A", + "A", + "D", + "C", + "C", + "C", + "A", + "A", + "C", + "C", + "A", + "A", + "B", + "C", + "C", + "C", + "A", + "B", + "C", + "C", + "C", + "C", + "A", + "A", + "C", + "A", + "A", + "C", + "A", + "D", + "C", + "A", + "C", + "A", + "C", + "A", + "A", + "C", + "A", + "A", + "D", + "A", + "B", + "B", + "C", + "C", + "C", + "C", + "C", + "C", + "A", + "A", + "A", + "A", + "D", + "A", + "C", + "C", + "C", + "C", + "A", + "A", + "C", + "C", + "A", + "A", + "C", + "D", + "A", + "A", + "A", + "B", + "B", + "C", + "A", + "C", + "A", + "C", + "C", + "A", + "C", + "A", + "C", + "A", + "C", + "C", + "C", + "C", + "C", + "A", + "B", + "A", + "B", + "A", + "C", + "A", + "B", + "B", + "C", + "A", + "C", + "A", + "C", + "B", + "A", + "C", + "C", + "C", + "A", + "A", + "D", + "A", + "A", + "C", + "A", + "C", + "A", + "A", + "A", + "A", + "C", + "A", + "A", + "A", + "C", + "B", + "C", + "A", + "A", + "A", + "B", + "A", + "A", + "B", + "B", + "A", + "C", + "A", + "C", + "A", + "A", + "C", + "C", + "A", + "A", + "A", + "C", + "C", + "A", + "A", + "A", + "A", + "A", + "A", + "A", + "A", + "A", + "A", + "D", + "A", + "C", + "D", + "C", + "A", + "C", + "A", + "C" + ], + "gold_answers": [ + "D", + "A", + "D", + "B", + "D", + "C", + "D", + "D", + "A", + "C", + "D", + "B", + "C", + "A", + "D", + "A", + "D", + "C", + "C", + "A", + "D", + "A", + "A", + "B", + "A", + "A", + "A", + "C", + "C", + "B", + "D", + "B", + "B", + "B", + "A", + "B", + "D", + "B", + "A", + "C", + "C", + "B", + "D", + "B", + "D", + "A", + "B", + "C", + "B", + "A", + "B", + "B", + "B", + "B", + "D", + "D", + "A", + "D", + "C", + "D", + "A", + "B", + "D", + "B", + "D", + "B", + "D", + "D", + "D", + "B", + "A", + "A", + "C", + "B", + "D", + "B", + "D", + "A", + "C", + "B", + "C", + "C", + "A", + "A", + "D", + "D", + "C", + "D", + "D", + "D", + "C", + "B", + "D", + "C", + "B", + "C", + "A", + "B", + "B", + "C", + "C", + "A", + "B", + "B", + "C", + "D", + "B", + "B", + "A", + "D", + "C", + "C", + "A", + "A", + "A", + "C", + "B", + "A", + "C", + "B", + "A", + "C", + "A", + "D", + "B", + "B", + "D", + "C", + "A", + "C", + "A", + "D", + "A", + "B", + "C", + "B", + "C", + "A", + "C", + "C", + "D", + "A", + "A", + "B", + "C", + "D", + "B", + "B", + "C", + "A", + "D", + "B", + "D", + "C", + "C", + "B", + "C", + "D", + "A", + "A", + "D", + "D", + "A", + "D", + "D", + "A", + "B", + "B", + "B", + "D", + "A", + "B", + "A", + "B", + "C", + "C", + "D", + "D", + "D", + "C", + "D", + "C", + "D", + "A", + "C", + "B", + "B", + "A", + "C", + "A", + "C", + "C", + "C", + "C", + "A", + "B", + "D", + "D", + "C", + "B", + "D", + "B", + "B", + "C", + "D", + "A", + "A", + "A", + "C", + "C", + "A", + "D", + "B", + "A", + "A", + "B", + "D", + "B", + "A", + "A", + "D", + "D", + "A", + "D", + "C", + "D", + "A", + "A", + "D", + "B", + "B", + "B", + "A", + "D", + "A", + "A", + "C", + "D", + "A", + "D", + "D", + "D", + "D", + "D", + "D", + "B", + "A", + "D", + "B", + "B", + "B", + "D", + "B", + "A", + "C", + "C", + "D", + "B", + "A", + "A", + "C", + "C", + "B", + "B", + "D", + "D", + "C", + "C", + "A", + "C", + "C", + "D", + "B", + "D", + "C", + "C", + "C", + "D", + "B", + "D", + "A", + "A", + "C", + "D", + "B", + "A", + "D", + "B", + "D", + "B", + "A", + "A", + "A", + "B", + "B", + "C", + "D", + "A", + "A", + "D", + "C", + "C", + "D", + "C", + "A", + "A", + "A", + "C", + "D", + "C", + "D", + "D", + "A", + "C", + "C", + "A", + "C", + "D", + "D", + "C", + "A", + "D", + "C", + "B", + "B", + "A", + "C", + "B", + "B", + "B", + "B", + "B", + "D", + "C", + "A", + "C", + "B", + "C", + "C", + "D", + "C", + "C", + "A", + "D", + "D", + "A", + "D", + "B", + "B", + "D", + "A", + "C", + "A", + "D", + "D", + "C", + "C", + "D", + "D", + "A", + "D", + "A", + "A", + "D", + "C", + "D", + "D", + "A", + "A", + "B", + "B", + "D", + "D", + "B", + "D", + "A", + "A", + "C", + "C", + "C", + "C", + "C", + "A", + "A", + "D", + "B", + "C", + "C", + "D", + "C", + "C", + "C", + "C", + "C", + "D", + "A", + "A", + "C", + "C", + "B", + "C", + "A", + "D", + "A", + "B", + "A", + "C", + "A", + "C", + "B", + "B", + "B", + "C", + "B", + "A", + "D", + "D", + "B", + "B", + "A", + "C", + "C", + "A", + "B", + "A", + "B", + "D", + "D", + "A", + "A", + "C", + "A", + "B", + "A", + "C", + "C", + "D", + "C", + "D", + "C", + "A", + "B", + "A", + "C", + "A", + "C", + "C", + "C", + "C", + "C", + "C", + "A", + "A", + "B", + "D", + "A", + "B", + "C", + "B", + "C", + "B", + "C", + "B", + "D", + "D", + "A", + "A", + "C", + "A", + "B", + "C", + "D", + "D", + "B", + "D", + "B", + "A", + "A", + "D", + "A", + "D", + "C", + "D", + "B", + "C", + "C", + "D", + "C", + "C", + "D", + "B", + "B", + "B", + "D", + "B", + "A", + "D", + "B", + "A", + "A", + "C", + "D", + "A", + "B", + "B", + "D", + "D", + "B", + "D", + "B", + "C", + "D", + "B", + "A", + "B", + "D", + "A", + "D", + "B", + "A", + "C", + "D", + "C", + "B", + "B", + "C", + "B", + "C", + "D", + "D", + "B", + "A", + "A", + "C", + "C", + "C", + "A", + "A", + "B", + "B", + "A", + "B", + "C", + "D", + "D", + "D", + "A", + "B", + "A", + "D", + "B", + "C", + "B", + "C", + "C", + "A", + "C", + "D", + "B", + "D", + "B", + "C", + "A", + "C", + "C", + "D", + "A", + "D", + "C", + "C", + "B", + "D", + "D", + "D", + "A", + "A", + "D", + "B", + "A", + "D", + "D", + "D", + "A", + "A", + "A", + "B", + "C", + "D", + "D", + "B", + "C", + "B", + "C", + "B", + "A", + "C", + "C", + "C", + "D", + "C", + "B", + "D", + "B", + "D", + "A", + "B", + "D", + "A", + "A", + "B", + "B", + "C", + "D", + "D", + "B", + "B", + "D", + "C", + "B", + "C", + "D", + "D", + "C", + "B", + "B", + "D", + "C", + "D", + "B", + "B", + "B", + "C", + "A", + "C", + "C", + "C", + "C", + "B", + "B", + "D", + "B", + "D", + "D", + "D", + "B", + "A", + "A", + "D", + "D", + "C", + "A", + "A", + "A", + "C", + "D", + "A", + "D", + "A", + "C", + "C", + "C", + "B", + "C", + "C", + "B", + "B", + "B", + "C", + "D", + "C", + "A", + "D", + "C", + "C", + "D", + "D", + "A", + "D", + "B", + "D", + "C", + "A", + "B", + "D", + "B", + "A", + "A", + "D", + "D", + "B", + "B", + "A", + "C", + "A", + "A", + "B", + "C", + "D", + "A", + "D", + "A", + "D", + "A", + "D", + "D", + "C", + "D", + "B", + "D", + "C", + "A", + "A", + "C", + "A", + "B", + "B", + "C", + "D", + "D", + "A", + "C", + "D", + "B", + "B", + "A", + "A", + "A", + "D", + "D", + "B", + "C", + "D", + "D", + "D", + "D", + "C", + "D", + "A", + "A", + "B", + "D", + "B", + "B", + "D", + "B", + "C", + "D", + "C", + "C", + "B", + "B", + "A", + "D", + "C", + "A", + "A", + "B", + "D", + "D", + "C", + "C", + "A", + "D", + "B", + "B", + "B", + "C", + "A", + "D", + "B", + "C", + "B", + "D", + "D", + "B", + "C", + "D", + "D", + "A", + "A", + "C", + "A", + "D", + "C", + "B", + "D", + "B", + "D", + "D", + "B", + "A", + "D", + "B", + "B", + "D", + "D", + "B", + "B", + "C", + "C", + "A", + "C", + "C", + "D", + "C", + "C", + "B", + "A", + "D", + "B", + "C", + "B", + "D", + "C", + "D", + "D", + "C", + "C", + "C", + "B", + "C", + "B", + "B", + "C", + "C", + "D", + "D", + "A", + "D", + "A", + "C", + "C", + "B", + "B", + "D", + "D", + "A", + "A", + "D", + "A", + "A", + "D", + "B", + "B", + "B", + "B", + "C", + "A", + "D", + "A", + "A", + "A", + "D", + "B", + "A", + "B", + "A", + "A", + "A", + "A", + "A", + "C", + "C", + "A", + "D", + "A", + "C", + "D", + "B", + "A", + "C", + "C", + "B", + "B", + "D", + "A", + "B", + "C", + "B", + "B", + "A", + "D", + "B", + "B", + "A", + "A", + "D", + "A", + "D", + "D", + "D", + "B", + "D", + "A", + "B" + ] + }, + "nutrition": { + "pred_answers": [ + "C", + "D", + "D", + "A", + "C", + "D", + "B", + "D", + "C", + "D", + "A", + "D", + "B", + "A", + "D", + "B", + "B", + "D", + "A", + "D", + "B", + "D", + "C", + "D", + "C", + "D", + "D", + "D", + "C", + "D", + "D", + "C", + "C", + "D", + "D", + "B", + "A", + "B", + "D", + "B", + "D", + "C", + "C", + "A", + "A", + "D", + "B", + "B", + "C", + "C", + "C", + "D", + "A", + "B", + "C", + "D", + "C", + "D", + "D", + "D", + "D", + "D", + "D", + "A", + "C", + "C", + "C", + "A", + "C", + "D", + "B", + "A", + "C", + "A", + "A", + "A", + "A", + "D", + "C", + "B", + "C", + "D", + "A", + "A", + "D", + "B", + "B", + "D", + "A", + "B", + "C", + "A", + "B", + "B", + "A", + "C", + "C", + "A", + "C", + "B", + "C", + "B", + "D", + "D", + "A", + "C", + "D", + "A", + "D", + "A", + "A", + "D", + "B", + "D", + "C", + "D", + "B", + "A", + "D", + "A", + "A", + "B", + "C", + "A", + "A", + "B", + "A", + "A", + "C", + "B", + "B", + "A", + "A", + "B", + "C", + "D", + "D", + "C", + "C", + "D", + "A", + "A", + "C", + "B", + "A", + "C", + "D", + "B", + "A", + "A", + "A", + "D", + "A", + "D", + "A", + "D", + "C", + "C", + "A", + "B", + "A", + "A", + "B", + "C", + "A", + "D", + "D", + "B", + "D", + "A", + "B", + "A", + "C", + "C", + "D", + "C", + "D", + "A", + "D", + "B", + "A", + "B", + "D", + "D", + "C", + "A", + "A", + "C", + "B", + "A", + "D", + "D", + "C", + "B", + "D", + "A", + "D", + "A", + "D", + "B", + "D", + "D", + "D", + "A", + "B", + "C", + "C", + "B", + "D", + "A", + "C", + "A", + "A", + "A", + "B", + "B", + "B", + "C", + "B", + "A", + "C", + "D", + "A", + "D", + "B", + "D", + "C", + "C", + "D", + "B", + "D", + "D", + "C", + "C", + "B", + "B", + "A", + "C", + "B", + "C", + "D", + "C", + "A", + "B", + "B", + "D", + "D", + "D", + "B", + "B", + "B", + "B", + "A", + "C", + "A", + "D", + "C", + "A", + "B", + "D", + "D", + "C", + "B", + "D", + "C", + "B", + "D", + "D", + "C", + "C", + "D", + "C", + "D", + "D", + "B", + "C", + "D", + "A", + "C", + "A", + "C", + "C", + "B", + "B", + "C", + "A", + "B", + "B", + "C", + "A", + "A", + "A", + "D", + "A", + "A", + "B", + "B", + "C", + "D", + "A", + "A", + "A", + "D", + "C", + "A", + "D" + ], + "gold_answers": [ + "C", + "B", + "A", + "A", + "C", + "D", + "B", + "B", + "C", + "B", + "B", + "D", + "B", + "A", + "D", + "B", + "B", + "A", + "A", + "D", + "B", + "A", + "C", + "D", + "C", + "D", + "D", + "D", + "C", + "D", + "D", + "C", + "C", + "B", + "D", + "B", + "D", + "B", + "D", + "B", + "D", + "A", + "C", + "C", + "D", + "A", + "B", + "A", + "C", + "C", + "C", + "A", + "B", + "B", + "C", + "D", + "C", + "D", + "D", + "B", + "D", + "D", + "D", + "B", + "C", + "C", + "C", + "A", + "A", + "D", + "B", + "A", + "A", + "A", + "B", + "A", + "D", + "D", + "D", + "C", + "C", + "B", + "D", + "A", + "D", + "B", + "A", + "C", + "A", + "B", + "C", + "A", + "C", + "B", + "A", + "C", + "D", + "D", + "C", + "B", + "C", + "B", + "D", + "D", + "B", + "C", + "D", + "A", + "D", + "A", + "C", + "D", + "A", + "C", + "B", + "D", + "B", + "B", + "D", + "A", + "A", + "B", + "C", + "A", + "C", + "C", + "A", + "A", + "D", + "B", + "B", + "C", + "A", + "B", + "C", + "C", + "D", + "B", + "C", + "A", + "A", + "A", + "C", + "B", + "A", + "C", + "C", + "B", + "B", + "A", + "A", + "D", + "B", + "D", + "A", + "D", + "C", + "C", + "C", + "C", + "A", + "A", + "B", + "C", + "B", + "D", + "D", + "B", + "C", + "B", + "B", + "A", + "B", + "D", + "B", + "A", + "D", + "B", + "D", + "C", + "B", + "B", + "D", + "D", + "B", + "D", + "A", + "D", + "D", + "A", + "D", + "D", + "C", + "D", + "D", + "A", + "D", + "B", + "D", + "C", + "D", + "D", + "A", + "A", + "C", + "D", + "C", + "B", + "D", + "A", + "C", + "A", + "A", + "C", + "B", + "B", + "D", + "C", + "A", + "C", + "D", + "D", + "D", + "B", + "B", + "D", + "C", + "C", + "D", + "B", + "D", + "D", + "C", + "A", + "B", + "D", + "A", + "C", + "C", + "C", + "D", + "C", + "A", + "B", + "B", + "D", + "C", + "D", + "B", + "B", + "B", + "C", + "A", + "D", + "A", + "A", + "C", + "A", + "B", + "D", + "D", + "B", + "C", + "D", + "C", + "D", + "D", + "D", + "C", + "C", + "A", + "C", + "D", + "B", + "A", + "C", + "D", + "A", + "D", + "A", + "A", + "A", + "B", + "B", + "D", + "D", + "B", + "D", + "C", + "A", + "A", + "D", + "C", + "A", + "C", + "D", + "B", + "C", + "C", + "A", + "A", + "C", + "D", + "C", + "A", + "D" + ] + }, + "philosophy": { + "pred_answers": [ + "B", + "D", + "D", + "D", + "B", + "B", + "C", + "D", + "A", + "B", + "C", + "C", + "D", + "A", + "D", + "A", + "B", + "D", + "A", + "A", + "C", + "A", + "A", + "A", + "B", + "B", + "D", + "C", + "B", + "A", + "A", + "B", + "C", + "A", + "B", + "B", + "B", + "A", + "D", + "B", + "B", + "C", + "C", + "C", + "S", + "D", + "A", + "C", + "D", + "D", + "D", + "B", + "C", + "C", + "B", + "C", + "B", + "C", + "C", + "C", + "B", + "D", + "A", + "D", + "D", + "A", + "C", + "C", + "D", + "C", + "D", + "A", + "C", + "B", + "A", + "B", + "D", + "C", + "B", + "B", + "D", + "C", + "B", + "A", + "D", + "C", + "A", + "A", + "A", + "C", + "A", + "D", + "B", + "C", + "B", + "B", + "A", + "A", + "B", + "A", + "B", + "C", + "C", + "A", + "B", + "D", + "D", + "D", + "C", + "A", + "B", + "D", + "A", + "B", + "A", + "B", + "C", + "D", + "B", + "B", + "D", + "C", + "C", + "D", + "A", + "C", + "C", + "D", + "D", + "C", + "C", + "C", + "D", + "D", + "A", + "B", + "C", + "B", + "D", + "D", + "C", + "A", + "D", + "B", + "A", + "A", + "D", + "C", + "B", + "B", + "D", + "B", + "C", + "A", + "A", + "B", + "C", + "C", + "A", + "D", + "C", + "D", + "A", + "C", + "B", + "B", + "B", + "B", + "D", + "A", + "D", + "A", + "A", + "A", + "D", + "B", + "B", + "D", + "C", + "A", + "A", + "B", + "D", + "D", + "C", + "C", + "B", + "A", + "D", + "B", + "C", + "A", + "A", + "B", + "C", + "A", + "B", + "B", + "None", + "B", + "None", + "A", + "A", + "A", + "B", + "B", + "D", + "A", + "B", + "A", + "B", + "A", + "D", + "A", + "C", + "B", + "D", + "B", + "B", + "D", + "B", + "C", + "D", + "None", + "D", + "C", + "B", + "C", + "D", + "B", + "B", + "B", + "B", + "A", + "D", + "C", + "A", + "C", + "C", + "D", + "D", + "B", + "D", + "A", + "A", + "B", + "B", + "C", + "B", + "C", + "C", + "C", + "A", + "D", + "D", + "C", + "A", + "C", + "A", + "A", + "B", + "D", + "C", + "B", + "A", + "A", + "D", + "D", + "A", + "B", + "C", + "A", + "B", + "D", + "A", + "D", + "D", + "C", + "B", + "C", + "B", + "B", + "C", + "D", + "C", + "A", + "A", + "B", + "A", + "A", + "D", + "A", + "C", + "C", + "B", + "A", + "C", + "C", + "C", + "B", + "C", + "A", + "B", + "D", + "C", + "A", + "D", + "D", + "D", + "C", + "D" + ], + "gold_answers": [ + "C", + "D", + "D", + "D", + "B", + "D", + "C", + "D", + "A", + "B", + "C", + "C", + "B", + "A", + "D", + "A", + "A", + "D", + "A", + "D", + "C", + "A", + "C", + "B", + "B", + "B", + "A", + "C", + "B", + "D", + "A", + "B", + "C", + "A", + "D", + "B", + "B", + "C", + "D", + "B", + "C", + "C", + "C", + "B", + "C", + "D", + "A", + "C", + "B", + "D", + "D", + "D", + "D", + "C", + "B", + "C", + "B", + "C", + "C", + "C", + "B", + "D", + "A", + "D", + "D", + "A", + "C", + "C", + "D", + "C", + "D", + "C", + "D", + "B", + "B", + "D", + "D", + "B", + "C", + "B", + "D", + "C", + "B", + "C", + "D", + "C", + "D", + "D", + "A", + "C", + "B", + "B", + "B", + "C", + "A", + "B", + "C", + "A", + "B", + "D", + "B", + "C", + "C", + "A", + "B", + "C", + "A", + "B", + "C", + "C", + "B", + "D", + "A", + "B", + "A", + "A", + "D", + "D", + "C", + "B", + "D", + "C", + "C", + "D", + "B", + "C", + "B", + "C", + "B", + "C", + "C", + "A", + "D", + "D", + "A", + "B", + "C", + "B", + "B", + "D", + "C", + "A", + "B", + "B", + "C", + "D", + "D", + "C", + "B", + "A", + "D", + "D", + "C", + "A", + "B", + "B", + "C", + "C", + "D", + "A", + "C", + "A", + "A", + "B", + "B", + "D", + "B", + "B", + "D", + "A", + "D", + "C", + "A", + "C", + "A", + "B", + "B", + "D", + "C", + "A", + "A", + "C", + "D", + "D", + "C", + "C", + "B", + "A", + "B", + "B", + "C", + "C", + "A", + "A", + "C", + "B", + "B", + "B", + "B", + "B", + "C", + "A", + "B", + "D", + "B", + "B", + "A", + "B", + "B", + "A", + "C", + "A", + "A", + "D", + "C", + "C", + "D", + "B", + "B", + "D", + "B", + "C", + "D", + "B", + "D", + "C", + "D", + "C", + "D", + "C", + "B", + "B", + "B", + "A", + "D", + "C", + "A", + "D", + "A", + "D", + "C", + "C", + "B", + "A", + "B", + "B", + "B", + "C", + "B", + "B", + "C", + "C", + "A", + "B", + "D", + "C", + "C", + "B", + "A", + "C", + "B", + "D", + "C", + "A", + "A", + "D", + "C", + "B", + "A", + "A", + "C", + "D", + "B", + "D", + "A", + "D", + "D", + "C", + "C", + "C", + "D", + "A", + "C", + "D", + "C", + "A", + "A", + "C", + "C", + "A", + "D", + "B", + "C", + "C", + "B", + "A", + "C", + "A", + "C", + "D", + "C", + "D", + "B", + "B", + "C", + "B", + "D", + "D", + "D", + "C", + "D" + ] + }, + "prehistory": { + "pred_answers": [ + "B", + "A", + "A", + "C", + "B", + "A", + "C", + "B", + "B", + "D", + "A", + "B", + "A", + "C", + "C", + "B", + "A", + "A", + "C", + "B", + "B", + "B", + "D", + "B", + "D", + "B", + "D", + "D", + "D", + "C", + "A", + "D", + "C", + "B", + "D", + "D", + "B", + "C", + "D", + "D", + "B", + "B", + "B", + "C", + "A", + "A", + "D", + "B", + "A", + "D", + "A", + "B", + "B", + "A", + "D", + "C", + "D", + "C", + "B", + "B", + "C", + "B", + "A", + "D", + "B", + "B", + "B", + "A", + "B", + "D", + "A", + "B", + "D", + "C", + "D", + "B", + "B", + "D", + "D", + "B", + "C", + "C", + "A", + "D", + "A", + "B", + "C", + "D", + "C", + "B", + "D", + "D", + "A", + "C", + "A", + "D", + "A", + "A", + "None", + "D", + "C", + "D", + "B", + "A", + "A", + "A", + "C", + "A", + "D", + "D", + "C", + "B", + "B", + "D", + "A", + "D", + "D", + "C", + "D", + "B", + "D", + "B", + "D", + "B", + "B", + "D", + "B", + "D", + "B", + "A", + "C", + "A", + "D", + "B", + "B", + "C", + "C", + "B", + "B", + "D", + "C", + "D", + "A", + "A", + "C", + "A", + "D", + "D", + "None", + "C", + "D", + "B", + "B", + "C", + "D", + "B", + "B", + "A", + "C", + "A", + "A", + "D", + "D", + "C", + "D", + "A", + "B", + "D", + "B", + "A", + "C", + "D", + "A", + "A", + "A", + "D", + "C", + "B", + "D", + "B", + "B", + "D", + "B", + "B", + "C", + "B", + "D", + "D", + "D", + "B", + "D", + "A", + "B", + "C", + "C", + "A", + "B", + "B", + "B", + "A", + "C", + "B", + "C", + "D", + "B", + "D", + "A", + "B", + "C", + "A", + "D", + "C", + "south", + "D", + "D", + "D", + "A", + "C", + "B", + "A", + "A", + "D", + "C", + "D", + "B", + "C", + "A", + "D", + "D", + "C", + "D", + "B", + "B", + "Africa", + "A", + "C", + "B", + "B", + "A", + "A", + "C", + "B", + "C", + "C", + "D", + "A", + "D", + "A", + "B", + "D", + "D", + "D", + "A", + "C", + "C", + "A", + "D", + "D", + "D", + "D", + "D", + "B", + "B", + "B", + "B", + "A", + "C", + "A", + "A", + "D", + "D", + "D", + "C", + "A", + "A", + "Mi", + "C", + "A", + "A", + "A", + "A", + "A", + "C", + "C", + "D", + "D", + "A", + "A", + "D", + "B", + "D", + "A", + "B", + "D", + "C", + "A", + "A", + "B", + "B", + "D", + "A", + "B", + "D", + "C", + "B", + "C", + "Europe", + "C", + "B", + "A", + "D", + "D", + "B", + "D", + "A", + "D", + "A", + "C", + "D", + "B", + "B", + "A", + "C", + "A" + ], + "gold_answers": [ + "D", + "A", + "A", + "A", + "C", + "B", + "C", + "C", + "C", + "D", + "C", + "B", + "C", + "C", + "C", + "D", + "A", + "A", + "C", + "B", + "A", + "B", + "D", + "B", + "A", + "B", + "D", + "A", + "D", + "C", + "A", + "D", + "C", + "C", + "A", + "D", + "B", + "C", + "D", + "D", + "B", + "B", + "B", + "C", + "A", + "A", + "B", + "B", + "A", + "B", + "A", + "B", + "C", + "A", + "D", + "C", + "D", + "D", + "C", + "B", + "C", + "B", + "A", + "D", + "B", + "C", + "B", + "C", + "B", + "D", + "A", + "B", + "C", + "C", + "B", + "B", + "B", + "C", + "B", + "C", + "C", + "B", + "A", + "C", + "A", + "C", + "C", + "C", + "C", + "B", + "D", + "D", + "C", + "C", + "A", + "D", + "A", + "A", + "A", + "C", + "C", + "C", + "B", + "A", + "A", + "A", + "C", + "A", + "D", + "D", + "C", + "B", + "B", + "B", + "A", + "A", + "A", + "C", + "D", + "B", + "D", + "B", + "D", + "B", + "A", + "A", + "B", + "A", + "B", + "A", + "C", + "C", + "B", + "B", + "B", + "C", + "C", + "D", + "B", + "B", + "A", + "C", + "B", + "A", + "B", + "C", + "A", + "D", + "B", + "D", + "D", + "B", + "C", + "B", + "D", + "B", + "D", + "A", + "C", + "C", + "B", + "B", + "D", + "C", + "A", + "A", + "B", + "B", + "D", + "C", + "C", + "C", + "C", + "C", + "D", + "A", + "A", + "D", + "D", + "B", + "B", + "D", + "B", + "D", + "A", + "B", + "C", + "D", + "B", + "B", + "B", + "A", + "B", + "C", + "C", + "D", + "B", + "B", + "C", + "D", + "C", + "B", + "C", + "C", + "B", + "D", + "A", + "B", + "C", + "A", + "D", + "C", + "B", + "D", + "D", + "D", + "D", + "D", + "B", + "A", + "B", + "D", + "C", + "D", + "B", + "C", + "C", + "A", + "C", + "C", + "D", + "B", + "B", + "D", + "A", + "C", + "C", + "C", + "A", + "A", + "C", + "B", + "C", + "D", + "D", + "C", + "B", + "C", + "B", + "D", + "D", + "D", + "A", + "C", + "C", + "D", + "D", + "D", + "C", + "D", + "A", + "C", + "B", + "B", + "B", + "A", + "C", + "A", + "A", + "D", + "D", + "C", + "C", + "A", + "B", + "A", + "B", + "A", + "A", + "A", + "A", + "A", + "C", + "C", + "D", + "D", + "C", + "C", + "D", + "B", + "D", + "A", + "B", + "D", + "B", + "A", + "D", + "C", + "C", + "D", + "A", + "C", + "D", + "C", + "B", + "C", + "A", + "C", + "B", + "A", + "D", + "D", + "B", + "D", + "C", + "C", + "A", + "C", + "D", + "B", + "B", + "A", + "B", + "C" + ] + }, + "professional_accounting": { + "pred_answers": [ + "A", + "D", + "C", + "C", + "A", + "B", + "A", + "B", + "B", + "B", + "C", + "B", + "A", + "D", + "A", + "D", + "C", + "C", + "C", + "C", + "B", + "A", + "D", + "C", + "D", + "B", + "D", + "D", + "B", + "C", + "B", + "B", + "C", + "A", + "C", + "B", + "B", + "B", + "C", + "B", + "C", + "D", + "C", + "C", + "A", + "C", + "B", + "C", + "D", + "B", + "C", + "C", + "A", + "C", + "C", + "B", + "D", + "C", + "D", + "D", + "C", + "A", + "C", + "C", + "A", + "C", + "C", + "C", + "D", + "B", + "A", + "C", + "D", + "D", + "C", + "D", + "B", + "D", + "A", + "C", + "C", + "D", + "A", + "C", + "C", + "D", + "B", + "C", + "C", + "A", + "C", + "C", + "C", + "C", + "A", + "C", + "A", + "B", + "D", + "D", + "A", + "C", + "C", + "A", + "B", + "D", + "C", + "A", + "C", + "A", + "A", + "B", + "D", + "A", + "C", + "D", + "C", + "B", + "A", + "A", + "D", + "A", + "D", + "B", + "D", + "C", + "A", + "B", + "B", + "A", + "A", + "D", + "C", + "C", + "D", + "C", + "C", + "D", + "D", + "B", + "C", + "A", + "D", + "A", + "A", + "A", + "D", + "B", + "C", + "A", + "C", + "A", + "B", + "C", + "C", + "A", + "D", + "C", + "C", + "A", + "C", + "C", + "B", + "B", + "D", + "B", + "C", + "B", + "C", + "D", + "C", + "C", + "C", + "B", + "C", + "D", + "D", + "C", + "B", + "B", + "D", + "C", + "C", + "C", + "A", + "C", + "A", + "C", + "C", + "C", + "C", + "C", + "A", + "C", + "C", + "B", + "C", + "A", + "C", + "D", + "A", + "D", + "C", + "A", + "B", + "C", + "A", + "C", + "A", + "B", + "C", + "D", + "C", + "A", + "A", + "D", + "A", + "C", + "A", + "C", + "A", + "D", + "D", + "B", + "C", + "C", + "B", + "A", + "B", + "C", + "C", + "A", + "C", + "C", + "B", + "C", + "C", + "D", + "B", + "A", + "D", + "C", + "C", + "C", + "A", + "C", + "B", + "D", + "C", + "A", + "A", + "A", + "B", + "D", + "C", + "A", + "C", + "C", + "D", + "D", + "C", + "A", + "C", + "C", + "D", + "A", + "A", + "D", + "B", + "C", + "D", + "B", + "A", + "A", + "C", + "C", + "A", + "C", + "A", + "A", + "A", + "A" + ], + "gold_answers": [ + "A", + "B", + "B", + "D", + "A", + "C", + "D", + "D", + "D", + "C", + "D", + "B", + "A", + "B", + "C", + "B", + "C", + "C", + "C", + "B", + "B", + "D", + "B", + "C", + "D", + "B", + "D", + "D", + "B", + "C", + "B", + "B", + "A", + "A", + "D", + "B", + "B", + "C", + "D", + "D", + "C", + "D", + "A", + "A", + "A", + "A", + "C", + "B", + "C", + "C", + "A", + "A", + "B", + "D", + "C", + "D", + "D", + "D", + "D", + "D", + "C", + "A", + "D", + "A", + "B", + "C", + "C", + "C", + "D", + "C", + "B", + "C", + "A", + "D", + "B", + "A", + "A", + "B", + "D", + "C", + "B", + "B", + "A", + "B", + "C", + "D", + "A", + "C", + "A", + "B", + "D", + "D", + "C", + "A", + "A", + "C", + "A", + "B", + "D", + "C", + "A", + "C", + "C", + "D", + "A", + "C", + "C", + "A", + "B", + "A", + "B", + "D", + "D", + "B", + "C", + "D", + "A", + "B", + "C", + "D", + "D", + "A", + "C", + "C", + "D", + "D", + "A", + "A", + "B", + "B", + "A", + "D", + "C", + "C", + "D", + "B", + "C", + "D", + "B", + "D", + "C", + "A", + "C", + "B", + "D", + "A", + "D", + "C", + "C", + "A", + "A", + "A", + "B", + "C", + "B", + "D", + "D", + "C", + "C", + "D", + "A", + "A", + "A", + "B", + "D", + "B", + "B", + "D", + "D", + "D", + "D", + "A", + "B", + "B", + "B", + "B", + "B", + "D", + "C", + "C", + "C", + "D", + "A", + "C", + "A", + "C", + "C", + "A", + "B", + "A", + "B", + "B", + "C", + "C", + "A", + "C", + "C", + "B", + "D", + "C", + "D", + "C", + "C", + "D", + "B", + "A", + "A", + "C", + "C", + "B", + "C", + "C", + "C", + "C", + "C", + "D", + "B", + "B", + "A", + "B", + "A", + "C", + "D", + "B", + "A", + "C", + "B", + "D", + "A", + "B", + "D", + "D", + "B", + "D", + "D", + "C", + "A", + "D", + "B", + "C", + "B", + "A", + "B", + "C", + "A", + "A", + "B", + "D", + "C", + "A", + "A", + "A", + "B", + "B", + "B", + "A", + "C", + "B", + "B", + "D", + "B", + "A", + "B", + "C", + "D", + "A", + "A", + "B", + "B", + "C", + "D", + "C", + "D", + "B", + "D", + "A", + "A", + "C", + "A", + "C", + "A", + "B" + ] + }, + "professional_law": { + "pred_answers": [ + "B", + "B", + "C", + "C", + "C", + "A", + "C", + "D", + "C", + "D", + "C", + "A", + "C", + "B", + "D", + "C", + "C", + "D", + "A", + "D", + "D", + "A", + "D", + "D", + "C", + "B", + "D", + "B", + "A", + "B", + "A", + "A", + "B", + "B", + "D", + "A", + "B", + "B", + "A", + "D", + "D", + "C", + "B", + "C", + "D", + "D", + "A", + "B", + "B", + "D", + "C", + "C", + "A", + "C", + "B", + "A", + "D", + "A", + "D", + "B", + "D", + "B", + "C", + "C", + "D", + "C", + "D", + "C", + "C", + "D", + "D", + "C", + "C", + "D", + "C", + "C", + "C", + "C", + "C", + "D", + "D", + "C", + "A", + "C", + "A", + "B", + "D", + "B", + "D", + "B", + "D", + "C", + "C", + "C", + "C", + "C", + "D", + "D", + "D", + "C", + "C", + "D", + "B", + "B", + "D", + "A", + "B", + "B", + "D", + "C", + "A", + "D", + "C", + "C", + "A", + "C", + "C", + "C", + "A", + "D", + "B", + "C", + "C", + "D", + "B", + "C", + "C", + "A", + "A", + "C", + "A", + "D", + "D", + "A", + "C", + "C", + "C", + "D", + "C", + "D", + "D", + "D", + "B", + "B", + "C", + "B", + "C", + "D", + "A", + "A", + "D", + "B", + "A", + "B", + "A", + "D", + "D", + "B", + "A", + "C", + "A", + "C", + "C", + "D", + "C", + "A", + "D", + "D", + "B", + "C", + "A", + "B", + "C", + "D", + "D", + "B", + "C", + "C", + "D", + "D", + "A", + "D", + "D", + "C", + "C", + "A", + "A", + "B", + "D", + "C", + "B", + "C", + "D", + "D", + "D", + "D", + "D", + "B", + "D", + "D", + "A", + "B", + "A", + "B", + "A", + "D", + "A", + "D", + "D", + "A", + "D", + "C", + "A", + "B", + "D", + "C", + "C", + "C", + "C", + "D", + "B", + "C", + "D", + "D", + "C", + "C", + "C", + "D", + "A", + "B", + "D", + "A", + "C", + "A", + "C", + "D", + "B", + "A", + "D", + "C", + "B", + "D", + "C", + "B", + "B", + "C", + "A", + "A", + "C", + "A", + "C", + "B", + "D", + "C", + "C", + "B", + "B", + "C", + "A", + "B", + "C", + "D", + "D", + "B", + "B", + "A", + "C", + "D", + "C", + "D", + "D", + "D", + "B", + "D", + "A", + "B", + "C", + "B", + "D", + "A", + "C", + "C", + "B", + "B", + "C", + "C", + "D", + "B", + "B", + "A", + "D", + "A", + "A", + "B", + "A", + "C", + "C", + "D", + "D", + "A", + "C", + "A", + "B", + "C", + "D", + "A", + "C", + "C", + "D", + "D", + "A", + "D", + "C", + "B", + "B", + "D", + "C", + "D", + "A", + "B", + "C", + "B", + "D", + "B", + "A", + "C", + "A", + "D", + "B", + "D", + "D", + "B", + "C", + "D", + "C", + "A", + "D", + "A", + "D", + "D", + "B", + "C", + "D", + "D", + "A", + "B", + "D", + "C", + "A", + "D", + "C", + "C", + "B", + "C", + "B", + "C", + "B", + "C", + "C", + "D", + "B", + "A", + "C", + "C", + "A", + "D", + "A", + "A", + "A", + "C", + "D", + "C", + "C", + "D", + "B", + "None", + "D", + "A", + "B", + "B", + "A", + "B", + "A", + "C", + "D", + "A", + "D", + "D", + "B", + "C", + "C", + "B", + "C", + "D", + "D", + "D", + "A", + "B", + "D", + "B", + "C", + "A", + "C", + "A", + "C", + "D", + "B", + "A", + "A", + "D", + "C", + "B", + "D", + "A", + "D", + "B", + "D", + "C", + "C", + "B", + "B", + "B", + "D", + "D", + "A", + "D", + "D", + "C", + "A", + "C", + "A", + "C", + "D", + "A", + "D", + "C", + "C", + "D", + "B", + "A", + "D", + "C", + "C", + "C", + "B", + "C", + "C", + "C", + "A", + "C", + "B", + "D", + "B", + "C", + "A", + "C", + "D", + "C", + "A", + "A", + "D", + "B", + "C", + "C", + "B", + "C", + "C", + "C", + "A", + "C", + "D", + "C", + "C", + "D", + "A", + "A", + "B", + "B", + "A", + "D", + "A", + "C", + "B", + "D", + "B", + "C", + "C", + "C", + "C", + "B", + "D", + "A", + "D", + "C", + "C", + "B", + "B", + "C", + "B", + "B", + "D", + "C", + "D", + "A", + "D", + "D", + "A", + "C", + "D", + "A", + "A", + "C", + "A", + "A", + "A", + "D", + "D", + "B", + "A", + "A", + "B", + "C", + "C", + "D", + "C", + "D", + "A", + "A", + "D", + "A", + "D", + "A", + "A", + "A", + "A", + "D", + "C", + "A", + "C", + "A", + "B", + "C", + "C", + "D", + "C", + "B", + "B", + "C", + "D", + "A", + "D", + "D", + "A", + "C", + "A", + "A", + "A", + "C", + "C", + "D", + "B", + "A", + "D", + "B", + "C", + "C", + "A", + "B", + "D", + "C", + "C", + "D", + "C", + "D", + "C", + "D", + "D", + "C", + "D", + "B", + "A", + "D", + "D", + "C", + "C", + "D", + "A", + "A", + "A", + "A", + "A", + "C", + "B", + "D", + "C", + "B", + "C", + "D", + "C", + "A", + "C", + "C", + "A", + "D", + "C", + "C", + "D", + "D", + "A", + "B", + "C", + "A", + "C", + "D", + "A", + "C", + "A", + "A", + "C", + "C", + "A", + "D", + "B", + "B", + "C", + "D", + "B", + "C", + "A", + "C", + "D", + "A", + "D", + "C", + "D", + "A", + "C", + "A", + "D", + "A", + "D", + "B", + "C", + "D", + "C", + "C", + "B", + "D", + "A", + "D", + "C", + "D", + "B", + "C", + "C", + "D", + "B", + "B", + "B", + "D", + "A", + "D", + "C", + "B", + "A", + "C", + "B", + "C", + "D", + "C", + "B", + "A", + "C", + "A", + "C", + "D", + "D", + "A", + "A", + "A", + "B", + "A", + "B", + "D", + "C", + "A", + "C", + "D", + "D", + "C", + "D", + "D", + "C", + "B", + "B", + "C", + "D", + "D", + "C", + "C", + "C", + "B", + "A", + "D", + "B", + "A", + "D", + "A", + "A", + "A", + "D", + "B", + "D", + "B", + "B", + "A", + "B", + "D", + "C", + "A", + "A", + "C", + "D", + "D", + "C", + "B", + "A", + "C", + "C", + "B", + "C", + "C", + "A", + "B", + "C", + "B", + "C", + "C", + "B", + "D", + "D", + "C", + "B", + "D", + "D", + "D", + "B", + "D", + "B", + "D", + "A", + "B", + "C", + "B", + "A", + "B", + "C", + "D", + "B", + "D", + "D", + "B", + "D", + "B", + "D", + "C", + "D", + "C", + "C", + "A", + "B", + "D", + "C", + "C", + "D", + "B", + "D", + "D", + "D", + "D", + "B", + "D", + "D", + "D", + "C", + "D", + "D", + "A", + "D", + "C", + "C", + "B", + "A", + "C", + "D", + "B", + "B", + "A", + "D", + "B", + "A", + "A", + "C", + "A", + "B", + "D", + "C", + "C", + "B", + "A", + "C", + "D", + "A", + "A", + "C", + "D", + "D", + "A", + "A", + "A", + "A", + "D", + "B", + "A", + "B", + "B", + "D", + "B", + "A", + "C", + "A", + "D", + "C", + "B", + "B", + "D", + "B", + "C", + "D", + "C", + "D", + "D", + "A", + "B", + "D", + "A", + "D", + "A", + "C", + "C", + "B", + "C", + "B", + "C", + "B", + "C", + "A", + "A", + "C", + "D", + "A", + "A", + "D", + "D", + "B", + "B", + "D", + "B", + "A", + "C", + "A", + "D", + "A", + "D", + "B", + "C", + "A", + "A", + "D", + "B", + "B", + "B", + "B", + "B", + "A", + "A", + "B", + "D", + "B", + "B", + "D", + "A", + "A", + "C", + "B", + "B", + "C", + "A", + "A", + "B", + "A", + "C", + "D", + "C", + "B", + "B", + "B", + "C", + "B", + "C", + "C", + "B", + "B", + "D", + "B", + "B", + "B", + "D", + "A", + "C", + "D", + "A", + "D", + "C", + "C", + "D", + "D", + "C", + "D", + "B", + "B", + "B", + "D", + "A", + "A", + "D", + "C", + "B", + "C", + "D", + "A", + "A", + "B", + "B", + "B", + "D", + "D", + "C", + "B", + "B", + "C", + "C", + "C", + "A", + "B", + "C", + "C", + "A", + "C", + "B", + "C", + "C", + "A", + "D", + "B", + "D", + "D", + "A", + "D", + "B", + "D", + "C", + "D", + "C", + "B", + "D", + "C", + "A", + "B", + "D", + "D", + "A", + "B", + "A", + "A", + "D", + "C", + "D", + "B", + "B", + "D", + "A", + "D", + "C", + "D", + "D", + "B", + "B", + "D", + "D", + "B", + "A", + "A", + "C", + "D", + "D", + "D", + "D", + "D", + "B", + "C", + "D", + "C", + "C", + "C", + "D", + "C", + "D", + "B", + "A", + "C", + "D", + "C", + "A", + "B", + "C", + "B", + "A", + "C", + "D", + "D", + "A", + "D", + "C", + "D", + "B", + "D", + "D", + "D", + "D", + "B", + "D", + "A", + "B", + "C", + "A", + "B", + "C", + "D", + "B", + "A", + "C", + "B", + "B", + "B", + "C", + "D", + "A", + "A", + "C", + "A", + "D", + "A", + "D", + "B", + "A", + "A", + "B", + "D", + "A", + "D", + "C", + "D", + "A", + "B", + "D", + "C", + "D", + "C", + "C", + "A", + "C", + "D", + "C", + "D", + "C", + "D", + "B", + "C", + "B", + "D", + "C", + "D", + "C", + "A", + "C", + "B", + "C", + "B", + "A", + "A", + "D", + "D", + "C", + "D", + "A", + "B", + "B", + "A", + "B", + "D", + "C", + "C", + "C", + "B", + "D", + "D", + "B", + "A", + "B", + "C", + "C", + "A", + "B", + "C", + "B", + "C", + "D", + "B", + "B", + "B", + "C", + "D", + "A", + "A", + "D", + "B", + "B", + "B", + "D", + "A", + "B", + "A", + "D", + "A", + "A", + "B", + "D", + "C", + "B", + "D", + "D", + "C", + "A", + "A", + "A", + "D", + "B", + "A", + "C", + "D", + "B", + "A", + "A", + "A", + "B", + "A", + "C", + "B", + "A", + "C", + "C", + "B", + "C", + "D", + "D", + "D", + "C", + "C", + "B", + "D", + "D", + "A", + "C", + "A", + "C", + "B", + "A", + "C", + "C", + "A", + "B", + "A", + "A", + "D", + "B", + "D", + "A", + "D", + "D", + "B", + "A", + "D", + "A", + "D", + "C", + "D", + "A", + "D", + "D", + "A", + "B", + "A", + "B", + "C", + "B", + "C", + "D", + "B", + "A", + "C", + "A", + "D", + "D", + "A", + "B", + "D", + "D", + "A", + "B", + "D", + "D", + "D", + "B", + "B", + "D", + "A", + "C", + "D", + "C", + "C", + "C", + "D", + "B", + "A", + "A", + "A", + "C", + "D", + "B", + "C", + "C", + "C", + "B", + "B", + "B", + "A", + "C", + "B", + "C", + "C", + "C", + "B", + "C", + "C", + "B", + "A", + "A", + "B", + "D", + "A", + "C", + "C", + "C", + "C", + "D", + "B", + "D", + "C", + "C", + "D", + "D", + "D", + "C", + "D", + "A", + "D", + "C", + "D", + "D", + "C", + "D", + "C", + "A", + "D", + "A", + "B", + "A", + "D", + "A", + "D", + "B", + "D", + "A", + "A", + "C", + "A", + "C", + "D", + "C", + "D", + "A", + "B", + "B", + "B", + "C", + "B", + "D", + "A", + "B", + "D", + "D", + "B", + "D", + "D", + "B", + "D", + "A", + "D", + "D", + "B", + "A", + "B", + "B", + "A", + "A", + "D", + "D", + "A", + "B", + "C", + "B", + "D", + "A", + "B", + "D", + "A", + "D", + "B", + "A", + "B", + "C", + "B", + "B", + "A", + "B", + "A", + "D", + "A", + "A", + "D", + "C", + "A", + "D", + "C", + "B", + "B", + "D", + "B", + "C", + "C", + "A", + "B", + "B", + "B", + "A", + "D", + "C", + "B", + "A", + "C", + "C", + "C", + "D", + "D", + "D", + "D", + "C", + "B", + "B", + "C", + "C", + "A", + "C", + "B", + "D", + "C", + "D", + "A", + "C", + "B", + "C", + "B", + "D", + "C", + "B", + "C", + "B", + "D", + "C", + "D", + "A", + "C", + "A", + "A", + "A", + "D", + "B", + "C", + "D", + "B", + "A", + "B", + "C", + "D", + "B", + "B", + "C", + "B", + "B", + "B", + "D", + "A", + "D", + "B", + "A", + "D", + "A", + "D", + "A", + "A", + "D", + "D", + "B", + "A", + "D", + "B", + "B", + "B", + "D", + "D", + "C", + "B", + "C", + "C", + "C", + "A", + "D", + "D", + "A", + "B", + "B", + "D", + "C", + "D", + "A", + "D", + "C", + "D", + "B", + "C", + "C", + "B", + "C", + "D", + "B", + "B", + "A", + "D", + "A", + "A", + "D", + "C", + "D", + "C", + "C", + "A", + "D", + "C", + "A", + "D", + "D", + "D", + "C", + "C", + "D", + "C", + "C", + "A", + "B", + "D", + "C", + "C", + "A", + "A", + "D", + "D", + "D", + "B", + "C", + "C", + "C", + "A", + "D", + "A", + "A", + "B", + "C", + "C", + "B", + "B", + "C", + "C", + "D", + "B", + "C", + "D", + "C", + "B", + "B", + "C", + "A", + "C", + "D" + ], + "gold_answers": [ + "C", + "B", + "D", + "C", + "B", + "A", + "B", + "A", + "C", + "C", + "A", + "A", + "A", + "B", + "D", + "C", + "C", + "A", + "C", + "A", + "C", + "C", + "D", + "A", + "B", + "B", + "D", + "C", + "C", + "C", + "A", + "A", + "B", + "C", + "A", + "A", + "A", + "D", + "A", + "C", + "D", + "D", + "B", + "C", + "A", + "D", + "C", + "B", + "C", + "D", + "C", + "C", + "C", + "B", + "B", + "D", + "D", + "B", + "A", + "C", + "D", + "A", + "D", + "C", + "C", + "C", + "D", + "B", + "D", + "C", + "D", + "B", + "C", + "D", + "D", + "B", + "A", + "C", + "D", + "D", + "A", + "B", + "C", + "D", + "D", + "B", + "B", + "C", + "A", + "A", + "D", + "C", + "B", + "C", + "D", + "B", + "D", + "D", + "A", + "C", + "D", + "C", + "A", + "B", + "C", + "D", + "A", + "B", + "D", + "C", + "D", + "C", + "C", + "A", + "A", + "A", + "B", + "C", + "A", + "C", + "C", + "D", + "C", + "D", + "C", + "A", + "C", + "A", + "C", + "A", + "A", + "A", + "D", + "A", + "C", + "C", + "C", + "D", + "D", + "D", + "D", + "A", + "B", + "B", + "C", + "B", + "D", + "A", + "C", + "D", + "A", + "B", + "C", + "B", + "A", + "D", + "A", + "C", + "C", + "D", + "A", + "D", + "C", + "D", + "C", + "A", + "C", + "D", + "A", + "D", + "A", + "D", + "C", + "B", + "B", + "D", + "D", + "C", + "B", + "D", + "D", + "A", + "D", + "C", + "B", + "B", + "A", + "B", + "A", + "C", + "B", + "A", + "A", + "A", + "D", + "C", + "D", + "A", + "D", + "C", + "A", + "B", + "C", + "B", + "B", + "B", + "A", + "D", + "D", + "D", + "C", + "A", + "D", + "C", + "D", + "B", + "B", + "C", + "C", + "D", + "C", + "B", + "C", + "B", + "C", + "B", + "A", + "D", + "A", + "B", + "B", + "B", + "C", + "A", + "C", + "B", + "D", + "A", + "B", + "D", + "C", + "B", + "A", + "C", + "B", + "C", + "B", + "A", + "B", + "A", + "C", + "C", + "B", + "C", + "C", + "C", + "A", + "D", + "D", + "C", + "C", + "C", + "D", + "C", + "B", + "B", + "B", + "D", + "A", + "A", + "C", + "B", + "C", + "A", + "C", + "B", + "B", + "D", + "A", + "C", + "A", + "C", + "B", + "D", + "C", + "A", + "D", + "D", + "D", + "C", + "C", + "B", + "A", + "A", + "A", + "D", + "C", + "D", + "A", + "A", + "C", + "B", + "A", + "D", + "C", + "A", + "B", + "C", + "D", + "D", + "A", + "A", + "C", + "D", + "B", + "A", + "C", + "A", + "B", + "B", + "A", + "B", + "D", + "B", + "A", + "D", + "B", + "D", + "C", + "D", + "D", + "B", + "B", + "C", + "C", + "C", + "C", + "D", + "D", + "A", + "B", + "B", + "D", + "A", + "A", + "B", + "A", + "C", + "C", + "A", + "D", + "B", + "D", + "A", + "C", + "C", + "D", + "C", + "C", + "D", + "B", + "C", + "A", + "B", + "A", + "D", + "A", + "A", + "C", + "C", + "B", + "C", + "A", + "C", + "A", + "C", + "B", + "A", + "B", + "B", + "A", + "B", + "D", + "B", + "D", + "D", + "C", + "A", + "B", + "D", + "B", + "C", + "C", + "B", + "B", + "A", + "A", + "A", + "D", + "C", + "A", + "A", + "A", + "D", + "A", + "A", + "D", + "A", + "A", + "C", + "C", + "B", + "C", + "A", + "A", + "D", + "B", + "C", + "B", + "D", + "A", + "B", + "B", + "D", + "A", + "A", + "D", + "C", + "D", + "C", + "A", + "C", + "D", + "D", + "C", + "C", + "B", + "C", + "B", + "A", + "A", + "C", + "A", + "B", + "C", + "C", + "C", + "C", + "A", + "D", + "A", + "D", + "D", + "C", + "A", + "C", + "D", + "B", + "B", + "D", + "C", + "B", + "C", + "C", + "B", + "B", + "C", + "D", + "A", + "B", + "D", + "A", + "C", + "A", + "D", + "C", + "B", + "D", + "D", + "D", + "D", + "B", + "D", + "B", + "B", + "D", + "B", + "A", + "C", + "A", + "D", + "B", + "A", + "B", + "C", + "C", + "B", + "D", + "B", + "A", + "D", + "A", + "D", + "C", + "C", + "C", + "C", + "C", + "A", + "A", + "B", + "C", + "A", + "A", + "D", + "C", + "A", + "B", + "C", + "A", + "C", + "B", + "C", + "D", + "C", + "C", + "C", + "B", + "A", + "D", + "D", + "C", + "A", + "D", + "D", + "A", + "B", + "A", + "A", + "B", + "D", + "C", + "C", + "D", + "C", + "B", + "D", + "A", + "A", + "C", + "A", + "D", + "D", + "A", + "C", + "C", + "D", + "C", + "B", + "B", + "D", + "A", + "A", + "A", + "B", + "C", + "D", + "D", + "B", + "C", + "D", + "B", + "C", + "B", + "D", + "A", + "C", + "C", + "D", + "A", + "B", + "B", + "C", + "A", + "D", + "B", + "A", + "A", + "C", + "D", + "B", + "B", + "D", + "D", + "C", + "C", + "C", + "D", + "C", + "A", + "B", + "B", + "A", + "D", + "C", + "D", + "D", + "B", + "B", + "A", + "D", + "A", + "D", + "D", + "C", + "B", + "D", + "A", + "C", + "D", + "C", + "C", + "C", + "D", + "A", + "D", + "C", + "A", + "D", + "C", + "B", + "A", + "B", + "C", + "B", + "D", + "D", + "A", + "D", + "A", + "D", + "A", + "A", + "D", + "C", + "A", + "D", + "A", + "B", + "A", + "D", + "D", + "B", + "B", + "C", + "D", + "A", + "B", + "D", + "D", + "D", + "A", + "C", + "A", + "B", + "D", + "C", + "A", + "A", + "D", + "C", + "D", + "C", + "A", + "C", + "D", + "D", + "D", + "A", + "A", + "B", + "D", + "C", + "D", + "C", + "C", + "A", + "D", + "C", + "B", + "B", + "C", + "B", + "B", + "D", + "A", + "A", + "C", + "B", + "A", + "C", + "C", + "D", + "C", + "B", + "C", + "B", + "A", + "C", + "B", + "B", + "C", + "C", + "B", + "B", + "B", + "C", + "A", + "A", + "C", + "A", + "A", + "B", + "D", + "A", + "A", + "D", + "C", + "D", + "D", + "C", + "C", + "A", + "C", + "A", + "B", + "D", + "D", + "A", + "B", + "C", + "C", + "B", + "D", + "A", + "C", + "B", + "D", + "B", + "D", + "B", + "C", + "C", + "D", + "A", + "C", + "D", + "B", + "B", + "D", + "D", + "A", + "A", + "C", + "B", + "C", + "A", + "C", + "C", + "A", + "B", + "B", + "B", + "A", + "C", + "C", + "A", + "C", + "D", + "A", + "A", + "B", + "D", + "D", + "C", + "A", + "C", + "D", + "D", + "C", + "C", + "B", + "A", + "B", + "D", + "B", + "A", + "D", + "D", + "D", + "C", + "A", + "A", + "D", + "A", + "C", + "D", + "C", + "A", + "D", + "A", + "B", + "A", + "A", + "C", + "A", + "B", + "A", + "A", + "A", + "A", + "C", + "B", + "A", + "B", + "B", + "C", + "D", + "A", + "C", + "A", + "B", + "C", + "C", + "B", + "D", + "B", + "D", + "B", + "B", + "B", + "A", + "C", + "B", + "B", + "A", + "B", + "A", + "A", + "A", + "C", + "D", + "B", + "C", + "D", + "B", + "A", + "C", + "D", + "A", + "A", + "D", + "B", + "D", + "D", + "C", + "D", + "D", + "C", + "C", + "D", + "C", + "A", + "B", + "D", + "C", + "B", + "A", + "D", + "D", + "D", + "B", + "D", + "D", + "A", + "A", + "B", + "A", + "D", + "D", + "A", + "A", + "D", + "C", + "B", + "B", + "C", + "A", + "C", + "D", + "B", + "C", + "A", + "C", + "A", + "C", + "B", + "B", + "D", + "D", + "C", + "D", + "B", + "B", + "B", + "B", + "B", + "B", + "A", + "C", + "C", + "C", + "A", + "B", + "C", + "A", + "D", + "C", + "B", + "B", + "D", + "B", + "D", + "B", + "A", + "D", + "C", + "C", + "C", + "B", + "A", + "D", + "B", + "D", + "C", + "C", + "C", + "C", + "D", + "D", + "C", + "C", + "C", + "B", + "C", + "B", + "A", + "C", + "C", + "B", + "A", + "C", + "A", + "A", + "B", + "D", + "A", + "A", + "D", + "B", + "B", + "C", + "C", + "A", + "C", + "C", + "B", + "B", + "A", + "D", + "C", + "C", + "B", + "A", + "C", + "D", + "C", + "A", + "B", + "B", + "D", + "D", + "C", + "C", + "D", + "D", + "B", + "B", + "C", + "B", + "D", + "D", + "C", + "C", + "D", + "B", + "C", + "C", + "A", + "B", + "C", + "D", + "A", + "D", + "C", + "D", + "C", + "B", + "D", + "A", + "C", + "C", + "B", + "D", + "B", + "A", + "B", + "A", + "D", + "D", + "D", + "C", + "D", + "A", + "A", + "D", + "D", + "D", + "A", + "D", + "C", + "A", + "B", + "B", + "D", + "D", + "B", + "D", + "D", + "B", + "A", + "C", + "C", + "B", + "B", + "C", + "D", + "A", + "A", + "C", + "A", + "B", + "D", + "D", + "A", + "A", + "A", + "C", + "B", + "A", + "B", + "D", + "D", + "D", + "B", + "B", + "B", + "D", + "C", + "C", + "D", + "B", + "D", + "A", + "B", + "C", + "D", + "B", + "D", + "A", + "A", + "C", + "D", + "B", + "D", + "D", + "D", + "A", + "B", + "A", + "B", + "D", + "B", + "C", + "D", + "C", + "B", + "B", + "A", + "D", + "A", + "A", + "B", + "B", + "B", + "B", + "D", + "C", + "B", + "B", + "C", + "D", + "D", + "B", + "B", + "B", + "C", + "A", + "B", + "B", + "B", + "D", + "C", + "C", + "C", + "D", + "A", + "D", + "B", + "B", + "C", + "B", + "A", + "B", + "A", + "A", + "C", + "D", + "D", + "B", + "D", + "D", + "B", + "C", + "C", + "D", + "B", + "B", + "A", + "A", + "D", + "B", + "B", + "A", + "C", + "B", + "D", + "D", + "B", + "D", + "C", + "C", + "A", + "A", + "A", + "B", + "C", + "C", + "C", + "A", + "D", + "D", + "D", + "A", + "B", + "B", + "D", + "A", + "C", + "C", + "A", + "C", + "A", + "A", + "B", + "C", + "A", + "A", + "A", + "B", + "B", + "C", + "D", + "A", + "D", + "B", + "D", + "C", + "C", + "C", + "D", + "C", + "C", + "D", + "B", + "A", + "C", + "D", + "C", + "B", + "A", + "B", + "C", + "D", + "C", + "B", + "D", + "B", + "A", + "B", + "D", + "A", + "D", + "B", + "C", + "B", + "B", + "B", + "D", + "C", + "D", + "A", + "B", + "B", + "A", + "A", + "D", + "C", + "C", + "D", + "D", + "C", + "A", + "A", + "C", + "A", + "D", + "B", + "A", + "A", + "C", + "D", + "A", + "C", + "B", + "B", + "B", + "B", + "C", + "C", + "A", + "B", + "C", + "C", + "C", + "C", + "B", + "D", + "A", + "A", + "A", + "C", + "A", + "B", + "B", + "C", + "C", + "C", + "D", + "C", + "A", + "B", + "C", + "D", + "B", + "A", + "B", + "A", + "B", + "A", + "C", + "B", + "D", + "A", + "A", + "C", + "A", + "C", + "A", + "B", + "A", + "C", + "B", + "A", + "B", + "B", + "B", + "D", + "D", + "B", + "B", + "A", + "B", + "D", + "A", + "D", + "D", + "C", + "D", + "A", + "B", + "B", + "A", + "B", + "A", + "D", + "C", + "D", + "C", + "B", + "A", + "C", + "D", + "C", + "A", + "D", + "D", + "D", + "B", + "C", + "B", + "C", + "D", + "B", + "C", + "C", + "D", + "A", + "C", + "A", + "B", + "C", + "B", + "B", + "D", + "C", + "A", + "D", + "B", + "D", + "C", + "C", + "A", + "B", + "A", + "B", + "B", + "B", + "B", + "B", + "C", + "C", + "A", + "D", + "D", + "A", + "A", + "A", + "B", + "A", + "C", + "A", + "C", + "C", + "C", + "A", + "A", + "D", + "A", + "B", + "B", + "C", + "A", + "D", + "B", + "C", + "C", + "B", + "D", + "D", + "C", + "A", + "B", + "A", + "A", + "A", + "C", + "B", + "C", + "D", + "D", + "A", + "B", + "C", + "A", + "B", + "C", + "A", + "D", + "C", + "A", + "C", + "A", + "A", + "D", + "C", + "C", + "C", + "A", + "A", + "A", + "D", + "D", + "B", + "D", + "A", + "B", + "B", + "C", + "D", + "D", + "A", + "C", + "A", + "B", + "C", + "A", + "D", + "C", + "A", + "A", + "A", + "C", + "C", + "D", + "B", + "D", + "B", + "B", + "D", + "D", + "C", + "C", + "C", + "B", + "B", + "C", + "C", + "D", + "A", + "A", + "D", + "A", + "B", + "A", + "C", + "C", + "D", + "A", + "D", + "D", + "D", + "B", + "B", + "B", + "D", + "A", + "C", + "A", + "B", + "A", + "B", + "B", + "A", + "B", + "D", + "D", + "C", + "D", + "C", + "C", + "A", + "B", + "A", + "A", + "A", + "B", + "C", + "B", + "C", + "C", + "A", + "C", + "D", + "B", + "D", + "B", + "C", + "B", + "B", + "A", + "C", + "D", + "D" + ] + }, + "professional_medicine": { + "pred_answers": [ + "C", + "C", + "B", + "B", + "D", + "A", + "B", + "C", + "A", + "B", + "C", + "D", + "B", + "D", + "B", + "B", + "D", + "B", + "C", + "C", + "C", + "D", + "D", + "B", + "A", + "A", + "D", + "B", + "A", + "A", + "B", + "B", + "C", + "A", + "A", + "D", + "A", + "A", + "B", + "A", + "A", + "A", + "D", + "A", + "D", + "C", + "A", + "B", + "D", + "C", + "C", + "B", + "C", + "C", + "D", + "C", + "D", + "D", + "D", + "C", + "B", + "B", + "D", + "B", + "A", + "A", + "C", + "D", + "D", + "B", + "D", + "B", + "D", + "D", + "D", + "A", + "B", + "A", + "B", + "D", + "D", + "B", + "B", + "A", + "A", + "B", + "B", + "D", + "D", + "D", + "B", + "C", + "B", + "A", + "B", + "B", + "A", + "B", + "D", + "C", + "B", + "A", + "C", + "D", + "A", + "C", + "D", + "D", + "A", + "A", + "A", + "C", + "D", + "B", + "B", + "C", + "B", + "A", + "A", + "B", + "C", + "A", + "C", + "D", + "A", + "D", + "B", + "D", + "A", + "D", + "A", + "A", + "B", + "B", + "B", + "D", + "D", + "A", + "D", + "C", + "B", + "A", + "B", + "D", + "A", + "A", + "B", + "C", + "D", + "C", + "D", + "B", + "D", + "D", + "B", + "A", + "B", + "C", + "C", + "B", + "D", + "B", + "D", + "B", + "C", + "A", + "C", + "D", + "D", + "G", + "B", + "B", + "B", + "B", + "A", + "B", + "A", + "D", + "B", + "B", + "B", + "D", + "C", + "B", + "C", + "C", + "D", + "D", + "D", + "D", + "D", + "C", + "A", + "C", + "C", + "A", + "D", + "C", + "D", + "A", + "B", + "A", + "A", + "D", + "C", + "A", + "D", + "B", + "C", + "D", + "B", + "C", + "A", + "D", + "C", + "A", + "D", + "D", + "A", + "D", + "D", + "C", + "D", + "D", + "B", + "D", + "A", + "C", + "A", + "D", + "A", + "D", + "D", + "C", + "A", + "A", + "B", + "D", + "C", + "D", + "A", + "D", + "A", + "A", + "D", + "A", + "D", + "B", + "B", + "B", + "A", + "B", + "D", + "C", + "D", + "C", + "D", + "B", + "A", + "C", + "D", + "B", + "C", + "D", + "B", + "B", + "D", + "A", + "A", + "B", + "B", + "C" + ], + "gold_answers": [ + "C", + "C", + "B", + "C", + "D", + "A", + "B", + "C", + "D", + "B", + "D", + "D", + "D", + "D", + "C", + "B", + "D", + "B", + "D", + "C", + "D", + "D", + "A", + "B", + "D", + "A", + "D", + "D", + "B", + "D", + "B", + "B", + "C", + "A", + "B", + "D", + "A", + "A", + "C", + "C", + "C", + "B", + "A", + "A", + "D", + "D", + "B", + "D", + "C", + "C", + "D", + "D", + "C", + "D", + "D", + "C", + "D", + "D", + "D", + "C", + "B", + "B", + "D", + "C", + "B", + "A", + "C", + "D", + "D", + "B", + "D", + "B", + "D", + "C", + "D", + "A", + "B", + "A", + "D", + "D", + "D", + "B", + "A", + "B", + "A", + "B", + "B", + "D", + "B", + "D", + "B", + "D", + "B", + "D", + "A", + "D", + "A", + "B", + "D", + "C", + "B", + "A", + "C", + "D", + "C", + "C", + "D", + "B", + "D", + "A", + "A", + "C", + "D", + "A", + "B", + "D", + "B", + "D", + "C", + "C", + "C", + "A", + "C", + "D", + "A", + "D", + "D", + "D", + "A", + "D", + "D", + "A", + "B", + "D", + "A", + "B", + "D", + "A", + "D", + "C", + "B", + "A", + "D", + "D", + "A", + "D", + "B", + "C", + "D", + "D", + "D", + "B", + "A", + "D", + "B", + "D", + "D", + "B", + "C", + "D", + "B", + "B", + "D", + "B", + "D", + "D", + "D", + "D", + "D", + "B", + "B", + "C", + "C", + "B", + "B", + "A", + "D", + "D", + "B", + "D", + "D", + "D", + "D", + "B", + "D", + "C", + "D", + "B", + "D", + "A", + "D", + "C", + "A", + "D", + "C", + "D", + "A", + "A", + "D", + "A", + "B", + "A", + "A", + "D", + "C", + "C", + "D", + "D", + "D", + "D", + "D", + "B", + "D", + "D", + "A", + "D", + "D", + "D", + "A", + "D", + "A", + "D", + "D", + "D", + "A", + "D", + "B", + "C", + "A", + "D", + "D", + "B", + "D", + "C", + "A", + "A", + "C", + "D", + "A", + "D", + "D", + "D", + "A", + "D", + "A", + "D", + "D", + "B", + "D", + "A", + "A", + "D", + "D", + "C", + "D", + "C", + "D", + "D", + "A", + "D", + "D", + "D", + "C", + "D", + "C", + "B", + "C", + "A", + "B", + "D", + "D", + "B" + ] + }, + "professional_psychology": { + "pred_answers": [ + "D", + "C", + "A", + "B", + "A", + "B", + "A", + "C", + "A", + "A", + "B", + "D", + "D", + "B", + "D", + "B", + "A", + "B", + "A", + "A", + "B", + "C", + "D", + "A", + "A", + "A", + "A", + "A", + "C", + "C", + "D", + "B", + "C", + "C", + "A", + "B", + "D", + "B", + "D", + "D", + "B", + "B", + "A", + "D", + "A", + "A", + "C", + "D", + "D", + "C", + "B", + "D", + "A", + "C", + "D", + "C", + "D", + "D", + "D", + "D", + "A", + "A", + "A", + "D", + "B", + "C", + "A", + "D", + "A", + "D", + "C", + "B", + "C", + "C", + "A", + "A", + "B", + "A", + "A", + "B", + "B", + "B", + "A", + "D", + "D", + "D", + "D", + "C", + "A", + "A", + "A", + "D", + "A", + "C", + "B", + "A", + "D", + "D", + "B", + "B", + "C", + "A", + "A", + "C", + "C", + "D", + "B", + "C", + "B", + "B", + "A", + "B", + "B", + "A", + "B", + "A", + "B", + "C", + "B", + "A", + "D", + "A", + "D", + "D", + "D", + "B", + "B", + "B", + "C", + "B", + "B", + "B", + "D", + "B", + "B", + "A", + "B", + "None", + "B", + "A", + "B", + "A", + "A", + "A", + "C", + "A", + "B", + "D", + "A", + "D", + "C", + "B", + "C", + "B", + "C", + "C", + "C", + "B", + "B", + "B", + "B", + "C", + "B", + "C", + "D", + "C", + "B", + "D", + "B", + "D", + "C", + "D", + "B", + "D", + "A", + "C", + "B", + "A", + "B", + "B", + "A", + "C", + "A", + "A", + "B", + "D", + "C", + "A", + "C", + "C", + "B", + "B", + "A", + "C", + "A", + "VI", + "B", + "B", + "B", + "A", + "B", + "A", + "D", + "B", + "C", + "A", + "D", + "C", + "C", + "A", + "A", + "A", + "C", + "D", + "B", + "B", + "A", + "C", + "C", + "C", + "B", + "A", + "A", + "B", + "B", + "A", + "B", + "D", + "C", + "A", + "A", + "B", + "C", + "A", + "D", + "A", + "B", + "A", + "C", + "A", + "A", + "C", + "D", + "C", + "A", + "A", + "B", + "D", + "A", + "A", + "B", + "C", + "B", + "C", + "C", + "D", + "D", + "A", + "D", + "C", + "B", + "A", + "A", + "C", + "D", + "C", + "B", + "B", + "A", + "A", + "A", + "A", + "A", + "D", + "D", + "A", + "D", + "D", + "B", + "C", + "C", + "C", + "Ad", + "A", + "B", + "A", + "C", + "C", + "A", + "D", + "A", + "A", + "A", + "D", + "C", + "B", + "C", + "C", + "D", + "A", + "C", + "A", + "A", + "C", + "D", + "C", + "B", + "C", + "A", + "C", + "A", + "D", + "A", + "C", + "A", + "C", + "D", + "B", + "C", + "C", + "D", + "D", + "D", + "A", + "D", + "B", + "B", + "C", + "C", + "B", + "A", + "D", + "C", + "B", + "B", + "A", + "D", + "C", + "None", + "B", + "A", + "B", + "B", + "C", + "C", + "A", + "A", + "C", + "B", + "A", + "A", + "B", + "C", + "D", + "None", + "B", + "C", + "B", + "D", + "C", + "D", + "C", + "A", + "A", + "B", + "D", + "D", + "B", + "C", + "D", + "D", + "C", + "A", + "B", + "A", + "B", + "A", + "A", + "D", + "D", + "C", + "A", + "A", + "A", + "C", + "B", + "A", + "D", + "B", + "D", + "B", + "A", + "C", + "C", + "A", + "B", + "C", + "B", + "C", + "C", + "D", + "C", + "B", + "C", + "A", + "B", + "A", + "B", + "C", + "C", + "A", + "D", + "B", + "C", + "C", + "D", + "D", + "D", + "D", + "C", + "A", + "C", + "B", + "B", + "A", + "C", + "B", + "D", + "C", + "B", + "C", + "B", + "A", + "C", + "A", + "A", + "B", + "C", + "B", + "C", + "B", + "B", + "A", + "B", + "C", + "C", + "C", + "D", + "C", + "B", + "C", + "A", + "B", + "D", + "D", + "D", + "C", + "C", + "B", + "C", + "D", + "B", + "B", + "C", + "D", + "C", + "A", + "B", + "A", + "A", + "C", + "B", + "D", + "B", + "B", + "A", + "B", + "C", + "B", + "A", + "D", + "C", + "A", + "C", + "A", + "B", + "C", + "D", + "C", + "D", + "A", + "C", + "C", + "C", + "A", + "B", + "A", + "C", + "C", + "A", + "A", + "B", + "B", + "C", + "B", + "A", + "D", + "A", + "CS", + "B", + "A", + "D", + "D", + "A", + "C", + "A", + "B", + "A", + "D", + "B", + "B", + "B", + "C", + "A", + "A", + "C", + "E", + "B", + "B", + "B", + "C", + "A", + "C", + "B", + "A", + "D", + "B", + "D", + "C", + "C", + "B", + "C", + "A", + "D", + "A", + "B", + "B", + "A", + "C", + "D", + "A", + "A", + "B", + "D", + "C", + "B", + "B", + "D", + "D", + "C", + "B", + "B", + "C", + "C", + "B", + "C", + "C", + "C", + "B", + "B", + "D", + "C", + "B", + "A", + "A", + "D", + "C", + "A", + "C", + "A", + "B", + "D", + "B", + "D", + "C", + "A", + "B", + "A", + "B", + "C", + "B", + "A", + "D", + "C", + "D", + "D", + "D", + "D", + "B", + "A", + "D", + "B", + "A", + "D", + "A", + "A", + "B", + "B", + "D", + "B", + "A", + "B" + ], + "gold_answers": [ + "D", + "C", + "B", + "B", + "A", + "B", + "A", + "A", + "A", + "A", + "B", + "D", + "D", + "B", + "A", + "B", + "C", + "B", + "B", + "C", + "B", + "B", + "D", + "A", + "A", + "A", + "A", + "B", + "A", + "B", + "B", + "C", + "D", + "A", + "C", + "B", + "D", + "B", + "C", + "A", + "B", + "D", + "B", + "D", + "A", + "D", + "C", + "C", + "D", + "D", + "B", + "C", + "A", + "C", + "D", + "C", + "D", + "D", + "D", + "A", + "C", + "A", + "B", + "C", + "B", + "C", + "A", + "D", + "A", + "D", + "D", + "B", + "A", + "C", + "A", + "A", + "B", + "A", + "A", + "D", + "C", + "C", + "A", + "D", + "D", + "B", + "D", + "C", + "B", + "D", + "B", + "D", + "A", + "C", + "B", + "B", + "D", + "B", + "A", + "B", + "C", + "A", + "A", + "C", + "A", + "D", + "B", + "C", + "B", + "B", + "B", + "B", + "C", + "A", + "B", + "A", + "B", + "B", + "C", + "A", + "D", + "A", + "D", + "C", + "D", + "B", + "B", + "B", + "C", + "B", + "B", + "D", + "D", + "B", + "D", + "A", + "C", + "C", + "C", + "A", + "B", + "A", + "A", + "A", + "C", + "B", + "B", + "B", + "A", + "D", + "C", + "B", + "C", + "D", + "C", + "B", + "C", + "D", + "B", + "B", + "B", + "A", + "B", + "C", + "D", + "C", + "A", + "D", + "B", + "D", + "A", + "D", + "D", + "D", + "B", + "C", + "A", + "A", + "A", + "A", + "A", + "C", + "A", + "C", + "A", + "D", + "A", + "A", + "A", + "C", + "D", + "A", + "D", + "C", + "A", + "B", + "A", + "B", + "B", + "B", + "C", + "A", + "D", + "B", + "A", + "C", + "D", + "C", + "C", + "A", + "D", + "A", + "A", + "C", + "A", + "C", + "B", + "D", + "C", + "C", + "B", + "C", + "C", + "B", + "A", + "A", + "B", + "D", + "A", + "A", + "A", + "D", + "D", + "C", + "D", + "A", + "B", + "D", + "C", + "A", + "B", + "C", + "D", + "C", + "A", + "A", + "B", + "D", + "A", + "A", + "B", + "C", + "A", + "C", + "C", + "A", + "D", + "A", + "D", + "D", + "B", + "D", + "A", + "C", + "B", + "C", + "B", + "B", + "A", + "A", + "C", + "A", + "A", + "C", + "D", + "A", + "D", + "D", + "B", + "C", + "C", + "D", + "D", + "A", + "B", + "A", + "C", + "C", + "B", + "D", + "A", + "A", + "A", + "B", + "B", + "D", + "C", + "C", + "D", + "C", + "C", + "A", + "C", + "C", + "A", + "B", + "A", + "C", + "A", + "C", + "C", + "B", + "A", + "C", + "A", + "C", + "B", + "B", + "C", + "A", + "A", + "D", + "D", + "D", + "A", + "B", + "C", + "D", + "C", + "B", + "A", + "D", + "D", + "C", + "B", + "A", + "D", + "C", + "A", + "B", + "A", + "B", + "B", + "C", + "B", + "C", + "D", + "C", + "B", + "A", + "A", + "B", + "C", + "A", + "D", + "C", + "D", + "B", + "A", + "C", + "D", + "C", + "B", + "C", + "B", + "D", + "C", + "B", + "C", + "C", + "A", + "C", + "D", + "A", + "B", + "B", + "A", + "C", + "B", + "B", + "C", + "D", + "A", + "D", + "D", + "C", + "D", + "B", + "B", + "A", + "A", + "D", + "C", + "C", + "A", + "D", + "C", + "C", + "C", + "C", + "A", + "C", + "A", + "B", + "C", + "B", + "B", + "D", + "C", + "C", + "A", + "D", + "B", + "C", + "D", + "D", + "D", + "D", + "D", + "C", + "A", + "C", + "B", + "C", + "B", + "C", + "C", + "D", + "A", + "B", + "C", + "B", + "A", + "C", + "C", + "B", + "B", + "C", + "B", + "C", + "B", + "B", + "C", + "B", + "C", + "A", + "A", + "A", + "C", + "D", + "D", + "C", + "B", + "D", + "D", + "D", + "C", + "C", + "C", + "B", + "D", + "B", + "B", + "C", + "D", + "C", + "C", + "C", + "A", + "A", + "B", + "C", + "D", + "B", + "B", + "A", + "A", + "C", + "B", + "A", + "D", + "C", + "A", + "A", + "A", + "B", + "C", + "B", + "C", + "D", + "C", + "C", + "C", + "C", + "A", + "B", + "D", + "B", + "C", + "B", + "A", + "B", + "C", + "C", + "A", + "A", + "D", + "A", + "A", + "B", + "A", + "D", + "D", + "B", + "B", + "A", + "C", + "C", + "C", + "B", + "B", + "B", + "C", + "B", + "B", + "C", + "D", + "C", + "D", + "B", + "C", + "A", + "C", + "A", + "C", + "D", + "B", + "D", + "B", + "D", + "B", + "B", + "A", + "B", + "D", + "B", + "D", + "B", + "C", + "D", + "D", + "A", + "B", + "D", + "C", + "D", + "C", + "D", + "C", + "C", + "A", + "D", + "A", + "B", + "C", + "C", + "C", + "C", + "B", + "B", + "D", + "D", + "B", + "A", + "D", + "B", + "B", + "B", + "C", + "A", + "A", + "D", + "D", + "D", + "C", + "D", + "B", + "A", + "B", + "C", + "C", + "A", + "C", + "C", + "D", + "D", + "C", + "A", + "A", + "A", + "D", + "B", + "C", + "D", + "A", + "A", + "B", + "C", + "D", + "C", + "A", + "B" + ] + }, + "public_relations": { + "pred_answers": [ + "B", + "B", + "B", + "B", + "C", + "B", + "C", + "B", + "B", + "D", + "D", + "C", + "B", + "B", + "B", + "C", + "B", + "C", + "B", + "C", + "C", + "B", + "A", + "B", + "B", + "D", + "A", + "D", + "B", + "D", + "D", + "B", + "C", + "B", + "B", + "C", + "C", + "B", + "A", + "B", + "B", + "A", + "A", + "A", + "C", + "D", + "D", + "A", + "B", + "B", + "D", + "C", + "B", + "C", + "D", + "A", + "C", + "B", + "A", + "B", + "B", + "B", + "B", + "A", + "B", + "C", + "A", + "A", + "D", + "B", + "D", + "D", + "B", + "C", + "D", + "D", + "A", + "D", + "C", + "A", + "A", + "D", + "", + "D", + "A", + "B", + "B", + "D", + "A", + "D", + "B", + "A", + "A", + "C", + "A", + "B", + "A", + "B", + "C", + "A", + "D", + "A", + "C", + "D", + "A", + "D", + "C", + "", + "C", + "C" + ], + "gold_answers": [ + "B", + "B", + "B", + "B", + "C", + "B", + "A", + "A", + "B", + "B", + "C", + "B", + "B", + "C", + "C", + "C", + "C", + "D", + "D", + "C", + "C", + "B", + "B", + "B", + "D", + "D", + "D", + "D", + "B", + "B", + "D", + "B", + "C", + "B", + "B", + "C", + "C", + "B", + "A", + "B", + "C", + "A", + "B", + "A", + "C", + "D", + "A", + "A", + "A", + "B", + "D", + "C", + "B", + "C", + "D", + "B", + "D", + "B", + "A", + "D", + "B", + "B", + "B", + "C", + "B", + "D", + "A", + "A", + "A", + "D", + "B", + "D", + "B", + "C", + "D", + "D", + "C", + "B", + "C", + "A", + "A", + "D", + "C", + "D", + "A", + "B", + "A", + "D", + "A", + "B", + "B", + "A", + "A", + "C", + "A", + "B", + "A", + "B", + "C", + "B", + "D", + "A", + "C", + "D", + "A", + "D", + "D", + "B", + "A", + "D" + ] + }, + "security_studies": { + "pred_answers": [ + "C", + "D", + "D", + "C", + "B", + "D", + "D", + "B", + "B", + "A", + "D", + "A", + "C", + "B", + "B", + "C", + "A", + "D", + "C", + "D", + "C", + "C", + "D", + "D", + "C", + "B", + "D", + "D", + "A", + "D", + "D", + "D", + "D", + "C", + "C", + "D", + "A", + "A", + "D", + "D", + "D", + "D", + "D", + "A", + "A", + "A", + "B", + "D", + "D", + "C", + "A", + "B", + "D", + "C", + "C", + "D", + "D", + "A", + "D", + "B", + "D", + "D", + "D", + "C", + "D", + "A", + "C", + "A", + "C", + "A", + "D", + "D", + "D", + "D", + "C", + "A", + "C", + "C", + "B", + "D", + "D", + "C", + "D", + "D", + "D", + "A", + "C", + "D", + "C", + "D", + "D", + "D", + "A", + "D", + "A", + "D", + "D", + "D", + "B", + "A", + "D", + "D", + "C", + "A", + "D", + "B", + "D", + "D", + "B", + "D", + "D", + "C", + "B", + "D", + "D", + "A", + "A", + "B", + "D", + "D", + "D", + "D", + "C", + "D", + "B", + "C", + "D", + "B", + "D", + "C", + "D", + "B", + "B", + "C", + "B", + "D", + "A", + "B", + "D", + "D", + "D", + "D", + "B", + "A", + "B", + "B", + "C", + "D", + "D", + "D", + "D", + "D", + "C", + "D", + "A", + "D", + "D", + "B", + "D", + "D", + "B", + "A", + "D", + "D", + "B", + "D", + "C", + "B", + "C", + "A", + "C", + "D", + "D", + "C", + "D", + "B", + "B", + "B", + "B", + "A", + "A", + "D", + "D", + "C", + "D", + "C", + "A", + "D", + "D", + "A", + "B", + "D", + "A", + "D", + "D", + "C", + "D", + "A", + "D", + "A", + "D", + "D", + "C", + "C", + "C", + "B", + "D", + "C", + "C", + "D", + "D", + "A", + "D", + "B", + "B", + "D", + "B", + "D", + "A", + "C", + "C", + "A", + "C", + "D", + "D", + "D", + "C", + "B", + "C", + "B", + "D", + "C", + "D", + "D", + "D", + "D", + "D", + "C", + "C", + "D", + "D", + "D", + "C", + "D", + "C" + ], + "gold_answers": [ + "C", + "B", + "A", + "D", + "B", + "C", + "D", + "A", + "B", + "A", + "D", + "A", + "C", + "B", + "C", + "C", + "A", + "C", + "C", + "D", + "B", + "C", + "D", + "D", + "C", + "B", + "B", + "D", + "A", + "A", + "D", + "C", + "A", + "C", + "A", + "D", + "A", + "A", + "D", + "A", + "C", + "D", + "B", + "B", + "A", + "C", + "C", + "D", + "D", + "B", + "A", + "B", + "D", + "C", + "D", + "C", + "D", + "A", + "D", + "C", + "D", + "A", + "D", + "C", + "D", + "A", + "C", + "D", + "C", + "A", + "D", + "D", + "D", + "D", + "C", + "C", + "B", + "C", + "B", + "D", + "A", + "B", + "D", + "A", + "D", + "A", + "C", + "D", + "C", + "D", + "D", + "D", + "A", + "D", + "C", + "D", + "D", + "D", + "A", + "A", + "D", + "B", + "C", + "B", + "D", + "B", + "D", + "D", + "B", + "D", + "D", + "C", + "C", + "C", + "D", + "A", + "A", + "B", + "D", + "D", + "D", + "D", + "C", + "D", + "C", + "D", + "C", + "C", + "D", + "C", + "B", + "B", + "B", + "C", + "B", + "D", + "A", + "B", + "D", + "D", + "D", + "D", + "B", + "D", + "B", + "B", + "C", + "D", + "D", + "B", + "D", + "D", + "C", + "D", + "A", + "D", + "D", + "D", + "D", + "D", + "A", + "B", + "A", + "D", + "B", + "D", + "C", + "B", + "C", + "A", + "C", + "D", + "D", + "C", + "D", + "B", + "C", + "A", + "B", + "B", + "A", + "D", + "D", + "C", + "D", + "C", + "A", + "D", + "D", + "A", + "B", + "A", + "D", + "A", + "D", + "A", + "A", + "D", + "D", + "A", + "D", + "D", + "C", + "C", + "C", + "A", + "D", + "B", + "A", + "D", + "D", + "A", + "D", + "B", + "B", + "D", + "B", + "D", + "A", + "C", + "C", + "B", + "C", + "D", + "D", + "D", + "C", + "B", + "C", + "B", + "D", + "C", + "D", + "C", + "C", + "D", + "D", + "C", + "C", + "A", + "D", + "D", + "D", + "A", + "C" + ] + }, + "sociology": { + "pred_answers": [ + "C", + "B", + "B", + "D", + "D", + "A", + "C", + "B", + "D", + "D", + "B", + "A", + "A", + "A", + "B", + "A", + "A", + "B", + "C", + "B", + "A", + "A", + "C", + "D", + "C", + "C", + "B", + "A", + "A", + "B", + "C", + "C", + "B", + "A", + "B", + "C", + "B", + "D", + "B", + "D", + "A", + "D", + "C", + "D", + "B", + "D", + "C", + "C", + "D", + "C", + "B", + "A", + "B", + "C", + "C", + "C", + "C", + "D", + "B", + "D", + "A", + "A", + "D", + "C", + "D", + "D", + "D", + "B", + "A", + "A", + "D", + "A", + "D", + "D", + "C", + "A", + "D", + "C", + "C", + "D", + "D", + "D", + "D", + "C", + "C", + "B", + "D", + "D", + "C", + "A", + "C", + "C", + "C", + "D", + "A", + "A", + "D", + "A", + "B", + "C", + "B", + "D", + "C", + "D", + "D", + "D", + "D", + "D", + "A", + "C", + "C", + "B", + "D", + "C", + "A", + "B", + "C", + "B", + "B", + "C", + "None", + "B", + "D", + "D", + "D", + "D", + "D", + "C", + "C", + "C", + "D", + "D", + "C", + "D", + "B", + "B", + "D", + "A", + "D", + "D", + "C", + "B", + "D", + "A", + "B", + "C", + "C", + "D", + "D", + "D", + "explanation", + "C", + "C", + "C", + "D", + "C", + "C", + "B", + "C", + "B", + "C", + "D", + "B", + "B", + "B", + "B", + "B", + "B", + "A", + "C", + "B", + "A", + "A", + "B", + "B", + "D", + "B", + "B", + "B", + "C", + "B", + "C", + "A", + "B", + "C", + "A", + "C", + "C", + "D", + "C", + "C", + "D", + "A", + "C", + "B", + "C", + "D", + "C", + "D", + "B", + "D" + ], + "gold_answers": [ + "C", + "A", + "B", + "D", + "D", + "B", + "D", + "B", + "A", + "C", + "B", + "D", + "A", + "A", + "A", + "A", + "A", + "A", + "A", + "A", + "C", + "C", + "B", + "D", + "C", + "C", + "A", + "A", + "A", + "B", + "D", + "C", + "B", + "A", + "A", + "A", + "A", + "D", + "B", + "D", + "A", + "B", + "C", + "D", + "A", + "A", + "B", + "B", + "D", + "C", + "B", + "B", + "B", + "C", + "A", + "C", + "B", + "C", + "B", + "B", + "B", + "C", + "D", + "C", + "D", + "A", + "D", + "D", + "A", + "A", + "A", + "A", + "D", + "D", + "C", + "A", + "C", + "D", + "C", + "D", + "D", + "D", + "D", + "C", + "C", + "D", + "D", + "D", + "D", + "A", + "C", + "C", + "C", + "D", + "A", + "A", + "D", + "A", + "B", + "C", + "D", + "D", + "C", + "D", + "C", + "D", + "D", + "D", + "A", + "C", + "D", + "B", + "C", + "A", + "A", + "B", + "C", + "B", + "B", + "C", + "C", + "B", + "D", + "C", + "A", + "B", + "C", + "D", + "C", + "C", + "D", + "D", + "A", + "D", + "B", + "B", + "D", + "A", + "D", + "D", + "B", + "B", + "B", + "A", + "B", + "C", + "A", + "D", + "B", + "D", + "A", + "C", + "C", + "C", + "D", + "C", + "D", + "B", + "B", + "B", + "C", + "D", + "B", + "A", + "B", + "A", + "B", + "C", + "A", + "C", + "B", + "A", + "A", + "B", + "A", + "D", + "D", + "B", + "B", + "C", + "B", + "C", + "A", + "C", + "C", + "A", + "D", + "B", + "D", + "C", + "C", + "D", + "A", + "C", + "B", + "B", + "D", + "C", + "D", + "B", + "B" + ] + }, + "us_foreign_policy": { + "pred_answers": [ + "A", + "A", + "D", + "A", + "A", + "D", + "A", + "A", + "D", + "D", + "B", + "B", + "B", + "D", + "C", + "B", + "C", + "B", + "C", + "B", + "D", + "D", + "C", + "B", + "B", + "C", + "A", + "A", + "C", + "A", + "C", + "A", + "D", + "B", + "B", + "D", + "A", + "C", + "B", + "B", + "B", + "A", + "B", + "D", + "A", + "C", + "C", + "D", + "B", + "B", + "A", + "A", + "C", + "D", + "A", + "A", + "D", + "A", + "B", + "B", + "A", + "C", + "C", + "D", + "D", + "C", + "B", + "D", + "B", + "D", + "A", + "A", + "B", + "C", + "A", + "A", + "D", + "C", + "D", + "D", + "C", + "A", + "B", + "A", + "A", + "A", + "A", + "C", + "A", + "D", + "B", + "A", + "C", + "A", + "A", + "B", + "B", + "A", + "A", + "D" + ], + "gold_answers": [ + "A", + "A", + "D", + "A", + "D", + "D", + "A", + "A", + "D", + "D", + "B", + "C", + "B", + "D", + "B", + "B", + "C", + "B", + "C", + "B", + "D", + "C", + "C", + "B", + "C", + "C", + "A", + "B", + "C", + "A", + "C", + "A", + "D", + "A", + "B", + "D", + "A", + "C", + "B", + "A", + "B", + "B", + "B", + "D", + "A", + "C", + "C", + "D", + "C", + "B", + "A", + "A", + "C", + "D", + "A", + "A", + "A", + "D", + "B", + "B", + "A", + "C", + "C", + "D", + "B", + "C", + "B", + "D", + "B", + "D", + "D", + "A", + "B", + "C", + "A", + "A", + "D", + "C", + "D", + "D", + "C", + "A", + "C", + "A", + "A", + "C", + "C", + "C", + "D", + "D", + "B", + "A", + "C", + "A", + "D", + "D", + "D", + "A", + "A", + "D" + ] + }, + "virology": { + "pred_answers": [ + "C", + "D", + "A", + "C", + "B", + "C", + "B", + "B", + "D", + "C", + "Inc", + "A", + "B", + "A", + "B", + "A", + "C", + "D", + "A", + "C", + "B", + "C", + "B", + "B", + "A", + "B", + "C", + "B", + "D", + "B", + "B", + "C", + "B", + "D", + "B", + "B", + "D", + "D", + "A", + "D", + "A", + "C", + "B", + "B", + "B", + "C", + "A", + "C", + "C", + "A", + "B", + "B", + "B", + "B", + "C", + "D", + "A", + "A", + "A", + "D", + "C", + "B", + "B", + "A", + "C", + "A", + "A", + "A", + "B", + "A", + "B", + "A", + "B", + "C", + "C", + "A", + "B", + "C", + "D", + "B", + "B", + "B", + "C", + "B", + "A", + "C", + "C", + "A", + "B", + "D", + "A", + "C", + "D", + "C", + "D", + "A", + "D", + "A", + "A", + "A", + "B", + "A", + "B", + "B", + "A", + "A", + "C", + "Conf", + "A", + "D", + "B", + "B", + "B", + "C", + "A", + "B", + "B", + "C", + "A", + "D", + "D", + "C", + "B", + "A", + "C", + "B", + "B", + "A", + "D", + "B", + "C", + "B", + "B", + "B", + "A", + "C", + "B", + "A", + "D", + "A", + "B", + "A", + "D", + "A", + "D", + "C", + "B", + "A", + "D", + "None", + "C", + "C", + "A", + "C", + "C", + "C", + "D", + "A", + "C", + "B", + "B", + "A", + "A", + "B", + "B", + "A" + ], + "gold_answers": [ + "A", + "D", + "B", + "B", + "B", + "A", + "B", + "B", + "D", + "B", + "C", + "C", + "B", + "A", + "B", + "A", + "D", + "C", + "B", + "C", + "C", + "A", + "D", + "B", + "A", + "B", + "C", + "A", + "B", + "C", + "B", + "C", + "D", + "D", + "D", + "C", + "B", + "D", + "A", + "D", + "A", + "A", + "D", + "B", + "B", + "B", + "C", + "C", + "C", + "A", + "B", + "A", + "B", + "B", + "A", + "D", + "C", + "A", + "C", + "D", + "C", + "B", + "C", + "C", + "A", + "A", + "A", + "A", + "B", + "C", + "C", + "B", + "B", + "C", + "A", + "A", + "A", + "B", + "D", + "B", + "D", + "C", + "C", + "C", + "A", + "C", + "B", + "B", + "C", + "D", + "D", + "A", + "D", + "D", + "A", + "D", + "D", + "A", + "D", + "A", + "C", + "C", + "B", + "B", + "B", + "B", + "A", + "A", + "A", + "B", + "B", + "A", + "B", + "C", + "A", + "B", + "B", + "D", + "B", + "D", + "C", + "C", + "B", + "B", + "A", + "B", + "B", + "B", + "A", + "A", + "A", + "B", + "A", + "A", + "A", + "B", + "C", + "C", + "B", + "A", + "D", + "D", + "D", + "A", + "D", + "A", + "B", + "A", + "B", + "A", + "B", + "D", + "A", + "A", + "B", + "C", + "D", + "A", + "A", + "C", + "B", + "D", + "D", + "D", + "B", + "B" + ] + }, + "world_religions": { + "pred_answers": [ + "D", + "A", + "B", + "A", + "D", + "A", + "A", + "A", + "D", + "C", + "A", + "D", + "B", + "B", + "B", + "D", + "C", + "C", + "A", + "A", + "A", + "A", + "A", + "A", + "A", + "A", + "A", + "D", + "C", + "D", + "C", + "A", + "A", + "A", + "A", + "A", + "A", + "B", + "A", + "B", + "B", + "C", + "A", + "A", + "A", + "C", + "A", + "D", + "C", + "D", + "B", + "B", + "D", + "C", + "A", + "B", + "B", + "C", + "B", + "B", + "B", + "B", + "B", + "D", + "B", + "B", + "A", + "A", + "A", + "B", + "C", + "C", + "B", + "A", + "C", + "C", + "C", + "C", + "C", + "C", + "B", + "B", + "C", + "C", + "A", + "A", + "A", + "A", + "A", + "A", + "B", + "B", + "C", + "C", + "D", + "A", + "A", + "A", + "D", + "A", + "C", + "A", + "A", + "B", + "A", + "A", + "A", + "C", + "D", + "C", + "B", + "A", + "A", + "B", + "B", + "C", + "A", + "D", + "A", + "D", + "A", + "C", + "B", + "A", + "C", + "C", + "D", + "B", + "C", + "D", + "C", + "D", + "B", + "C", + "C", + "A", + "A", + "A", + "D", + "C", + "C", + "C", + "D", + "B", + "B", + "C", + "C", + "C", + "D", + "D", + "C", + "C", + "B", + "B", + "D", + "D", + "C", + "C", + "B", + "C", + "D", + "A", + "B", + "D", + "B", + "A", + "A", + "C", + "B", + "B", + "A" + ], + "gold_answers": [ + "D", + "B", + "D", + "A", + "D", + "A", + "A", + "A", + "D", + "C", + "B", + "D", + "B", + "B", + "B", + "D", + "C", + "C", + "D", + "A", + "A", + "C", + "A", + "A", + "A", + "A", + "A", + "D", + "C", + "D", + "B", + "A", + "A", + "A", + "A", + "A", + "A", + "B", + "A", + "C", + "B", + "D", + "A", + "A", + "D", + "C", + "A", + "D", + "A", + "D", + "A", + "B", + "C", + "C", + "A", + "A", + "B", + "C", + "D", + "A", + "B", + "B", + "B", + "A", + "B", + "C", + "A", + "A", + "A", + "B", + "C", + "C", + "B", + "A", + "B", + "C", + "C", + "C", + "C", + "C", + "B", + "B", + "C", + "C", + "C", + "A", + "A", + "A", + "A", + "A", + "B", + "C", + "D", + "C", + "D", + "A", + "A", + "A", + "D", + "A", + "B", + "A", + "A", + "B", + "C", + "A", + "A", + "C", + "C", + "C", + "B", + "A", + "A", + "B", + "B", + "C", + "C", + "D", + "A", + "D", + "A", + "C", + "C", + "C", + "C", + "D", + "D", + "B", + "C", + "D", + "C", + "D", + "B", + "C", + "C", + "B", + "A", + "A", + "D", + "C", + "C", + "C", + "D", + "B", + "B", + "C", + "C", + "C", + "D", + "D", + "C", + "C", + "B", + "B", + "D", + "D", + "C", + "C", + "B", + "C", + "D", + "A", + "B", + "C", + "A", + "A", + "A", + "C", + "B", + "B", + "A" + ] + } +} \ No newline at end of file